Сенсорные системы, 2021, T. 35, № 2, стр. 153-163

Применение карты градиентов для детекции дождевых капель на последовательности изображений

В. В. Бурдина 12*, О. С. Шипитько 2

1 Федеральное государственное автономное образовательное учреждение высшего образования “Московский физико-технический институт (национальный исследовательский университет)”
141701 г. Долгопрудный, Институтский переулок, д. 9, Россия

2 Институт проблем передачи информации им. А.А. Харкевича РАН
127051 Москва, Большой каретный переулок, д. 19, Россия

* E-mail: burdina.vv@phystech.edu

Поступила в редакцию 16.12.2020
После доработки 29.12.2020
Принята к публикации 12.01.2021

Полный текст (PDF)

Аннотация

Автономные транспортные средства используют камеры в качестве одного из основных источников информации об окружающей среде. Погодные условия и другие внешние факторы эксплуатации могут способствовать появлению различных артефактов на изображениях: дождевых капель, снега, грязи и прочих. Наличие таких артефактов существенно ухудшает качество и достоверность получаемых визуальных данных и может привести к авариям в случае несвоевременного обнаружения. Алгоритмы детекции артефактов должны соответствовать высоким требованиям: иметь возможность работать в режиме реального времени, а также с ограниченными вычислительными и энергетическими ресурсами. В данной работе мы предлагаем новый алгоритм детекции дождевых капель на объективе камеры, основанный на усреднении карты градиентов последовательности изображений. Для тестирования алгоритма был собран набор последовательностей кадров, снятых камерой, закрепленной на автомобиле во время его движения. Собирались последовательности трех типов: с настоящими дождевыми каплями, без капель и с каплями, сгенерированными искусственно. Задача детекции дождевых капель рассматривалась как задача бинарной классификации последовательности изображений, что позволило использовать AUC-ROC (area under receiver operating characteristic curve) в качестве метрики качества. Результаты тестирования алгоритма показали, что он надежно обнаруживает капли как искусственные, так и настоящие. Более того, предложенный алгоритм, в сравнении с уже существующим алгоритмом на основе попиксельной кросс-корреляции (Einecke et al., 2014), показал более высокое качество классификации последовательностей и скорость обработки изображений. Таким образом, алгоритм на основе карты градиентов способен обеспечить высокое качество детекции капель на изображениях, а его вычислительная эффективность позволяет применять его в качестве процедуры самопроверки в автономных зрительных системах.

Ключевые слова: карта градиентов, детекция дождевых капель, детекция артефактов, автономное транспортное средство, последовательность изображений, процедура самопроверки, автономные зрительные системы, артефакты на изображениях

ВВЕДЕНИЕ

Один из распространенных способов получения информации об окружающей среде для автономных транспортных систем – использование видеокамер (Кунина и др., 2018; Gladkov et al., 2019), при помощи которых осуществляются детекция объектов на дороге и навигация. Однако плохие погодные условия могут негативно повлиять на работу системы (Курников и др., 2018; Минаев, Никоноров, 2012). Капли дождя или налипший снег, перекрывающие обзор камеры, делают движение системы небезопасным как для пассажиров, так и для пешеходов, и могут привести к серьезным последствиям, если их вовремя не обнаружить. В связи с этим важно, чтобы автономные транспортные системы могли выполнять самопроверку и оценивать, способны ли они по-прежнему выполнять назначенную функцию.

Основные сложности, возникающие при решении задачи детекции артефактов на изображении, связаны с тем, что капли и другие загрязнения могут иметь всевозможные формы, оттенки и структуру, что сильно усложняет их параметрическое описание. Кроме того, к алгоритмам детекции артефактов предъявляются высокие требования к быстродействию и вычислительной эффективности, так как они должны, с одной стороны, работать в режиме реального времени, а с другой – являются вспомогательными процедурами при функционировании автономной системы и, следовательно, не должны быть существенным потребителем ограниченных вычислительных мощностей (Korobov et al., 2020).

В данной работе предлагается алгоритм детекции капель на объективе камеры по последовательности изображений. Алгоритм основывается на двух предположениях. Первое – в течение некоторого времени капли остаются стабильными в своем положении на изображениях, второе – за счет того, что область, перекрываемая каплей, становится размытой, внутри капли нет резких границ. Таким образом, последовательность изображений анализируется на наличие статичных объектов без резких границ внутри. Для этого рассчитывается карта градиентов каждого отдельного кадра, которая затем усредняется по всей последовательности.

Тестирование алгоритма проводилось на последовательностях, снятых камерой, закрепленной на движущемся автомобиле. В экспериментах участвовали три типа последовательностей: с настоящими дождевыми каплями, без капель, а также для расширения тестового набора данных были созданы последовательности с каплями, сгенерированными искусственно. Задача детекции дождевых капель рассматривалась как задача бинарной классификации последовательностей изображений. Качество работы алгоритма оценивалось по ROC-кривым и AUC-ROC метрике. Результаты экспериментов показали, что алгоритм достоверно обнаруживает дождевые капли, а также демонстрирует лучшее качество классификации и более высокую скорость обработки изображений в сравнении с уже существующим алгоритмом (Einecke et al., 2014). Таким образом, алгоритм на основе карты градиентов может быть применим в качестве процедуры самопроверки автономных зрительных систем.

Известно множество работ, посвященных задаче детекции артефактов на изображениях. Среди них есть работы, в которых детекция осуществляется по последовательности кадров и предполагается, что положение артефактов на изображениях со временем не меняется (Einecke et al., 2014; You et al., 2016; Cord, Aubert, 2011). В работе (Einecke et al., 2014) для анализа последовательности на наличие статичных областей считается попиксельная нормализованная кросс-корреляция между парами изображений, которая затем усредняется по всем изображениям. Идея в том, что соответствующие пиксели двух последовательных кадров, принадлежащие статичным объектам, будут сильно скоррелированы между собой и покажут высокие значения корреляции, в то время как подвижные части сцены будут скоррелированы слабо. Основной недостаток этого подхода в том, что при прямолинейном движении дальние объекты со временем остаются почти неподвижными и также дают высокие значения корреляции, что приводит к ложным детекциям артефактов. Кроме того, если артефакты очень плотные и дисперсия интенсивности внутри них близка к нулю, алгоритм становится вычислительно неустойчивым, а если артефакты, наоборот, слишком прозрачные, то в зависимости от освещения и времени внутри них сильно изменяется интенсивность, что приводит к низким значениям корреляции и, следовательно, ложноотрицательным результатам детекции.

Авторы работы (You et al., 2016), помимо предположения о статичности во времени, полагают также, что изменение интенсивности пикселей капли меньше, чем у пикселей без капли. Поэтому для детекции артефактов анализируются пространственные и временные производные значений интенсивностей пикселей, для этого вычисляются оптический поток и попиксельное изменение интенсивности во времени. Подсчет оптического потока всех пикселей изображения – очень ресурсоемкая задача, из-за чего такой алгоритм не подходит для работы в фоновом режиме. Если же использовать только временное изменение интенсивностей, алгоритм становится слишком чувствительным к изменениям освещения и не подходит для работы на открытом воздухе. Стоит отметить, что в работе (You et al., 2016), как и в нашей работе, используется метод искусственной генерации капель для расширения набора тестовых данных.

В работе (Cord, Aubert, 2011) исследуется карта градиентов, усредненная по нескольким кадрам, к которой далее применяется нелинейная фильтрация. Принципиальное отличие предложенного в нашей работе алгоритма от работы (Cord, Aubert, 2011) в том, что алгоритм из их работы решает задачу детекции мелких капель, похожих на точечный шум на изображении. Карты градиентов также применяются в работе (Nashashibi et al., 2010), где появление капли на изображении детектируется за счет изменений интенсивностей между двумя соседними кадрами. Авторы используют градиент изображения для проверки области-кандидата на то, что ранее существующие на этом месте границы объектов либо исчезли, либо стали более размытыми. Предположение о том, что перекрываемая каплей область изображения становится размытой и не имеет внутри резких границ, в том числе используется и в нашем алгоритме. Также существуют алгоритмы, осуществляющие детекцию артефактов по одному изображению. В работе (Roser, Geiger, 2009) искусственно создается паттерн дождевых капель, основанный на фотометрической модели дождевой капли. Затем детекция осуществляется путем сравнивания сгенерированных капель с исходными областями изображения. Основной минус такого метода в том, что он детектирует капли только определенной формы.

Авторы работы (Akkala et al., 2016) предлагают детектировать капли за счет обнаружения гауссова размытия. В статье доказывается, что размытым частям изображения, которыми и являются дождевые капли, соответствуют меньшие коэффициенты эксцесса, чем четким. Изображение обрабатывается скользящим окном, в каждой точке вычисляется коэффициент эксцесса и отмечаются области с низкими значениями коэффициента. Для валидации полученных результатов изображение делится вертикально на две части: небо и дорогу. Подозреваемые на наличие капель области из верхней части изображения проверяются при помощи дискретного вейвлет-преобразования, а из нижней – сингулярного разложения. Алгоритм плохо справляется с деревьями в верхней части изображения, а также со слишком непрозрачными каплями и плотными загрязнениями.

В работе (Царук, 2018) решается задача детекции мелких капель дождя в сцене изображения. Для этого предполагается, что пиксели, принадлежащие областям капель, имеют более высокие значения яркости. Авторы также предлагают метод детекции снега путем применения серии фильтров: фильтра насыщенности, дифференциального фильтра и белого, который вычисляется как сумма расстояний от цвета пикселя до чистого белого.

В отдельную группу стоит выделить работы, решающие поставленную задачу с применением нейронных сетей. Авторы работы (Ivanov, Yudin, 2019) утверждают, что при помощи упрощенных модификаций VGG, ResNet и InceptionV3 за 8–12 мс классифицируют изображение (размером 540 на 300) по степени и виду загрязненности с точностью более 96%. Основной минус такого подхода заключается в существенном потреблении моделью вычислительных мощностей, что не позволяет ей работать в фоновом режиме. Таким же недостатком обладает и метод, предложенный в работе (Hu et al., 2018), где для детекции дождевых капель используется VGG-16. Для решения этой проблемы авторы работы (Bae et al., 2019) демонстрируют модифицированную версию VGG-16, в которой они существенно уменьшают число сверточных слоев, что позволяет им сократить число параметров модели примерно в 250 раз.

Кроме того, есть ряд работ, посвященных удалению капель с изображений (Gu et al., 2009; Qian et al., 2018; Hirohashi et al., 2020). Однако использование таких алгоритмов в случае автономных транспортных систем может быть опасным, так как никогда до конца не известно, что алгоритм воссоздаст на месте бывшей капли.

АЛГОРИТМ ДЕТЕКЦИИ КАПЕЛЬ НА ОСНОВЕ КАРТЫ ГРАДИЕНТОВ

Рассмотрим подробнее предлагаемый в этой работе алгоритм детекции капель по последовательности изображений. Алгоритм использует карты градиентов изображений, вычисленные при помощи оператора Собеля (Sobel, Feldman, 1973).

Карты градиентов широко используются для выделения границ объектов на изображении: границы на изображении имеют высокое значение градиента, а однородные области низкое (рис. 1).

Рис. 1.

а – Изображение дорожной сцены, б – соответствующая ему карта градиентов.

Границы исходного изображения четко прослеживаются на карте градиентов.

Как было сказано ранее, область изображения, перекрываемая дождевой каплей, является размытой и, как следствие, не имеет внутри резких границ, а значит, соответствующие ей пиксели будут иметь низкое значение градиентов и будут темными на карте градиентов. Кроме того, в силу неподвижности капель на изображении, эти области будут оставаться темными для всей последовательности. В то же время области, в которых есть движение, будут иметь соответственно движущиеся границы, а значит, средний градиент в них будет больше, и они будут светлее на усредненной карте градиентов.

На вход алгоритма подается последовательность N серых изображений. Для каждого отдельного изображения считается горизонтальный и вертикальный градиенты – $G_{x}^{{\left( n \right)}}\left( {x,y} \right)$ и $G_{y}^{{\left( n \right)}}\left( {x,y} \right)$ соответственно, $n = \underline {1,N} $, где $\left( {x,y} \right)$ – координаты пикселя на изображении. По ним строится единая карта градиентов ${{G}^{{\left( n \right)}}}\left( {x,y} \right)$ = = $\sqrt {G_{x}^{{\left( n \right)2}}\left( {x,y} \right) + G_{y}^{{\left( n \right)2}}\left( {x,y} \right)} $, $n = \underline {1,N} $. Далее градиент усредняется по всей последовательности:

$G{\text{*}}\left( {x,y} \right) = \frac{1}{N}\sum\limits_{n = 1}^N {{{G}^{{\left( n \right)}}}} \left( {x,y} \right).$

На рис. 2 показан пример детекции дождевых капель. Два изображения a и б сняты с интервалом в 100 кадров. На обоих изображениях видно множество дождевых капель. Применение предложенного нами алгоритма подсчета усредненной карты градиентов по этим 100 кадрам приводит к карте градиентов, показанной на в. На этой карте артефакты четко видны по низким значениям градиента (темные пиксели).

Рис. 2.

Пример детекции дождевых капель.

а и б – изображения, представляющие собой первый и сотый кадры одной из экспериментальных последовательностей с настоящими дождевыми каплями. Изображение в является усредненной картой градиентов для данной последовательности. Изображение г иллюстрирует бинаризованную карту градиентов в с порогом бинаризации Tb = 0.7.

Для фактического обнаружения артефактов усредненный градиент поэлементно делится на значение 255 и бинаризуется с порогом ${{T}_{b}}$ (г), затем в полученной бинарной карте подсчитывается процент активных пикселей (в нашем случае черных). Если это количество превышает второй порог ${{T}_{d}}$ , алгоритм сигнализирует о наличии капель на последовательности изображений, иначе – о том, что капель на последовательности нет.

Подробный алгоритм детекции дождевых капель представлен на рис. 3.

Рис. 3.

Алгоритм детекции дождевых капель.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ

Для тестирования алгоритма было собрано 197 последовательностей по 100 изображений в каждой, снятых камерой, закрепленной на автомобиле во время его движения. В экспериментах участвовали как последовательности с настоящими дождевыми каплями, так и без них. Кроме того, с целью разнообразить данные, на некоторых последовательностях без капель капли были сгенерированы искусственно. Таким образом, в датасет вошло 95 последовательностей без капель, 63 с искусственными каплями и 39 с настоящими.

Качество классификации последовательностей оценивалось по ROC-кривым и AUC-ROC метрике. ROC-кривые строились путем изменения свободного параметра ${{T}_{b}}$ – порога бинаризации карты градиентов. Во всех экспериментах ${{T}_{b}}$ менялся от 0.1 до 0.9 с шагом 0.05, а порог детекции был зафиксирован как ${{T}_{d}}$ = 0.1. Выбор такого значения порога детекции основывается на том, что перекрытие всего лишь десяти процентов изображения может сделать дальнейшее движение автономной системы небезопасным (рис. 4).

Рис. 4.

Пример настоящей дождевой капли, область которой (выделенная область) занимает менее 10% изображения, но полностью перекрывает выезжающий грузовой автомобиль.

ГЕНЕРАЦИЯ ИСКУССТВЕННЫХ КАПЕЛЬ

Рассмотрим алгоритм генерации искусственных капель на изображении. Пусть имеется последовательность из 100 изображений, каждое размером $\left( {W,H} \right)$. Для генерации искусственных капель применялся следующий алгоритм:

• Берется произвольное число капель $M \in \left[ {{{M}_{{min}}},{{M}_{{max}}}} \right]$, каждой присваиваются произвольные радиус $R \in \left[ {{{R}_{{min}}},{{R}_{{max}}}} \right]$, координаты центра капли $\left( {x,y} \right) \in \left[ {0,W\left] {\; \times \;} \right[0,H} \right]$ и форма: 0 – круг, 1 – яйцо. Форма яйца создается комбинацией круга и полуэллипса (рис. 5, a). Также на этом этапе проверяется, нет ли капель с одинаковыми центрами, если они есть, то капли с общим центром объединяются.

Рис. 5.

Генерация искусственной капли.

а – геометрия капли, б – AlphaMap.

• Для каждой капли создается AlphaMap – черное изображение (все нули) размером $\left( {5R,4R} \right)$. В центре него рисуется соответствующая форме фигура. Далее AlphaMap проходит через гауссово размытие (рис. 5, б).

• Для каждого сгенерированного центра капли из каждого изображения последовательности вырезается соответствующий прямоугольник – изображение P размером $\left( {5R,4R} \right)$. К нему применяется свертка с Гауссовым ядром и бочкообразная радиальная дисторсия (эффект “рыбий глаз”).

• Путем уменьшения яркости изображения P с коэффициентом 0.3 (при коэффициенте, равном 1.0, получаем исходное изображение, а при 0.0 – полностью черное) создается изображение $P{\kern 1pt} '$ и вставляется на соответствующее место в исходное изображение с использованием AlphaMap в качестве карты прозрачности. Это делается для того, чтобы у сгенерированной капли были затемненные края, так как этим свойством обычно обладают натуральные капли.

• Наконец, используя AlphaMap как карту прозрачности, изображение P возвращается на исходное изображение.

Рисунок 6 (аг) иллюстрирует примеры последовательностей с каплями, сгенерированными искусственно по описанному алгоритму.

Рис. 6.

Примеры последовательностей с искусственно сгенерированными каплями с разными параметрами гауссова размытия и прозрачности капель. а и б – первый и последний кадры изображения одной последовательности, в и г – другой.

ТЕСТИРОВАНИЕ АЛГОРИТМА

На рис. 7 изображена ROC-кривая алгоритма детекции дождевых капель на основе карты градиентов, вычисленных при помощи оператора Собеля размером 5 × 5 на последовательностях из 100 изображений.

Рис. 7.

ROC-кривые алгоритма на основе карты градиентов, построенные для последовательностей из 100 изображений и для последовательностей из десяти изображений: AUC-ROC(100) = = 0.86, AUC-ROC(10) = 0.83.

Значение метрики AUC-ROC в данном эксперименте получилось равным 0.86, а время обработки одной последовательности варьируется от 5 до 7 с. Кроме того, при сокращении числа изображений в последовательностях со 100 изображений до десяти, алгоритм по-прежнему показывает высокую эффективность (рис. 7). Значение метрики ROC-AUC для эксперимента на последовательностях из десяти кадров получилось равным 0.83, а время обработки последовательности уменьшилось в 10 раз и получилось равным 0.5–0.7 с. Данный результат говорит о том, что для уверенной детекции дождевых капель достаточно всего десять последовательных кадров, что соответствует 1 с съемки видео в реальном времени (тестовые последовательности были получены с камеры с частотой 10 кадров в секунду). Таким образом, алгоритм обеспечивает высокое качество классификации последовательностей при небольшом времени обработки изображений, что делает его потенциально применимым для процедуры самопроверки автономных зрительных систем.

СРАВНЕНИЕ С ДРУГИМИ ПОДХОДАМИ

Мы сравнили предложенный алгоритм с уже существующим алгоритмом на основе попиксельной нормализованной кросс-корреляции (normalized cross-correlation, далее NCC) (Einecke et al., 2014). Как утверждают авторы работы, основным недостатком NCC является его плохая работа на последовательностях, снятых во время прямолинейного движения. Это связано с тем, что в таком случае дальние объекты на изображениях становятся почти стационарными относительно наблюдателя, что приводит к высоким значениям корреляции между соседними кадрами. Таким образом, алгоритм начинает детектировать капли там, где их нет. Поэтому для сравнения предложенного нами алгоритма с NCC среди всех последовательностей были отобраны только те, что сняты во время поворота автомобиля или комбинации прямолинейного движения и поворота. В результате получилась 61 последовательность, среди которых было 17 – без капель, 12 – с настоящими каплями и 32 – с искусственными.

ROC-кривые, получившиеся в результате тестирования двух алгоритмов на таких данных изображены на рис. 8, а. Как видно по графикам, оба алгоритма демонстрируют высокое качество классификации, однако алгоритм на основе карты градиентов показывает лучшее значение метрики: AUCROC(Grad) = 0.85, AUC-ROC(NCC) = = 0.81. Кроме того, при тестировании алгоритмов на полном наборе последовательностей (б) видно, что в отличие от NCC предложенный алгоритм также хорошо справляется и с последовательностями, снятыми во время прямолинейного движения. Такое свойство дает алгоритму на основе карты градиентов несомненное преимущество, так как движение автономных транспортных систем в основном является прямолинейным.

Рис. 8.

Сравнение ROC-кривых предложенного алгоритма и NCC.

а – ROC-кривые, построенные только на последовательностях, снятых во время поворота или комбинации прямолинейного движения и поворота; б – ROC-кривые, построенные на всех последовательностях.

Также мы сравнили предложенный алгоритм и NCC по времени обработки последовательности кадров. Для экспериментов использовался персональный компьютер с 2-ядерным процессором Intel Core i5 – 8210Y, 1.6 ГГц, 8.0 Гб ОЗУ. Оба алгоритма были реализованы на Python 3.7.3. Несмотря на то что NCC в реализации с box-фильтром (McDonnell, 1981), как и предложенный алгоритм, имеет вычислительную сложность обработки одного кадра – O(P), где P – число пикселей изображения, выяснилось, что время обработки одной последовательности из 100 изображений у NCC – 18–20 с, что почти в 3 раза больше, чем время обработки одной последовательности предложенным методом, составляющее 5–7 с. Подробно результаты экспериментов представлены в табл. 1.

Таблица 1.

Результаты экспериментов. Здесь N – число изображений в последовательности; AUC-ROC(1) – метрика, вычисленная только по последовательностям, снятым во время поворота или комбинации прямолинейного движения и поворота; AUC-ROC(2) – метрика, вычисленная по всем последовательностям; T – время обработки одной последовательности

Алгоритм N AUC-ROC(1) AUC-ROC(2) T, c
Градиент 100 0.85 0.86 5–7
NCC 100 0.81 0.41 18–20

ЗАКЛЮЧЕНИЕ

В работе предложен алгоритм детекции дождевых капель на объективе камеры по последовательности изображений. Обнаружение данных артефактов происходит за счет анализа последовательности кадров на предмет наличия статичных областей без резких границ внутри. Для поиска таких областей алгоритм вычисляет карту градиентов каждого отдельного изображения, а затем усредняет ее по всей последовательности. Для фактической детекции дождевых капель усредненная карта градиентов бинаризуется.

Для тестирования алгоритма был собран набор последовательностей, по 100 кадров в каждой, снятых во время движения автомобиля. В наборе присутствовали как последовательности с настоящими дождевыми каплями, так и без них. Также для увеличения датасета были созданы последовательности с каплями, сгенерированными искусственно.

Предложенный алгоритм показал высокое качество классификации последовательностей и скорость работы: обработка одной последовательности из 100 изображений происходит за 5–7 с. Кроме того, эксперименты показали, что надежная детекция артефактов сохраняется и при уменьшении числа изображений в последовательности от 100 до десяти, что позволяет в 10 раз уменьшить время, необходимое для детекции дождевых капель.

По результатам сравнения предложенного алгоритма с уже существующим алгоритмом на основе попиксельной кросс-корреляции (Einecke et al., 2014) выяснилось, что алгоритм на основе карт градиентов точнее и быстрее детектирует дождевые капли, а также показывает более высокое качество классификации, как на последовательностях, снятых во время прямолинейного движения системы, так и во время поворотов.

Дальнейшее развитие предложенного алгоритма может быть направлено на разработку дополнительной проверки обнаруженных дождевых капель с целью избежать неправильную интерпретацию алгоритмом других однородных и статичных областей, таких как небо. Также данный алгоритм потенциально может быть применен для детекции других типов артефактов помимо дождевых капель, таких как снег, грязь, царапины на объективе и другие.

Список литературы

  1. Кунина И.А., Панфилова Е. И., Поволоцкий М.А. Детектирование пешеходных переходов на изображениях дороги на основе метода динамического выравнивания временных рядов. Труды ИСА РАН. 2018. Т. 68. № S1. С. 23–31. https://doi.org/10.14357/20790279180503

  2. Курников П.А., Шоломов Д.Л., Панченко А.В. Система определения туманных дорожных сцен, основанная на ансамбле классификаторов. Информационные технологии и вычислительные системы (ИТиВС). 2018. № 2. С. 70–77. https://doi.org/10.14357/20718632180206

  3. Минаев Е. Ю., Никоноров А.В. Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа. Компьютерная оптика. 2012. Т. 36. № 1. С. 124–130.

  4. Царук В.Б. Выделение искажений, вносимых атмосферными осадками на видеоизображения. Актуальные проблемы авиации и космонавтики. 2018. Т. 2. № 4 (14). С. 176–178.

  5. Akkala V., Parikh P., Mahesh B.S., Deshmukh A.S., Medasani S. Lens adhering contaminant detection using spatio-temporal blur. Intern. Conf. Signal Proc. Commun (SPCOM). 2016. P. 1–5. https://doi.org/10.1109/SPCOM.2016.7746664

  6. Bae I., Bang S., Kim W. Convolutional neural network for raindrop detection. 16th Intern. Conf. Ubiquitous Robots (UR). 2019. P. 102–105. https://doi.org/10.1109/URAI.2019.8768613.

  7. Cord A., Aubert D. Towards rain detection through use of in-vehicle multipurpose cameras. IEEE Intelligent Vehicles Sympos. (IV). 2011. P. 833–838. https://doi.org/10.1109/IVS.2011.5940484

  8. Einecke N., Gandhi H., Deigmöller J. Detection of camera artifacts from camera images. 17th Intern. IEEE Conf. Intelligent Transportation Systems (ITSC). 2014. P. 603–610. https://doi.org/10.1109/ITSC.2014.6957756.

  9. Gladkov A., Gladilin S., Ershov E. Comparison of stereo matching algorithms for obstacle detection and collision avoidance. Eleventh Intern. Conf. Machine Vision (ICMV). 2019. P. 92. https://doi.org/10.1117/12.2523116

  10. Gu J., Belhumeur P., Nayar S., Ramamoorthi R. Removing image artifacts due to dirty camera lenses and thin occluders. ACM Transactions on Graphics. 2009. V. 28. P. 1–10. https://doi.org/10.1145/1618452.1618490

  11. Hirohashi Y., Narioka K., Suganuma M., Liu X., Tamatsu Y. and Okatani T. Removal of image obstacles for vehicle-mounted surrounding monitoring cameras by real-time video inpainting. IEEE/CVF Conf. Computer Visi. Pattern Recogn. Workshops (CVPRW). 2020. P. 857–866. https://doi.org/10.1109/CVPRW50498.2020.00115

  12. Hu L., Chen L., Cheng J. Gray spot detection in surveillance video using convolutional neural network. 13th IEEE Conf. Industrial Electron. Applicat. (ICIEA). 2018. P. 2806–2810. https://doi.org/10.1109/ICIEA.2018.8398187

  13. Ivanov A., Yudin D. Visibility loss detection for video camera using deep convolutional neural networks. Proc. Third Intern. Sci. Conf. “Intelligent Information Technologies for Industry” (IITI’18). 2019. V. 1. P. 434–443. https://doi.org/10.1007/978-3-030-01818-4_43

  14. Korobov N., Shipitko O., Konovalenko I., Grigoryev A., Chukalina M. SWaP-C Based Comparison of Onboard Computers for Unmanned Vehicles. Proc. 14th Intern. Conf. Electromechanics and Robotics “Zavalishin’s Readings”. Springer, Singapore. 2020. P. 573–583.

  15. McDonnell M.J. Box-filtering techniques. Computer Graphics and Image Processing. 1981. V. 17. P. 65–70. https://doi.org/10.1016/S0146-664X(81)80009-3

  16. Nashashibi F., Charette R., Lia A. Detection of unfocused raindrops on a windscreen using low level image processing. Intern. Conf. Control, Automat. Robot. Vision: 2010. P. 1410–1415. https://doi.org/10.1109/ICARCV.2010.5707398

  17. Qian R., Tan T., Yang W. Attentive generative adversarial network for raindrop removal from a single image. IEEE/CVF Conf. Comp. Vis. Pattern Recogn. 2018. P. 2482–2491. https://doi.org/10.1109/CVPR.2018.00263

  18. Roser M., Geiger A. Video-based raindrop detection for improved image registration. IEEE 12th Intern. Conf. Computer Vision Workshops. 2009. P. 570–577. https://doi.org/10.1109/ICCVW.2009.5457650

  19. Sobel I., Feldman G. A 3 × 3 isotropic gradient operator for image processing. Pattern Classification and Scene Analysis. 1973. P. 271–272.

  20. You S., Tan R.T., Kawakami R. Adherent raindrop modeling, detection and removal. IEEE Transact. Pattern Analys. Machine Intellig. 2016. V. 38. № 9. P. 1721–1733. https://doi.org/10.1109/TPAMI.2015.2491937

Дополнительные материалы отсутствуют.