Сенсорные системы, 2021, T. 35, № 2, стр. 153-163

Применение карты градиентов для детекции дождевых капель на последовательности изображений

В. В. Бурдина 12*, О. С. Шипитько 2

1 Федеральное государственное автономное образовательное учреждение высшего образования “Московский физико-технический институт (национальный исследовательский университет)”
141701 г. Долгопрудный, Институтский переулок, д. 9, Россия

2 Институт проблем передачи информации им. А.А. Харкевича РАН
127051 Москва, Большой каретный переулок, д. 19, Россия

* E-mail: burdina.vv@phystech.edu

Поступила в редакцию 16.12.2020
После доработки 29.12.2020
Принята к публикации 12.01.2021

Аннотация

Автономные транспортные средства используют камеры в качестве одного из основных источников информации об окружающей среде. Погодные условия и другие внешние факторы эксплуатации могут способствовать появлению различных артефактов на изображениях: дождевых капель, снега, грязи и прочих. Наличие таких артефактов существенно ухудшает качество и достоверность получаемых визуальных данных и может привести к авариям в случае несвоевременного обнаружения. Алгоритмы детекции артефактов должны соответствовать высоким требованиям: иметь возможность работать в режиме реального времени, а также с ограниченными вычислительными и энергетическими ресурсами. В данной работе мы предлагаем новый алгоритм детекции дождевых капель на объективе камеры, основанный на усреднении карты градиентов последовательности изображений. Для тестирования алгоритма был собран набор последовательностей кадров, снятых камерой, закрепленной на автомобиле во время его движения. Собирались последовательности трех типов: с настоящими дождевыми каплями, без капель и с каплями, сгенерированными искусственно. Задача детекции дождевых капель рассматривалась как задача бинарной классификации последовательности изображений, что позволило использовать AUC-ROC (area under receiver operating characteristic curve) в качестве метрики качества. Результаты тестирования алгоритма показали, что он надежно обнаруживает капли как искусственные, так и настоящие. Более того, предложенный алгоритм, в сравнении с уже существующим алгоритмом на основе попиксельной кросс-корреляции (Einecke et al., 2014), показал более высокое качество классификации последовательностей и скорость обработки изображений. Таким образом, алгоритм на основе карты градиентов способен обеспечить высокое качество детекции капель на изображениях, а его вычислительная эффективность позволяет применять его в качестве процедуры самопроверки в автономных зрительных системах.

Ключевые слова: карта градиентов, детекция дождевых капель, детекция артефактов, автономное транспортное средство, последовательность изображений, процедура самопроверки, автономные зрительные системы, артефакты на изображениях

DOI: 10.31857/S0235009221020049

Список литературы

  1. Кунина И.А., Панфилова Е. И., Поволоцкий М.А. Детектирование пешеходных переходов на изображениях дороги на основе метода динамического выравнивания временных рядов. Труды ИСА РАН. 2018. Т. 68. № S1. С. 23–31. https://doi.org/10.14357/20790279180503

  2. Курников П.А., Шоломов Д.Л., Панченко А.В. Система определения туманных дорожных сцен, основанная на ансамбле классификаторов. Информационные технологии и вычислительные системы (ИТиВС). 2018. № 2. С. 70–77. https://doi.org/10.14357/20718632180206

  3. Минаев Е. Ю., Никоноров А.В. Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа. Компьютерная оптика. 2012. Т. 36. № 1. С. 124–130.

  4. Царук В.Б. Выделение искажений, вносимых атмосферными осадками на видеоизображения. Актуальные проблемы авиации и космонавтики. 2018. Т. 2. № 4 (14). С. 176–178.

  5. Akkala V., Parikh P., Mahesh B.S., Deshmukh A.S., Medasani S. Lens adhering contaminant detection using spatio-temporal blur. Intern. Conf. Signal Proc. Commun (SPCOM). 2016. P. 1–5. https://doi.org/10.1109/SPCOM.2016.7746664

  6. Bae I., Bang S., Kim W. Convolutional neural network for raindrop detection. 16th Intern. Conf. Ubiquitous Robots (UR). 2019. P. 102–105. https://doi.org/10.1109/URAI.2019.8768613.

  7. Cord A., Aubert D. Towards rain detection through use of in-vehicle multipurpose cameras. IEEE Intelligent Vehicles Sympos. (IV). 2011. P. 833–838. https://doi.org/10.1109/IVS.2011.5940484

  8. Einecke N., Gandhi H., Deigmöller J. Detection of camera artifacts from camera images. 17th Intern. IEEE Conf. Intelligent Transportation Systems (ITSC). 2014. P. 603–610. https://doi.org/10.1109/ITSC.2014.6957756.

  9. Gladkov A., Gladilin S., Ershov E. Comparison of stereo matching algorithms for obstacle detection and collision avoidance. Eleventh Intern. Conf. Machine Vision (ICMV). 2019. P. 92. https://doi.org/10.1117/12.2523116

  10. Gu J., Belhumeur P., Nayar S., Ramamoorthi R. Removing image artifacts due to dirty camera lenses and thin occluders. ACM Transactions on Graphics. 2009. V. 28. P. 1–10. https://doi.org/10.1145/1618452.1618490

  11. Hirohashi Y., Narioka K., Suganuma M., Liu X., Tamatsu Y. and Okatani T. Removal of image obstacles for vehicle-mounted surrounding monitoring cameras by real-time video inpainting. IEEE/CVF Conf. Computer Visi. Pattern Recogn. Workshops (CVPRW). 2020. P. 857–866. https://doi.org/10.1109/CVPRW50498.2020.00115

  12. Hu L., Chen L., Cheng J. Gray spot detection in surveillance video using convolutional neural network. 13th IEEE Conf. Industrial Electron. Applicat. (ICIEA). 2018. P. 2806–2810. https://doi.org/10.1109/ICIEA.2018.8398187

  13. Ivanov A., Yudin D. Visibility loss detection for video camera using deep convolutional neural networks. Proc. Third Intern. Sci. Conf. “Intelligent Information Technologies for Industry” (IITI’18). 2019. V. 1. P. 434–443. https://doi.org/10.1007/978-3-030-01818-4_43

  14. Korobov N., Shipitko O., Konovalenko I., Grigoryev A., Chukalina M. SWaP-C Based Comparison of Onboard Computers for Unmanned Vehicles. Proc. 14th Intern. Conf. Electromechanics and Robotics “Zavalishin’s Readings”. Springer, Singapore. 2020. P. 573–583.

  15. McDonnell M.J. Box-filtering techniques. Computer Graphics and Image Processing. 1981. V. 17. P. 65–70. https://doi.org/10.1016/S0146-664X(81)80009-3

  16. Nashashibi F., Charette R., Lia A. Detection of unfocused raindrops on a windscreen using low level image processing. Intern. Conf. Control, Automat. Robot. Vision: 2010. P. 1410–1415. https://doi.org/10.1109/ICARCV.2010.5707398

  17. Qian R., Tan T., Yang W. Attentive generative adversarial network for raindrop removal from a single image. IEEE/CVF Conf. Comp. Vis. Pattern Recogn. 2018. P. 2482–2491. https://doi.org/10.1109/CVPR.2018.00263

  18. Roser M., Geiger A. Video-based raindrop detection for improved image registration. IEEE 12th Intern. Conf. Computer Vision Workshops. 2009. P. 570–577. https://doi.org/10.1109/ICCVW.2009.5457650

  19. Sobel I., Feldman G. A 3 × 3 isotropic gradient operator for image processing. Pattern Classification and Scene Analysis. 1973. P. 271–272.

  20. You S., Tan R.T., Kawakami R. Adherent raindrop modeling, detection and removal. IEEE Transact. Pattern Analys. Machine Intellig. 2016. V. 38. № 9. P. 1721–1733. https://doi.org/10.1109/TPAMI.2015.2491937

Дополнительные материалы отсутствуют.