Сенсорные системы, 2020, T. 34, № 3, стр. 254-264

ВВЕДЕНИЕ

При погружении камеры под воду возникает радиальная дисторсия (РД) изображения, что в контексте разработки систем подводной видео- аналитики приводит к ошибкам измерения (Shortis, 2015), а в контексте любительской фотосъемки – к нежелательному с точки зрения эстетики результату.

Для решения этой проблемы классическим способом (Zhang, 2000) достаточно выполнить повторную калибровку камеры под водой, однако это достаточно трудоемко: требуется сначала сделать набор изображений калибровочного объекта с разных ракурсов, а затем выполнить автоматизированный поиск параметров исправления РД, качество которого определяется качеством собранного калибровочного набора изображений. Ясно, что такая процедура оправдана далеко не всегда, например, при любительской фотосъемке или в условиях жесткого ограничения времени сеанса подводной съемки.

Проблема усугубляется еще и тем, что в разных водоемах показатель преломления может быть разным, а следовательно, поправка, найденная для некоторого водоема, не подойдет для другого. То же может быть верно и для одного водоема, если, например, в нем изменяется показатель солености или температуры (Quan, Fry, 1995) воды. Получается, что либо требуется выполнять калибровку камеры при каждом ее погружении под воду, либо каким-то образом определять, что новая калибровка не нужна.

Практика показывает, что такой протокол съемки действительно позволяет устранить РД с достаточным качеством (Heikkila, 2000), однако он применим не к любому сценарию съемки: если временной бюджет или экспертиза оператора ограничены, то такой протокол не подойдет. Среднестатистический пользователь мобильного телефона скорее удалит искаженное изображение, нежели будет разбираться, каким образом его исправить.

Таким образом, возникает вопрос: “Можно ли не выполнять повторную калибровку, а пересчитать параметры исправления РД, зная показатель преломления воды?”. Впервые ответ на этот вопрос предложили в работе (Lavest et al., 2000), где авторы провели ряд экспериментов, на основе которых вывели эмпирическую формулу коррекции радиальной дисторсии в зависимости от показателя преломления. Позднее в работе (Konovalenko et al., 2018) была предложена другая формула, график которой близок с графиком первой на существенном диапазоне значений коэффициента преломления, но полученная уже не экспериментально, а теоретически.

Помимо вывода формулы коррекции РД, в работе приведена демонстрация ее точности на реальном изображении (Konovalenko et al., 2018). Несмотря на это, остался ряд вопросов, ответ на которые требует проведения полноценного эксперимента:

• Насколько точна такая калибровка?

• Как влияет точность исходной калибровки на точность коррекции РД для данного типа воды?

• Как влияет погрешность выбора показателя преломления воды на погрешность исправления РД?

Ответу на эти вопросы и тем самым оценке практической применимости формулы, предложенной в работе (Konovalenko et al., 2018), и посвящена данная работа.

Стоит отметить, что исследование способов исправления РД под водой и изучение их характеристик являются актуальными вопросами среди ученых в таких прикладных научных областях, как разработка систем подводной видеоаналитики, навигация автономных подводных робототехнических систем, а также при создании алгоритмов улучшения эстетических качеств изображений, сделанных под водой, и другие.

Системы подводной видеоаналитики, например, разрабатываются для отслеживания состояния популяции кормовых рыб в закрытых водо-емах (Shortis, 2015). Перед разработчиками стоит не только задача определения численности популяции, но и определения размера ее членов. Критическим для точности работы системы здесь является качество исправления РД.

Родственная задача описана в работе (Ellender et al., 2011), где обычно для “взятия пробы” нерестящейся рыбы используют электрические удочки, которые, очевидно, наносят вред окружающей среде. В качестве альтернативы они предлагают систему технического зрения, отмечая, что важным фактором, влияющим на качество ее работы, является наличие хорошего исправления РД под водой. К аналогичным выводам приходит автор работы (Павин, 2011) в контексте задачи отслеживания объектов под водой.

Примечательной работой, относящейся одновременно к двум обозначенным областям, является статья о системе автономного картирования дна океана (Elibol et al., 2008). Авторы приводят ряд результатов экспериментов с реальными и синтетическими данными, на основании которых наглядно показывают, что даже небольшие ошибки в оценке параметров РД могут сильно сказаться на качестве построенной карты. С той же проблемой столкнулись ученые при создании системы трехмерной реконструкции объектов культурного наследия под водой (Skarlatos, 2020).

Задача устранения РД, вызванной погружением объектива под воду, возникла также у авторов работы, посвященной созданию алгоритма визуальной одометрии подводного автономного плавательного аппарата (Botelho et al., 2009).

Калибровка РД под водой как задача возникает не только в контексте автоматизации выполнения какой-то задачи (картирование, патрулирование, мониторинг и др.), но и в задачах исследовательских. Например, в работе (Somerton, 2005) авторы отмечают важность исправления РД для исследования поведения рыб в естественной среде.

Отдельно также хочется отметить работу (Berman et al., 2018), где авторы столкнулись с проблемой калибровки РД под водой в задаче улучшения эстетики изображений. Дело в том, что зачастую для улучшения изображения выполняется восстановление карты глубины сцены, например, это необходимо для имитации эффекта боке. Искаженная структура карты глубины может в результате, напротив, привести к понижению эстетики.

Стоит также осветить практическую значимость объявленной в работе проблемы. В настоящее время производители мобильных телефонов и смартфонов активно переходят на новый стандарт IP68 (ГОСТ 14254-2015) с повышенными требованиями к устойчивости работы под водой, что приводит к увеличению популярности подводной любительской съемки.

Для оценки практической применимости формулы коррекции РД, предложенной в статье (Konovalenko, 2018), мы собрали новый набор изображений шахматной доски, названный SWD (salt water distortion). Для оценки степени зависимости от показателя преломления использовалась вода с разной степенью солености (1, 13, 27, 40%), а для оценки применимости формулы коррекции к разным камерам данные собирались с использованием двух камер с разным углом обзора и фокусным расстоянием (теле- и широкоугольной камер мобильного телефона Huawei Mate 20 Pro). Новый датасет SWD состоит из 662 фотографий, для каждой из которых вручную были размечены все узлы изображения шахматной доски (всего 35 748 узлов).

В работе также описаны новые результаты численных экспериментов, подтверждающие практическую применимость формулы коррекции РД, а также приводится численное сравнение с референтным алгоритмом калибровки РД.

РЕФЕРЕНТНЫЙ АЛГОРТМ КАЛИБРОВКИ И ФОРМУЛА КОРРЕКЦИИ РАДИАЛЬНОЙ ДИСТОРСИИ

В работе (Sedlazeck, 2012) показано, что модель камеры-обскуры под водой, строго говоря, неверна, поскольку показатель преломления излучения под водой зависит от длины волны. Однако, согласно работе (Daimon, 2007), для дистиллированной воды 19°C коэффициент преломления варьируется от 1.332 для длины волны 656 нм до 1.343 для длины волны 404 нм, и пока такая вариация незначительна, результирующая угловая разница в преломлении также незначительна. К аналогичному заключению пришли и авторы работы (Shortis, 2015).

Альтернативой использованию модели камеры-обскуры является более сложная модель, так называемая модель non-single viewpoint (nSVP), дословный перевод которой “модель с не единственной точкой проекции”: если в традиционной модели камеры все падающие лучи проходят через одну точку, то в nSVP – они падают на каустическую кривую (Huang, 2015). Как пишут авторы в работе (Yau, 2013), стандартный калибровочный объект (шахматная доска) не подходит в таком случае, вместо этого предлагается новый калибровочный объект в виде перфорированной решетки, которая освещается двумя различными длинами волн света, образуя точно известную схему точечных источников света.

Таким образом, поскольку модель камеры-обскуры достаточно точна, а усложнение модели приводит к существенному усложнению калибровочной процедуры и сбора датасета, в работе исследовались только алгоритмы РД, в основе которых лежит классическая модель камеры-обскуры.

В этой категории существует множество алгоритмов калибровки РД (Long, Dongri, 2019), которые условно можно разделить на следующие группы.

• Алгоритмы калибровки, вычисляющие параметры исправления РД по серии изображений калибровочного объекта, например, шахматной доски (Zhang, 2000), плоского объекта с равномерно расположенными светодиодными лампочками (Zhang et al., 2012) или произвольного плоского текстурированного объекта (Brunken, 2020).

• Алгоритмы калибровки на основе активного зрения, вычисляющие параметры исправления РД по серии изображений сцены; информация о движении камеры известна в процессе калибровки (Duan, 2017).

• Алгоритмы самокалибровки, вычисляющие параметры исправления РД, проверяя корректность эпиполярного ограничения для серии изображений одной сцены, снятых с разных ракурсов (Lehtola, 2017).

• Алгоритмы самокалибровки, вычисляющие параметры камеры по единичному изображению сцены (Kunina et al., 2016; Xue et al., 2019).

Поскольку основной целью работы является проверка формулы пересчета параметров РД в лабораторных условиях, в качестве референтного в работе будет рассматриваться алгоритм, изложенный в работе (Zhang, 2000) как наиболее подходящий. Здесь и далее будем называть его классическим.

КЛАССИЧЕСКИЙ АЛГОРИТМ ИСПРАВЛЕНИЯ РАДИАЛЬНОЙ ДИСТОРСИИ

Алгоритм (Zhang, 2000) работает с набором фотографий, сделанных с разного ракурса, плоского калибровочного объекта в виде шахматной доски, с известными геометрическими параметрами. На этих изображениях определяются особые точки (узлы шахматной доски). Как было упомянуто ранее, этот метод является традиционным, и вычисление параметров модели дисторсии производится одновременно с вычислением внутренних параметров камеры (в модели камеры-обскуры) путем решения задачи нелинейной оптимизации.

Как правило, в алгоритме калибровки используется стандартная модель дисторсии (Brown, 1966), описывающая радиально симметричные искажения. В программной реализации алгоритма в библиотеке OpenCV используется модель, в которой преобразование координат точки изображения (в плоскости экрана камеры-обскуры) задается следующим образом:

где $\left[ {\begin{array}{*{20}{c}} x \\ y \end{array}} \right] - ~$ исходные координаты точки изображения, $\left[ {\begin{array}{*{20}{c}} {x{\kern 1pt} '} \\ {y{\kern 1pt} '} \end{array}} \right] - ~$ координаты этой точки на изображении после исправления дисторсии, $r = ~\sqrt {{{x}^{2}}~ + {{y}^{2}}} $, а ${{k}_{1}},~ \ldots ,{{k}_{6}}~ - $ коэффициенты дисторсии.

ФОРМУЛА КОРРЕКЦИИ РАДИАЛЬНОЙ ДИСТОРСИИ

В работе (Konovalenko et al., 2018) показано, что при известном показателе преломления воды поправка искажения, возникающего при погружении камеры, описывается преобразованием координат изображения в плоскости экрана камеры обскуры:

где $\left[ {\begin{array}{*{20}{c}} {x{\kern 1pt} '} \\ {y{\kern 1pt} '} \end{array}} \right]$ и $\left[ {\begin{array}{*{20}{c}} {x{\kern 1pt} ''} \\ {y{\kern 1pt} ''} \end{array}} \right]$ – координаты объекта на экране камеры обскуры при съемке над водой и под водой соответственно, $r~ = \sqrt {{{{\left( {x{\kern 1pt} '} \right)}}^{2}}~ + \;{{{(y{\kern 1pt} ')}}^{2}}} $, а n – показатель преломления воды.

НОВЫЙ ДАТАСЕТ “SALT WATER DISTORTION”

Съемку проводили с использованием современного мобильного телефона Huawei Mate 20 Pro. Данные были получены с двух камер – теле- (фокусное расстояние 2.35 мм) и широкоугольной камеры (фокусное расстояние 7.48 мм). Размер изображений одинаковый для обеих камер и равен 1459 × 1094 пикселей. В качестве калибровочного объекта использовали шахматную доску размером 13 × 9.1 см, с длиной стороны клетки 1.3 см (10 × 7 клеток).

Съемку изображений под водой проводили с использованием аквариума с водопроводной водой (соленость менее 1%). Полученный набор в пресной воде состоит из 48 и 56 изображений для каждой камеры соответственно. Далее соленость увеличивали при помощи поваренной соли до 13, 27 и 40%. Полученные наборы в соленой воде состоят соответственно из 34, 86, 88 изображений для телекамеры и из 47, 89, 80 изображений для широкоугольной камеры.

Координаты узлов изображения шахматной доски для всех собранных изображений определяли вручную. Координаты каждой точки указывали с субпиксельной точностью и в зависимости от ситуации узлу-прообразу шахматной доски. Ставили в соответствие либо точку в середине пикселя, либо точку на узле пиксельной решетки, либо точку на середине границы двух соседствующих пикселей. Примеры изображений и их разметки представлены на рис. 1, а–д. Датасет доступен для скачивания¹¹.

Стоит также перечислить технические трудности, возникавшие в процессе сбора датасета, повлиявшие в том числе на его облик:

• После спуска затвора камеры смартфона происходила программная обработка изображения из формата RAW, в результате чего итоговое изображение обрезалось, что в момент съемки не отображалось на экране смартфона. По этой причине получение доски на краю изображения, где, как известно, дисторсия максимальна, было затруднено. Пример гистограммы распределения узлов доски на исходном изображении представлен на рис. 2.

• Из-за движения воды во время срабатывания затвора и обработки изображения многие фотографии получались мутными. Такие фотографии приходилось исключать, так как из-за мутности некоторые узлы шахматной доски становились неразличимыми.

• При увеличении солености мутность воды также увеличивалась, так как используемая соль была недостаточно чистой и содержала примеси.

• Для съемки под водой использовалась ламинированная бумага с изображением шахматной доски. Из-за этого при некоторых ракурсах появлялись световые блики. Частично, где это мешало определить расположение узла шахматной решетки, такие фотографии также были отсеяны вручную.

ОЦЕНКА ТОЧНОСТИ ФОРМУЛЫ КОРРЕКЦИИ

В данной работе все численные эксперименты проводились для изображений, снятых только телекамерой смартфона.

Первоначальная калибровка камеры смартфона проводилась на воздухе при помощи классического метода с использованием сделанных на воздухе изображений из датасета SWD. Таким образом, исходная РД объективов была устранена, а параметры ее исправления были зафиксированы. Именно для изображений, исправленных с этими параметрами, применялась затем формула коррекции РД с разным показателем $n$ при подводной съемке. Размеченные точки шахматной доски для всех изображений в эксперименте также пересчитывали, согласно этим параметрам по формуле (1). На основе анализа структуры преобразованного множества размеченных точек и выполнялась оценка точности коррекции.

Для корректного сравнения результатов такого исправления параметры исправления РД под водой вычисляли классическим методом для каждой степени солености отдельно. После с использованием полученных параметров исправления РД производили преобразование размеченных точек. Аналогично предыдущему, на их основе оценивалась точность алгоритма коррекции.

В данной работе для классического метода калибровки использовалась программная реализация, представленная в библиотеке OpenCV^22,33. Пример коррекции изображения обоими способами представлен на рис. 3.

Эксперимент проводился одинаково для каждого типа солености. Оптимальные коэффициенты исправления дисторсии подбирались при помощи перекрестной проверки (размер части для обучения 75%, а валидационной – 25%) на тренировочном наборе (т.е. за исключением десяти тестовых изображений).

Для оценки качества исправления эффекта радиальной дисторсии выполнялся анализ структуры преобразованного множества размеченных точек: чем лучше точки, соответствующие одной прямой шахматной доски, “ложатся” на прямую линию, тем качественнее сделана калибровка. В данной работе оценивалось среднеквадратичное отклонение узлов до аппроксимирующей их методом МНК прямой – метрика 1, а также расстояние от прямой, построенной через угловые точки, и максимально удаленным узлом ей соответствующим – метрика 2. Вторая метрика особенно существенна для количественной оценки эффекта, поскольку вероятнее крайняя прямая окажется на границе изображения, где ошибки исправления РД особенно сильно проявляются. Для каждого набора изображений, соответствующего своему показателю солености, вычисляли четыре ошибки:

• M1 – среднее значение по метрике 1 на всем наборе изображений для всех прямых.

• M2 – максимальное значение по метрике 1 на всем наборе изображений среди всех прямых.

• M3 – среднее значение по метрике 2 на всем наборе изображений для всех прямых.

• M4 – среднее значение по метрике 2 на всем наборе изображений для наиболее удаленных прямых (для каждого изображения – одна такая прямая).

Координаты точек умножаются на одно и то же число, чтобы длина наибольшей стороны равнялась 1000 пикселям. Такая нормализация делается для устранения влияния скалирующего фактора при коррекции изображения.

Результаты эксперимента представлены в табл. 1. Из таблицы видно, что ошибки во всех средах после применения классического метода калибровки и формулы коррекции (2) намного меньше, чем ошибки до коррекции РД. Точность коррекции обоих методов сравнима, в некоторых случаях ошибка коррекции с использованием формулы (2) оказывается даже меньше. Из этого можно сделать вывод, что эта формула применима для коррекции РД, возникающей при погружении камеры под воду.

ЗАВИСИМОСТЬ ТОЧНОСТИ КОРРЕКЦИИ ОТ СТЕПЕНИ СОЛЕНОСТИ

Как известно, на показатель преломления воды влияют соленость и температура (Quan, Fry, 1995). В нашей работе для проведения экспериментов с различными показателями преломления варьировалась степень солености воды при комнатной температуре. Соленость воды контролировать технически проще, более того, она значительнее меняет показатель преломления воды.

Для исследования использовались четыре подводных набора изображений для телекамеры из датасета SWD, собранные нами в воде различной солености. Показатель преломления n = 1.33 соответствует дистиллированной воде, n = 1.40 – 40%-ному солевому раствору, т.е. уровню солености Мёртвого моря (Lide, 2004), а 13%- и 27%-ному солевым растворам соответствуют n = 1.35 и n = 1.37 соответственно.

Для каждого из этих наборов выполнялась коррекция по формуле (2) с разным значением задаваемого показателя преломления. Результаты проведенных экспериментов представлены в табл. 2. Эксперимент показал, что даже такие существенные изменения показателя солености незначительно влияют на точность итоговой коррекции: точность меняется не больше чем на 0.2.

Стоит также отметить, что для всех экспериментов ошибка возрастает с увеличением параметра показателя преломления. Это объясняется несовершенством способа нормировки изображения: с увеличением параметра преломления увеличивается степень искажения изображения, что приводит к увеличению итоговой ошибки при приведении наибольшей стороны шахматной доски к размеру в тысячу пикселей.

Из результатов данного эксперимента можно сделать вывод, что коррекция радиальной дисторсии по формуле (2) с показателем преломления 1.33 дает приемлемый по точности результат в большинстве случаев.

ОЦЕНКА КАЧЕСТВА РАБОТЫ АВТОМАТИЧЕСКОГО ДЕТЕКТОРА УЗЛОВЫХ ТОЧЕК ШАХМАТНОЙ ДОСКИ

Для автоматической оценки качества работы алгоритмов исправления РД необходима возможность программного поиска узлов калибровочного объекта – шахматной доски. Такую возможность предоставляет функция findChessboardCorners библиотеки OpenCV. Возникает закономерный вопрос: “Можно ли использовать данную функцию для оценки качества коррекции в наших экспериментах без использования датасета?”

Для ответа на этот вопрос достаточно сравнить результат детекции с размеченными точками в датасете SWD. Для каждого изображения оценивалось наибольшее евклидово расстояние между парой соответствующих точек, результаты сравнения представлены в табл. 3.

Приведенные результаты наглядно демонстрируют, что точность детектора узлов существенно ниже точности, с которой выполняется коррекция изображения. Большие значения в столбце с максимальными ошибками показывают, что имеются выбросы, которые делают неинформативными, по крайней мере, метрики М2 и М4. Наконец, результаты таблицы показывают, что с увеличением солености и мутности воды надежность такого способа измерения точности падает.

ЗАКЛЮЧЕНИЕ

В работе описан новый открытый набор данных для оценки точности алгоритмов калибровки радиальной дисторсии под водой с различными показателями преломления. Датасет состоит из 662 изображений шахматной доски, расположение узлов которой размечено вручную для двух различных камер.

На основе собранного датасета проведен ряд экспериментов по оценке практической применимости формулы коррекции радиальной дисторсии при погружении камеры под воду. По результатам проведенных экспериментов установлено, что точность коррекции РД по формуле не уступает полноценной процедуре калибровки для конкретных условий эксплуатации. Также показано, что неточность указания показателя преломления воды не существенно влияет на точность коррекции и он может быть выбран равным 1.33.

Таким образом, в данной статье экспериментально подтверждается, что использование формулы исправления радиальной дисторсии позволяет не только существенно упростить и удешевить эксплуатацию камеры под водой, но и сохранить точность калибровки на прежнем уровне.

Исследование выполнено при частичной финансовой поддержке РФФИ в рамках научных проектов № 17-29-03236 и 18-07-01387.