Океанология, 2021, T. 61, № 3, стр. 479-490

ВВЕДЕНИЕ

В настоящее время для решения задач, связанных с визуальными исследованиями поверхности дна и подводных объектов, широко распространены методы фото- и видеонаблюдения [1, 3, 15]. К недостаткам данных методов можно отнести малую площадь, которую может единовременно охватить камера. Из-за свойств водной среды проведение оптических исследований возможно лишь на ограниченной высоте над поверхностью дна, вследствие чего площадь поверхности дна, видимая в кадре, зачастую не превышает значения порядка 10 м². Для преодоления этого ограничения широко применяется метод построения мозаик – композитных изображений, составленных из дискретных изображений меньшего масштаба [12, 13]. Для реализации этого метода в основном применяются телеуправляемые необитаемые подводные аппараты (ТНПА) или автономные необитаемые подводные аппараты (АНПА), оснащенные гидроакустическими либо инерциальными системами подводной навигации, позволяющими обеспечить точное позиционирование в пространстве. Аппарат движется по траектории, представляющей собой систему галсов, охватывающих необходимую площадь покрытия фото- или видеосъемки. Маршрут построен таким образом, чтобы изображения, полученные на соседних галсах, имели области перекрытия, позволяющие при обработке с высокой точностью разместить их в единой системе координат.

Однако не всегда есть возможность или необходимость производить подробное визуальное исследование существенной площади поверхности дна. Решение таких задач, как оценка структуры и численности популяции донных животных [1, 3], оценка морфологических свойств донного грунта с использованием фото- и видео аппаратуры [15], подразумевает движение аппарата-носителя по протяженной трансекте, зачастую определяющей последующий маршрут для отбора проб донным тралом или геологической драгой. Подобная методика применяется также при поиске и первичном осмотре затопленных объектов [4]. В этом случае широко применяются буксируемые необитаемые подводные аппараты (БНПА), оснащенные фото- или видеосистемами [10]. Аппараты такого типа дают возможность вести съемку длительное время, охватывая большие расстояния, с возможностью передачи данных в реальном времени. Для проведения глубоководных визуальных наблюдений в Институте океанологии (ИО РАН) был разработан БНПА “Видеомодуль”, с помощью которого, начиная с 2015 г., проводятся биологические, геологические исследования, а также осмотровые и поисковые работы в акваториях Карского моря, моря Лаптевых и Восточно-Сибирского моря [7].

Для повышения эффективности интерпретации данных, полученных в процессе фото- или видеонаблюдения поверхности дна с помощью буксируемых аппаратов, в ряде случаев целесообразно использование синхронной панорамной съемки с помощью гидролокатора бокового обзора (ГБО), который, в отличие от оптических инструментов, позволяет единовременно обозревать существенную площадь поверхности дна. Такой подход позволяет сочетать наблюдения микромасштабных (менее метра) процессов и явлений с помощью фото- или видеокамеры и мезомасштабных (десятки метров) элементов рельефа с помощью ГБО. Исходя из этих соображений, в 2018 г. БНПА “Видеомодуль” был оснащен высокоразрешающим ГБО, разработанным также в ИО РАН [5]. Данные, получаемые с помощью ГБО, представляют собой полутоновое изображение поверхности дна (сонограмму), сформированное строками, модулированными по яркости в соответствии с интенсивностью принимаемых эхо-сигналов [6]. При дальнейшей обработке может выполняться выкладка сонограмм на координатную плоскость в виде мозаики. При такой методике съемки полезно представление данных ГБО, фото- и видеоизображений в виде протяженной временнóй развертки [9]. Если изображение с ГБО изначально формируется именно таким образом, то фото- или видеоизображения необходимо предварительно “сшить” в мультиперспективное панорамное изображение (далее – панорама). Мультиперспективная панорама представляет собой мозаику, построенную при поступательном движении камеры преимущественно в одном направлении. В отличие от обычных панорам, в которых присутствует только вращение камеры относительно своего оптического центра [16], построение мультиперспективных панорам ведет к искажениям на стыках соседних кадров, связанным с изменением перспективы объекта съемки вследствие движения камеры. Работы [11, 14, 18] посвящены методам сшивки таких панорам и минимизации искажений в них на материалах видеозаписей, полученных на воздухе. Предлагаемый метод опирается на представленные в вышеуказанных работах рассуждения, с учетом специфики получения видеоизображений в подводной среде. Полученное панорамное видеоизображение сопоставляется с сонограммами, и вместе они дают комплексную картину о состоянии поверхности дна и подводных объектов.

МАТЕРИАЛЫ И МЕТОДЫ

Для получения видео- и гидролокационных данных БНПА “Видеомодуль” оснащен камерой высокого разрешения Beward BD3270Z с высокочувствительным КМОП-сенсором, позволяющим производить видеонаблюдение в условиях низкой освещенности, а также ГБО с линейно-частотно-модулированной (ЛЧМ) посылкой на несущей частоте 240 кГц, позволяющим получить изображение поверхности дна с разрешением в несколько сантиметров [5]. На рис. 1 приведено изображение БНПА “Видеомодуль”, совмещенное со схемой размещения оптических и гидроакустических сенсоров. Видеокамера высокого разрешения расположена в передней части аппарата. Ее оптическая ось направлена в надир перпендикулярно главной оси аппарата. Видеокадр ориентирован таким образом, что движение аппарата вдоль своей главной оси соответствует движению изображения в кадре сверху вниз. Аналогичным образом на мониторе формируется гидролокационное изображение. Антенны ГБО находятся в задней части аппарата на расстоянии 1.3 м от видеокамеры. Масштаб объектов в видеокадре определяется с помощью двух лазерных целеуказателей, расположенных на расстоянии 20 см друг от друга и направленных параллельно оптической оси камеры. Для определения местоположения БНПА как материальной точки в географических координатах используется судовая система навигации.

Работа алгоритма построения комплексного изображения происходит следующим образом: на первом этапе создается панорама на основе выбранного фрагмента видеозаписи. Фрагмент разбивается на видеокадры, производится поиск и сопоставление особых точек, на основе которых все изображения (видеокадры) помещаются в общую систему координат с определенным смещением относительно друг друга. Из каждого видеокадра определенным образом выбирается по одному узкому фрагменту (далее – строка). Фрагменты, выстраиваясь один за другим, образуют результирующее изображение. На втором этапе каждой строке ставится в соответствие строка изображения, полученного с помощью ГБО, с левого и правого канала (борта) соответственно. Все три изображения соединяются вместе таким образом, что в центре находится панорамное видеоизображение, а слева и справа от него – сонограммы соответствующих каналов ГБО. Блок-схема работы алгоритма изображена на рис. 2. Результаты работы алгоритма представлены на примере фрагментов четырех трансект.

Поиск особых точек и соответствий в видеоизображении. Выбранный фрагмент видеозаписи представляется в виде дискретной последовательности видеокадров. Видеокадрам соответствуют временны́е метки, с помощью которых в дальнейшем происходит связка панорамного видеоизображения и сонограмм ГБО. В каждом видеокадре осуществляется поиск особых точек и построение их дескрипторов с помощью алгоритма SIFT (Scale Invariant Feature Transform), широко используемого в том числе для задач подводного видения [12]. Для каждой пары последовательных изображений находятся соответствия точек путем сопоставления их дескрипторов. Для исключения из рассмотрения ложных соответствий применяется алгоритм RANSAC (Random Sample Consensus) [8]. Стоит отметить, что в подводном видеонаблюдении часто возникает ситуация, когда рассеяние среды препятствует фиксации камерой сколько-нибудь четкого объекта. В изображениях, полученных в таких условиях, может быть не найдено ни одной особой точки, или не найдено ни одного, либо слишком мало соответствий между точками изображения. В этом случае такие пары изображений помечаются как не поддающиеся расчету (“плохие”), однако они также учитываются при построении панорамы, что более подробно изложено ниже. На рис. 3 приведены примеры найденных соответствий между парами последовательных изображений. Хорошо видно, что особые точки корректно обнаруживаются на тех частях изображения, где присутствует контрастный объект.

Таким образом, имея на входе M пар изображений, в общем случае можно найти соответствия только в K парах, на основе которых будет выполнен расчет преобразования между последовательными видеокадрами. Остальные M–K пар изображений обозначены как “плохие”, и их обработка будет проведена отдельно.

Вычисление преобразования. В идеальном случае буксируемый аппарат движется строго параллельно своей главной оси на постоянной высоте над грунтом, и движение объектов на изображении ограничивается смещением по оси y (вертикальной оси изображения). В реальности из-за особенностей буксировки и сопротивления водной среды на некоторых участках траектории движения ориентация аппарата в горизонтальной плоскости может не совпадать с направлением его движения по маршруту. Если при построении панорамы видеоизображений руководствоваться вычислением классической матрицы гомографии или аффинного преобразования между последовательными видеокадрами, это может привести к искривлению результирующего изображения при выравнивании видеокадров в общей системе координат (X, Y) [18]. Так как задача состоит в построении прямого панорамного изображения, приближенного по своей структуре к сонограммам, то в предложенном методе используется модель движения камеры, учитывающая только смещение видеокадров относительно друг друга (рис. 4а). Движение БНПА в малом масштабе можно считать прямолинейным, поэтому поворот между видеокадрами полагается пренебрежимо малым и не учитывается в расчетах. В модели также не учитывается вертикальное смещение аппарата, связанное с изменением высоты буксировки или с качкой судна-носителя, что может привести к искажениям на панораме. Подобные искажения присутствуют и на гидролокационном изображении. Компенсация этих искажений не рассматривается в данной работе и является предметом дальнейших усовершенствований алгоритма. Для построения прямой вертикальной панорамы все вектора смещения полагаются параллельными вертикальной оси общей системы координат, а каждое изображения поворачивается на угол, равный углу отклонения вектора смещения данного изображения от оси Y, умноженному на минус единицу (рис. 4б).

Обозначим N соответствий точек ${{{\mathbf{x}}}_{i}} = {{[{{x}_{i}},{{y}_{i}}]}^{T}}$ и ${\mathbf{x}}_{i}^{{\text{'}}} = {{[x_{i}^{{\text{'}}},y_{i}^{{\text{'}}}]}^{T}}$ в паре последовательных видеокадров как ${{{\mathbf{x}}}_{i}} \leftrightarrow {\mathbf{x}}_{i}^{{\text{'}}},i \in 1,2...N$. Согласно выбранной модели движения, соответствующие точки на двух изображениях связаны уравнением

где ${\mathbf{t}} = {{[{{t}_{x}},\,{{t}_{y}}]}^{T}}$ – вектор смещения. Тогда для нахождения t необходимо решить переопределенную систему линейных уравнений (СЛАУ): где I_2×2 – единичная матрица. Эта задача решается методом наименьших квадратов с помощью сингулярного разложения матрицы коэффициентов СЛАУ [16]. Проведя эту операцию для всех K пар видеокадров, находим набор векторов смещения ${{{\mathbf{t}}}_{i}},i \in 1,2...K.$

Обработка “плохих” изображений и фильтрация выбросов. После выполнения первых операций, изложенных выше, для M пар видеокадров рассчитано K векторов смещения. Оставшиеся M–K пар изображений помечены как “плохие”, и вектор смещения для них не вычислен. Кроме того, среди вычисленных значений t могут встречаться выбросы (неверно вычисленные значения), которые также необходимо обработать.

Обработка включает в себя следующие шаги:

1) фильтрация выбросов: для обеих компонент t_i вычисляется среднее значение M_tx, M_ty и дисперсия $\sigma _{{tx}}^{2}$, $\sigma _{{ty}}^{2}$. Составляется выборка значений t_xi, t_yi, таких что

2) к полученной выборке применяется фильтр Савицкого–Голея [2], с помощью которого сглаживается шум в значениях t_i.

3) значения в исходном массиве t_i заменяются на отфильтрованные, пробелы заполняются методом линейной интерполяции.

Проведя эту процедуру для обеих компонент t_i, получаем непрерывный ряд из M векторов смещения для пар видеокадров, на основе которых формируется конечная панорама.

Выравнивание видеокадров и выделение строк. Для построения панорамы видеокадры помещаются в общую систему координат (X, Y) таким образом, что i-й видеокадр смещен по оси Y относительно предыдущего видеокадра на величину

и повернут относительно своего центра x_ci на угол –φ, где что схематично изображено на рис. 3. Таким образом, участки, где камера движется прямолинейно в определенном направлении, на панораме будут отображаться также прямолинейными участками, направленными вдоль вертикальной оси общей системы координат.

Финальным шагом для построения панорамы является выделение узких фрагментов видеокадров – строк, из которых формируется конечное изображение, и которым будут сопоставлены строки гидролокационных изображений. Поскольку изображения уже ориентированы так, что все вектора смещения направлены строго вертикально, в качестве строки выбирается прямоугольная область, ширина которой постоянна для всей последовательности видеокадров, а высота зависит от величины вектора смещения. Так как камера БНПА “Видеомодуль” ориентирована в надир, минимальные перспективные искажения видеокадра вдоль y приходятся на центр кадра, то есть на его центральную строку. Исходя из этих соображений, прямоугольную область следует строить вокруг центра i-го видеокадра ${\mathbf{x}}_{i}^{с} = {{[x_{i}^{c},\,y_{i}^{c}]}^{T}}$. Верхняя и нижняя границы этой области ($y_{i}^{{{\text{top}}}}$ и $y_{i}^{{{\text{bottom}}}}$ соответственно) полностью определяются величиной смещения $t_{i}^{{\text{'}}}$ текущего видеокадра относительно предыдущего и смещения $t_{{i + 1}}^{{\text{'}}}$ следующего видеокадра относительно текущего и рассчитываются по следующим формулам:

Таким образом, строки объединяются друг с другом, образуя непрерывное панорамное изображение.

Сопоставление панорамы и сонограмм ГБО. Каждому видеокадру последовательности соответствует временнáя метка, которая позволяет синхронизировать их с другими источниками данных. Так как ГБО и видеокамера БНПА “Видеомодуль” разнесены в пространстве на расстояние b = 1.3 м, то каждому видеокадру, полученному в момент времени t_CAM, соответствует строка гидролокационного изображения, полученная в момент времени t_SONAR = t_CAM + ∆t, где ∆t – время, за которое аппарат преодолел расстояние b.

Пусть известно географическое положение точки A, в которой находился аппарат в момент времени t_CAM съемки видеокадра. Тогда на маршруте съемки необходимо найти такую точку B, для которой расстояние между точками A и B будет равным расстоянию b между ГБО и видеокамерой. Поскольку антенны ГБО расположены сзади видеокамеры по ходу движения БНПА, то точку B следует искать впереди точки А по ходу движения аппарата. Тот момент времени, когда аппарат находился в точке B, будет моментом времени t_SONAR. Расстояние d_AB между точками A и B рассчитывается по формуле:

где (φ_А, λ_A), (φ_B, λ_B) – широта и долгота точки A и B соответственно, R_Earth – радиус Земли [17].

Полученный таким образом набор соответствий ${{t}_{{{\text{CAM}}i}}} \leftrightarrow {{t}_{{{\text{SONAR}}}}}_{i},i \in 1,2...M$, позволяет к каждой строке панорамы присоединить строку гидролокационного изображения.

РЕЗУЛЬТАТЫ

Работа алгоритма была проверена на данных, полученных в ходе экспедиций НИС “Академик Мстислав Келдыш” 2018 и 2019 гг. в Карское море. Одной из задач экспедиций являлись исследования радиационно-опасных подводных объектов, таких как реакторные отсеки атомных подводных лодок (АПЛ) и твердые радиоактивные отходы (ТРО), и окружающей их природной среды в Новоземельской впадине, а также в заливах Новой Земли. В табл. 1 приведено описание четырех маршрутных съемок (трансект), на материале которых было проведено построение представляемых комплексных изображений.

На рис. 5 приведены графики y-компоненты векторов смещения для каждой пары кадров видеозаписей, полученных на трансектах 1–4. В левом столбце представлены результаты первичного расчета векторов t_i. Пропущенные данные говорят о том, что в соответствующих парах видеокадров не было найдено особых точек либо достоверных соответствий между ними. Кроме того, в первичных данных присутствуют выбросы – неверно рассчитанные значения вектора смещения.

В среднем столбце представлена выборка из исходных значений и результат сглаживания с помощью фильтрации Савицкого–Голея. В правом столбце представлен результирующий массив y-компоненты векторов смещения, полученный заменой первичных значений на отфильтрованные, пропущенные значения восстановлены методом линейной интерполяции.

На рис. 6 приведены графики нормированных на единицу значений среднеквадратической ошибки сопоставления (Root Mean Squared Error, RMS) для каждой пары видеофрагментов в 4-х полученных панорамах. Результат показан для исходных значений вектора смещения (пропущенные “плохие” значения восстановлены методом линейной интерполяции) и для значений, сглаженных с помощью фильтрации Савицкого–Голея. Хорошо видно, что в некоторых случаях фильтрация не оказывает существенного влияния на результат, однако в ряде случаев (рис. 6.1, 6.4 ) она позволяет существенно уменьшить ошибку сопоставления видеофрагментов.

На рис. 7 приведены панорамы, построенные из кадров видеосъемки, проведенной на маршрутах 1–4. Для каждой панорамы приведен средний масштаб видеокадра, рассчитанный из положения отметок лазерных целеуказателей. На панораме 1 видны волнообразные искажения, которые являются следствием ограничения выбранной модели движения, не учитывающей изменение высоты аппарата над грунтом. На панораме 2 заметны полосы со скачками яркости, что связано с включением и отключением источников заливающего света на аппарате.

На рис. 8 приведены результирующие комплексные изображения для трансект 1–4. На изображении 1 видно, что искажения на панораме повторяют искажения гидролокационного изображения. Это особенно заметно по границе тени объекта на гидролокационном изображении. Комплексное изображение позволяет однозначно судить о том, какая именно часть объекта (затопленного судна) попала в кадр видеосъемки. Одновременно длина тени от объекта на гидролокационном изображении позволяет оценить высоту борта и других частей судна.

Изображение 2 представляет реакторный отсек АПЛ К-19. Хорошо заметна сетчатая структура шпангоутов и стрингеров разрушенного легкого корпуса отсека, повторяющаяся на видео и гидролокационном изображении. При этом на панораме заметны такие мелкие объекты, как отдельные детали оборудования межкорпусного пространства. Примечательно, что объект на панораме и на сонограмме ориентирован по-разному. Это говорит о том, что при проходе по маршруту БНПА сносило в сторону, и направление буксировки не совпадало с ориентацией видеокадра в горизонтальной плоскости.

Изображения 3 и 4 хорошо демонстрируют ограничения метода подводной видеосъемки в отсутствие дополнительных данных, получаемых с помощью ГБО. Группа контейнеров с твердыми радиоактивными отходами на изображении 3 и баржа с ТРО на изображении 4 обильно покрыты водорослями, что затрудняет визуальную идентификацию отдельных частей изображения. Для звуковых волн морская растительность практически прозрачна, поэтому на сонограммах детали объекта различаются более четко. При этом отдельные видимые детали на видеоизображении позволяют судить о состоянии объекта и возможных его повреждениях.

ЗАКЛЮЧЕНИЕ

В работе содержится описание метода синхронной гидролокационной и видеосъемки поверхности дна. Приводится описание алгоритма для построения панорамного видеоизображения и сопоставления ему гидролокационных изображений. Проведенный анализ полученных комплексных изображений показал, что комплексирование видео- и гидролокационных изображений может существенно повысить эффективность интерпретации данных исследований морфологии рельефа дна океана и состояния подводных объектов, получаемых с борта БНПА. Разработанный алгоритм позволяет создавать детальные комплексные изображения участков дна и подводных объектов, удобные для дальнейшего их анализа специалистами: биологами, геоморфологами, геофизиками и спасателями. На сегодняшний день алгоритм не учитывает некоторых особенностей движения подводного аппарата – носителя аппаратуры, что является предметом дальнейших исследований и разработок.

Благодарности. Авторы благодарят сотрудника ИО РАН Я.И. Белевитнева, а также экипаж и капитана НИС “Академик Мстислав Келдыш” Ю.Н. Горбача за помощь в подготовке и проведении экспериментальных исследований.

Источники финансирования. Работа выполнена в рамках государственного задания ИО РАН (тема № 0128-2021-0010) при поддержке РФФИ (проекты № 20-05-00384 “A” и № 18-05-60 070).