Программирование, 2022, № 5, стр. 3-14

РАСПОЗНАВАНИЕ И КООРДИНАТНАЯ ПРИВЯЗКА АВТОНОМНОГО НЕОБИТАЕМОГО ПОДВОДНОГО АППАРАТА К ОБЪЕКТАМ ПО ВИДЕОПОТОКУ

В. А. Бобков a*, А. П. Кудряшов a**, А. В. Инзарцев b***

a Институт автоматики и процессов управления ДВО РАН
690041 Приморский край, г. Владивосток, ул. Радио, д. 5, Россия

b Институт проблем морских технологий ДВО РАН
690091 Приморский край, г. Владивосток, ул. Суханова д. 5а, Россия

* E-mail: bobkov@dvo.ru
** E-mail: alkud1981@mail.ru
*** E-mail: inzar@marine.febras.ru

Поступила в редакцию 16.05.2022
После доработки 24.05.2022
Принята к публикации 01.06.2022

Полный текст (PDF)

Аннотация

Статья посвящена актуальной проблеме инспекции объектов подводной промышленной инфраструктуры с использованием автономного необитаемого подводного аппарата (АНПА). Выполнение инспекционной миссии требует высокой точности координации АНПА относительно объектов, что не всегда обеспечивается штатными гидроакустическими средствами. Поэтому предлагается подход, основанный на обработке стереоизображений, который может обеспечить необходимую в этих условиях субметровую точность координации. В рамках единого подхода, основанного на использовании априорно формируемой точечной модели объекта, и применении критерия структурной когерентности, предлагается и анализируется ряд методов, которые решают задачу распознавания подводных объектов и координатной привязки к ним АНПА. В качестве геометрической модели объекта рассматривается его представление из характерных точек, определяющее пространственную структуру объекта. Наряду со стандартным способом формирования модели объекта по предварительным измерениям предлагается и новый способ, основанный на применении автоматизированной методики формирования модели по снимкам в режиме офлайн. Предлагаемые методы распознавания объектов базируются на сопоставлении формируемых 3D-облаков точек с моделями объектов с применением критерия структурной когерентности. 3D-облака точек формируются из фиксируемых камерой стереоизображений методом визуальной навигации. Генерация и сопоставление характерных точек-особенностей осуществляется с помощью детекторов SURF и Harris Corner Detector. Для повышения достоверности идентификации объектов предлагается использование совместной обработки исходных изображений с их векторизованной формой. Использование получаемых векторизацией отрезков существенно увеличивает число идентифицируемых характерных точек при сравнении 3D-облака точек с моделью. На основе идентифицированных точек объекта вычисляется матрица координатной привязки АНПА к объекту. Приведены оценки сравнительной эффективности рассматриваемых методов. В вычислительных экспериментах с модельными сценами использовалась виртуальная геометрическая модель распределенного подводного добычного комплекса. Эксперименты с реальными данными проводились в лабораторных условиях с использованием стереокамеры Karmin2 (Nerian’s 3D Stereo Camera, baseline 25 cm).

Ключевые слова: автономный необитаемый подводный аппарат (АНПА), подводная промышленная инфраструктура, инспекция объектов, подводный добычный комплекс, стереоизображения, распознавание подводных объектов, сопоставление особенностей, координатная привязка, визуальная одометрия

1. ВВЕДЕНИЕ

В последнее время в связи с ростом подводной промышленной инфраструктуры (газовые и нефтяные трубопроводы, подводные добычные комплексы, кабели связи и передачи электроэнергии) возросла и актуальность проблемы автоматической инспекции подводных объектов с использованием автономных необитаемых подводных аппаратов-роботов (АНПА). Некоторый обзор по проблеме Subsea Infrastructure Inspection и обоснование необходимости разработки новых технологий на базе использования АНПА можно найти в [13]. Целесообразность применения АНПА определяется их более высокой эффективностью в сравнении с традиционно применяемыми привязными телеуправляемыми необитаемыми подводными аппаратами (ТНПА), особенно если речь идёт о работах, выполняемых на больших глубинах или подо льдом. Выполнение инспекционной миссии требует высокой точности координации АНПА относительно объектов при выполнении операций осмотра. Штатные средства бортовой навигации АНПА (доплеровские лаги, навигационно-пилотажные датчики, инерциальные и гидроакустические навигационные системы) для этих целей не подходят, поскольку координаты обследуемых объектов в общем случае известны с точностью, гораздо ниже требуемой для инспекции. Это оборудование может быть использовано для первоначального (грубого) сближения с объектом, но для координации АНПА, когда требуется высокоточное приближение подводного аппарата к объектам (включая посадку аппарата на объект), целесообразно использовать другие средства. В качестве таковых могут быть использованы звуковизоры или оптические изображения, получаемые видеокамерой АНПА.

Визуальная навигация потенциально позволяет получать необходимую в этих условиях субметровую и даже сантиметровую точность. Актуальность применения визуальной навигации для подводных сцен определяется также и тем, что во многих случаях карты морского дна отсутствуют. Кроме того, под водой недоступны широко применяемые навигационные системы GPS/ГЛОНАСС. Поэтому на разработку технологий автоматической инспекции подводных объектов на базе АНПА с обработкой видеоизображений и с интеграцией других сенсорных данных направлены усилия многих разработчиков. Ключевой задачей при этом в решении проблемы навигации АНПА в координатном пространстве инспектируемого подводного объекта является распознавание этого объекта. Поскольку расчет траектории движения АНПА делается методом визуальной навигации (МВН) [4], другой задачей является преодоление погрешности в точности навигации, свойственной визуальной одометрии при длительном перемещении АНПА. Также для реализуемой системы навигации на базе видеоинформации необходима высокая вычислительная производительность для обеспечения режима реального времени.

В проводимых в мире исследованиях по проблеме инспекции подводных структур затрагиваются разные аспекты, связанные с надежностью распознавания объектов и повышением точности навигации. В [59] представлены примеры разработки разных технологий навигации для АНПА, включая использование комбинаций разного типа сенсоров с различной прикладной направленностью. Однако в этих работах не решается задача расчета траектории АНПА непосредственно в координатном пространстве локального подводного объекта или комплекса объектов, и в неполной мере используется потенциал 3D-данных, получаемых обработкой видеоизображений.

В [10] предложен 3D-метод получения полной карты неизвестной среды с помощью АНПА с наполнением данных от разных датчиков, включая оптическое покрытие (optical coverage). Эффективность работы системы достигается за счет использования октодерева (octree).

В [11, 12] авторами настоящей статьи была предложена технология координатной привязки АНПА к подводному объекту, основанная на использовании предварительно заданной пространственной точечной модели объекта и применении критерия структурной когерентности при сравнении трехмерных точек объекта с моделью. А в другой работе, ими была рассмотрена интеграция двух сенсоров – стерео видеокамеры и линейного лазера для трекинга подводного трубопровода.

В [13] описана система с 3D-подводным лазерным сканером на АНПА для решения задачи simultaneous localization and mapping (SLAM).

В [14] представлен обзор и сравнение глобальных дескрипторов для целей распознавания 3D-объектов, когда 3D-модель объекта доступна априори.

В настоящей статье предлагаются и анализируются методы решения задачи распознавания и координатной привязки АНПА к инспектируемым подводным объектам по стерео видеопотоку. Методы разработаны в рамках подхода, основанного на использовании априорно формируемой точечной модели объекта и применении критерия структурной когерентности. Отличительной особенностью предлагаемых решений является совместная обработка исходных изображений с векторизованной формой и применение автоматизированной методики формирования геометрической модели объекта.

Последующий текст статьи организован следующим образом. Во втором разделе делается постановка задачи и описывается общий подход к ее решению. Третий раздел посвящен решению задачи распознавания и координатной привязки к объектам, включая методики, модели и алгоритмы. В том числе, описан точечный алгоритм распознавания с использованием модели объекта, построенной по снимкам, и показан расчет матрицы координатной привязки АНПА к объекту. В четвертом разделе обсуждаются результаты вычислительных экспериментов. В заключение кратко сформулированы результаты выполненной работы и обозначен дальнейший план работы по усовершенствованию полученных результатов.

2. ПОСТАНОВКА ЗАДАЧИ И ОПИСАНИЕ ПОДХОДА

Предполагается, что инспекция подводного добычного комплекса (ПДК) выполняется с использованием АНПА. Аппарат оснащен штатными средствами навигации, включая гидроакустическую навигационную систему, доплеровский лаг и комплекс навигационно-пилотажных датчиков. АНПА также оборудован цифровой стерео видеокамерой высокого разрешения и мини-бортовым компьютером с соответствующим программным обеспечением. Стереокамера фиксирует видеопоток в процессе движения подводного аппарата по запланированной в инспекционной миссии траектории. Для выполнения заданий инспекционной миссии (операции фотографирования элементов объектов ПДК, возможная посадка АНПА на объекты и т.п.) требуется субметровая точность координации АНПА относительно объектов ПДК. Поскольку штатные средства навигации не всегда обеспечивают высокоточную навигацию в условиях небольших расстояний до объектов, целесообразно применять навигацию по видеоинформации, которая потенциально может обеспечить прецизионную координацию АНПА по отношению к подводным объектам. Штатные средства в этом случае используются только для организации выхода АНПА к объекту инспекции. Инспектируемый комплекс ПДК состоит из нескольких объектов, распределенных на ограниченной площади (схематичный пример ПДК (виртуальная сцена) показан на рис. 1).

Рис. 1.

Подводный добывающий комплекс (виртуальная сцена).

Предполагается, что каждый объект может быть задан геометрической моделью, которая представляется 3D-характерными геометрическими элементами (ХЭ), определяющими пространственную структуру объекта. Координаты ХЭ заданы в системе координат (СК) модели объекта, а каждая СК объекта определена в СК модели ПДК. Чтобы обеспечить прецизионное движение АНПА в СК ПДК в режиме реального времени по видеоинформации, необходимо решать три взаимосвязанные задачи:

а) распознавание объекта при наличии предварительно заданной модели объекта (и модели ПДК в целом). Модель формируется по паспортным данным, определяющим ХЭ объектов, или по снимкам автоматизированным способом с участием оператора. Распознавание и идентификация объекта осуществляется с помощью алгоритмов, реализующих сопоставление с моделью объекта данных, получаемых из 2D-снимков. В свою очередь, сопоставленные с моделью 3D-элементы необходимы для вычисления матрицы преобразования координат, связывающей СК модели с СК АНПА в текущей позиции траектории АНПА;

б) задача координатной привязки состоит в непосредственном вычислении матрицы связи СК АНПА с СК модели ПДК. Наличие такой связи позволяет планировать инспекционную траекторию АНПА в координатном пространстве ПДК;

в) траектория движения АНПА в пространстве ПДК вычисляется методом МВН с учетом вычисленной матрицы связи. При длительном перемещении АНПА, необходимы те или иные способы/методы уменьшения накапливаемой погрешности МВН.

Известны два основных подхода к описанию объекта – точечный подход, когда построение 3D точечной модели объекта осуществляется на основе сопоставления точечных особенностей на исходных 2D-снимках, и подход на основе сопоставления 2D-линий, принадлежащих объектам. В первом случае обрабатываются исходные снимки в растровом формате, во втором случае используется векторная форма, получаемая после предварительной фильтрации и векторизации исходных снимков. Первый подход носит универсальный характер, поскольку он не использует специфики геометрической формы объекта. Второй подход целесообразен применительно к объектам искусственного происхождения, для которых, как правило, характерно наличие прямолинейных отрезков. В частности, это относится к подводным сценам, когда речь идет об объектах подводной промышленной инфраструктуры.

В предлагаемом подходе в качестве ХЭ рассматриваются характерные точки (ХТ) объекта (в основном угловые точки) и отрезки линий, характерные для искусственных объектов. При обработке стереоснимков используется известный детектор SURF (Speeded Up Robust Features) и детектор Харриса (извлечение угловых точек). Для получения 3D-координат точек применяется метод триангуляции лучей. Для решения задачи распознавания применяются оригинальные алгоритмы, основанные на критерии структурной когерентности (одинаковое взаиморасположение точек модели объекта и точек, видимых камерой АНПА) и на сопоставлении отрезков. Расчет траектории осуществляется, как было отмечено выше, методом МВН в каждой расчетной позиции траектории. Для снижения погрешности, порождаемой методом МВН, может быть использована ранее описанная авторами в своих работах виртуальная сеть координатной привязки.

3. РАСПОЗНАВАНИЕ ОБЪЕКТОВ

Получаемые камерой АНПА стереоизображения обрабатываются, как на уровне 2D, так и на уровне 3D, соответствующими методами/алгоритмами с целью получить 3D-множество ХЭ, состоящее из точек – особенностей (применяются детектор Харриса и детектор SURF) и прямолинейных отрезков (на векторизованных снимках). Распознавание объектов ПДК основывается на сравнении полученного множества с предварительно (до выполнения инспекции) сформированной моделью ПДК. Модель объекта может формироваться из различных элементов и разными способами.

Рассматриваются два приведенных ниже априорных способа формирования модели объекта:

а) элементами модели являются видимые пространственные точки, отрезки объекта (или другие геометрические элементы), характеризующие геометрическую форму объекта. Их относительное пространственное расположение задается в системе координат, связанной с объектом. Для расчета координат используются данные, получаемые из существующего описания объекта, или непосредственным измерением. Следует отметить, что при достаточно простой геометрической модели недостатком этого способа является то, что процесс выбора (человеком) ХТ на этапе формирования модели ПДК и процесс выявления особенностей на снимках (с помощью детектора Харриса) являются относительно независимыми друг от друга. Это приводит, как показали эксперименты, к возможным ситуациям с небольшим количеством идентифицированных точек модели ПДК, что негативно сказывается на точности привязки;

б) другой способ формирования модели объекта – использовать изображения объекта ПДК, предварительно полученные фотосъемкой с АНПА. Предполагается, что после установки ПДК на морское дно АНПА может получить снимки объектов ПДК с разных ракурсов, проходя по обзорной траектории. В этом случае можно применить автоматизированную методику формирования модели с участием оператора. Оператор, просматривая изображения в режиме офлайн, непосредственно на изображении указывает, какие элементы будут принадлежать модели объекта. Преимущество этого способа в сравнении с вышеуказанным является то, что в модель включаются оператором те элементы, для которых вероятность сопоставления на изображениях рабочей траектории выше. Это способствует сопоставлению большего числа элементов.

Возможны различные варианты алгоритмов распознавания объектов в зависимости от выбора ХЭ модели объекта и способов формирования модели.

3.1. Алгоритм распознавания по характерным точкам. Модель построена по измерениям пространственных точек, определяющим структуру объекта

3.1.1. Алгоритм с применением критерия структурной когерентности. В ранее выполненной авторами работе [11] для описания модели используются характерные точки (ХТ) P{P1, …, PN}, задающие пространственную структуру объекта, и множество измеренных расстояний D{di,j} между ХТ, где dij – расстояние между ХТ Pi и Pj. ХТ задаются в СК, связанной с объектом ПДК. Алгоритм поиска видимых камерой 3D-точек, соответствующих ХТ-м модели, основан на применении критерия структурной когерентности. Для сравнения используются отдельные выборки из двух множеств – множества модели P{P1, …, PN} и множества Ccloud(C1, …, CM}, полученного из снимков. Поэтому во множестве модели проверяются все возможные выборки точек из N по n, а во множестве Ccloud – выборки из M по n. Число комбинаций определяется числом сочетаний $С_{N}^{{n~}}$ = N!/n! (N – n)!. Число возможных выборок на множестве C определяется, соответственно, числом сочетаний $С_{N}^{{n~}}$ = = M!/n! (M – n)!.

С каждой выборкой $~S_{k}^{{model}}${P1, …, Pn} однозначно связано множество расстояний $D_{k}^{{model}}${$d_{{1,1}}^{{model}}$, …, $d_{{n - 1,n}}^{{model}}$} между точками данной выборки. Здесь $d_{{i,j}}^{{model}}$ расстояние между точками Pi и Pj. Аналогичным образом, с каждой выборкой $~S_{l}^{{cloud}}${C1, …, Cn} однозначно связано множество расстояний $D_{l}^{{cloud}}${$d_{{1,1}}^{{cloud}}$, …, $d_{{n - 1,n}}^{{cloud}}$} между точками данной выборки. Заметим, что $d_{{i,j}}^{{model}}$ = $d_{{j,i}}^{{model}}$, аналогично для точек Ci и Cj $d_{{i,j}}^{{cloud}}$ = $d_{{j,i}}^{{cloud}}$.

Число элементов в каждом из множеств $D_{k}^{{model}}$, $D_{l}^{{cloud}}$ равно n(n – 1)/2. Задача идентификации n ХТ ПДК была сведена к последовательному решению двух задач:

1. Нахождение такой выборки $~S_{l}^{{cloud}}$ из множества C, для которой существует выборка из модели $~S_{k}^{{model}}$, удовлетворяющая условию: $D_{l}^{{cloud}}${$d_{{1,1}}^{{cloud}}$, …, $d_{{n - 1,n}}^{{cloud}}$} = $D_{k}^{{model}}${$d_{{1,1}}^{{model}}$, …, $d_{{n - 1,n}}^{{model}}$}. Равенство множеств здесь означает, что они состоят из одних и тех же элементов, но не обязательно в одном и том же порядке.

2. Идентификация ХТ в выборке $~S_{l}^{{cloud}}$ означает, что для каждой точки Cm из найденной выборки $~S_{l}^{{cloud}}$ требуется найти соответствующую ей точку в модели.

Первая задача решалась перебором выборок из множеств P и C с проверкой указанного условия $D_{l}^{{cloud}}$ = $D_{k}^{{model}}$. Вторая задача решалась анализом индексов в формируемой таблице расстояний, куда отображаются все $d_{{i,j}}^{{cloud}}$ выборки $~S_{l}^{{cloud}}$.

Соответствие анализируемой точки Сi некоторой ХТ модели Pj устанавливается сравнением двух пар расстояний, в которых анализируемая точка фигурирует:

Если $d_{{i,k}}^{{cloud}}$ = $d_{{l,j}}^{{model}}$, а $d_{{i,n}}^{{cloud}}$ = $d_{{j,m}}^{{model}}$, то соответствующая точка модели определяется как пересечение {Pl, Pj} ∩ {Pj, Pm} = Pj.

Эксперименты подтвердили, что метод работоспособен, однако требует больших вычислительных затрат, связанных с комбинаторным характером используемых выборок. Другой недостаток метода – возможное небольшое количество сопоставлений при использовании детектора Харриса, что, в конечном счете, негативно сказывается на точности навигации.

3.1.2. Модификация метода за счет использования известных абсолютных координат нескольких ХТ объекта. Для уменьшения вычислительных затрат авторы модифицировали этот метод за счет существенного сокращения перебора выборок [12]. В этой работе исходили из предположения, что известны абсолютные координаты ограниченного числа ХТ модели (≥3) (на практике координаты в некоторых случаях могут быть зафиксированы при установке объекта на морское дно). В этом случае координаты ХТ модели могут быть пересчитаны в абсолютные координаты. Точки множества C тоже могут быть пересчитаны в абсолютные координаты с помощью МВН (с определенной, свойственной методу, погрешностью). А это, в свою очередь, позволяет рассматривать при сопоставлении для каждой ХТ модели только те выборки из множества C, которые содержат точки в окрестности анализируемой точки Pk модели. Это существенно сокращает перебор точек при формировании выборок. Эксперименты подтвердили вычислительную эффективность метода, позволяющую применять его в режиме реального времени.

3.1.3. Алгоритм распознавания по характерным точкам. Модель построена по снимкам. Алгоритм распознавания с априорно заданной моделью объекта по изображениям. При применении второго способа формирования модели объекта (указание оператором ХЭ объекта на изображениях предварительной/обзорной траектории АНПА) предлагается приведенный ниже универсальный алгоритм, предполагающий более высокую степень надежности распознавания в сравнении с рассмотренными выше.

1) Формирование модели

Предлагается автоматизированная методика формирования геометрической модели объекта. В режиме офлайн, основываясь на просмотре/анализе стерео видеопотока “предварительной/обзорной” траектории, оператор фиксирует один из видов. Для него сохраняется стереопара снимков (для последующего сравнения со снимками, полученными при движении АНПА по рабочей инспекционной траектории). И для него генерируется и сопоставляется с помощью детектора SURF множество точек на левом и правом снимке.

Оператор указывает в этом множестве точки, принадлежащие объекту, которые будут представлять модель объекта. Обозначим это подмножество M_2D (рис. 2). Также оператор указывает точки инспекционного интереса с внесением семантической информации.

Рис. 2.

Построение множества O_3D-пространственных точек, сопоставленных модели объекта. На стереопаре изображений im_L_mod и im_R_mod определена модель объекта. Стереопара изображений im_L_ auv и im_R_ auv получена из позиции рабочей траектории АНПА. Множества M_2D' и M_2D сопоставлены стереопаре модели. Множества Q_2D и Q_2D' сопоставлены на изображениях двух стереопар. Множество MO_2D сопоставлено множеству OM_2D. Множества OM_2D и OM_2D' сопоставлены на стереопаре позиции рабочей траектории АНПА.

Для сопоставленных точек множества M_2D строится 3D представление (триангуляция лучей), т.е. множество M_3D (в СК камеры).

На указанной оператором тройке 3D-точек из множества M_3D строится СКобъект. В качестве начала СКобъект фиксируется одна из угловых точек, а по двум примыкающим к ней ребрам строятся орты Z, X, Y (см. рис. 3).

Рис. 3.

Построение системы координат объекта по угловой точке P1 и двум примыкающим к ней ребрам-отрезкам P1P3 и P1P2. Точка P1 – начало СК, ось Z строится как нормаль к плоскости, образуемой ребрами-отрезками, (направлена вверх), а ось X берется по направлению отрезка P1P3 (по правилу правой СК). Ось Y берется как нормаль к плоскости ZX.

В эту СКобъект переводятся (из СК камеры) координаты всех точек M_3D. Таким образом, множество пространственных точек М_3D с зафиксированной, привязанной к объекту СКобъект является моделью объекта, которая используется при распознавании объекта уже непосредственно при движении АНПА по рабочей траектории.

2) Привязка АНПА к СК объекта из позиции рабочей траектории с использованием построенной модели

Описываемый ниже алгоритм распознавания объектов на снимках позиции рабочей траектории основывается на сопоставлении с 2D моделью объекта точечных особенностей, извлекаемых из снимков позиции рабочей траектории. Заметим, что извлечение точечных особенностей на снимках выполняется с помощью детектора SURF, применяемого в методе визуальной навигации для расчета движения АНПА по рабочей траектории. Поэтому непосредственная работа алгоритма распознавания объекта заключается в использовании этих точечных особенностей для получения, в конечном счете, 3D-множества точек, сопоставленного с 3D-моделью объекта. Далее представлена пошаговая схема алгоритма с учетом вышесказанного.

• Генерация на снимках полученной в позиции рабочей траектории стереопары с помощью детектора SURF множества точечных особенностей (метод визуальной навигации).

• Сопоставление с помощью SURF правого (левого) изображения этой стереопары с правым (левым) изображением модельной стереопары (метод визуальной навигации) – результат множество Q_2D, сопоставленное с Q_2D' (см. рис. 2). Из полученного множества Q_2D (сопоставленного с Q_2D') выделяем подмножество MO_2D = = M_2D ∩ Q_2D, содержащие точки модели, которые сопоставлены точкам на снимке позиции рабочей траектории (подмножество OM_2D).

• Для этих точек строим 3D-представление по стереопаре и получаем множество O_3D, пространственных точек в СК камеры позиции рабочей траектории. Эти точки предположительно принадлежат объекту и соответствуют точкам модели объекта.

• Поскольку точки множества O_3D-координированы и в СК камеры позиции рабочей траектории и в СКобъект, то по ним вычисляется матрица преобразований координат, связывающая СК камеры и СКобъект.

В расширенном варианте алгоритма при формировании модели рассматриваются и обрабатываются несколько смежных видов – тогда множество O_3D будет объединять точки объекта с разных видов. Объединение видов с приведением к одной СК обеспечивается применением МВН. Наличие нескольких видов повышает вероятность распознавания точек объекта во время движения АНПА по рабочей траектории. Также отметим, что процедура координатной привязки АНПА к объекту активируется только при попадании в область (окрестность – параллелепипед) потенциальной видимости объекта камерой.

3.2. Модификация метода за счет выделения отрезков на изображениях стереопары

Как было выше отмечено, использование детектора Харриса может приводить к небольшому числу точек на изображении, сопоставленных с моделью объекта. Для преодоления этого недостатка предлагается другая методика обработки снимков стереопары на этапе получения 3D-облака точек для последующего сопоставления с точечной моделью объекта. Методика основана на предварительной векторизации снимков и выделении прямолинейных отрезков, концевые точки которых и будут добавлены в 3D-облако. После формирования, объединенного указанным образом 3D-облака, работает любой из выше рассмотренных методов распознавания объектов.

Предлагается два алгоритма 3D-реконструкции отрезков по снимкам. Первый из них имеет “универсальный” характер, но требует больше вычислительных затрат в сравнении со вторым алгоритмом. Второй алгоритм требует меньше вычислительных затрат за счет меньшей “универсальности”. Рассмотрим каждый из них. Первые два шага общие для обоих алгоритмов:

– векторизация изображений стереопары;

– выделение “длинных” отрезков на векторизованном изображении.

3.2.1. Первый алгоритм 3D-реконструкции отрезков. Соответствие двух отрезков на левом и правом изображении означает, что обе камеры (левая и правая) “видят” один и тот же 3D-отрезок, но с разных ракурсов. Обнаружение соответствия основывается на сопоставлении его концевых точек. Сопоставление точек, в свою очередь, можно выполнить с помощью сравнения их дескрипторов на левом и правом снимке. Однако сложность определения соответствия заключается в том, что, в общем случае, на левом и правом изображении 2D-образы пространственного отрезка, видимого левой и правой камерой различаются между собой в силу двух обстоятельств. Во-первых, левая и правая камеры разнесены в пространстве, и, во-вторых, процесс векторизации изображений может давать разные длины 2D-образов отрезка на изображениях стереопары. Различие в положении левой и правой камеры в пространстве может приводить к различным вариантам видимости 3D-отрезка стереокамерой в пространстве сцены: отрезок полностью видим левой и правой камерой; отрезок видим одной камерой, но не видим другой (или камеры видят не перекрывающиеся фрагменты отрезка); камеры видят разные фрагменты отрезка, но у них есть общая видимая часть. Рассмотрим подробнее последний случай, как более сложный в алгоритмическом плане. При наличии общей видимой части пространственного отрезка, концевые точки его 2D-образов на левом и правом снимке, в общем случае, не соответствуют друг другу. Факт обнаружения общей видимой части отрезка (путем сопоставления на левом и правом снимке), будет говорить о соответствии рассматриваемых 2D-отрезков. Поиск соответствия 2D-отрезков на изображениях осложняется также необходимостью трудоемкого перебора отрезков на правом снимке при анализе каждого отрезка на левом снимке. Однако задача упрощается за счет использования эпиполярных ограничений для концевых точек отрезков (поскольку известна калибровка стереокамеры). Если построить на правом снимке эпиполярные линии для концевых точек “левого” отрезка, то возможно: а) сократить перебор отрезков на правом снимке за счет фильтрации отрезков, не отвечающих ограничению; и б) определить соответствие для концевых точек общего видимого фрагмента отрезка.

Алгоритм сопоставления отрезков заключается в следующем. Выполняется векторизация изображения на левом и правом снимке. Для концевых точек каждого анализируемого на левом снимке отрезка строятся эпиполярные линии на правом снимке. Они образуют сектор, внутри которого должен находиться сопоставленный отрезок. С учетом эпиполярного ограничения будем анализировать на правом снимке только те отрезки, которые полностью или частично попадают в сектор. Анализ соответствия пары {“левый” отрезок” ↔ “правый” отрезок}, основанный на использовании эпиполярных ограничений, как слева направо, так и справа налево, позволяет выделить общую видимую часть отрезка и установить соответствие концевых точек его левого и правого образа. Конечным критерием сопоставления является сравнение дескрипторов концевых точек. Если найдено соответствие для обеих концевых точек, то считаем, что отрезки сопоставлены.

На рис. 4 а, б иллюстрируются два варианта (из 4-х возможных) видимости пространственного отрезка на левом и правом изображениях, когда концевые точки образов отрезка на левом и правом изображениях не соответствуют друг другу.

Рис. 4

a. Сопоставление отрезков p1p2 и q1q2. Правый отрезок находится внутри сектора, образуемого эпиполярными линиями l1и l2. C1,C2 – центры проекций левой и правой камер; e и e' – эпиполюсы на левом и правом изображениях; P1P2 – 3D-отрезок, видимый из С1; p1p2 – образ отрезка P1P2 на левом изображении; Q1Q2 – видимый из C2 фрагмент отрезка P1P2; q1q2 – образ фрагмента Q1Q2 на правом изображении; l1, l2 – эпиполярные линии на правом изображении для точек p1, p2; $p_{1}^{'}{\text{,}}p_{2}^{'}$ – образы точек p1, p2 на правом изображении; m1, m2 – эпиполярные линии на левом изображении для точек q1, q2; $q_{1}^{'}q_{2}^{'}$ – образы точек q1, q2 на левом изображении. Отрезок q1q2 на правом изображении сопоставлен отрезку $q_{1}^{'}q_{2}^{'}$ на левом изображении. Рис. 4б. Сопоставление отрезков p1p2 и q1q2. Средняя часть правого отрезка находится внутри, а его концевые точки вне сектора, образуемого эпиполярными линиями l1и l2. C1,C2 – центры проекций левой и правой камеры; e и e' – эпиполюсы на левом и правом изображении; P1P2 – 3D-отрезок, видимый из С1; p1p2 – образ отрезка P1P2 на левом изображении; Q1Q2 – видимый из C2 отрезок; q1q2 – образ отрезка Q1Q2 на правом изображении; l1, l2 – эпиполярные линии на правом изображении для точек p1, p2; $p_{1}^{'}{\text{,}}p_{2}^{'}$ – образы точек p1, p2 на правом изображении. Отрезок $p_{1}^{'}p_{2}^{'}$ на правом изображении сопоставлен отрезку p1p2 на левом изображении.

Вариант 1. Отрезок на правом изображении лежит внутри сектора (обе концевые точки отрезка находятся внутри сектора) (рис. 4а):

– вычисляем точки пересечения $p_{1}^{'}$ и $p_{2}^{'}$ эпилиний l1 и l2 с линией отрезка q1q2;

– если концевые точки отрезка q1q2 находятся внутри сектора, то для концевых точек q1 и q2 отрезка на правом изображении строим эпиполярные линии m1 и m2 на левом изображении – вычисляем точки пересечения $q_{1}^{'}$ и $q_{2}^{'}$ эпилиний с отрезком p1p2;

– получаем дескрипторы для точек q1, q2, $q_{1}^{'}$, $q_{2}^{'}$;

– сопоставляем точки q1$q_{1}^{'}$ и q2$q_{2}^{'}$, сравнивая дескрипторы;

– если сопоставления нет, то переход к анализу следующего отрезка внутри сектора на правом изображении.

Вариант 2. Правый отрезок пересекается обеими эпилиниями (средняя часть правого отрезка находится внутри, а его концевые точки вне сектора) (рис. 4б):

– вычисляем точки пересечения $p_{1}^{'}$ и $p_{2}^{'}$ эпилиний l1 и l2 с линией отрезка q1q2;

– если концевые точки отрезка q1q2 находятся вне сектора, то получаем дескрипторы для точек p1, p2, $p_{1}^{'}$, $p_{2}^{'}$;

– сопоставляем точки p1$p_{1}^{'}$ и p2$p_{2}^{'}$, сравнивая дескрипторы;

– если сопоставления нет, то переход к анализу следующего отрезка внутри сектора на правом изображении.

Аналогичным образом осуществляется обработка всех других возможных ситуаций. В каждом из всех возможных случаев выделение образов “общего” фрагмента отрезка Q1Q2 (т.е. видимого на левом и правом изображениях) позволяет вычислить 3D-координаты этого фрагмента. В результате сопоставления всех отрезков на левом и правом снимках получаем два сопоставленных множества отрезков. По сопоставленным отрезкам строим множество E пространственных отрезков, видимых стереокамерой (используется стандартная процедура триангуляции лучей для построения 3D-концевых точек отрезков). На следующем этапе обработки данных это множество 3D-отрезков используется для построения видимых камерой 3D-угловых точек.

3.2.2. Второй алгоритм 3D-реконструкции отрезков. Пошаговая схема обработки данных:

– сопоставление отрезков на левом и правом изображении (используется оптимизированный перебор анализируемых отрезков) с применением следующих критериев (рис. 5):

Рис. 5.

Выделение отрезков на изображениях стереопары с последующим восстановлением 3D-координат их концевых точек методом триангуляции.

а) совпадение наклонов отрезков (с определенной погрешностью);

б) удовлетворение концевых точек отрезков эпиполярным ограничениям (поскольку известна калибровка камеры);

в) учет смещения образа отрезка на правом изображении по отношению к образу отрезка на левом изображении с учетом направления движения камеры.

Все удовлетворяющие этим критериям отрезки достраиваются до максимально видимой длины (с учетом эпиполярных линий);

г) оценка текстурной близости посредством вычисления коэффициента кросс-корреляции (полоса пикселей слева и справа от отрезка);

– восстановление 3D-координат концов полученных отрезков (методом триангуляции лучей).

Эксперименты подтвердили ожидаемое предположение, что при использовании концевых точек отрезков осуществляется более надежное распознавание объектов за счет того, что концевые точки отрезков хорошо сопоставляются с угловыми точками модели.

3.3. Координатная привязка АНПА к СК подводного объекта

После получения некоторого подмножества I идентифицированных во множестве C точек объекта решается задача вычисления матрицы преобразования координат из СК АНПА в СК объекта. В качестве СК объекта используется СК существующей модели объекта. Здесь следует заметить, что в подмножестве I может находиться та угловая точка, на которой построена СК модели, но может и не находиться. Поэтому рассмотрим два соответствующих варианта вычисления искомой матрицы преобразования координат из СК АНПА в СК объекта.

1. В первом случае задача решается просто. В подмножестве I ищем точку, сопоставленную точку модели, на которой построена СК модели объекта. На этой найденной точке строим СКобъект по обозначенному ранее правилу. Таким образом, задача заключается в вычислении матрицы преобразования координат, связывающей СКАНПА и СКобъект. Она решается следующим образом:

Пусть e1, e2, e3 – орты ${\text{С}}{{{\text{К}}}^{{{\text{объект}}}}}$, а r – вектор начала ${\text{С}}{{{\text{К}}}^{{{\text{объект}}}}}$, заданные в ${\text{С}}{{{\text{К}}}^{{{\text{АНПА}}}}}$. Тогда:

${{H}_{{{\text{С}}{{{\text{К}}}^{{{\text{объект}}}}}{\text{,}}{{{\text{К}}}^{{{\text{АНПА}}}}}{\text{\;}}}}} = \left| {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1x} \\ {e2x} \end{array}} \\ {\begin{array}{*{20}{c}} {e3x} \\ {rx} \end{array}} \end{array}~~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1y} \\ {e2y} \end{array}} \\ {\begin{array}{*{20}{c}} {e3y} \\ {ry} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1z} \\ {e2z} \end{array}} \\ {\begin{array}{*{20}{c}} {e3z} \\ {rz} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 0 \\ 0 \end{array}} \\ {\begin{array}{*{20}{c}} 0 \\ 1 \end{array}} \end{array}} \right|$

2. Во втором варианте задача усложняется тем, что в подмножестве I не нашлась угловая точка, на которой построена СК модели. Поэтому, сначала строится промежуточная система координат СКС_промежут на одной из точек подмножества I, и СКмодель_промежут на сопоставленной ей точке модели. Систему координат СКС_промежут можно связать с СКАНПА аналогичным образом:

${{H}_{{{\text{С}}{{{\text{К}}}^{{{\text{С\_промежут}}}}}{\text{,С}}{{{\text{К}}}^{{{\text{АНПА}}}}}}}} = \left| {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1x} \\ {e2x} \end{array}} \\ {\begin{array}{*{20}{c}} {e3x} \\ {rx} \end{array}} \end{array}~~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1y} \\ {e2y} \end{array}} \\ {\begin{array}{*{20}{c}} {e3y} \\ {ry} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1z} \\ {e2z} \end{array}} \\ {\begin{array}{*{20}{c}} {e3z} \\ {rz} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 0 \\ 0 \end{array}} \\ {\begin{array}{*{20}{c}} 0 \\ 1 \end{array}} \end{array}} \right|,$
где e1, e2, e3 – орты ${\text{С}}{{{\text{К}}}^{{{\text{С\_промежут}}}}}$, а r – вектор начала ${\text{С}}{{{\text{К}}}^{{{\text{С\_промежут}}}}}$, заданные в ${\text{С}}{{{\text{К}}}^{{{\text{АНПА}}}}}$.

Аналогичным образом свяжем СКмодель_промежут с системой координат модели объекта СКмодель_объекта.

Получим матрицу

${{H}_{{{\text{С}}{{{\text{К}}}^{{{\text{модель\_промежут}}}}}{\text{,С}}{{{\text{К}}}^{{{\text{модель\_объекта}}}}}}}} = \left| {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1x} \\ {e2x} \end{array}} \\ {\begin{array}{*{20}{c}} {e3x} \\ {rx} \end{array}} \end{array}~~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1y} \\ {e2y} \end{array}} \\ {\begin{array}{*{20}{c}} {e3y} \\ {ry} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {e1z} \\ {e2z} \end{array}} \\ {\begin{array}{*{20}{c}} {e3z} \\ {rz} \end{array}} \end{array}~~\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 0 \\ 0 \end{array}} \\ {\begin{array}{*{20}{c}} 0 \\ 1 \end{array}} \end{array}} \right|,$
где e1, e2, e3 – орты ${\text{С}}{{{\text{К}}}^{{{\text{модель\_промежут}}}}}{\text{,}}$ а r – вектор начала ${\text{С}}{{{\text{К}}}^{{{\text{модель\_промежут}}}}}{\text{,}}$ заданные в ${\text{С}}{{{\text{К}}}^{{{\text{модель\_объекта}}}}}$.

Тогда искомое преобразование HСК АНПА, СКмодель_объекта будет:

$\begin{gathered} {{H}_{{{\text{СК АНПА, СКмодель\_объекта}}}}} = \\ = {{{\text{(}}{{H}_{{{\text{С}}{{{\text{К}}}^{{{\text{С\_промежут}}}}}{\text{,С}}{{{\text{К}}}^{{{\text{АНПА}}}}}}}})}^{{ - 1}}} \cdot {{H}_{{{\text{С}}{{{\text{К}}}^{{{\text{модель\_промежут}}}}}{\text{,С}}{{{\text{К}}}^{{{\text{модель\_объекта}}}}}}}} \\ \end{gathered} $

Полученная матрица геометрического преобразования координат позволяет теперь вычислять траекторию АНПА в координатном пространстве объекта.

4. ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ

Для оценки эффективности рассматриваемых в статье методов был проведен ряд экспериментов с виртуальными сценами и с реальными данными. Эксперименты проводились на ПК: AMD Ryzen 7 3700X 8-Core 417 Processor 3.60 GHz // 32 Gb // AMD Radeon 5600XT. Реальные данные были получены с помощью стереокамеры Karmin2 (Nerian’s 3D-Stereo Camera, baseline 25 cm) в лабораторных условиях. Оценивалась точность и надежность координатной привязки АНПА к объектам сцены, а также вычислительная трудоемкость применяемых алгоритмов. Результаты сравнительной эффективности методов приведены в табл. 1. Из анализа полученных результатов можно сделать следующие выводы:

Табл. 1.

Сравнение методов

  Погрешность координации АНПА Надежность привязки (число выполненных привязок АНПА к объекту по отношению к числу возможных привязок) Вычислительные затраты в среднем на одну координатную привязку
Метод 1 * Вирт сцена (модель из 50 ХТ), расстояние до объектов – 6–8 м От 9 см до 40 см 6 из 54 0.2 сек на кадр
Метод 2 ** Вирт сцена (модель из 50 ХТ), расстояние до объектов – < 5 м до 6 см 4 из 18 0.02 сек на кадр
Метод 2 Реальная сцена (модель из 8 ХТ) (съемка камерой Nerian Karmin2, расстояние до объектов –1–1.5 м) до 3 см 2 из 15 0.03 сек на кадр
Метод 3 *** Вирт сцена (модель из 50 ХТ), расстояние до объектов – < 5 м от 8 до 20 см 12 из 18 0.07 сек на кадр
Метод 4 **** Вирт сцена (модель из 50 ХТ), расстояние до объектов – < 5 м От 7 до 12 см 14 из 18 0.1 сек на кадр

* – метод с применением критерия структурной когерентности. Используется модель объекта, построенная по ХТ (см. 3.1.1).

** – метод с использованием абсолютных координат нескольких ХТ. Используется модель объекта, построенная по ХТ (см. 3.1.2).

*** – использование концевых точек отрезков в качестве дополнения к множеству точек Харриса. Используется модель объекта, построенная по ХТ (см. 3.2).

**** – Используется модель объекта, построенная по ХТ, указанным оператором на снимках (см. 3.1.3).

1. Метод с использованием в модели ограниченного числа ХТ с известными абсолютными координатами позволяет принципиальным образом сократить вычислительные затраты за счет ограниченного перебора комбинаций при формировании проверяемых выборок.

2. Использование концевых точек отрезков, извлекаемых из векторной формы снимков, повышает вероятность распознавания объектов за счет увеличения количества сопоставляемых точек 3D-облака с моделью. Это приводит к повышению надежности привязки (в сравнении с методом, использующим только угловые точки Харриса).

3. Применение методики автоматизированного формирования модели по снимкам имеет два преимущества: а) не требуются априорные измерения координат ХТ на реальном объекте при формировании модели (или/и использование документации);

б) модель формируется из таких точек на снимках, для которых вероятность сопоставления точек 3D-облака с моделью выше, чем при использовании только точек Харриса. Поэтому для метода 4 надежность распознавания объектов и, соответственно, надежность координатной привязки АНПА к объекту оказалось даже выше, чем для метода 3. Однако вычислительные затраты несколько выше даже при условии, что не учитывались затраты на работу детектора SURF.

5. ЗАКЛЮЧЕНИЕ

В работе выполнен сравнительный анализ ряда методов/алгоритмов, предложенных авторами в рамках единого подхода, основанного на использовании априорно формируемой точечной модели объекта и применении критерия структурной когерентности. В том числе, предложены алгоритмы с использованием векторизованной формы исходных стереоизображений, и автоматизированная методика формирования геометрической модели объекта по снимкам. Проведенные вычислительные эксперименты с виртуальными сценами, и частично с реальными данными, подтвердили правомерность подхода. В дальнейшем планируется разработка методов распознавания с непосредственным использованием векторизованной формы изображений при формировании модели объекта. Также будут проведены эксперименты с реальными подводными сценами для получения более полной оценки эффективности предлагаемых методов.

Список литературы

  1. Mai C., Pedersen S., Hansen L., Jepsen K., Yang Zh. Subsea Infrastructure Inspection: A Review Study. 6th International Conference on Underwater System Technology: Theory and Applications. 2016. https://doi.org/10.1109/USYS.2016.7893928.

  2. Manley J.E., Halpin S., Radford N., Ondler M. Aquanaut: A New Tool for Subsea Inspection and Intervention. Proceedings of OCEANS 2018 MTS/IEEE Conference. 22-25 Oct. 2018. Charleston. USA. https://doi.org/10.1109/OCEANS.2018.8604508.

  3. Zhang Yu., Zheng M., An Ch., Seo J.K. A review of the integrity management of subsea production systems: inspection and monitoring methods. Ships and Offshore Structures. 2019. V. 14. Issue 8. P. 1–15. https://doi.org/10.1080/17445302.2019.1565071

  4. Nister D., Naroditsky O., Bergen J. Visual odometry. in: Proc. Int. Conf. Computer Vision and Pattern Recognition. 2004. P. 652–659. https://doi.org/10.1109/CVPR.2004.1315094

  5. Jacobi M. Autonomous inspection of underwater structures. Robotics and Autonomous Systems. 2015. V. 67. Issue C. P. 80–86. https://doi.org/10.1134/S2075108718010042

  6. Hou Y.Z., Pan Sh., Dai Ch. A Novel Underwater Simultaneous Localization and Mapping Online Algorithm Based on Neural Network. International Journal of Geo-Information. 2019. V. 9. № 1. P. 5. https://doi.org/10.3390/ijgi9010005

  7. Santos M., Guilherme Z., Otávio R.P., Drews-Jr P., Botelho S. Underwater place recognition using forward-looking sonar images: A topological approach. Journal of Field Robotics. 2019. P. 355–369. https://doi.org/10.1002/rob.21822

  8. Jongdae Jung, Ji-Hong Li, Hyun-Taek Choi, Hyun Myung. Localization of AUVs using visual information of underwater structures and artificial landmarks. Intel Serv Robotics. 2017. V. 10. P. 67–76. https://doi.org/10.1007/s11370-016-0210-9

  9. Bao J., Li D., Qiao X., Rauschenbach T. Integrated navigation for autonomous underwater vehicles in aquaculture: A review. Information Processing in Agriculture. 2020. V. 7. Issue 1. P. 139–151. https://doi.org/10.1016/j.inpa.2019.04.003

  10. Vidal E., Palomeras N., Istenič K., Gracias N., Carreras M. Multisensor online 3D-view planning for autonomous underwater exploration. J Field Robotics. 2020. P. 1123–1147. https://doi.org/10.1002/rob.21951

  11. Bobkov V.A., Kudryashov A.P., Inzartsev A.V. Technology of AUV High-Precision Referencing to Inspected Object. Gyroscopy and Navigation. 2019. V 10. № 4. P. 322–329. https://doi.org/10.1134/S2075108719040060

  12. Bobkov V., Kudryashov A., Inzartsev A. Method for the Coordination of Referencing of Autonomous Underwater Vehicles to Man-Made Objects Using Stereo Images. J. Mar. Sci. Eng. 2021. V. 9. P. 1038. https://doi.org/10.3390/jmse9091038

  13. Palomer A., Ridao P., Ribas D. Inspection of an underwater structure using point-cloud SLAM with an AUV and a laser scanner. J Field Robotics. 2019. P.1333–1344. https://doi.org/10.1002/rob.21907

  14. Himri K., Ridao P., Gracias N. 3D-Object Recognition Based on Point Clouds in Underwater Environment with Global De-594 scriptors: A Survey. Sensors. 2019. V. 19. 4451. https://doi.org/10.3390/s19204451

Дополнительные материалы отсутствуют.