Известия РАН. Теория и системы управления, 2019, № 6, стр. 119-127

Введение. В настоящее время в связи с общим увеличением потока воздушных судов (ВС) в воздушном пространстве значительно возросла сложность их своевременного и качественного визуального осмотра при выполнении работ, связанных с техобслуживанием в аэропорту. Заметно выросло суммарное время простоя самолетов при внеплановых проверках, вызванных, например, воздействием атмосферного электричества на поверхность фюзеляжа самолета в полете. Внешний осмотр труднодоступных мест самолета, таких, как верхняя часть фюзеляжа или хвостовое оперение, для выявления последствий попадания молнии на сегодня отнимает значительное время, приводя к простою воздушных судов или даже к задержкам рейсов. Для компаний с численностью парка более 200 ВС, таких, как Аэрофлот, Airbus, Lufthansa, EasyJet, подобное событие не редкость: по подсчетам компании, это происходит примерно 300–400 раз в год, приводя к значительным временным и финансовым потерям. По мнению экспертов, использование программируемых беспилотников позволит значительно сократить время осмотра ВС и, что не менее существенно, сделать саму технологию полностью цифровой [1].

Бурное развитие методов искусственного интеллекта и их приложений открывает широчайшие перспективы для автоматизации различных областей техники. Методы машинного обучения [2] позволяют благодаря гибкому использованию обучающих данных выявлять закономерности и определять оптимальные параметры алгоритмов. Их применение дало возможность отойти от ручного поиска значений параметров и, в целом, эвристических подходов к решению задач. Алгоритмы на основе глубоких свeрточных нейронных сетей (ГСНС) [3] способствуют внедрению методов машинного обучения в решение задач обработки изображений и компьютерного зрения. Среди них – классификация изображений [4], детектирование [5], семантическая сегментация [6], устранение шума [7], искусственное увеличение разрешения [8] и мн. др. Несмотря на относительно недавнее появление, за счет их гибкости и мощности обучающих выборок нейросетевые алгоритмы смогли превзойти остальные подходы в ключевых соревнованиях [9, 10], достичь промышленных показателей точности и в ряде задач превзойти показатели человека [11]. Именно применение последних наработок в области детектирования объектов с помощью ГСНС позволяет реализовать предлагаемый технический проект.

В статье представлены основные этапы реализации автоматизированной технологии визуального контроля поверхности ВС с помощью программируемых беспилотников и установленных на их борту фотокамер, а также проанализированы компоненты специализированного программного обеспечения (СПО), необходимые для автоматизации технологии.

1. Задачи автоматизированной технологии визуального контроля поверхности ВС. В процессе технического обслуживания дрон пролетает над ВС по запрограммированной траектории и производит видеосъемку поверхности фюзеляжа и крыльев с достаточно высоким разрешением (рис. 1). После завершения полета полученные данные передаются на сервер, где осуществляется их обработка и запись в базу данных. Необходимо принять обоснованное решение о наличии повреждений на обшивке, запротоколировать обнаруженные повреждения и их точные координаты и возможно сравнить с результатами предыдущих осмотров. Каждое из этих действий связано с определенными техническими проблемами, требующими решения. Особый интерес представляет задача полной автоматизации процедуры осмотра поверхности ВС, включая программный контроль полета дрона и детектирование возможных повреждений обшивки с использованием современных интеллектуальных алгоритмов компьютерного зрения.

2. Оборудование. Все оборудование, установленное на беспилотном летательном аппарате (БПЛА), делится на съемочное и навигационное (рис. 2).

Съемочное оборудование включает стабилизирующий подвес и камеру высокого разрешения, с поддержкой видео и возможности онлайн передачи данных. Полетный контроллер обеспечивает управление подвесом и камерой в процессе съемки.

Навигационное оборудование БПЛА состоит из датчиков системы позиционирования и инерциальных датчиков. В современном исполнении – это отдельный инерциально-навигационный модуль, который осуществляет прием и обработку сигналов глобальных спутниковых навигационных систем (GPS, ГЛОНАСС и др.), регистрацию и обработку актуальных значений линейных и угловых ускорений БПЛА, транслируя на автопилот комплексную информацию о позиционировании и динамике движения БПЛА в пространстве.

Однако система визуального контроля ВС создается для работы в ангаре, где сигналы глобальных спутниковых систем практически отсутствуют. Поэтому внутри проекта решается задача разработки и создания собственной системы внутренней навигации (СВН), включающей систему сенсоров и СПО для обработки их данных в реальном времени.

3. Система внутренней навигации. Навигационное оборудование для поставленной задачи может включать в себя различные сенсоры, которые позволяют в любой момент времени определять актуальные значения линейных и угловых координат БПЛА и передавать на автопилот комплексную информацию о позиционировании и динамике движения БПЛА в пространстве.

В рамках проекта разработана оригинальная схема организации СВН. По пространству ангара определенным образом размещаются видеокамеры, параметры ориентирования которых известны с высокой точностью в локальной системе координат, связанной с ангаром. Камеры подключены к серверу, который осуществляет прием и обработку данных. Сам дрон рассматривается как целевой объект, который детектируется с помощью СПО сервера на кадрах видеопотока, получаемого сервером с камер. Затем по данным с нескольких камер вычисляются трехмерные координаты дрона в локальной системе координат и передаются на автопилот дрона по радиоканалу. Автопилот осуществляет пилотирование дрона по заранее сформированному маршруту облета ВС и корректирует отклонения от траектории на основе полученных данных о своем текущем положении.

В рассматриваемом варианте СВН выбрана схема, где в качестве сенсоров для обнаружения дрона используются обычные видеокамеры видимого диапазона, размещенные по пространству ангара определенным образом (рис. 3). После монтажа видеокамер производится калибровка системы, в результате чего с высокой точностью вычисляются параметры ориентирования всех камер в локальной системе координат (СК). Так как маршрут облета ВС дроном формируется в системе координат, связанной с ВС, то необходимо произвести привязку локальной СК к СК ВС. Это можно осуществить также по изображениям с камер с помощью метода динамических контурных эталонов [12].

Задача детектирования дрона в кадре решается на основе современных машинно-обучаемых алгоритмов с применением ГСНС. Благодаря гибкости выбранных алгоритмов детектирования система может легко перестраиваться на работу с изображениями объектов из любого выбранного класса при наличии обучающих данных. Основой алгоритма обнаружения стала нейросеть с архитектурой YOLOv3 (You Only Look Once) [13]. Она представляет собой традиционную однопроходную сеть, в которой за слоями вычисления признаков на изображении (по ячейкам) стоят слои регрессии параметров ограничивающих прямоугольников объектов. Архитектура сети обеспечивает удачный компромисс точности и производительности. Производительность особенно важна, так как данные по положению дрона должны определяться в реальном масштабе времени.

Качественное обучение нейронной сети требует большого массива размеченных обучающих данных. Для того чтобы автоматизировать процесс их подготовки и избежать длительной ручной разметки данных, были разработаны два алгоритма искусственной генерации обучающих примеров. Первый алгоритм основывается на использовании видеореалистичных трехмерных моделей дронов. С его помощью можно получить сколь угодно большое количество синтетических изображений, варьируя параметры положения и ориентации объектов. Второй заключается в автоматическом аннотировании кадров видеозаписей полета дрона (т.е. указании его положения на снимке) на основе анализа оптического потока. За счет этого алгоритма можно создать обучающие примеры из реальных изображений, полученных установленными в системе камерами. Данные алгоритмы вместе позволяют в короткие сроки создавать обширные коллекции обучающих данных и с их помощью адаптировать алгоритм детекции под новые типы объектов и условий съемки. Пример обучающего изображения и ограничивающего прямоугольника объекта, предсказанного детектором на реальном изображении, показан на рис. 4.

В ходе испытаний со съемками в закрытом помещении количественные показатели работы детектора дронов составили: 98.99% по точности (доля верных обнаружений среди всех срабатываний детектора), 96.08% по полноте (доля обнаруженных объектов среди всех имевшихся объектов) и 96.06% по средней точности определения ограничивающего прямоугольника по коэффициенту Жаккрада (intersection over union, IoU). Полученный алгоритм детектирования с одновременной классификацией позволяет обрабатывать 10 кадров в секунду на четырех камерах параллельно на одном графическом ускорителе типа NVIDIA GeForce GTX 1060 6Gb.

Для того чтобы положение дрона было определено надежно, а загораживания были исключены, в системе используется массив из 6–8 камер. Для восстановления трехмерных координат дрона по его координатам на изображениях камер на основе методов цифровой фотограмметрии разработана следующая схема.

Перед началом расчетов производится устранение дисторсии изображений по модели Брауна–Конради [14, 15] по формулам

где x_d, y_d – измерения на изображениях, x_p, y_p – значения измерений после устранения искажений, k₁, k₂, k₃, p₁, p₂ – коэффициенты дисторсии камер,  f – фокусные расстояния камер, r – расстояние от точки измерения до оптического центра снимка.

В настоящее время существует много методов восстановления координат по измерениям на нескольких изображениях. Они отличаются способом выбора критерия оптимизации и способом решения оптимизационной задачи [16]. В данной работе был использован метод, который является частным случаем блочной триангуляции по методу связок [3]. Так как параметры ориентирования камер известны, определяются только три неизвестных значения координат дрона. В качестве матрицы весов берется единичная матрица.

Математической основой метода связок являются известные уравнения коллинеарности:

где i – номер снимка, i = 1, …, n, n – число используемых камер, X, Y, Z – координаты проецируемой точки, f_i – фокусное расстояние i-й камеры, $x_{p}^{{'i}}$, $~y_{p}^{{'i}}$ – координаты проекций трехмерной точки (X, Y, Z) на i-й снимок, $\left( {\begin{array}{*{20}{c}} {a_{1}^{i}}&{a_{2}^{i}}&{a_{3}^{i}} \\ {b_{1}^{i}}&{b_{2}^{i}}&{b_{3}^{i}} \\ {c_{1}^{i}}&{c_{2}^{i}}&{c_{3}^{i}} \end{array}} \right)$ – матрица поворота i-го снимка, $X_{g}^{i}$ , $Y_{g}^{i}$ , $Z_{g}^{i}$ – координаты центра проекции i-го снимка.

Минимизируется сумма квадратов ошибок проекции трехмерных координат на изображения S:

где $x_{p}^{i}$, $y_{p}^{i}$ – значения измерений после устранения искажений для i-го снимка.

Задача определения трехмерных координат дрона X решается методом последовательных приближений [13]. Задается начальный вектор трехмерных координат для нулевой итерации X₀. Начальное значение координат X₀ определяется по первым двум изображениям, образующим стереопару. В настоящее время существует много различных методов восстановления трехмерных координат по двум измерениям. Это и классический метод советской школы, когда восстановленная точка лежит на одном из проектирующих лучей [14], и современные методы, использующие различные критерии оптимизации и существенную матрицу [16]. В данной работе был применен новый метод, который минимизирует ошибку отклонения трехмерной точки от проективных лучей и не требует итеративных методов. Из-за ошибок измерения проективные лучи, восстановленные по измерениям, не пересекаются. Поэтому определяется минимальное расстояние между этими лучами.

Векторы лучей проекции считаются по формулам

где A₁, A₂ – матрицы поворота первого и второго снимков, $x_{p}^{1},\;~x_{p}^{2},\;~y_{p}^{1},\;~y_{p}^{2}$ – значения измерений после устранения искажений для первого и второго снимков,  f₁,  f₂ – фокусные расстояния первой и второй камер.

Ищется минимум выражения

где ${\mathbf{X}}_{{\mathbf{g}}}^{1}$ , ${\mathbf{X}}_{{\mathbf{g}}}^{2}$ – координаты центров проекций первого и второго снимков.

Координаты измеренной точки на нулевой итерации X₀ определяются по формуле

На каждом последующем шаге итерации трехмерные координаты задаются соотношением

где  j – номер итерации, ΔX – приращения вектора координат на очередном шаге итерации.

Приращение ΔX ищется как решение системы линейных уравнений с тремя неизвестными:

где A – матрица частных производных функций δx_i, δy_i (3.5), (3.6) по трем определяемым координатам для всех измерений i, размерность 3 × 2n; B – вектор невязок из уравнения (3.5), (3.6), размерность 2n.

Полученные значения X_{j + 1} подставляются в уравнения (3.3), (3.4) для следующего шага итерации. Итерации заканчиваются, когда величина приращения координат становится меньше заранее заданного порога ε:

Вычисленный таким образом вектор X_J, где J – номер последней итерации, определяет текущие координаты дрона в локальной системе координат ангара. Эти координаты передаются на автопилот дрона и сравниваются с программными значениями, после чего автопилот осуществляет коррекцию траектории в соответствии с заданным маршрутом облета ВС.

4. Автоматизация детектирования повреждений. Видеозаписи, сделанные дроном в процессе съемки ВС, позволяют определить наличие повреждений или других артефактов обшивки ВС и их местоположение. Анализ данных производится на сервере после получения видеозаписей с борта дрона. Для автоматизации обработки видеоданных была решена задача создания машинно-обучаемого детектора и классификатора повреждений на основе ГСНС также с архитектурой YOLOv3 [13], но обученной на детекцию других объектов. Для обеспечения надежности и гибкости детектора было произведено обучение на большом количестве специально подготовленных данных. С целью снижения затрат на ручную разметку тренировочных изображений, был создан специальный модуль, синтезирующий массив обучающих данных на основе небольшого числа базовых примеров (рис. 5). Огромный объем получаемой обучающей выборки позволяет добиться высокой степени робастности и инвариантности работы детектора к условиям съемки, ракурсным и фотометрическим особенностям снимков. Автоматизация генерации обучающих примеров позволяет оперативно перестраивать работу детектора в зависимости от решаемой задачи и поступающих данных.

В процессе работы СПО анализа видеосъемки поверхности ВС видеозаписи разбиваются на отдельные кадры, на каждом из которых производится поиск и локализация повреждений. Затем происходит анализ всей последовательности обнаружений (трекинг) с целью объединения информации, выявления и отслеживания только уникальных артефактов. Анализ последовательности осуществляется на основании прогноза движения объекта в кадре, который строится с помощью фильтра Калмана. Это позволяет заполнять возможные пропуски детектирования на нескольких кадрах, а также отождествлять обнаружения объекта на последовательных кадрах, формируя, таким образом, реальную траекторию движения исследуемых повреждений на видеозаписи.

Для анализа надежности алгоритмов необходима проверка результатов работы детектора на базе реальных данных. Такая база была создана на реальном ВС ИЛ-76 с имитацией посторонних объектов на обшивке (рис. 6) и были проведены испытания в ремонтном ангаре публичного акционерного общества “Авиационный комплекс им. С.В. Ильюшина” в г. Жуковский. В ходе испытаний показатели качества обнаружения посторонних объектов в эксперименте составили: 98.57% по точности (доля верных обнаружений среди всех срабатываний детектора), 98.61% по полноте (доля верных обнаружений среди всех срабатываний детектора) и 86.97% по точности определения ограничивающего прямоугольника объекта по коэффициенту IoU.

Несмотря на сложность применяемых для распознавания методов на основе ГСНС, при выполнении вычислений на графических ускорителях (GPU) можно строить на их основе алгоритмы реального времени. Полученный алгоритм детектирования с одновременной классификацией позволяет обрабатывать 10–25 кадров в секунду. Однако в разрабатываемой технологии визуального контроля ВС это требование не рассматривается как существенное, поскольку последующая запись и обработка данных должны осуществляться на сервере в стационарных условиях.

5. Обработка и запись списка повреждений в базу данных (БД). При последующей обработке данных видеосъемки формируются записи в БД на каждое диагностируемое повреждение, включающие его снимок с графической разметкой, вычисленные пространственные координаты и, возможно, некоторые дополнительные данные. Предполагается, что система управления базами данных (СУБД) должна обеспечивать доступ к сведениям о предыдущих обследованиях самолета и прежде всего обнаруженных на тот момент повреждениях поверхности и их ремонте. Такая система организации данных позволит сделать процедуру текущего осмотра ВС более эффективной. В любом случае созданный программой список обнаруженных повреждений должен быть проверен специалистами компании, а результаты проверки было бы целесообразно включать в электронный журнал.

6. Организация корпоративной БД. Запись в БД представляет собой краткий отчет о текущем техническом осмотре поверхностей крыльев и фюзеляжа ВС по фиксированному протоколу. Она хранится на локальном сервере в аэропорту, где производился осмотр. Для большой компании актуальным является вопрос о централизованном хранении данных на все ВС за все время их эксплуатации. В этом случае данные со всех локальных серверов должны пересылаться на центральный сервер компании, где производится их агрегирование. По мнению многих экспертов, такой способ обработки и хранения данных повысит отслеживаемость повреждений и позволит предотвратить возникновение дефектов, угрожающих безопасности полетов.

Заключение. В статье приведено описание автоматизированной технологии визуального контроля поверхности ВС с использованием программируемых беспилотников. Экспериментальный вариант технологии реализован на производственной базе ФГУП ГосНИИАС и в настоящее время работа по созданию промышленного образца продолжается.

При разработке технологии особое внимание было уделено вопросу навигации дрона в помещении, где сигнал GPS слаб или недоступен, а также вопросам алгоритмического обеспечения и создания СПО для обнаружения как дрона, так и повреждений поверхности ВС. Технология прошла предварительную апробацию на натурных испытаниях. Испытания были проведены специалистами ГосНИИАС на ремонтной базе публичного акционерного общества “Авиационный комплекс им. С.В. Ильюшина” в г. Жуковский.

Для съемок были выбраны самолеты семейства Ил-76. Съемки проводились в закрытом ангаре (рис. 7), где условия практически полностью соответствуют предполагаемым условиям работы комплекса. В ходе натурных испытаний был произведен облет дроном реального ВС и осуществлена видеосъeмка поверхности крыла с борта дрона. После этого производилась обработка видеозаписи в СПО с целью детектирования и идентификации тест-объектов заданных классов, размещенных заранее на поверхности крыльев ВС.

В ходе натурных испытаний были проверены и скорректированы оптимальные параметры съемки, определенные ранее в испытаниях на модельном объекте. Также было проведено тестирование СПО, показавшего высокую эффективность при детектировании и распознавании тест-объектов на видеозаписи.