Известия РАН. Теория и системы управления, 2021, № 3, стр. 39-56

Введение. Стремительный прогресс в технических характеристиках беспилотных летательных аппаратов (БЛА) позволяет применять их в широком спектре приложений от видеонаблюдения и аэрофотосъемки до автономной доставки грузов в труднодоступные районы. Рост числа приложений, где используются БЛА, во многом основан на достижениях в области интеллектуальной обработки информации как в части планирования миссий, так и в части методов анализа сенсорной информации от датчиков БЛА, позволяющих анализировать оперативную обстановку и, при необходимости, оперативно изменять план миссии.

Важной задачей, решение которой без использования БЛА представляется весьма сложной и ресурсоемкой, является задача наблюдения (мониторинга) мобильных объектов в заданном районе. К такого рода задачам относятся мониторинг транспортных средств при их движении по заданному маршруту, контрольно-спасательный мониторинг спортивно-туристических групп в труднодоступных и опасных районах, мониторинг спортивных соревнований на обширной территории и др. При этом с ростом числа наблюдаемых объектов и увеличением контролируемой территории возрастает необходимость организации мониторинга группой БЛА, взаимодействующих между собой с целью обеспечения оптимального решения задачи.

Для эффективного мониторинга мобильных объектов необходимо решить три взаимосвязанных и взаимообусловленных подзадачи.

1. Предполетное планирование миссии с учетом имеющейся информации о параметрах движения контролируемых мобильных объектов.

2. Вывод БЛА в заданные точки контроля объектов и подтверждение/неподтверждение наличия заданного объекта в заданной области, в том числе и с помощью средств технического зрения.

3. Оперативное изменение плана миссии в соответствии с результатами выполнения подзадачи 2.

Сложность планирования названных наблюдений обусловлена, с одной стороны, многокритериальностью задачи выбора для каждого БЛА очередного наземного объекта с учетом условий их видимости и, с другой стороны, необходимостью координации групповых действий БЛА при многомерной маршрутизации и распределении между ними объектов наблюдения. Особую трудность представляет выполнение требования своевременного наблюдения изменяющих свое состояние динамических объектов (в первую очередь мобильных) “в нужном месте и в нужное время”, согласно указанному графику. Кроме того, в связи с неопределенностью динамической обстановки при существенном изменении важности объектов и их состава при получении новой видеоинформации требуется оперативное перепланирование групповых действий, которое занимает центральное место по сравнению с выполнением предполетного задания.

Анализ состояния последних исследований по данному направлению показывает, что вопросам маршрутизации групповых действий уделяется повышенное внимание [1–17]. Однако к числу известных эвристических методов относятся “жадный” алгоритм и алгоритм Дейкстры, пригодный только для одномерной маршрутизации, а методы направленного поиска (например, метод ветвей и границ) обладают большой трудоемкостью вычислений [1–5]. Кроме того, фактор несвоевременности мониторинга выбранных пунктов наблюдения не учитывается, в том числе в задачах целераспределения [4–6, 13, 14]. Также не уделяется должное внимание совместному нахождению маршрутов и расписания с учетом переменной важности объектов [13, 14, 18]. Таким образом, в известных подходах к планированию миссий не учтен главный фактор – время выполнения каждой операции перелета и самого наблюдения, что особенно важно в динамической обстановке.

Для указанных условий установлено, что ни один отдельно взятый подход к решению многокритериальной задачи не способен обеспечить общее решение. Поэтому предлагается поэтапное решение задачи, основанное на сочетании методов оптимального управления и элементов искусственного интеллекта на этапах предполетного и оперативного планирования групповых действий БЛА.

В данной работе предлагаются методы и алгоритмы комплексного решения трех названных выше подзадач мониторинга мобильных объектов:

− генетический алгоритм многомерной маршрутизации при формировании полетного задания;

− нейросетевые методы обнаружения и распознавания наземных объектов с помощью средств технического зрения;

− алгоритм оперативного планирования при распределении объектов наблюдения между БЛА по минимаксному критерию;

− метод нечеткой логики для оценки допустимой длительности поиска наземных объектов при их наблюдении;

− единый подход к решению задач многомерной маршрутизации и оперативного планирования.

1. Постановка задачи и предлагаемый подход к ее решению. Ставится задача формирования автоматизированной интеллектуальной системы управления групповыми действиями БЛА при наблюдении наземных объектов различного класса. Структура этой системы показана на рис. 1.

Названная система соответствует организации мониторинга не только при выполнении полетного задания, но и при обслуживании потока заявок, поступающих в самом полете на вход замкнутой системы управления, имеющей обратную связь для коррекции полетных заданий при получении новой видеоинформации.

При решении задачи приняты следующие допущения.

1. Рассматриваются три класса обслуживаемых объектов – неподвижные пункты, координаты местоположения которых и переменные важности B_j которых заданы $(j = \overline {1,n} )$, динамические объекты (ДО) наблюдения с заданным графиком их наблюдения и мобильные объекты (МО), график обслуживания которых не задан, но требуется его определить путем прогнозирования движения МО при их известных курсах и ожидаемых скоростях $(j = \overline {1,M} )$.

2. Задание на обслуживание может поступать как до, так и во время полета БЛА.

3. Задано число $N$однотипных БЛА $(N < n + M)$, а для каждого БЛА – текущие координаты ${{X}_{i}},{{Y}_{i}},{{Z}_{i}},$ $i = \overline {1,N} $, при полете с заданной скоростью V и возможном многократном наблюдении объектов.

4. Обслуживание каждого наземного объекта планируется до полета одним БЛА и только один раз при требуемом качестве наблюдения. При снижении этого качества и других изменениях динамической обстановки необходимо оперативное планирование новых заданий во время самого полета.

5. Общим критерием эффективности планирования является максимум отношения суммарной важности В_j обслуживаемых наблюдаемых объектов к сумме C_j эксплуатационных затрат, зависящих от суммарной длины S_j(i) пройденного каждым БЛА пути группового полета:

где T – заданное время группового полета.

Критерий (1.1) есть величина, обратная известному понятию минимума “цены разведки” или затрат на единицу взвешенной по важности и своевременности “добытой” видеоинформации. Предметом выбора являются состав объектов наблюдения для каждого БЛА и маршруты их облета с учетом переменных параметров динамической обстановки, входящих в числитель и знаменатель критерия (1.1).

Известные попытки решения многомерных задач планирования сводятся к максимизации числителя при фиксированном знаменателе либо к минимизации знаменателя при ограничении числителя, однако в ряде случаев это неэффективно. В данной работе предлагается решение названных выше подзадач целераспределения и маршрутизации при одновременном учете нужного состава динамических переменных как в числителе, так и в знаменателе при возможном использовании не одного, а нескольких частных критериев.

В результате решения задачи требуется:

− определить состав основных динамических переменных, влияющих на “доходную” и “затратную” части критерия (1.1) эффективности системы, и с их учетом разработать алгоритмы многомерной маршрутизации и целераспределения объектов наблюдения между группой БЛА;

− сформировать предполетный план и оперативные планы групповых действий БЛА с учетом своевременности соблюдения графика наблюдения динамических и мобильных объектов и ограниченной длительности самого наблюдения;

− обеспечить “в нужное время и в нужном месте” наблюдение мобильных и других объектов в заданные интервалы времени для их обнаружения и распознавания на изображениях, поступающих от оптико-электронной системы БЛА. В этом и состоит главная особенность постановки решаемой задачи;

− по результатам обнаружения и распознавания скорректировать полетное задание.

2. Назначение динамических приоритетов наблюдаемых объектов с помощью мультипликативного критерия. В рассматриваемой задаче значимость каждого  j-го наземного объекта должна учитывать ряд параметров, имеющих разную физическую размерность – априорную постоянную важность ${{d}_{j}}$, максимальную для ДО и МО, их переменную значимость ${{b}_{j}}$, растущую при увеличении времени ${{\tau }_{j}}$ их ненаблюдения, их меняющуюся в полете удаленность ${{R}_{j}}$ от группы БЛА и ожидаемое в текущий момент время Δt_j несоблюдение графика их обслуживания. Для количественной оценки этой значимости решена частная задача динамического программирования [19, 20], когда критерием оптимальности наблюдения является минимум интегрального функционала $I$, оценивающего потери информации при несвоевременном наблюдении объектов во время перелетов БЛА:

Смысл представленного критерия (2.1) состоит в следующем. Произведение первых двух сомножителей d_j и b_j определяет общую динамическую важность B_j  выбранного объекта и характеризует его ожидаемую “доходную” часть. С другой стороны, чем больше время τ_j его ненаблюдения, тем выше риск негативных потерь, особенно у МО и ДО, из-за несвоевременности контроля. Поэтому на каждом шаге перелетов нужно выбирать первоочередными такие объекты, чтобы общие потери информации при наблюдении заданной территории были минимальны с учетом динамики изменений переменных ${{b}_{j}}(t)$ и ${{\tau }_{j}}(t)$.

В данной работе принято, что динамика нарастания времени ненаблюдения τ_j проста – она совпадает с динамикой изменения текущего времени, а динамика нарастания нормированной переменной b_j описывается системой дифференциальных уравнений второго порядка в отличие от ранее известной экспоненциальной модели [20]:

где i – номер любого объекта,  j – номер выбранного объекта, ${{\tau }_{j}}$ – время ненаблюдения, ${{x}_{{1i}}} = {{b}_{i}}$ – переменная значимость; ${{x}_{{2i}}}$ – скорость нарастания значимости при ненаблюдении; $\Delta t$ – заданное время наблюдения одного объекта; a_i – заданная постоянная величина ускорения постепенного возрастания скорости увеличения значимости ${{x}_{{1i}}}$ в интервале [0, 1]. Использование системы (2.2) обеспечивает малую скорость возрастания значимости в начале ненаблюдения, что более правдоподобно, чем у системы первого порядка, а обнуление переменных ${{\tau }_{j}}$, ${{x}_{{1j}}}$, ${{x}_{{2j}}}$ в процессе успешного наблюдения выбранного j-го объекта соответствует временному исчезновению к нему интереса.

Тогда с учетом (2.1) и (2.2) можно получить уравнение Беллмана в частных производных:

где $\varepsilon ({{{\mathbf{\bar {x}}}}_{1}},{{{\mathbf{\bar {x}}}}_{2}},\bar {\tau })$ – искомая функция Беллмана от текущего состояния трех векторов ранее названных переменных x₁, x₂, τ при оптимальном поведении системы. Последнее слагаемое в фигурных скобках есть приоритет Π_j, а первое слагаемое в правой части уравнения (2.3) – подынтегральное выражение функционала I (2.1).

Тогда функцию Беллмана $\varepsilon $ с учетом парных произведений ${{b}_{j}}$ ${{r}_{j}}$ в функционале I можно приближенно представить в виде степенного полинома второго порядка с девятью искомыми коэффициентами ${{\beta }_{i}},{{\psi }_{{ij}}},{{\gamma }_{{ij}}}$:

Нахождение этих коэффициентов возможно с помощью метода рабочей точки [21], согласно которого в окрестности этой точки вычисляются ординаты C_i минимального риска, которые необходимо приравнять друг к другу. Поэтому, задавшись 10 ординатами риска, можно получить систему необходимых линейных алгебраических уравнений:

На основании полученного решения установлено, что назначение динамических приоритетов ${{\Pi }_{j}}$, зависящих от искомых коэффициентов ${{\beta }_{i}},{{\psi }_{{ij}}},{{\gamma }_{{ij}}}$ функции Беллмана, имеет следующую мультипликативную форму, которая выгодно отличается от известной аддитивной за счет исключения “узких мест” в оценке каждого объекта, когда один из сомножителей явно мал:

Учитывая преимущество найденной формы (2.6) при обслуживании неподвижных пунктов и повышенную важность своевременного обслуживания мобильных и динамических объектов, в данной работе предложено ее обобщение для других динамических переменных в следующем эвристическом виде:

где ${{X}_{{nj}}}$ – безразмерные максимизируемые показатели, полученные путем деления значений ${{b}_{j}},{{r}_{0}}$ и $\Delta {{t}_{0}}$ на их максимальные значения: a ${{b}_{{\max }}}$, r₀, $\Delta {{t}_{0}}$ заданы.

Соответственно в формулах (2.8) значение

характеризует среднюю текущую удаленность  j-го объекта от совершающей полет группы БЛА, а $\Delta {{t}_{j}} = \left| {{{\upsilon }_{j}} - t - \mathop {\min }\limits_i ({{r}_{{ij}}}{\text{/}}V)} \right|$ – время несоблюдения заданного графика, где ${{\upsilon }_{j}}$ – требуемый, согласно графику, момент наблюдения, t – текущее время, $\mathop {\min }\limits_i ({{r}_{{ij}}}{\text{/}}V)$ – требуемое минимальное время для перелета БЛА к нужному j-му объекту. Согласно формулам (2.7) и (2.8), знаменатель в выражении для X₃ падает с течением времени из-за уменьшения интервала $\Delta {{t}_{j}}$ и приоритет такого объекта растет, что требует его первоочередного обслуживания.

Сомножителями мультипликативной формы одновременно являются показатели числителя и знаменателя общего критерия (1.1), в отличие от “жадного” алгоритма, учитывающего только связанные с длиной пути затраты топлива. В свою очередь m_j – весовые коэффициенты, назначаемые заранее и устанавливающие неодинаковую значимость показателей. Уменьшение каждого из них приведет к повышению значимости соответствующего сомножителя в свертке (2.7) при соблюдении условия:

При условии (2.9) мультипликативные произведения в формуле (2.7) приобретают значимость на порядок выше аддитивных слагаемых. Полученная форма свертки (2.7) требует при технической реализации минимального числа операций умножения и сложения и ниже используется как при предполетном, так и оперативном планировании [22, 23].

3. Алгоритм предполетного планирования маршрутов группового полета. В данной работе предложен высокоэффективный генетический алгоритм, гарантирующий достижение глобального экстремума при особом способе формирования “элиты” и “потомков” на каждом шаге эволюции [24]. Генетический алгоритм отличается тем, что планируемые маршруты группового полета разбиваются на три участка – начала, середины и конца полета, границами которых являются динамические или мобильные объекты с требуемым графиком обслуживания, а внутри этих участков в план попадают менее важные неподвижные пункты, чтобы затем с помощью одного из трех двухпараметрических критериев сформировать первоначальную “элиту” лучших частных одномерных маршрутов.

Для этого используются три следующих частных двухпараметрических критерия:

− формирование первого маршрута полета при выборе очередного объекта по критерию минимальной длины пути, и включающего наиболее важные объекты без учета соблюдения графика полета:

где ${{R}_{j}}$ характеризует среднюю текущую удаленность j-го объекта от совершающей полет группы БЛА;

− формирование второго маршрута с учетом лишь важности и соблюдения графика очередного объекта с помощью другого критерия:

где $\Delta {{t}_{j}}$ характеризует несвоевременность обслуживания объекта наблюдения;

− формирование третьего маршрута без учета важности очередного объекта, но с учетом остальных двух параметров:

Таким образом, каждый из трех “предков” формируется с учетом двух факторов из трех возможных, которые образуют “элиту” одномерных маршрутов. Затем осуществляется “скрещивание” участков сформированной элиты, а потом “мутация” путем перестановки соседних пунктов на границах участков, чтобы получить улучшенный результат за малое число шагов эволюции. Операция отбора лучшего варианта маршрута полета проводится по критерию (1.1) максимума отношения суммарной важности объектов наблюдения к длине маршрута. Удачное сочетание отдельных участков маршрута друг с другом, каждый из которых сформирован с помощью “своего” частного двухпараметрического критерия, обеспечивает повышение эффективности планирования в отличие от использования полного трехпараметрического критерия.

Далее при формировании многомерных маршрутов из назначенного генетическим алгоритмом множества объектов в данном разделе работы представлено решение задачи целераспределения пока что с помощью известного жадного алгоритма с правом первого выбора для любого БЛА при разрешении конфликтных ситуаций.

Иллюстрация улучшения качества планирования приведена на рис. 2.

Из рис. 2 видно, что эффективность маршрутизации генетическим алгоритмом возрастает на 15–20%. При этом, как показало компьютерное моделирование, время предполетного планирования не превышает 10 с за счет малого числа шагов эволюции.

Следует дополнительно отметить, что время ${{\upsilon }_{j}}$ наблюдения МО, используемое в формулах (2.8), (3.2), (3.3), заранее не задано и его нужно при планировании доопределить. Для этого, зная расчетное текущее время t и место пребывания в этот момент ближайшего к нему БЛА, необходимо спрогнозировать прямолинейное движение МО при его известном курсе и скорости, при сближении с БЛА, чтобы вычислить искомый момент ${{\upsilon }_{j}}$ пролета БЛА над целью. Также с помощью дополнительно планируемых пунктов маршрута самого БЛА в конце сближения с целью необходимо обеспечить его движение вдоль трассы, чтобы добиться наибольшей вероятности обнаружения МО.

Однако значимость наблюдаемых обслуживаемых наземных объектов при получении новой видеоинформации может непредсказуемо меняться и должна быть уточнена с учетом возрастания или падения интереса к ним. Поэтому в различных задачах обслуживания новых полетных заданий необходимо оперативное перепланирование групповых действий БЛА [25].

4. Алгоритм оперативного планирования групповых действий БЛА. Главная особенность оперативного планирования состоит в том, что на каждом шаге планирования от обслуживания освобождается один БЛА, а остальные заняты. Разработанный алгоритм планирования содержит следующие четыре операции.

В первой операции осуществляется выбор первоочередных необслуженных целей (число n которых соизмеримо с числом N БЛА) по мультипликативному критерию (2.7).

Во второй операции сформированный список ранжируется по другому критерию, учитывающему важность и суммарную удаленность каждого наземного объекта от группировки БЛА:

Необходимость выполнения этой процедуры ранжирования вызвана последующим стремлением уменьшить в первую очередь время обслуживания наиболее удаленных объектов, расположенных в начале проранжированного списка.

В третьей операции распределения БЛА выбирается j-я цель с максимальным рангом, и для нее решается задача назначения “своего” БЛА по третьему критерию максимальной близости:

Таким образом, основными являются вторая и третья операции, реализующие модифицированный минимаксный критерий назначения ближайшего БЛА для цели с максимальным временем обслуживания и минимизирующее время выполенния части полетного задания на одном шаге оперативного планирования. При этом, как показано ниже, этот критерий попутно минимизирует суммарную длину пути группы БЛА и исключает пересечение их маршрутов.

Для этого в четвертой операции осуществляется проверка условий непересекаемости маршрутов группового полета, показанных на рис. 3 непрерывными линиями длиной l₁ и ${{d}_{2}}$ для двух БЛА (i = 1 и 2).

Пусть дано условие максимальной удаленности по критерию J₁ в виде неравенства

Пусть также по критерию J₂ для наиболее удаленного объекта с номером  j = 1 выбран ближайший незанятый БЛА с номером $i = 1$, так как

Но для выпуклого четырехгранника условию (4.4) практически соответствует соблюдение другого неравенства:

Тогда, складывая неравенства (4.4) и (4.5) друг с другом, получим следующий ответ:

т.е. сумма двух сторон четырехгранника меньше суммы его диагоналей, что требовалось доказать – необходимое условие непересекаемости этих сторон соблюдается и общая длина пути минимизируется. В противном случае необходимо поменять объекты наблюдения местами.

На рис. 3 видно, что объект с  j = 1 наиболее удален от двух БЛА с i = 1 и 2, так как ${{l}_{1}} + {{l}_{2}} > {{d}_{1}}$ + d₂. Это соответствует критерию ${{\Pi }_{{2j}}}$  по формуле (4.1), если важности обоих объектов одинаковы, т.е. ${{B}_{1}} = {{B}_{2}}$. Тогда ${{r}_{1}} = 0.5({{l}_{1}} + {{l}_{2}})$, а ${{r}_{2}} = 0.5({{d}_{1}} + {{d}_{2}})$. Также видно, что для объекта с j = 1 ближайшим будет БЛА с $i = 1$, что соответствует другому критерию ${{\Pi }_{3}}$ и обеспечивает удачное целераспределение – участки перелета не пересекаются и имеют минимальную длину суммарного пути.

Можно привести другой пример при N = 3, показанный ниже на рис. 4, из которого видно, что наиболее удаленным от группы БЛА является объект с номером  j = 3.

Тогда если начать целераспределение с него и пользоваться предложенным подходом для остальных целей, обведенные контурами участки перелета будут иметь минимальную суммарную длину. И эти участки не пересекаются. При всех остальных способах это пересечение возникает. Более того, общая длина показанных пунктиром участков возрастает в 1.5 раза.

Поэтому в четвертой операции исключения пересекаемости маршрутов необходимо обеспечить минимум их суммарной длины ${{\Pi }_{4}}$ для выбранного k-го варианта целераспределения:

при условии, что сумма $D$ индексов i и  j при $N$ слагаемых ${{r}_{{ij}}}$ должна быть равна $N(N + 1)$:

Например, если при N = 3 сумма ${{\Pi }_{{4k}}}$ = r₁₁(k) + r₂₂(k) + r₃₃(k), то D_k = (1 + 1) + (2 + 2) + (3 + 3) = = 3 ⋅ 4 = 12.

Проверка суммарной длины пути на минимум позволяет избежать трудоемкого анализа существования общих точек пересечения траекторий группового полета.

5. Единый подход к решению задач назначения приоритетного множества объектов наблюдения и их целераспределения между БЛА при предполетном и оперативном планировании. Указанные преимущества предложенного минимаксного подхода открывают возможность его применения также и в предполетном планировании. Такое объединение позволяет свести все операции планирования к единообразному выполнению двух главных действий – выбор приоритетного множества целей на каждом шаге многомерной маршрутизации с помощью мультипликативной формы критерия (2.7) и их целераспределение между БЛА по минимаксному критерию. Это означает, что при многомерной маршрутизации первая операция заменит известный “жадный” алгоритм при решении подзадачи назначения приоритетного множества объектов, а остальные три операции потребуются для выполнения второго действия при целераспределении. При этом отличие предполетного планирования будет лишь в том, что назначение на одном шаге при неоднократном выборе множества объектов произойдет для всех БЛА, а при оперативном планировании при однократном выборе объектов – только для одного БЛА, освободившегося в текущий момент от обслуживания. Но это отличие не изменит координированного характера групповых действий и их последствий, учитывающих главный фактор своевременности мониторинга объектов наблюдения.

Ниже приводится пример планирования групповых действий трех БЛА с учетом заданного графика экологического мониторинга городов Московской области. В данном примере решалась задача наблюдения 15 городов на северо-востоке Московской области при вылете из Егорьевска трех БЛА. При этом в четырех городах назначен график своевременного контроля экологической обстановки (пункты 10 (Клин), 21 (Сергиев Посад), 24 (Киржач), и 28 (Электросталь) обслуживаются по расписанию). Результат планирования шести разомкнутых маршрутов для двух случаев при известном подходе с помощью “жадного” алгоритма и при предложенном минимаксном подходе представлен на рис. 5.

На рисунке пунктиром обозначены маршруты наблюдения, полученные с помощью “жадного” алгоритма. Видно, что они дважды пересекаются. Представленный непрерывными линиями график показывает, что при предложенном подходе маршруты не пересекаются и близость к оптимальному критерию минимума общей длины маршрута подтверждается пониженной “изрезанностью” более или менее прямолинейных траекторий полета.

В целом, если использование представленных выше мультипликативного критерия выбора приоритетных объектов и генетического алгоритма повышает эффективность планирования за счет увеличения числителя в общем критерии (1.1), то минимаксный критерий дополнительно уменьшает на 10–15% его знаменатель за счет сокращения суммарной длины группового полета.

К преимуществам минимаксного алгоритма относятся:

– повышение безопасности группового полета за счет обеспечения непересекаемости маршрутов БЛА, летящих на одной высоте;

– доказано обеспечение минимума длины суммарного пути на перелеты, а значит, снижение затрат топлива;

– снижение трудоемкости вычислений при планировании не менее чем на порядок при N > 5 по сравнению с полным перебором вариантов целераспределения;

– минимум времени полного выполнения локального задания, возникающего в полете при числе объектов наблюдения, соизмеримом с числом БЛА;

– повышение эффективности групповых действий по критерию (1.1) как за счет увеличения его числителя при приоритетном выборе более важных объектов, так и при уменьшении знаменателя из-за снижения длины суммарного пути непересекающихся маршрутов группового полета.

6. Оценка допустимой длительности наблюдения очередного наземного объекта с помощью экспертной системы нечеткой логики. Назначение допустимой длительности поиска наземной цели с помощью бортовых средств технического зрения происходит в условиях априорной неопределенности, когда заранее неизвестно, насколько велико опережение или отставание от общего графика выполнения всего полета и каковы запасы оставшегося топлива. Кроме того, нужно учитывать динамическую важность ${{B}_{j}}$ обнаруживаемой цели по сравнению с ожидаемой конечной важностью ${{B}_{{{\text{кон}}}}}$ других необслуженных целей. Поэтому для решения задачи в указанных условиях предлагается использовать экспертную систему нечеткой логики. На ее входе кроме динамической важности B_j очередного объекта обслуживания учитываются:

$(t - \tau )$ – несвоевременность обслуживания очередного объекта;

$\Delta {{V}_{j}}$ – оставшийся запас топлива по сравнению с запланированным $\Delta {{V}_{{{\text{кон}}}}}$.

Согласно общепринятому подходу, вначале производится нормирование входных параметров

Затем производится фазификация с помощью функций принадлежности ${{F}_{{k1}}}$ и ${{F}_{{k2}}}$, показанных на рис. 6.На рисунке по оси абсцисс приводятся значения нормированных разнородных факторов, по оси ординат – функции принадлежности одному из понятий уверенности в продолжении обнаружения. Граничные значения нормированных параметров ${{a}_{k}}$ и ${{c}_{k}}$ назначаются заранее или в зависимости от условий полета. Для принятия согласованного решения в нечеткой логике используется база правил, число которых равно m^k, где m – число терм или качественных оценок (в данной работе m = 2, что соответствует двум оценкам “норма” или “отказ” и лингвистическим переменным Z или PL), а k – число учитываемых факторов (k = 3). Поэтому база нечетких правил имеет вид табл. 1.

В табл. 1 введены следующие обозначения: l = 1, …, 8 – номер нечеткого правила;  j = 1 – принятие решения о продолжении наблюдения,  j = 2 – решение о его прекращении. Видно, что при числе негативных оценок PL в каждом правиле, больше 1, принимается решение прекратить наблюдение. В остальных более благоприятных ситуациях используется дополнительная количественная оценка коэффициента уверенности $K$ продолжения наблюдения. Для этого вначале для каждого фактора в отдельности вычисляется “свой” коэффициент уверенности в виде результата преобразования текущего значения переменной ${{X}_{{kj}}}$ с помощью кусочно-линейной функции ${{F}_{{k1}}}$, показанной на рис. 6. Затем в машине логического вывода полученные коэффициенты перемножаются по формуле

Тогда при ухудшении неблагоприятных факторов значения ${{X}_{{kj}}}$ растут, и поэтому общий коэффициент уверенности $K$ в продолжении поиска цели падает, как показано на рис. 7.

Чтобы этот коэффициент определить, используется экспертная система нечеткой логики, приведенная на рис. 8.

Получаемый на выходе экспертной системы коэффициент K уверенности в продолжении обслуживания вычисляется по формуле (6.2). При достижении этого коэффициента заданного порога F процесс поиска прекращается. Это позволяет в целом сэкономить общее время выполнения всего полета.

7. Нейросетевые алгоритмы обнаружения и распознавания наземных целей с помощью технического зрения. Растущие технические возможности получения, накопления и обработки сенсорной информации обусловили существенный прогресс в нейросетевых методах решения задач анализа данных, в том числе и в задачах обнаружения и распознавания объектов на изображениях. Лучшие модели сверточных нейронных сетей, обученные на представительных наборах данных большого объема, показывают результаты, которые превосходят способность человека распознавать объекты в сложных условиях.

Необходимым условием эффективной работы нейросетевых алгоритмов является их обучение на представительной выборке данных, содержащих, насколько возможно полное и разнообразное множество предполагаемого вида заданного объекта на изображении. Другим требованием к обучающей выборке является соответствие набора данных требуемым условиям применения системы технического зрения. Для рассматриваемой задачи мониторинга мобильных объектов группой БЛА обучающая выборка должна содержать изображения контролируемых объектов в возможных условиях выполнения мониторинга. В настоящее время отсутствует информация о наличии публично доступных аннотированных выборок, соответствующих по составу требованиям задачи. Поэтому для оценки возможностей нейросетевых алгоритмов по решению задачи распознавания мобильных объектов в рамках их мониторинга БЛА использовались специально созданные выборки изображений, соответствующие условиям задачи.

Для исследований использовался специальный мультимодальный набор данных LAERT, созданный в ходе предшествующих исследований [26, 27]. Набор данных LAERT содержит инфракрасные длинноволновые (LWIR) и цветные (RGB) изображения различных сцен (как городских, так и внегородских), полученные съемкой с БЛА. В качестве объектов мониторинга в данной выборке представлены автомобили двух классов (легковые и грузовые) и люди, в том числе аннотированы объекты малого размера на изображениях [28].

7.1. Формирование набора данных для обучения. Изображения для формирования обучающих и тестовых наборов данных были получены комплексной оптико-электронной системой FLIR ONE Pro. Данная система включает два геометрически выровненных сенсора (инфракрасный диапазона 8–14 мкм и цветной), работающих в синхронном режиме. Основные ее технические характеристики приведены в табл. 2.

Комплексная оптико-электронная система FLIR ONE Pro имеет в своем составе микротермическую камеру с тепловым разрешением 160 × 120 пикселей и может измерять температуру до 400°. Камера видимого диапазона разрешением 144 × 1080 пикселей позволяет синхронно получать цветные изображения, выровненные с тепловой камерой, что необходимо для формирования многомодального набора данных для обучения и тестирования разрабатываемых алгоритмов.

Для получения изображений для наборов данных был выполнен ряд полетов квадрокоптера DJI-F450, оснащенного камерой FLIR ONE Pro. Для управления этой камерой использовался смартфон iPhone 5s. Такой квадрокоптер с установленной съемочной системой показан на рис. 9.

Собранный набор данных включает 1680 синхронизированных и выровненных изображений видимого и инфракрасного (8–14 мкм) диапазона светового излучения.

С целью повышения представительности обучающей выборки данные съемки с БЛА были дополнены синтезированными модельными изображениями, сделанными по данным наземной съемки [29] с использованием нейросетевых методов формирования реалистичных тепловых текстур объектов [30].

7.2. Распознавание заданных объектов. В рамках данного исследования выполнены оценки возможностей обнаружения и распознавания объектов заданных классов на основе нейросетевых подходов как одного из этапов решения задачи мониторинга мобильных объектов БЛА. Исследовались возможности распознавания объектов по изображениям, полученным в видимом или тепловом диапазоне, а также потенциал улучшения качества распознавания при комплексировании данных двух типов.

Глубокие сверточные нейронные сети для распознавания объектов можно разделить на два основных класса: одноэтапные и двухэтапные сети распознавания объектов. Для двухэтапного распознавания объекта сначала в области изображения формируются области интереса (возможно, содержащие искомый объект) с последующей классификацией и проверкой обнаруженных кандидатов. Глубокие сверточные нейронные сети R-CNN [31] и их модификация [32, 33] построены на основе данной стратегии.

Одноэтапные нейронные сети пытаются приписать особенности непосредственно рассматриваемым областям изображения и выполнить классификацию в единой модели ГНС. Сеть YOLO [34] (“Вы смотрите только один раз”) – это сверточная модель нейронной сети, работающая как объединенный детектор и классификатор.

Сеть YOLO регрессирует ограничивающие прямоугольники непосредственно из модели CNN. Сеть SSD [35] (однократный многоканальный детектор) может работать с объектами с различного размера на изображении. Сеть SSD пытается предсказать ограничивающие рамки различного масштаба путем регрессии карт характеристик с множественным разрешением.

Двухступенчатые детекторы объектов (Faster R-CNN и аналогичные) обычно показывают более высокую точность обнаружения по сравнению с одноступенчатыми. Предложение области интересов с последующим подходом к уточнению лучше с точки зрения качества распознавания, но требует более трудоемкого и сложного обучения [36].

При оценке качества распознавания заданных объектов как базовая модель использовался предварительно обученный детектор SSD с исходными настройками [35] с дальнейшим дообучением на данных обучающей выборки LAERT.

7.3. Результаты тестирования. В качестве меры правильности распознавания j-го объекта на изображении рассматривался коэффициент Жаккара (или Intersection over Union, IoU, отношение пересечения множеств к их объединению). Он рассчитывался как площадь пересечения S_i, отнесенная к площади объединения S_o ограничивающих прямоугольников для эталонной разметки ${{B}_{{этал}}}$ и результатов распознавания ${{B}_{{расп}}}$:

где ${{B}_{{этал}}}$ – набор пикселей изображения, охватываемых ограничивающей рамкой эталонной разметки, ${{B}_{{расп}}}$ – набор пикселей изображения, покрываемых ограничивающей рамкой распознанного объекта. Верное распознавание ${{N}_{{в.расп}}}$ объекта соответствует значению IoU выше заданного порога $t = 0.5$.

Для оценки качества распознавания рассматриваются следующие критерии:

точность (precision) распознавания объекта заданного класса:

вероятность (recall) распознавания объекта заданного класса:

где $N_{{в.расп}}^{k}$ – истинное положительное число (количество верно распознанных объектов) для класса k, $k = \overline {1,K} $; K – количество классов в наборе данных; $N_{{расп}}^{k}$ – число всех (истинных положительных + ложноположительных) объектов, распознаваемых как объект класса k; ${{N}^{k}}$ – общее число (истинных положительных + ложноотрицательных) объектов класса k в наборе данных. Рисунок 10 иллюстрирует пример распознавания объектов для видимых изображений (a) и инфракрасных изображений (б).

Результаты, представленные в табл. 3, показывают, что распознавание заданных объектов методами глубокого машинного обучения на собранном мультиспектральном наборе данных обеспечивает высокое качество распознавания для реальных изображений из тестовой выборки.

Заключение. Предложен единый подход к предполетному и оперативному планированию группового полета БЛА, основанный на следующем выполнении двух главных действий – назначение на каждом шаге многомерной маршрутизации приоритетного множества наземных объектов с помощью специальной мультипликативной формы критерия и их целераспределение по минимаксному критерию с помощью ряда простых операций.

Показано, что в сложных полетных ситуациях для повышения эффективности планирования целесообразно использовать элементы искусственного интеллекта:

− при предполетном планировании в генетическом алгоритме в подзадаче назначения формируется не одно, а “элита” множеств объектов с помощью частных двухпараметрических критериев, чтобы затем путем скрещивания и мутации получить близкий к оптимальному маршрут за малое число шагов эволюции, в котором каждый его участок соответствует “своему” частному критерию;

− при подлете БЛА к цели оценка допустимой длительности ее обнаружения с помощью нечеткой логики позволяет сэкономить время полета в условиях несоблюдения его графика и ограниченного запаса топлива;

− при нейросетевом распознавании мобильных и других объектов заданного класса высокое качество мониторинга наблюдений обеспечивается на основе методов глубокого машинного обучения.

При оперативном планировании группового полета обосновано решение задачи целераспределения с помощью не одной, а трех простых операций минимаксного критерия. Вначале выбирается наиболее удаленный от группы БЛА объект, затем ему назначается ближайший БЛА, далее проверяется условие непересекаемости маршрутов по критерию минимума из суммарной длины. Совместное использование этих операций с первым действием подзадачи назначения позволяет быстрее найти экстремум на каждом шаге оптимизации по сравнению с однокритериальным решением задачи при полном переборе вариантов целераспределения. Это определяет главный научный результат работы.

При планировании наблюдения МО с незаданным графиком показано, что путем прогнозирования времени и места его встречи с БЛА обеспечивается возможность автоматизированного управления их сближением наравне с обслуживанием других наземных объектов.

В целом предложенный подход позволяет при предполетном планировании повысить его эффективность в среднем на 25–30% по сравнению с “жадным” алгоритмом и сократить время полного выполнения полетного задания на 30–40% при оперативном планировании. Это открывает путь к единой организации наблюдений не по принципу выполнения предполетного задания, а при обслуживании потока заявок как до, так и во время полета, что особенно важно при мониторинге наблюдения МО.