Радиотехника и электроника, 2022, T. 67, № 2, стр. 166-173

ВВЕДЕНИЕ

В настоящее время в области компьютерного зрения наблюдается тенденция перехода от статистических методов к нейросетевым. Методы глубокого обучения позволяют достичь самых современных результатов по некоторым специфичным проблемам. К задачам компьютерного зрения относятся:

– классификация изображений (присвоение метки класса изображению);

– локализация объектов (определение ограничивающей рамки вокруг одного или нескольких объектов на изображении);

– обнаружение объектов (объединяет задачи классификации и локализации, т.е. определяет ограничивающую рамку вокруг каждого интересующего объекта на изображении и присваивает им метку класса).

Распознавание объектов и их локализация на изображениях – одна из самых фундаментальных и сложных проблем компьютерного зрения. Генерация предложений регионов [1] на изображении, где находится искомый объект, сейчас является активной областью исследований. Приложения обнаружения объектов возникают во многих различных областях, включая обнаружение лиц [2, 3], обнаружение пешеходов для беспилотных автомобилей [4, 5], обнаружение аномалий в медицине [6, 7], обнаружение объектов на аэрофото- и спутниковых снимках [8–10] и т.п. При использовании алгоритмов обнаружения объектов важно иметь высокое покрытие интересующих объектов на тестовом изображении, поскольку пропущенные объекты не могут быть восстановлены для их последующей классификации.

Обнаружение объектов на аэрофото- и спутниковых снимках представляет большой практический интерес из-за разнообразия приложений во многих областях, включая мониторинг трафика [11, 12], операции поиска и спасения [13], мониторинг морского судоходства [14] и т.д. На данный момент существуют несколько наборов данных аэрофото- и спутниковых снимков Земли в свободном доступе, которые активно используются для обучения систем обнаружения транспортных средств [15–17]. Такие наборы данных охватывают площадь поверхности до десятков тысяч квадратных километров и могут содержать различное количество транспортных средств на изображениях, которые имеют различные размеры, формы, цвета, яркость и контраст, а также произвольную ориентацию на местности. Качество этих наборов данных может отличаться от качества реальных аэрофото- и спутниковых снимков Земли, например, из-за атмосферных явлений (осадки, туман и т.п.), а также из-за загрязненности, наличия царапин и сколов на объективе съемочной аппаратуры.

Анализ не нейросетевых алгоритмов обнаружения объектов показал, что введение небольших изменений яркости пикселей во входном изображении вызывает заметное ухудшение качества локализации объектов. Даже изменение одного пикселя изображения уже демонстрирует сильное ухудшение [1]. Однако анализ последних публикаций показывает, что исследований влияния шумовых воздействий на качество работы нейросетевых систем обнаружения и распознавания объектов не проводится. В основном известные исследования систем обнаружения объектов сводятся к повышению метрики точности таких систем на тестовой выборке с фиксированным качеством и уровнем шума. Причем при оценке этих метрик используются тестовые данные с такими же статистическими данными, как и при обучении. В таких работах не исследуется влияние искажений входных изображений на точность обнаружения объектов.

Достигаемая точность распознавания фиксированной тестовой выборки не позволяет судить о поведении системы при распознавании изображений с другим уровнем шума. Это обстоятельство ограничивает состоятельность оценки обобщающей способности системы распознавания.

Таким образом, исследование помехоустойчивости глубокой сверточной нейронной сети, решающей задачу обнаружения объектов на изображениях с разным уровнем шума, даст дополнительную информацию о корректности и качестве модели.

Оценка робастности распознавания изображений нейронной сетью в приложении к верификации подписей была проведена в работе [18], в результате была получена зависимость вероятности правильного обнаружения от вероятности ложной тревоги при фиксированном уровне искажений изображения. Выбор архитектуры нейронной сети для распознавания зашумленных изображений был также исследован в [19]. Тем не менее в обеих работах влияние уровня шума в обучающей и контрольной выборках на точность распознавания не было исследовано.

Цель данной работы – исследовать влияние белого гауссова шума, добавленного к значениям яркости пикселей входного изображения, на качество работы глубокой сверточной нейронной сети автоматического обнаружения транспортных средств на аэрофотоснимках Земли.

1. АНАЛИЗ СУЩЕСТВУЮЩИХ МЕТОДОВ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ

Среди различных архитектур, основанных на глубоких нейронных сетях, сверточная нейронная сеть (СНС) является самым известным и современным методом для задач, связанных с классификацией объектов на изображении. В отличие от задач классификации изображений, обнаружение требует локализации объектов на изображении [20].

Современные алгоритмы обнаружения объектов на изображении можно разделить на две категории: одноэтапные и двухэтапные. К одноэтапным относят SSD, YOLO, RetinaNet [21], в которых предложение регионов и классификация выполняются за один проход изображения по сети. К двухэтапным сетям относят Faster R-CNN [22], где изображение проходит этап предложения регионов (Region Proposal Network, RPN) и этап классификации объектов, полученных из RPN. Такие системы обладают высокой точностью локализации и распознавания объектов. Таким образом, двухэтапные сети целесообразно использовать при обработке насыщенных объектами статичных изображений с максимальной точностью, а одноэтапные больше подходят для обработки видеопотока с небольшим числом и большим размером объектов в кадре.

Упрощенная схема двухэтапного алгоритма обнаружения и распознавания объектов на изображении на базе глубоких сверточных нейронных сетей Faster R-CNN [22] представлена на рис. 1. Такая архитектура состоит из трех основных блоков: опорная СНС, сеть предложения регионов и классификатор. В качестве опорной СНС используются хорошо зарекомендовавшие себя в задачах распознавания объектов на изображении традиционные сверточные нейронные сети без детекторной части, так как опорная сеть решает задачу извлечения признаков из входного изображения. Полученные с выхода опорной СНС карты признаков поступают на вход сети предложения регионов, которая решает задачу генерации прямоугольников, ограничивающих потенциальные объекты на входном изображении, и задачу бинарной классификации, т.е. задачу предсказания нахождения или отсутствия в предсказанном прямоугольнике объекта, причем данная сеть не распознает класс объектов на входном изображении. Полученные с выхода RPN регионы, имеющие высокую вероятность нахождения в них объекта, и полученные с выхода опорной СНС карты признаков поступают в классификатор, где происходит распознавание классов объектов, обнаруженных сетью RPN, а также уточняет координаты входных регионов для более точного обнаружения. Классификатор представляет собой детекторную часть, которая была отсечена от традиционной СНС для получения архитектуры опорной сети.

На выходе двухэтапной системы обнаружения и распознавания объектов (см. рис. 1) получим набор предсказанных системой объектов с информацией об их классе и координатами ограничивающих рамок, в которые эти объекты заключены.

Для решения проблемы обнаружения объектов разных масштабов в статье [23] предложена пирамидальная сеть признаков (Feature Pyramid Network – FPN). Данная сеть является некой надстройкой к существующим архитектурам обнаружения объектов и не зависит от опорных СНС. Выходом такой пирамидальной архитектуры являются карты признаков в нескольких пространственных разрешениях. Упрощенная схема архитектуры системы обнаружения и распознавания объектов на изображении Faster R-CNN с надстройкой FPN представлена на рис. 2.

Система Faster R-CNN с FPN в данный момент занимает лидирующее место в задачах распознавания транспортных средств на аэрофотоснимках Земли [12, 14, 22]. Из архитектуры двухэтапных систем обнаружения и распознавания объектов на изображении видно, что качество обнаружения объектов в сети RPN сильно влияет на качество обнаружения и распознавания системы в целом, поскольку классификатор работает только с регионами, предложенными ему сетью RPN. Так, в случае потери большого количества истинных объектов на этапе сети предложения регионов, точность обнаружения и распознавания объектов всей системой будет значительно ниже. Поэтому для исследования влияния степени зашумленности аэрофотоснимков Земли на качество обнаружения объектов выбрана часть двухэтапной системы Faster R-CNN с надстройкой FPN, которая решает только задачу обнаружения объектов на изображении. Упрощенная схема архитектуры исследуемой системы изображена на рис. 3.

В качестве входной информации данной системы выступают цветные аэрофотоснимки Земли, в качестве выходной – список координат ограничивающих рамок, где с высокой вероятностью находятся искомые транспортные средства.

2. МЕТРИКИ ОЦЕНКИ КАЧЕСТВА СИСТЕМ ОБНАРУЖЕНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ

Системы обнаружения и распознавания объектов на изображении решают задачи классификации (определяют, присутствует ли объект на изображении и распознают его класс) и локализации (предсказывают координаты ограничивающей рамки вокруг объекта, когда объект присутствует на изображении). Величина полноты обнаружения позволяет оценить способность модели обнаруживать все релевантные объекты и показывает долю правильных предсказаний от общего числа истинных объектов. Величина точности обнаружения показывает способность модели идентифицировать только релевантные объекты и равна отношению количества правильных обнаружений к общему числу предсказаний [25]. Для вычисления полноты и точности обнаружения каждый предсказанный системой обнаружения ограничивающий прямоугольник сначала должен быть классифицирован как:

– истинно-положительный (true positive, TP): правильное обнаружение ограничивающего прямоугольника;

– ложноположительный (false positive, FP): неправильное обнаружение несуществующего объекта или несоответствующее обнаружение существующего объекта;

– ложноотрицательный (false negative, FN): необнаруженный истинный ограничивающий прямоугольник.

Приведем уравнения для вычисления метрик полноты $R$ и точности $~P$ обнаружения [25]:

где $G$ – количество всех истинных объектов, $N$ – количество предсказанных системой обнаружения объектов, из которых $S$ объектов предсказаны верно $\left( {S \leqslant G} \right)$, $n$ – номер предсказанного ограничивающего потенциальный объект прямоугольника.

В случае обнаружения объектов на изображении необходимо вычислить метрику отношения площади пересечения к площади объединения истинного и предсказанного прямоугольника (Intersection Over Union, IoU), которая показывает, насколько близки обнаруженные сетью ограничивающие рамки к ограничивающим рамкам истинных объектов. Это измерение выполняется независимо для каждого класса объектов путем оценки степени перекрытия предсказанной и достоверной областей [25]. Идеальное совпадение двух ограничивающих рамок происходит, когда метрика IoU между ними становится равной 1. В случае, когда оба ограничивающих прямоугольника не пересекают друг друга, метрика IoU равна 0. Чем ближе к единице становится IoU, тем лучше считается обнаружение. Поскольку детекторы объектов также выполняют классификацию каждого ограничивающего прямоугольника, только истинные и обнаруженные ограничивающие рамки одного и того же класса сравниваются метрикой IoU.

После вычисления метрики IoU для всех истинных и всех предсказанных ограничивающих рамок необходимо установить пороговое значение метрики IoU для определения правильности предсказанных ограничивающих рамок. В случае, когда IoU больше или равно заданному пороговому значению, предсказание является истинно-положительным (TP), но в случае, когда IoU меньше заданного порогового значения, то предсказание является ложно положительным (FP).

Оценка качества обнаружения для систем, не зависящих от класса (class-agnostic), сильно отличается от традиционного обнаружения, зависящего от класса, поскольку большинство показателей (точность, матрица ошибок и т.п.) не применимы. В задачах обнаружения объектов общепринято оценивать качество предложений на основе величины полноты обнаружения [1].

3. ОБЗОР НАБОРА ДАННЫХ ДЛЯ ОБУЧЕНИЯ И ОЦЕНКИ ИССЛЕДУЕМОЙ СИСТЕМЫ ОБНАРУЖЕНИЯ ТРАНСПОРТНЫХ СРЕДСТВ

Cравнение известных и находящихся в открытом доступе наборов данных для задач обнаружения транспортных средств на аэрофото- и спутниковых снимках Земли приведено в табл. 1. Из сравнительного анализа видно, что набор, описанный в статье [15], имеет больше исходных изображений и больше категорий объектов, что позволяет обучать и оценивать нейронные сети на более разнообразных данных.

Используемый для обучения и оценки системы обнаружения объектов набор данных содержит пять классов объектов, принадлежащих к категории транспортных средств (легковой автомобиль, грузовой автомобиль, самолет, вертолет, корабль). Интересующие нас объекты в данном наборе данных имеют стороны ограничивающих рамок в диапазоне от 2 до 800 пикселей, а соотношения сторон ограничивающих рамок этих объектов варьирует от значения 0.1 до 11. Также на одном изображении может находиться до 1650 транспортных средств, что происходит из-за плотного размещения объектов [15].

4. ИССЛЕДОВАНИЕ ПОМЕХОУСТОЙЧИВОСТИ СИСТЕМЫ ОБНАРУЖЕНИЯ ТРАНСПОРТНЫХ СРЕДСТВ НА АЭРОФОТОСНИМКАХ ЗЕМЛИ

В качестве исследуемой системы обнаружения объектов на аэрофотоснимках Земли выступает глубокая сверточная нейронная сеть, упрощенная архитектура которой изображена на рис. 3. Для обучения и оценки данной системы используется набор данных, представленный в статье [15], который разбивается на обучающую и тестовую выборки. Нами исследуются несколько подходов к обучению системы обнаружения. Первый подход основан на обучении модели обнаружения объектов на исходных (не зашумленных) данных. Также в работе рассмотрены два случая обучения на зашумленных выборках с разной степенью искажения. Зашумленные аэрофотоснимки создаются из исходной обучающей выборки по следующим правилам:

1) исходная обучающая выборка случайным образом перемешивается и делится на три части с равным количеством изображений;

2) одна подвыборка остается без изменений;

3) к изображениям из второй подвыборки добавляется белый гауссов шум по правилу (3);

4) к изображениям из третьей подвыборки добавляется белый гауссов шум по правилу (4);

где ${{{\mathbf{X}}}_{2}},{{{\mathbf{X}}}_{3}}~$ – исходные изображения, использующиеся для второй и третьей подвыборок соответственно, представленные в виде трехмерных матриц пикселей, имеющих высоту $h$ пикселей, ширину $w$ пикселей и глубину $d = 3$ пикселя, что соответствует количеству каналов RGB-изображения (диапазон значений яркости в каналах RGB 0…255); ${{{\mathbf{W}}}_{2}},{{{\mathbf{W}}}_{3}}$ – матрицы случайных величин с нормальным распределением и нулевой средней величиной, имеющие такие же размеры, что и матрицы ${{{\mathbf{X}}}_{2}}$ и ${{{\mathbf{X}}}_{3}}$ соответственно, причем случайные величины матрицы ${{{\mathbf{W}}}_{2}}$ имеют стандартное отклонение, равное 30 для второго подхода обучения и 100 для третьего подхода обучения (в этих случаях отношения сигнал/шум составляют 4.55 и –5.9 дБ соответственно), а случайные величины матрицы ${{{\mathbf{W}}}_{3}}$ имеют стандартное отклонение, равное 40 для второго подхода обучения и 200 для третьего подхода обучения (в этих случаях отношения сигнал/шум составляют 2.05 и –11.93 дБ соответственно); ${{{\mathbf{Y}}}_{2}},{{{\mathbf{Y}}}_{3}}$ – изображения второй и третьей подвыборок соответственно.

Шумовое искажение аэрофотоизображений является следствием множества различных процессов. Центральная предельная теорема (ЦПТ) утверждает, что сумма достаточно большого количества некоррелированных случайных процессов с примерно одинаковыми масштабами имеет распределение, близкое к нормальному [26]. Кроме того, множество различных случайных процессов, влияющих на итоговое искажение, имеет различную физическую природу и потому независимо, а следовательно, не коррелировано. Таким образом, автокорреляционная функция итогового искажения имеет вид дельта-функции. Исходя из изложенного выше в качестве шумового воздействия в данной работе используется белый гауссов шум.

Описанные выше варианты обучения (обучение на исходном и частично зашумленном наборах данных соответственно) проводятся на одной и той же архитектуре глубокой СНС (см. рис. 3) и с одинаковыми параметрами обучения.

Для получения кривых помехоустойчивости на вход сети подаются изображения из тестовой выборки с разным уровнем шума и оценивается величина полноты обнаружения для каждого случая. Величина полноты обнаружения вычисляется для всех предсказанных ограничивающих рамок, имеющих наивысшую вероятность нахождения в данной рамке объекта, по формуле (1) при метрике пересечения предсказанных рамок с истинными (IoU) больше 0.5. Для вычисления степени зашумленности в данном исследовании используется величина отношения сигнал/шум (ОСШ), формула которого имеет вид

где ${{{{\sigma }}}_{{\text{и}}}}$ – стандартное отклонение тестового набора данных, характеризующее средний контраст изображения, ${{{{\sigma }}}_{{\text{ш}}}}$ – стандартное отклонение аддитивного белого гауссова шума.

На рис. 4 представлены графики зависимости величины полноты обнаружения объектов от ОСШ для трех различных систем: обученной на исходной обучающей выборке; на оптимально зашумленной обучающей выборке, полученной добавлением зашумленных изображений по правилу (3), (4) с ОСШ = 4.55 и 2.05 дБ; и на избыточно зашумленной обучающей выборке, полученной добавлением зашумленных изображений по правилу (3), (4) с ОСШ = –5.9 дБ и ОСШ = –11.93 дБ. Для сравнения там же представлен график помехоустойчивости системы обнаружения, полученной путем переобучения модели на исходных данных. В этом случае параметры обучения системы обнаружения отличаются от параметров обучения систем, описанных выше.

Для визуализации на рис. 5 представлены образцы изображений с различными значениями ОСШ, используемые для данной оценки.

Графики помехоустойчивости системы обнаружения, представленные на рис. 4, позволяют выделить две области отношений сигнал/шум:

1) “переходная область”, в которой наблюдается заметное (на десятки процентов) повышение полноты обнаружения с ростом ОСШ (–8…8 дБ);

2) “область высоких ОСШ”, в которой полнота обнаружения высока и мало (менее чем на 1%) меняется, объекты на изображении визуально четко различимы (ОСШ > 8 дБ).

Из графиков, представленных на рис. 4, видно, что при увеличении уровня шума модель, обученная на оптимально зашумленном наборе данных (кривая 2), показывает способность обнаруживать больше релевантных объектов, чем та же модель, но обученная на исходном наборе данных (кривая 1). Необходимо отметить, что при ОСШ, превышающем 20 дБ в проведенном в данной работе эксперименте, модель, обученная на исходном наборе данных, показывает величину полноты обнаружения на 0.004 больше, что является незначительно более высоким значением. Из этого можно сделать вывод, что такая модель лучше работает на неискаженных данных, однако хуже способна противостоять шумовому воздействию. Добавление в обучающую выборку данных с чрезмерно низким ОСШ (кривая 3), т.е. с таким уровнем шума, при котором визуально объекты на изображениях аэрофотоснимках сложно различить, приводит к существенному снижению качества распознавания изображений в области ОСШ выше 0 дБ (в данном эксперименте). При ОСШ ниже 0 дБ наблюдается более высокая помехоустойчивость данной системы по сравнению с системой, обученной на оптимально зашумленных данных (кривая 2). В то же время добавление в обучающую выборку данных с чрезмерно низким ОСШ снижает интегральную (суммарную по всем значениям ОСШ) полноту обнаружения из-за внесения слишком большой неопределенности в весовые коэффициенты нейронной сети. То есть обучение системы обнаружения на наборе данных с чрезмерно низким ОСШ приводит к сдвигу влево и вниз кривой помехоустойчивости. Данное наблюдение свидетельствует о необходимости поиска оптимального уровня неопределенности, которая вводится в обучающую выборку, для получения наивысшей помехоустойчивости системы.

ЗАКЛЮЧЕНИЕ

В данной работе проведено исследование влияния шумового воздействия на величину полноты обнаружения современной архитектуры глубокой сверточной нейронной сети, решающей задачу обнаружения объектов на аэрофотоснимках Земли.

Интегральная полнота обнаружения объектов при различных ОСШ может служить индикатором истинной обобщающей способности нейронной сети и корректности выбранной модели.

Кроме того, предложен способ повышения помехоустойчивости системы путем ее обучения на частично зашумленном наборе данных. Показано, что чрезмерное искажение обучающих данных приводит к снижению интегральной полноты обнаружения объектов.

Также из данного исследования следует, что повышение качества работы модели путем обучения и оценки исключительно на неискаженных наборах данных не гарантирует, что такая модель даст соответствующий результат при работе с зашумленными входными изображениями. Таким образом, исследование зависимости качества работы сверточных нейронных сетей от уровня шумового воздействия позволяет раскрыть больше информации о корректности и качестве системы обнаружения объектов на аэрофотоснимках при работе в реальных условиях.