Исследование Земли из Космоса. Номер 4, 2023

Исследование Земли из Космоса, 2023, № 4, стр. 83-91

Применение модели пространственно-иерархического квадродерева с усеченными ветвями для повышения точности классификации изображений

А. М. Достовалова *

АО “Концерн “Моринформсистема-Агат”
Москва, Россия

* E-mail: dost.bmstu99@gmail.com

Поступила в редакцию 03.08.2022

Полный текст (PDF)

Аннотация

В статье рассмотрена задача повышения точности классификации отсчетов спутниковых изображений в предположении независимости их отсчетов. Приращение точности достигалось за счет дополнительной обработки изображения как пространственно-иерархического квадродерева, являющегося видом случайного поля Маркова. Была предложена модификация этой модели – пространственно-иерархическое квадродерево с усеченными ветвями. Для исходной и модифицированной модели проведено сравнение результатов классификации реального радиолокационного изображения, характеризующегося большим количеством шумов. Точность классификации оценивалась как доля верно классифицированных отсчетов внутри выделенных однородных областей. Установлено, что в рамках модифицированной модели правильнее классифицируются однородные участки изображений за счет переноса на них свойств накопленных изображений того же региона. Модифицированная модель позволяет получить результат классификации более высокой точности, нежели исходная при обработке зашумленных изображений, при этом обладая меньшей ресурсоемкостью.

Ключевые слова: квадродеревья, классификация, зашумленные изображения

ВВЕДЕНИЕ

Широкий спектр задач, требующий анализа спутниковых данных о состоянии Земной поверхности, может быть сведен к задаче классификации изображений. Поскольку отсчеты (пиксели, точки изображения) каждого типа подстилающей поверхности можно считать выборкой значений случайной величины – набором из яркостей независимых отсчетов (Gao, 2010), большинство методов классификации построено на свойстве независимости классифицируемых элементов.

Но обычно на изображениях наблюдается набор областей, отсчеты которых близки по отражающим свойствам – т.е. между ними есть неявные пространственные зависимости. Структура, в которой между в целом независимыми элементами существуют неявные зависимости, используется рядом моделей, в которых изображение представляется в форме случайного поля Маркова (Laferté et al., 2000, Pastorino et al., 2021). Среди них перспективной показала себя модель пространственно-иерархического квадродерева (ПИ-квадродерева) (Laferté et al., 2000, Pastorino et al., 2021), обобщающая пространственные зависимости и связи между отсчетами изображений одного региона в различных пространственных разрешениях. Дополнительная обработка изображения с помощью ПИ-квадродерева (т.е. обработка с использованием свойств этой структуры данных) повышает точность классификации в сравнении с другими методами (Laferté et al., 2000, Pastorino et al., 2021), однако имеет ряд недостатков. Во-первых, при работе с зашумленными данными на изображении-результате остается значительное количество отсчетов-шумов в целом однородных областях. Вторым недостатком является ресурсоемкость – в сравнении с альтернативами (Достовалова, 2021), квадродереву требуется больше времени для обработки изображения.

В данной работе была поставлена задача усовершенствовать модель ПИ-квадродерева, чтобы повысить эффективность обработки зашумленных изображений и ускорить ее. Результатом стала новая модель ПИ-квадродерева с усеченными ветвями. Эффективность предложенной модели для классификации изображений была проверена на реальных радиолокационных данных.

ПРОСТРАНСТВЕННО-ИЕРАРХИЧЕСКОЕ КВАДРОДЕРЕВО

Квадродеревом называется иерархическая структура пространственных данных, организованная в форме графа-дерева, информация на каждом следующем слое которого является уточнением данных на предшествующем (D’Angelo, 2016). Его можно представить в виде пирамиды (рис. 1), составленной из S – набора изображений одного и того же региона, пространственное разрешение которых $w(width) \times h(height)$ изменяется от максимального ${{2}^{N}} \times {{2}^{N}}$ (слой “листьев” ${{S}_{n}}$) до минимального ${{2}^{{N - n}}} \times {{2}^{{N - n}}}$ (корневой слой ${{S}_{0}}$) (Pastorino et al., 2021). Обычно изображения меньшего разрешения в наборе получают применением к исходному изображению масштабирующего преобразования (Hedhli, et al., 2016) (Вейвлет-преобразования (Pastorino et al., 2021) или некогерентного накопления).

Рис. 1.

Представление квадродерева в виде пирамиды изображений.

Используя обозначения, представленнные в (Pastorino et al.,2021), каждое i-тое изображение в наборе изображений S называется слоем квадродерева ${{S}_{i}},\;i = n...0,$ а отсчет $s \in {{S}_{i}}$ – узлом квадродерева. Отсчет $s \notin \{ {{S}_{0}},\,{{S}_{n}}\} $ на i-том слое имеет предшественника (предка) – отсчет ${{s}^{ - }} \in {{S}_{{i - 1}}},$ и четырех потомков на I + 1-ом слое, объединенных в множество ${{s}^{ + }} \in {{S}_{{i + 1}}}$ (рис. 2, а)). Связи между отсчетами$s,{{s}^{ + }},{{s}^{ - }}$ формируют иерархические взаимосвязи между слоями. Они удовлетворяют Марковскому свойству (Pastorino et al., 2021): для ${{X}^{l}} = {{\{ {{x}_{s}}\} }_{{s \in {{S}_{l}}}}},$ $l \ne 0$ – множества меток классов всех отсчетов внутри слоя l, выполнено равенство:

$P(\left. {{{X}^{l}}\,} \right|{{X}^{{l - 1}}}...{{X}^{0}}) = P(\left. {{{X}^{l}}\,} \right|{{X}^{{l - 1}}}) = \prod\limits_{s \in {{S}_{l}}} {P(\left. {{{x}_{{s\,}}}} \right|{{x}_{{{{s}^{ - }}}}})} .$
Рис. 2.

Связи между слоями для квадродерева (а) иерархического; (б) пространственно-иерархического.

Множество вcех отсчетов изображений с наложенными на них структурой квадродерева взаимосвязями образуют поле Маркова. В сравнении с альтернативными формами (Moser, 2013) организации отсчетов изображений в Марковскую структуру, достоинством квадродерева является возможность использовать свойства отсчетов поверхностей в различных пространственных разрешениях – например, то, что изображения меньшего разрешения лучше описывают однородные участки.

Однако структура квадродерева не выражает явно пространственные связи между отсчетами внутри одного слоя. Для преодоления этого ограничения во введенной иерархической структуре каждый слой дополнительно представляется в виде поля Маркова (Pastorino et al., 2021). Оно строится определением множества “предшественников” для каждого отсчета изображения в слое. Для узлов $r,s \in {{S}_{l}}$ вводится отношение порядка $r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ \prec } s,$ определяющее для отсчета s множество “ближайших соседей” $\{ r \in {{S}_{l}},r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ \prec } s\} ,$ влияющих на его текущее состояние (Moser, 2013). В получающемся пространственно-иерархическом квадродереве отсчет s связан и с предком ${{s}^{ - }}$ с вышележащего слоя ${{S}_{{l - 1}}}$, и с множеством ближайших соседей $\{ r \in {{S}_{l}},r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ \prec } s\} $ внутри слоя ${{S}_{l}}$ (рис. 2, б)).

Полученная структура содержит информацию об иерархических и пространственных зависимостях между отсчетами. При этом каждый ее элемент является самостоятельной единицей, поэтому задача классификации отсчетов поставлена математически корректно.

ОБРАБОТКА ИЗОБРАЖЕНИЯ С ПОМОЩЬЮ КВАДРОДЕРЕВА

Для изображения, уже классифицированного тем или иным способом, дополнительная обработка с использованием ПИ-квадродерева применяется для получения результата классификации более высокой точности, чем первоначальный. Для этого используется специальный трехшаговый алгоритм, описанный в (Pastorino et al., 2021). В следующем разделе будут изложены модификации трехшагового алгоритма.

С учетом связей между узлами ПИ-квадродерева, где $Y = {{\{ {{y}_{s}}\} }_{{s \in S}}}$ – случайное поле допустимых значений яркостей ${{y}_{s}},$ алгоритм вычисляет для каждого отсчета s вероятности классов $P(\left. {{{x}_{{s\,}}}} \right|Y),$ в соответствии со значениями которых он классифицируется. Для учета влияния яркостей отсчетов ${{s}^{ - }} \in {{S}_{{l - 1}}},$ и $\{ r \in {{S}_{l}},r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ \prec } s\} ,$ связанных с отсчетом s внутри- и междуслойными зависимостями, вводятся понятия контекста ${{C}_{s}}$ и вектора наблюдений потомков ${{D}_{s}}$, причем ${{D}_{s}} = {{y}_{s}},\;s \in {{S}_{n}}$ (Pastorino et al., 2021). Для корневого слоя ${{C}_{s}} = \{ r \in {{S}_{l}}:r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ < } s\} ,\;s \in {{S}_{0}},$ а для остальных слоев ${{C}_{s}} = \{ {{s}^{ - }}\} \cup \{ r \in {{S}_{l}}:r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ < } s\} {\kern 1pt} ,s \in S{{\backslash }}{{S}_{0}}.$ Вид ${{C}_{s}}$зависит от выбора пространственного отношения порядка. Для одномерного случая, когда элементы слоя организованы в Марковскую цепь, множество ближайших соседей $\{ r \in {{S}_{l}},r\underset{\raise0.3em\hbox{$\smash{\scriptscriptstyle\thicksim}$}}{ \prec } s\} $ состоит из одного отсчета $s* \in {{S}_{l}}.$

При вычислении $P(\left. {{{x}_{{s\,}}}} \right|Y)$ также используется их связь по теореме Байеса со значениями $P(\left. {{{y}_{{s\,}}}} \right|{{x}_{s}})$ – вероятностями яркостей ${{y}_{s}}$ в зависимости от метки класса ${{x}_{s}}$. Эти вероятности для отсчетов изображения получены при первоначальной классификации, результат которой планируется улучшить дополнительной обработкой с помощью ПИ-квадродерева. Они вычисляются для всех изображений, входящих в набор S.

Понятия ${{C}_{s}}$ и ${{D}_{s}}$, а также значения $P(\left. {{{y}_{s}}\,} \right|{{x}_{s}}),$ используются в выражениях (1)–(5), описывающих шаги в трехшаговом алгоритме. На первом шаге алгоритма согласно выражению (1) вычисляются $P({{x}_{s}})$ – вероятности классов внутри каждого слоя дерева (кроме корневого, на котором эти значения задаются априорно и обычно принимаются равными $\frac{1}{M}$, где M – число классов на изображении). $P({{x}_{s}})$ вычисляются с использованием $P(\left. {{{x}_{s}}\,} \right|{{x}_{{{{s}^{ - }}}}})$ – вероятностей класса отсчета s в зависимости от класса его предка, которые определены выражением (2). Согласно (Bouman et al., 1994), $P(\left. {{{x}_{s}}\,} \right|{{x}_{{{{s}^{ - }}}}})$ могут изменяться от слоя к слою, но для простоты их полагают неизменными (Laferté et al., 2000). Параметр $\theta $ характеризует вероятность для отсчета s принадлежать классу, которому принадлежит его предшественник. Этот параметр принадлежит интервалу $(0.5,\;1).$ Значение нижней границы обусловлено предположением, что предок и потомок вероятнее всего будут принадлежать одному классу в силу существования на изображениях локальных однородных областей, а значение верхней – тем, что классовая принадлежность потомка может измениться. Вариация $\theta $ внутри указанного интервала обычно не оказывает существенного влияния на результат (Pastorino et al., 2021), в данной работе его значение было принято равным 0.7.

На втором шаге алгоритма вычисляются $P(\left. {{{x}_{s}}\,} \right|{{D}_{s}})$ и $P(\left. {{{x}_{s}}\,} \right|{{x}_{{s{\kern 1pt} *}}},\,{{x}_{{s{\kern 1pt} - }}},\,{{D}_{s}})$ согласно выражениям (3) и (4). $P(\left. {{{x}_{s}}\,} \right|{{D}_{s}})$ – вероятность отсчету s принадлежать к классу x, в зависимости от того, каким классам принадлежат его потомки, $P(\left. {{{x}_{s}}\,} \right|{{x}_{{s*}}},\,{{x}_{{{{s}^{ - }}}}},\,{{D}_{s}})$ – вероятность для s принадлежать к x в зависимости от того, каким классам принадлежат его потомки и предшественники. Используемые при вычислении этих вероятностей значения $P(\left. {{{x}_{s}}\,} \right|{{y}_{s}})$ пропорциональны $P(\left. {{{y}_{s}}\,} \right|{{x}_{s}})P({{x}_{s}})$($ \propto $ – знак пропорциональности).

На третьем шаге алгоритма вычисляются $P(\left. {{{x}_{s}}\,} \right|Y)$ согласно выражению (5). После отсчеты классифицируются в соответствии с максимумом значений $P(\left. {{{x}_{s}}\,} \right|Y).$

(1)
$P({{x}_{s}}) = \sum\limits_{{{x}_{{{{s}^{ - }}}}} \in \Omega } {P(\left. {{{x}_{s}}\,} \right|{{x}_{{{{s}^{ - }}}}})P({{x}_{{{{s}^{ - }}}}})} ,$
(2)
$P({{x}_{s}} = i|{{x}_{{{{s}^{ - }}}}} = j) = \left\{ \begin{gathered} \theta ,\;i = j \hfill \\ \frac{{1 - \theta }}{{M - 1}},\;i \ne j \hfill \\ \end{gathered} \right.,\,\,\,\,\theta > \frac{1}{M},$
(3)
$P(\left. {{{x}_{s}}\,} \right|{{D}_{s}})\,\, \propto \left\{ \begin{gathered} P({{x}_{s}}|{{y}_{s}})\prod\limits_{t \in {{s}^{ + }}} {\sum\limits_{{{x}_{t}} \in \Omega } {\frac{{P(\left. {{{x}_{t}}\,} \right|{{D}_{s}})P(\left. {{{x}_{t}}\,} \right|{{x}_{s}})}}{{P({{x}_{t}})}},} } \hfill \\ s \in S{{\backslash }}{{S}_{n}},\,\,\,\,P(\left. {{{x}_{s}}\,} \right|{{y}_{s}}),\,s \in {{S}_{n}}, \hfill \\ \end{gathered} \right.$
(4)
$\begin{gathered} P({{x}_{s}}|{{x}_{{s*}}},\,\,{{x}_{{{{s}^{ - }}}}},{{D}_{s}})\,\, \propto \\ \propto \,\,\left\{ \begin{gathered} P(\left. {{{x}_{s}}\,} \right|{{D}_{s}})P{{({{x}_{s}})}^{{ - 2}}}P({{x}_{s}}|{{x}_{{s*}}})P({{x}_{{s*}}}),\,\,s \in {{S}_{0}}, \hfill \\ P({{x}_{s}}|{{D}_{s}})P({{x}_{s}}|{{x}_{{{{s}^{ - }}}}})P({{x}_{{{{s}^{ - }}}}}) \times \hfill \\ \times \,\,P{{({{x}_{s}})}^{{ - 2}}}P({{x}_{s}}|{{x}_{{s*}}})P({{x}_{{s*}}}),s \in S{{\backslash }}{{S}_{0}}, \hfill \\ \end{gathered} \right. \\ \end{gathered} $
(5)
$\begin{gathered} P(\left. {{{x}_{s}}\,} \right|Y) = \\ = \left\{ \begin{gathered} \sum\limits_{{{x}_{{s*}}},{{x}_{{{{s}^{ - }}}}} \in \Omega } {P(\left. {{{x}_{s}}\,} \right|{{x}_{{s*}}},{{D}_{s}})P(\left. {{{x}_{{s*}}}\,} \right|Y),\,\,s \in {{S}_{0}},} \hfill \\ \sum\limits_{{{x}_{{s*}}},{{x}_{{{{s}^{ - }}}}} \in \Omega } {P(\left. {{{x}_{s}}\,} \right|{{x}_{{s*}}},{{D}_{s}})P(\left. {{{x}_{{{{s}^{ - }}}}}\,} \right|Y)P(\left. {{{x}_{{s*}}}\,} \right|Y),\,\,s \in S{{\backslash }}{{S}_{0}}.} \hfill \\ \end{gathered} \right. \\ \end{gathered} $

Рост точности по отношению к исходным результатам классификации изображения происходит из-за сдвига порога разделения классов в локальной области изображения ${{S}_{l}},$ образуемой потомками отсчета ${{s}^{ - }}$ с вышележащего изображения ${{S}_{{l - 1}}}.$ Перемещение порога обусловлено умножением в выражении (5) вероятностей классов потомков s на соответствующие вероятности предка ${{s}^{ - }}$ как на весовые коэффициенты. Вышележащее изображение ${{S}_{{l - 1}}},$ образующееся в результате накопления, характеризуется более низким уровнем шумов. Отсчеты однородных участков поверхности с большей вероятностью классифицированы на нем верно. В результате для отсчетов, чья яркость близка к порогу, классовая принадлежность изменяется. Это повышает точность обработки однородных областей.

Достоинством трехшагового алгоритма по сравнению с альтернативами является то, что он не требует поиска глобального оптимума энергетического функционала (Yong, 2020), не накапливает ошибки при переходе между слоями дерева и не является итерационным (Laferté et al., 2000, Pastorino et al., 2021). Однако на зашумленных изображениях этот алгоритм часто оставляет отсчеты шумов классифицированными неверно. Яркости отсчетов-выбросов часто расположены далеко от порога разделения классов. Учет вероятностей классов предков и соседей не изменяет их классовой принадлежности. Это является недостатком алгоритма, особенно с учетом трудоемкости обработки ПИ-квадродерева. Алгоритм не пригоден для распараллеливания – слои нельзя обрабатывать независимо из-за иерархических зависимостей между ними; внутрислойные зависимости также учитываются последовательно из-за организации отсчетов слоя в Марковскую цепь.

МОДЕЛЬ КВАДРОДЕРЕВА С УСЕЧЕННЫМИ ВЕТВЯМИ

Как тогда повысить точность обработки зашумленных изображений? Если на изображении выделить однородные области и классифицировать их отсчеты в соответствии с результатами, полученными для этого же участка на накопленном изображении, то точность классификации области увеличится. Для отсчетов шумов вероятность класса будет вычисляться не по значению собственной яркости, а по яркости соответствующих накопленных отсчетов, и они будут классифицированы более правильно.

Реализовать такую обработку можно, разбив изображения в наборе на локальные области и построив по каждой квадродерево. Можно предположить, что если участок построения однороден, то из-за межслойных зависимостей вероятности $P(\left. {{{x}_{s}}\,} \right|Y)$ и $P(\left. {{{x}_{{{{s}^{ - }}}}}\,} \right|Y),\;{{s}^{ - }} \in {{S}_{l}},\,s \in {{S}_{{l + 1}}}$ будут отличаться не слишком сильно. Тогда можно модифицировать алгоритм обхода ПИ-квадродерева так, чтобы для этих отсчетов значения $P(\left. {{{x}_{s}}\,} \right|Y)$ для отсчета s и его потомков не вычислялись, а принимались равными $P(\left. {{{x}_{{{{s}^{ - }}}}}\,} \right|Y)$ – “запретить перемещение” по соответствующим ветвям дерева с l-го слоя на l + 1. Из исходного ПИ-квадродерева удаляются целые ветви, т.е. происходит их “обрезка”. Схема “обрезки ветвей” изображена на рис. 3.

Рис. 3.

Схема обрезки ветвей квадродерева.

В качестве критерия обрезки можно использовать значимость изменений значений вероятностей. Для ее оценки задается параметр $\varepsilon .$ На третьем шаге алгоритма после вычисления $P(\left. {{{x}_{s}}\,} \right|Y)$ согласно (5), $\left| P \right.(\left. {{{x}_{s}}\,} \right|Y) - P(\left. {{{x}_{{{{s}^{ - }}}}}\,} \right|\left. {Y)} \right|$ сравнивается с $\varepsilon $. Если$\left| P \right.(\left. {{{x}_{s}}\,} \right|Y) - P(\left. {{{x}_{{{{s}^{ - }}}}}\,} \right|\left. {Y)} \right| < \varepsilon ,$ то изменения считаются незначимыми и ветвь “обрезается”: для всех потомков отсчета s, вплоть до листового слоя, вероятности $P(\left. {{{x}_{{{{s}^{ + }}}}}\,} \right|Y)$ назначаются равными$P(\left. {{{x}_{s}}\,} \right|Y).$ Если изменения значительны, то ветвь исследуется подробнее на низких слоях. Значение $\varepsilon $ характеризует степень допустимых различий между отсчетами при переходе между соседними слоями квадродерева. Оно выбирается из эмпирических соображений так, чтобы эффективно сглаживать неоднородности на зашумленных участках, но не слишком большим, чтобы на изображении-результате не возникали искажения. При экспериментальной отработке метода наиболее точный результат был получен при $\varepsilon = 0.05.$

С математической точки зрения “обрезка ветвей” не является чем-то новым. Схожая техника используется в численных методах как критерий окончания процесса вычислений. Однако применительно к ПИ-квадродеревьям “обрезка” является значимой модификацией трехшагового алгоритма (Pastorino et al., 2021), позволяющей повысить точность обработки однородных областей. Кроме повышения точности предложенный способ обхода дерева менее затратен по времени. Уменьшается число обрабатываемых отсчетов, и при этом обработку независимых локальных областей можно проводить параллельно.

ФОРМИРОВАНИЕ НАБОРА ИСХОДНЫХ ДАННЫХ

В качестве исходных данных рассматривалось несколько радиолокационных изображений. Первое изображение (рис. 4, а) было получено с помощью радиолокатора спутника Sentinel 1 и имеет разрешение порядка 20 м. Оно представляет собой снимок сельской местности, включающей озеро, населенные пункты и поля с различными видами сельскохозяйственных культур (темные и светлые поля). Второе изображение было получено авиационным радиолокатором с длиной волны 3 см и пространственным разрешением порядка 1 м. Изображение, представленное на рис. 5, а, включает в себя поле, окаймленное дорогой, группу зданий, а также отдельные группы деревьев, лесополосы. Второе изображение характеризуется более высоким уровнем шумов, чем первое.

Рис. 4.

Первое исследуемое изображение: а – Исходное изображение с выделенными классами 1 (водная поверхность), 2 (темные поля), 3 (светлые поля), 4 (населенные пункты). Для классов 1, 2 и 3 выделены контуры однородных областей (красный, желтый, синий) и эталонные участки для оценки параметров распределений классов (зеленые прямоугольники); б – классификация сеточным методом разделения смесей; в – улучшение результата метода смесей с помощью квадродерева без обрезки ветвей; г – улучшение результата метода смесей с помощью квадродерева с обрезкой ветвей.

Рис. 5.

Второе исследуемое изображение: а – Исходное изображение с выделенными классами 1 (здания), 2 (земля без растительности), 3 (лес), 4 (поле), 5 (дороги) и эталонными участками для оценки параметров распределений классов (зеленые прямоугольники). Для классов 2 и 4 выделены контуры однородных областей (красный, желтый); б – классификация сеточным методом разделения смесей; в – улучшение результата метода смесей с помощью квадродерева без модификаций; г – улучшение результата метода смесей с помощью квадродерева с обрезкой ветвей.

Данные для верхних слоев квадродерева формировались некогерентным накоплением отсчетов (Rignot, Chelapia, 1993) исходного изображения. Для получения вероятностей начальных состояний отсчеты каждого изображения классифицировались в соответствии с представленными типами поверхностей на 4 класса при обработке первого изображения, и на 5 – для второго. Для первого изображения на рис. 4, а были выделены классы 1 (водная поверхность), 2 (темные поля), 3 (светлые поля), 4 (населенные пункты). Для второго изображения на рис. 5, а выделены классы 1 (здания), 2 (земля без растительности), 3 (лес), 4 (поле), 5 (дороги).

Считалось, что отсчеты на двух исходных изображениях подчиняются двухпараметрическому логнормальному закону. После логарифмирования их распределение становится нормальным (Джонсон и др., 2017). Нормальным оно остается и после накопления, что позволяло классифицировать и изображения с верхних слоев дерева.

Зелеными прямоугольниками на исходных изображениях (рис. 4, а, 5, а) выделяются эталонные участки, использованные для оценивания параметров распределений отсчетов выделенных классов. Параметры $a,\,\,\,\sigma ,$ задающие распределения классов, используются при классификации всех изображений в наборе, в т.ч. и накопленных. Классификация проводилась сеточными методами разделения смесей (Королев, Назаров, 2010). Исходное изображение разделялось на локальные области, а их отсчеты обрабатывались усеченным EM-алгоритмом методом, описанным в (Достовалова, 2021). Затем этот результат улучшался или с помощью квадродерева без модификаций, или с помощью четырехслойного квадродерева, построенного по локальной области ширины 16 отсчетов, с “обрезкой” и без “обрезки” ветвей.

В процессе анализа изображений было установлено, что сильно неоднородные области – области искусственных объектов (населенные пункты, дороги), а также лес (при разрешении 1м), представляют собой сложные смеси распределений ярких и слабо отражающий отсчетов. Для малых объектов (дороги) во многих случаях при накоплении объединяются разные типы поверхностей. EM-алгоритм разделяет эти смеси по составляющим, что снижает информативность получаемых начальных приближений. Эта проблема не устраняется и при использовании других алгоритмов получения начальных приближений, например, на основе средних значений. В результате для сильно неоднородных областей на изображениях возникают систематические ошибки классификации. Поэтому для оценки возможностей алгоритма по устранению случайных ошибок, возникающих при классификации отсчетов шумов, были выбраны относительно однородные области, соответствующие классам 1, 2 и 3 на первом изображении и классам 2 и 4 на втором, на которых систематической ошибки классификации не возникало. Неоднородные области класса 4 на первом изображении и классы 1, 3 и 5 на втором изображении далее не рассматривались.

Для выбранных классов области, ограниченные контурами на рис. 4, а и 5, а, внутри которых все отсчеты считались принадлежащими одному классу, использовались для вычисления User accuracy (U_Acc) – отношения числа верно классифицированных отсчетов класса к общему числу отсчетов, отнесенных к этому классу, Producer accuracy (P_Acc) – отношения числа верно классифицированных отсчетов класса к числу действительно принадлежащих ему отсчетов, и Overall accuracy (O_Acc) – общего числа верно классифицированных отсчетов. Значения U_Acc, P_Acc и O_Acc позволяли оценить точность классификации.

РЕЗУЛЬТАТЫ КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ

Результаты классификации первого изображения приведены на рис. 4 для $\theta = 0.7,\,\varepsilon = 0.05.$ Оценки точности результатов классификации (значения P_Acc, U_Acc, O_Acc) для классов 1, 2 и 3 для трех способов обработки первого изображения представлены в табл. 1.

Таблица 1.  

Точность классификации для классов 1, 2 и 3 первого исследуемого изображения

Способ обработки изображения Точность классификации для класса O_Acc
1 2 3
P_Acc U_Acc P_Acc U_Acc P_Acc U_Acc
Сеточный метод разделения смесей 0.95823 0.99444 0.9523 0.8943 0.8955 0.9282 0.9340
Смеси + квадродерево без обрезкой ветвей (по локальной области) 0.95898 0.99743 0.9711 0.9178 0.9236 0.9489 0.9508
Смеси + квадродерево с обрезкой ветвей (по локальной области) 0.96123 0.99998 0.9777 0.9342 0.9459 0.9580 0.9609

Результаты классификации второго изображения приведены на рис. 5 для $\theta = 0.7,\,\varepsilon = 0.05.$ Оценки точности результатов классификации (значения P_Acc, U_Acc, O_Acc) для классов 2 и 4 для трех способов обработки изображения представлены в табл. 2. Также в ней приведены результаты для обработки с помощью квадродерева без модификаций и время обработки изображения каждым алгоритмом.

Таблица 2.  

Точность классификации для классов 2 и 4 и время обработки второго исследуемого изображения

Способ обработки изображения Точность классификации для класса O_Acc Время работы, с
2 4
P_Acc U_Acc P_Acc U_Acc
Сеточный метод разделения смесей 0.6688 0.7605 0.9303 0.8229 0.7741 34.2
Смеси + квадродерево без модификаций 0.7274 0.8213 0.9585 0.8410 0.8091 3254.8
Смеси + квадродерево с обрезкой ветвей (по локальной области) 0.7454 0.8344 0.9689 0.8411 0.8189 169.1
Смеси + квадродерево без обрезки ветвей (по локальной области) 0.7246 0.8205 0.9571 0.8406 0.8082 579.2

Дополнительная обработка изображений с помощью квадродеревьев позволяет повысить точность классификации изображения – в обоих рассмотренных случаях для всех классов значение O_Acc увеличивается в сравнении с результатом метода смесей. Для всех классов растет U_Acc, что означает уменьшение значения ошибки первого рода, поскольку уменьшается количество отсчетов, ошибочно классифицированных как рассматриваемый класс.

Для всех наблюдаемых классов на двух изображениях для всех способов обработки увеличивается P_Acc, что свидетельствует о сокращении числа пропущенных отсчетов классов – об уменьшении ошибки 2-го рода. Визуально это выражается в уменьшении числа неверно классифицированных отсчетов внутри в целом однородных областей. Прирост P_Acc минимален на первом изображении (1–5%) и максимален на втором (4–8%). Величина прироста точности зависит от степени зашумленности изображения и разделимости классов. Если классы на изображении хорошо разделяются, и большинство их отсчетов классифицировано верно, то прирост точности будет невелик. Так происходит с отсчетами класса 1 на изображении 2 – они классифицированы наиболее правильно, поскольку распределение их яркости слабо перекрывается с остальными классами (Достовалова, 2021). Поэтому для класса 1 прирост точности после дополнительной обработки минимален.

При использовании дерева с обрезкой ветвей точность классификации увеличивается значительнее, чем в случае использования дерева без модификаций и дерева без обрезки. Кроме того, для дерева с обрезкой сокращается время обработки данных. Согласно результатам, приведенным в табл. 2, для второго изображения в сравнении со случаем использования дерева без модификаций, ускорение составляет 19 раз, а в сравнении с деревом без обрезки – 4 раза. Полученный результат демонстрирует преимущества использования усечения ветвей – точность классификации изображения возрастает за счет более правильной обработки одиночных отсчетов-шумов внутри однородных областей, а скорость обработки – за счет уменьшения числа обрабатываемых элементов.

ЗАКЛЮЧЕНИЕ

Исследованы возможности использования моделей квадродерева, представляющих отсчеты изображений в виде поля Маркова, для повышения точности классификации изображений. Для обработки зашумленных изображений разработана новая модель пространственно-иерархического квадродерева с усеченными ветвями. Проведено сравнение результатов классификации, полученных на основе новой модели, с результатами использования альтернативных моделей.

Результаты классификации реальных изображений показали, что модель квадродерева с усеченными ветвями демонстрирует более высокую точность за счет повышения вероятности правильной классификации отсчетов внутри однородных областей. Также процедура обработки набора изображений для этой модели оказывается наименее ресурсоемкой в сравнении с остальными.

Список литературы

  1. Джонсон Н.Л., Коц С., Балакришнан Н. Одномерные непрерывные распределения, часть 1. 4 изд. М.: Лаборатория знаний, 2017. 706 с.

  2. Достовалова А.М. Моделирование локально-однородных радиолокационных изображений при использовании различных статистических критериев // Математическое моделирование и численные методы. 2021. № 4.

  3. Королев В.Ю., Назаров А.Л. Разделение смесей вероятностных распределений при помощи сеточных методов моментов и максимального правдоподобия // Автоматика и телемеханика. 2010. № 3. С. 98–116.

  4. Bouman C., Shapiro M. A multiscale image model for Bayesian image segmentation // IEEE Trans. Image Processing. 1994. V. 3. P. 162–177.

  5. Anthony D’Angelo A Brief Introduction to Quadtrees and Their Applications // 28th Canadian Conference on Computational Geometry. 2016.

  6. Gui Gao. Statistical modeling of SAR Images: A Survey // Sensors. 2010. V. 10. P. 775−795.

  7. Hedhli I., Moser G., Zerubia J., Serpico S.B. A new cascade model for the hierarchical joint classification of multitemporal and multiresolution remote sensing data // IEEE Trans. Geosci. Remote Sens. 2016. V. 54. № 11. P. 6333–6348.

  8. Jean-Marc Laferté, Patrick Pérez, Fabrice Heitz Discrete Markov Image Modeling and Inference on the Quadtree // IEEE Transactions on image processing. 2000. V. 3. № 9. P. 390–404.

  9. Gabriele Moser, Sebastiano B. Serpico, Jo’n Atli Benediktsson Land-Cover Mapping by Markov Modeling of Spatial–Contextual Information in Very-High-Resolution Remote Sensing Images // Proceedings of the IEEE. 2013. № 3. P. 631–651.

  10. Pastorino M., Montaldo A., Fronda L., Hedhli I., Moser G., Serpico S.B., Zerubia J. Multisensor and Multiresolution Remote Sensing Image Classification through a Causal Hierarchical Markov Framework and Decision Tree Ensembles // Remote Sens. 2021. № 13. P. 849.

  11. Yong X. Polarimetric SAR image semantic segmentation with 3D discrete wavelet transform and Markov random field // IEEE Transactions on Image Processing. 2020. P. 1–14.

  12. Rignot E., Chelapia R. Maximum a posteriori classification of multifrequency, multilook, synthetic aperture radar intensity data // Optical society of America. 1993. V. 10. № 4.

  13. Anthony D’Angelo. A Brief Introduction to Quadtrees and Their Applications // 28th Canadian Conference on Computational Geometry. 2016.

  14. Bouman C. and Shapiro M. A multiscale image model for Bayesian image segmentation // IEEE Trans. Image Processing. 1994. V. 3. P. 162–177.

  15. Jonson N.L., Kots S., Balacrishnan N. Odnomernye nepreryvnye raspredelenia, chast 1. 4 izd. [One-dimensional continuous distributions, part 1. 4th ed.]. M.: Laborartoria znanij, 2017. 706 c. (In Russian). Dostovalova A.M. Modelirovanie lokalno-odnorodnyh radiolokacionnyh izobrajenij pri ispolzovanii razlichnyh statisticheskih kriteriev [Simulation of Locally Homogeneous Radar Images Using Different Statistical Criteria] // Matematicheskoe modelirovanie i chislennie metodi. 2021. № 4. (In Russian).

  16. Korolev V.Yu., Nazarov A.L. Razdelenie smesej veroyatnostnih raspredelenij pri pomoshchi setochnyh metodov momentov i maksimalnogo pravdopodobiya [Separation of mixtures of probability distributions using grid methods of moments and maximum likelihood] // Avtomatika i telemekhanika. 2010. № 3. C. 98–116. (In Russian).

  17. Gabriele Moser, Sebastiano B. Serpico, Jo’n Atli Benediktsson Land-Cover Mapping by Markov Modeling of Spatial–Contextual Information in Very-High-Resolution Remote Sensing Images // Proceedings of the IEEE. 2013. № 3. P. 631–651.

  18. Gui Gao. Statistical modeling of SAR Images: A Survey // Sensors. 2010. V. 10. P. 775–795.

  19. Hedhli I., Moser G., Zerubia J., Serpico S.B., A new cascade model for the hierarchical joint classification of multitemporal and multiresolution remote sensing data // IEEE Trans. Geosci. Remote Sens. 2016. V. 54. № 11. P. 6333–6348.

  20. Jean-Marc Laferté, Patrick Pérez, Fabrice Heitz Discrete Markov Image Modeling and Inference on the Quadtree // IEEE Transactions on image processing. 2000. V. 3. № 9. P. 390–404.

  21. Pastorino M., Montaldo A., Frond L., Hedhli I., Moser G., Serpico S.B., Zerubia J. Multisensor and Multiresolution Remote Sensing Image Classification through a Causal Hierarchical Markov Framework and Decision Tree Ensembles // Remote Sens. 2021. № 13. P. 849.

  22. Rignot E., Chelapia R. Maximum a posteriori classification of multifrequency, multilook, synthetic aperture radar intensity data // Optical society of America. 1993. V. 10. № 4.

  23. Yong X. Polarimetric SAR image semantic segmentation with 3D discrete wavelet transform and Markov random field // IEEE Transactions on Image Processing. 2020. P. 1–14.

Дополнительные материалы отсутствуют.