Известия РАН. Теория и системы управления, 2021, № 3, стр. 129-141

Введение. Разрешение цифровых изображений зависит от характеристик систем, формирующих и регистрирующих эти изображения. Кроме того, на разрешение изображений влияют ограничения, возникающие при их передаче по каналам связи. Для эффективной работы многих систем обработки информации требуются изображения с высоким разрешением (ВР), которые обеспечивают требуемый уровень детализации сцен, но не могут быть получены аппаратно, прежде всего, в силу ограниченных возможностей средств регистрации и средств передачи данных. В этом плане известен общий подход к построению алгоритмов многокадрового сверхразрешения (СР) [1–12], позволяющий восстанавливать изображения с ВР за счет накопления последовательности изображений с низким разрешением (НР). При использовании данного подхода из наблюдаемой последовательности изображений НР, отображающими одну и ту же сцену, при наличии между ними дробных пиксельных смещений (не кратных одному пикселю НР) воссоздается изображение, обладающее высоким разрешением.

Еще одним важным фактором, определяющим качество регистрируемых изображений, является то, что получаемые графические материалы нередко подвержены воздействию не только аддитивных, но и так называемых аппликативных помех (АП) (затенение объектов, наличие пораженных участков на изображения и аномальных наблюдений). Воздействие последних приводит к появлению распределенных участков аномальных наблюдений на каждом исходном изображении, которые также можно рассматривать как дополнительный фактор снижения разрешения, отличающийся нерегулярным характером расположения областей низкого или нулевого разрешения.

В настоящее время известны несколько различных алгоритмов построения СР [1, 2], однако только в некоторых из них содержатся попытки решить задачу компенсации потерь в условиях аппликативных искажений с одновременным повышением разрешения. При этом часть этих алгоритмов [3, 4] направлена на борьбу с воздействием аппликативных помех за счет закрашивания пораженных областей изображений НР, в то время как другие алгоритмы [5–12] основываются на накоплении и обработке последовательности изображений НР. К этим работам относятся и предшествующие публикации авторов данной статьи [8–12], базирующееся на использовании методов и алгоритмов оптимальной фильтрации последовательности изображений калмановского типа в сочетании с алгоритмами машинного обучения, которые ориентированы на выявление и локализацию участков, пораженных аппликативными помехами.

В то же время в известных работах в недостаточной степени рассмотрены вопросы решения представленной задачи в условиях статистической неопределенности относительно параметров математической модели наблюдений, например, параметров межкадровых сдвигов [11], дисперсии размытия системы формирования изображений [12] и т.п. Постановка задачи в указанных условиях может рассматриваться как постановка задачи синтеза адаптивных относительно параметров используемых моделей алгоритмов оптимальной фильтрации последовательности изображений. Кроме того, в известных работах отсутствуют количественные данные и результаты сравнения известных подходов и алгоритмов, основанных на применении методов оптимальной фильтрации в сочетании с алгоритмами машинного обучения для комплексного решения задачи повышения разрешения изображений в условиях аппликативных помех.

Целью данной работы является исследование алгоритмов построения многокадрового сверхразрешения в условиях аппликативных помех в адаптивной постановке и их сравнение с известными алгоритмами, используемыми или потенциально применимыми для решения рассматриваемой задачи повышения результирующего разрешения последовательности изображений.

1. Анализ известных алгоритмов. 1.1. Алгоритмы, основанные на модели спиновых стекол (АМСС). Алгоритмы, представленные в работах [5, 6], базируются на модели спиновых стекол [13], при этом эта модель используется для моделирования помех, действующих на изображения, а не самих изображений. Здесь и далее изображения рассматриваются как векторы, полученные в ходе построчной разверстки двумерных пиксельных матриц. Пусть {${{{\mathbf{y}}}^{{(t)}}}$} – последовательность исходных изображений НР, полученных в моменты времени $t = \overline {1,T} $, из которых требуется воссоздать изображение ВР x, а ${{{\mathbf{z}}}^{{(t)}}} \in {{\{ - 1, + 1\} }^{M}}$ – скрытый вектор, определяющий пиксели ${{{\mathbf{y}}}^{{(t)}}}$, которые подвержены воздействию шума (–1 – присутствие шума, +1 – отсутствие шума). Приведем вероятностные модели для ${{{\mathbf{y}}}^{{(t)}}}$, x и ${{{\mathbf{z}}}^{{(t)}}}$, используемые в [5, 6].

Априорное распределение скрытых переменных ${{{\mathbf{z}}}^{{(t)}}}$ описывается распределением Больцмана:

Энергия $E({{{\mathbf{z}}}^{{(t)}}})$ задается следующим образом:

где i ~ j обозначает, что i-й и  j-й пиксели располагаются по соседству, константы ${{J}_{{{\text{self}}}}}$ и ${{J}_{{{\text{inner}}}}}$ задаются исходя из свойств шума: коэффициент самосвязи ${{J}_{{{\text{self}}}}}$ характеризует тенденцию распространения локальных областей закрытия (ЛОЗ) аппликативных помех, а коэффициент внутренних связей ${{J}_{{{\text{inner}}}}}$ – степень корреляции между соседними пикселями ЛОЗ. Предполагается, что шум обычно занимает меньшую часть изображения, отсюда ${{J}_{{{\text{self}}}}} > 0$. Так как аппликативные помехи воздействуют на целые области изображения, а не на отдельные пиксели, то ${{J}_{{{\text{inner}}}}} > 0$. Так как элементы z^(t) принимают только два значения: ±1 (модель Изинга), выражения (1.1) и (1.2) являются аналогами модели спиновых стекол.

Условное распределение наблюдений ${{{\mathbf{y}}}_{t}}$ описывается гауссовским законом

где ${{{\mathbf{W}}}^{{(t)}}}$ – оператор, характеризующий воздействие системы формирования наблюдаемых изображений, ${\mathbf{B}}({{{\mathbf{z}}}^{{(t)}}})$ – матрица, обратная к диагональной матрице ковариации, диагональные элементы которой задаются следующим образом:

Здесь ${{\beta }_{H}} > {{\beta }_{L}}$, так как $z_{i}^{{(t)}} = + 1$ означает большую достоверность, а $z_{i}^{{(t)}} = - 1$ – меньшую. Априорное распределение ${\mathbf{x}}$ также описывается гауссовским законом

где ρ – коэффициент точности. В (1.5) A – матрица точности, обладающая сглаживающим эффектом: где ${\rm N}(i) = \{ j\,{\text{|}}\,i\sim j\} $ – количество соседей i-го пикселя изображения.

Изображение ВР ${\mathbf{x}}$ можно определить как математическое ожидание апостериорного распределения $p({\mathbf{x}}\,{\text{|}}\,{\mathbf{y}})$, однако это нельзя сделать в явном аналитическом виде из-за наличия скрытых переменных. Поэтому в [13] предлагается использовать метод вариационного байесовского вывода, в котором апостериорное распределение по набору ненаблюдаемых переменных аппроксимируется другим распределением, называемым вариационным $p({\mathbf{z}}\,{\text{|}}\,{\mathbf{x}}) \approx q({\mathbf{z}})$ таким образом, что дивергенция Кульбака–Лейблера между двумя распределениями была бы минимальной.

При этом численным решением для x является математическое ожидание ${\mathbf{\mu }}$ гауссовского распределения:

где $\left\langle {...} \right\rangle $ – оператор математического ожидания, а диагональные элементы ожидаемой обратной матрицы ковариации $\langle B({{{\mathbf{z}}}^{{(t)}}})\rangle $ задаются следующим образом:

Из-за большой размерности ${{{\mathbf{\Sigma }}}_{{\mathbf{x}}}}$ затруднительно получить эту матрицу напрямую. Однако из (1.7) следует, что

Таким образом, для нахождения $\mu $ достаточно решить линейное уравнение (1.9) с учетом сильной разреженности матрицы ${{\Sigma }_{{\mathbf{x}}}}$. Для этого предлагается использовать метод сопряженных градиентов [14].

Оптимальное вариационное распределение для значений $z_{i}^{{(t)}}$ описывается распределением Бернулли:

где sig – сигмоида, ${{e}_{{ti}}} = {{{\mathbf{y}}}_{{ti}}} - {{[{{{\mathbf{W}}}_{t}}{\mathbf{x}}]}_{i}}$ – ошибка в i-м пикселе t-го наблюдения (изображения НР), ожидаемое значение которой может быть приближенно вычислено: где ${{{\mathbf{w}}}_{{ti}}}$ – i-я строка матрицы W_t.

С учетом описанных выше соотношений алгоритм для получения изображения ВР принимает следующий вид.

1. $l \leftarrow 0$.

2. $l \leftarrow l + 1$.

3. Найти $\mu _{{\mathbf{x}}}^{{(l)}}$ ($\mu _{{\mathbf{x}}}^{{}}$ на l-шаге), согласно (1.7)–(1.9), используя метод сопряженных градиентов.

4. Пересчитать $v_{{ti}}^{{(l)}}$ (коэффициенты $v_{{ti}}^{{}}$ на l-шаге), согласно (1.10).

5. Повторять 2–4 пока, не выполнится условие $\left\| {\mu _{{\mathbf{x}}}^{{(l)}} - \mu _{{\mathbf{x}}}^{{(l - 1)}}} \right\|{\text{/}}\left\| {\mu _{{\mathbf{x}}}^{{(l - 1)}}} \right\| < \varepsilon $.

6. ${\mathbf{\tilde {x}}} \leftarrow \mu _{{\mathbf{x}}}^{{(l)}}$.

1.2. АМСС с учетом инерционного движения АП (АМССИД).   Авторы работы [6] дополняют приведенный выше подход, исходя из предположения, что области, пораженные АП, находятся не в случайных местах изображений НР, а инерционно движутся между кадрами. Для этого в модель вводится вектор ${{\theta }^{{(t)}}} = {{[\theta _{1}^{{(t)}},\theta _{2}^{{(t)}}]}^{{\text{T}}}}$, описывающий смещение АП между наблюдениями t и $t + 1$ в декартовых координатах. С учетом этого функция энергии ($E$) определяется как

где $G({{\theta }^{{(t)}}})$ – матрица сдвига и $G({{\theta }^{{(t)}}}){{{\mathbf{z}}}^{{(t)}}}$ – предсказанное положение АП на кадре t + 1, константа ${{J}_{{{\text{move}}}}} > 0$ описывает степень сходства областей АП между соседними кадрами.

Здесь априорное распределение $G({{\theta }^{{(t)}}}){{{\mathbf{z}}}^{{(t)}}}$ задается исходя из того, что процесс смещения является марковским и ЛОЗ с большой вероятностью сохранят направление движения:

где r – коэффициент точности, I – единичная матрица.

С помощью метода Лапласа плотность вариационного распределения ${\mathbf{\theta }}$ описывается как

где ${{\Sigma }_{\theta }} = {{\left\langle {{\mathbf{\bar {H}}}} \right\rangle }^{{ - 1}}}$, $\left\langle {{\mathbf{\bar {H}}}} \right\rangle $ – гессиан ${{\langle {\text{ln}}q{\kern 1pt} {\text{*}}(\mu _{\theta }^{{}})\rangle }_{{q({\mathbf{z}})}}}$.

С учетом вышеизложенных соображений значения ${{\lambda }_{{ti}}}$ вычисляются следующим образом:

где $\bar {G}_{{{{\theta }_{k}}}}^{{(t)}} = {{\partial G(\mu _{\theta }^{{(t)}})} \mathord{\left/ {\vphantom {{\partial G(\mu _{\theta }^{{(t)}})} {\partial \theta _{k}^{{(t)}}}}} \right. \kern-0em} {\partial \theta _{k}^{{(t)}}}}$ и $\bar {G}_{{{{\theta }_{l}}{{\theta }_{k}}}}^{{(t)}} = {{{{\partial }^{2}}G(\mu _{\theta }^{{(t)}})} \mathord{\left/ {\vphantom {{{{\partial }^{2}}G(\mu _{\theta }^{{(t)}})} {\partial \theta _{l}^{{(t)}}\partial \theta _{k}^{{(t)}}}}} \right. \kern-0em} {\partial \theta _{l}^{{(t)}}\partial \theta _{k}^{{(t)}}}}$.

1.3. Алгоритмы, основанные на моделях марковских случайных полей (АМСП). Подход, представленный в [6], основывается на использовании модели случайных марковских полей [15]. Модель наблюдений описывается следующим соотношением:

где оператор ${{{\mathbf{O}}}_{t}}$ удаляет пораженные аппликативными помехами пиксели, оператор D выполняет прореживание изображения ВР, оператор ${{{\mathbf{H}}}_{t}}$ характеризует воздействие системы формирования наблюдаемых изображений, ${{\omega }_{t}}$ – гауссовский шум. Считается, что данные операторы для получения наблюдаемых изображений НР либо известны, либо могут быть определены. При этом процедура оценки ${{{\mathbf{O}}}_{t}}$ предполагает процедуру проведения независимой сегментации каждого изображения НР ${{{\mathbf{y}}}_{t}}$ на полезные и ложные наблюдения, которая будет рассмотрена ниже.

Изображение ВР x рассматривается как неоднородное адаптивное случайное марковское случайное поле (модель DAMRF) [15], что позволяет сохранить неоднородности и детали изображения ВР ${\mathbf{x}}$. Совместная плотность распределения x задается следующим образом:

где Z – нормировочная константа, C – множество всех клик, ${{V}_{c}}({\mathbf{x}})$ – потенциальные функции, такие, что

Выбор модели существенен, так как она отражает информацию о гладкости изображения, используя меру локальных пространственных изменений ${{d}_{c}}{\mathbf{x}}$. Модель DAMRF адаптивно оценивает уровень сходства пикселей для сохранений неоднородностей:

где $\eta $ – разница между значениями двух соседних пикселей.

Максимум апостериорной вероятности ${\mathbf{x}}$ может быть получен на основе постепенной невыпуклой оптимизации (GNC) [15] следующим образом:

где $\beta $ – коэффициент регуляризации. В ходе оптимизации переменная $\gamma $ изменяется на каждой итерации по правилу ${{\gamma }^{{(i + 1)}}} = k{{\gamma }^{{(i)}}}$, $0 < k < 1$.

2. Алгоритмы, основанные на использовании методов оптимальной фильтрации (АОФ). Подход, предложенный авторами данной работы в [8–10] и развиваемый далее, базируется на применении методов оптимальной линейной фильтрации. Модель состояний, описывающая исходную последовательность изображений, задается следующим соотношением:

где $k = \overline {1,K} $, ${{{\mathbf{x}}}_{{k + 1}}}$, ${{{\mathbf{x}}}_{k}}$ – L-мерные векторы изображений, $L = {{L}_{1}}{{L}_{2}}$; ${{{\mathbf{F}}}_{k}}$ – оператор размера L × L, определяющий значения межкадровых сдвигов объектов на изображениях; ${{{\mathbf{u}}}_{k}}$ – L-мерный центрированный гауссовский случайный вектор с матрицей ковариаций ${{{\mathbf{Q}}}_{k}}$.

Каждому изображению ${{{\mathbf{x}}}_{k}}$ соответствует доступное для наблюдения изображение НР (размера ${{M}_{1}} \times {{M}_{2}}$), характеризующееся M-мерным вектором ${{{\mathbf{y}}}_{k}}$ $(M = {{M}_{1}}{{M}_{2}} < L)$. Модель системы формирования изображений, на вход которой поступает изображение ${{{\mathbf{x}}}_{k}}$, должна учитывать следующие факторы [8–12]:

– сдвиги и смещения, вызванные перемещением камеры (или объектов) относительно сцены;

– размытие, обусловленное функцией рассеяния фотоприемников;

– однородное прореживание для обеспечения соответствия разрешению наблюдаемых изображений.

Следует также учитывать возможность наличия областей закрытия и аппликативных помех на формируемых изображениях, которые приводят к замещению (полезной) информации о наблюдаемом объекте посторонней (ложной) информацией, не относящейся к объекту наблюдения. Модель наблюдений, соответствующая рассмотренной формирующей системе, задается следующими соотношениями:

где ${{{\mathbf{y}}}_{k}}$ – вектор размерности M², соответствующий очередному кадру НР, который поступает на обработку; ${{{\mathbf{v}}}_{k}}$ – центрированный гауссовский вектор аддитивного шума с матрицей ковариаций ${{{\mathbf{R}}}_{k}}$; ${{{\mathbf{F}}}_{k}} = {\mathbf{I}},$ $k = \overline {1,K} $; ${{{\mathbf{H}}}_{k}}$ – оператор, характеризующий воздействие системы формирования наблюдаемых изображений (по смыслу соответствует оператору ${\mathbf{D}}{{{\mathbf{H}}}_{t}}$ модели (1.16)) и учитывающий все перечисленные выше факторы (смещение, прореживание, размытие); ${{{\mathbf{A}}}_{k}},{{{\mathbf{B}}}_{k}}$ – диагональные матрицы со случайными элементами, принимающими значение ноль или единица в случае получения от первичного датчика полезной (${{a}_{{k\;l}}} = 1,$ ${{b}_{{k\;l}}} = 0,$ $l = \overline {1,M} $) или ложной (${{a}_{{k\;l}}} = 0,$ ${{b}_{{k\;l}}}$ = 1) информации (A_k по смыслу соответствует оператору ${{{\mathbf{O}}}_{t}}$ модели (1.16)); ${\mathbf{\tilde {y}}}_{{k|k - 1}}^{{}}$ – прогноз вектора оценки наблюдаемого изображения НР, полученный на основе априорных сведений о характере изображений с учетом обработки $k - 1$ кадра; ${{{\mathbf{w}}}_{k}}$ – вектор с нулевым средним и матрицей ковариаций ${{{\mathbf{S}}}_{k}}$, описывающий отклонение возникающих ложных наблюдений относительно вектора ${\mathbf{\tilde {y}}}_{{k|k - 1}}^{{}}$.

Вводятся диагональные матрицы, характеризующие вероятности полезности пикселей блока ${{{\mathbf{P}}}_{{{\text{A}}k}}}$ и ${{{\mathbf{P}}}_{{{\text{B}}k}}},$ такие, что ${{{\mathbf{P}}}_{{{\text{A}}k}}} + {{{\mathbf{P}}}_{{{\text{B}}k}}} = {\mathbf{I}}$. Диагональные элементы этих матриц содержат вероятности единичных значений ${{p}_{{akl}}} = P({{a}_{{kl}}} = 1),$ ${{p}_{{bkl}}} = P({{b}_{{kl}}} = 1)$. Также вводятся матрицы попарных вероятностей совместного появления полезных ${{{\mathbf{P}}}_{{{\text{AA}}k}}} = \left\| {{{p}_{{aklm}}}} \right\|$ или ложных ${{{\mathbf{P}}}_{{{\text{BB}}k}}} = \left\| {{{p}_{{bklm}}}} \right\|$ наблюдений для каждой пары пикселей изображения, где ${{p}_{{aklm}}} = P\left( {{{a}_{{kl}}} = 1,\;{{a}_{{km}}} = 1} \right)$, ${{p}_{{bklm}}} = P\left( {{{b}_{{kl}}} = 1,\;{{b}_{{km}}} = 1} \right)$, $l,m = \overline {1,M} $.

С использованием полученных моделей может быть проведен синтез двух типов алгоритмов: оптимального в классе линейных алгоритмов фильтрации и оптимального условно-линейного алгоритма фильтрации. Оптимальный в классе линейных алгоритм фильтрации реализует получение оценки с помощью стандартных соотношений для весовых матриц рекуррентного фильтра, не зависящих от наблюдений. Его возможности подробно рассмотрены в [9, 10]. При этом установлено, что данный тип алгоритма обладает недостаточной эффективностью для построения СР в условиях воздействия аномальных наблюдений и, в частности, аппликативных помех. Другой подход, основанный на применении оптимального условно-линейного алгоритма фильтрации, в развитие предыдущего предполагает использование апостериорной информации о ложных наблюдениях для каждого из получаемых изображений НР. Показано, что в подобных задачах условно-линейный фильтр имеет существенно большую точность восстановления изображения ВР по сравнению с оптимальной в классе линейных оценок.

Для получения оценки изображения ВР здесь используется модель гауссовсого случайного поля ${{{\mathbf{x}}}_{1}}\sim \operatorname{N} ({{{\mathbf{x}}}_{1}},{\mathbf{\tilde {x}}}_{{1|0}}^{{}},{\mathbf{P}}_{{1|0}}^{{}})$ с заданными начальными оценками изображения ВР ${\mathbf{\tilde {x}}}_{{1|0}}^{{}}$ и ее матрицы ковариаций ${\mathbf{P}}_{{1|0}}^{{}}$. В случае условно-линейной фильтрации уравнения для обновления оценки изображения ВР ${\mathbf{\tilde {x}}}_{{k|k}}^{{}}$ при поступлении очередного кадра ${\mathbf{y}}_{k}^{{}}$ имеют следующий вид [9]:

где векторы ${\mathbf{\tilde {x}}}_{{k|k}}^{{}},\;{\mathbf{\tilde {x}}}_{{k + 1|k}}^{{}}$ – оценка изображения ВР и ее прогноз на следующий кадр; ${\mathbf{P}}_{{k|k}}^{{}}$, ${\mathbf{P}}_{{k + 1|k}}^{{}}$ – матрица ковариаций оценки с экстраполяцией на следующий кадр; ${{\theta }^{k}} = \{ {{\theta }_{1}},...,{{\theta }_{k}}\} $ – последовательность двоичных векторов, получаемых в результате сегментации, содержащих единичные значения в позициях пикселей кадра y_k, которые находятся в областях закрытия; запись вида ${\mathbf{A}} \circ {\mathbf{B}}$ обозначает поэлементное перемножение операторов A, B.

В процессе работы условно-линейный фильтр использует дополнительную информационную составляющую $\theta {}_{k}$, которая получается в результате сегментации каждого поступающего кадра y_k и “управляет” изменениями матрицы ${{{\mathbf{W}}}_{k}}({{\theta }^{k}})$ весовых коэффициентов фильтра от шагa к шагу (2.3). С целью получения такой дополнительной информации для каждого обрабатываемого изображения НР нами предлагается использовать двухэтапную обработку, основанную на методах машинного обучения и включающую проведение суперпиксельной сегментации [16, 17] с последующей кластеризацией суперпикселей с помощью EM-алгоритма.

Каждый суперпиксель является атомарным регионом (фрагментом) изображения, причем все входящие в него пиксели рассматриваются при дальнейшей обработке как единое целое. Суперпиксельная карта изображения обладает рядом преимуществ по сравнению с обычной регулярной сеткой пикселей. Это связано с тем, что каждый суперпиксель – согласованная единица данных, так как принадлежащие ему пиксели имеют схожий цвет, яркость и текстурные свойства. Такие свойства суперпикселей обуславливают их эффективное использование при решении задач сегментации объектов как с известными, так и с неизвестными свойствами.

В результате применения EM-алгоритма по отношению к полученной карте суперпикселей все исходные пиксели изображения НР разделяются на два класса (полезное изображение и фрагменты АП). Одновременно в процессе выполнения EM-алгоритма определяются апостериорные вероятности полезности пикселей (диагональные элементы ${{{\mathbf{P}}}_{{{\text{A}}k}}}\left( {{{\theta }_{k}}} \right)$ и ${{{\mathbf{P}}}_{{{\text{B}}k}}}\left( {{{\theta }_{k}}} \right)$), а также двоичный вектор $\theta {}_{k}$, единичные значения которого соответствуют пикселям y_k, не закрытых помехой.

Численное определение элементов матриц ${\mathbf{P}}_{{{\text{AA}}k\theta }}^{{}}$ или ложных ${\mathbf{P}}_{{{\text{BB}}k\theta }}^{{}}$ основано на усреднении элементов $\theta {}_{k}$, соответствующих пикселям в окрестностях каждого элемента изображения НР, для которого в $\theta {}_{k}$ содержатся единичные и нулевые значения соответственно. Пусть матрица ${{{\mathbf{C}}}_{{{\text{A}}ki}}}$ имеет значения элементов $\theta {}_{k}$ в окрестности i-го единичного элемента $\theta {}_{k}$, а матрица ${{{\mathbf{C}}}_{{{\text{B}}kj}}}$ – значения $1 - \theta {}_{k}$ в окрестности j-го нулевого элемента $\theta {}_{k}$. Строки матриц ${\mathbf{P}}_{{{\text{AA}}k\theta }}^{{}}$ и ${\mathbf{P}}_{{{\text{BB}}k\theta }}^{{}}$ соответствуют векторным разверткам матриц ${{{\mathbf{\bar {C}}}}_{{{\text{A}}ki}}}$ и ${{{\mathbf{\bar {C}}}}_{{{\text{B}}kj}}}$, вычисляемых по всем матрицам ${{{\mathbf{C}}}_{{{\text{A}}ki}}}$ и ${{{\mathbf{C}}}_{{{\text{B}}kj}}}$: ${{{\mathbf{\bar {C}}}}_{{{\text{A}}ki}}} = \mathop {\text{M}}\limits_i \left\{ {{{{\mathbf{C}}}_{{{\text{A}}ki}}}} \right\},$ ${{{\mathbf{\bar {C}}}}_{{{\text{B}}kj}}} = \mathop {\text{M}}\limits_j \left\{ {{{{\mathbf{C}}}_{{{\text{B}}kj}}}} \right\}.$

3. Синтез алгоритмов оптимальной фильтрации в адаптивной постановке (АОФА). Реализация алгоритмов СР предполагает значительные вычислительные и временные затраты. Для достижения наибольшей скорости обработки этапы сегментации (определения частей полезного изображения и областей локализации АП) и регистрации (определения параметров межкадровых сдвигов) проводятся отдельно, лишь на основе кадров НР. Однако очевидно, что наибольшая эффективность обработки может быть достигнута при проведении этих этапов совместно с процедурой повышения разрешения с учетом неопределенности относительно некоторых параметров обработки. Это позволяет подобрать параметры алгоритма СР, обеспечивающие наилучший (по заданному критерию) результат оценивания изображения ВР.

В рамках данного подхода в моделях (2.3) предлагается ввести зависимость от случайного вектора δ, компоненты которого соответствуют параметрам обработки k-го кадра. Например, вектор δ может содержать значения параметров межкадровых сдвигов, дисперсию размытия, обусловленного функцией рассеяния фотоприемников, или параметры алгоритма сегментации k-го кадра.

В качестве примера рассмотрен вариант с подбором параметров сдвига. При этом вектор δ содержит параметры аффинного преобразования, аппроксимирующих межкадровые сдвиги в ВР $\delta = {{(\Delta x,\Delta y,\Delta \theta )}^{{\text{T}}}}$. Области возможных значений для $\Delta x,\Delta y,\Delta \theta $ считаются известными и дискретизируются решеткой отсчетов, содержащей ${{N}_{\delta }}$ узлов, для каждого из которых задается вероятность реализации ${{p}_{{\delta i}}}$. При поступлении очередного кадра для каждого возможного значения вектора неизвестных параметров $\delta = {\mathbf{d}}_{i}^{{(k)}}$, $i = \overline {1,{{N}_{\delta }}} ,$ вычисляются условные оценки изображения ВР ${\mathbf{\tilde {x}}}_{{k|k}}^{{}}({\mathbf{d}}_{i}^{{(k)}})$ на основе соотношений (2.1)–(2.3), где используется условный оператор H_k = = ${\mathbf{H}}_{k}^{{}}({\mathbf{d}}_{i}^{{(k)}})$, заданный на базе $i{\text{ - го}}$ возможного значения вектора ${\mathbf{d}}_{i}^{{(k)}}$.

С помощью условных оценок ${\mathbf{\tilde {x}}}_{{k|k}}^{{}}({\mathbf{d}}_{i}^{{(k)}})$ определяются апостериорные плотности $P({\mathbf{d}}_{i}^{{(k)}}\,{\text{|}}\,{{{\mathbf{y}}}_{k}})$:

Безусловные относительно вектора δ оценки ${\mathbf{\tilde {x}}}_{{k|k}}^{{}}$ и соответствующие ковариационные матрицы ${\mathbf{P}}_{{k|k}}^{{}}$ вычисляются как взвешенные суммы условных оценок:

В выражении (2.5) функционал правдоподобия $P({{{\mathbf{y}}}_{k}}\,{\text{|}}\,{\mathbf{d}}_{i}^{{(k)}})$ рассчитывается с учетом ошибки $e({\mathbf{d}}_{i}^{{(k)}})$ между кадром ${{{\mathbf{y}}}_{k}}$ и проекциями ${\mathbf{\tilde {x}}}_{{k|k - 1}}^{{}}$ на сетку НР при конкретном значении вектора параметров сдвигов $\delta = {\mathbf{d}}_{i}^{{(k)}}$. По мере накопления информации те апостериорные вероятности $P({\mathbf{d}}_{i}^{{(k)}}\,{\text{|}}\,{{{\mathbf{y}}}_{k}})$, которые близки к истинному значению неопределенного параметра δ, увеличиваются. При этом результирующая оценка с большим весом использует условные фильтры, отражающие истинное значение параметра δ.

Особенностями реализации предлагаемого процесса адаптивной обработки информации является следующее. Для повышения быстродействия и сокращения сложности вычислений, в частности для исключения необходимости обращения и выполнения других операций для матриц большого размера, предлагается реализовать обработку изображений перекрывающимися блоками небольшого размера. Изображения делятся на N₁ и N₂ блоков по вертикали и горизонтали соответственно. По завершению обработки изображение формируется из центральных (неперекрывающихся) фрагментов блоков. Размер блоков изображения ВР: ${{s}_{{\operatorname{HE} }}} \times {{s}_{{\operatorname{HE} }}}$, где s_HE = s_H + + $2\Delta {{s}_{\operatorname{H} }}$, ${{s}_{\operatorname{H} }} = {{L}_{1}}{\text{/}}{{N}_{1}} = {{L}_{2}}{\text{/}}{{N}_{2}}$; блоков НР: ${{s}_{{\operatorname{LE} }}} \times {{s}_{{\operatorname{LE} }}}$, где ${{s}_{{\operatorname{LE} }}} = {{s}_{\operatorname{L} }} + 2\Delta {{s}_{\operatorname{L} }},$ ${{s}_{\operatorname{L} }} = {{M}_{1}}{\text{/}}{{N}_{1}} = {{M}_{2}}{\text{/}}{{N}_{2}}$. Параметры $\Delta {{s}_{\operatorname{H} }}$ и $\Delta {{s}_{\operatorname{L} }}$ определяют размеры перекрытия блоков (ширину области, в которой значения пикселей взаимозависимы). При этом следует отметить, что суперпиксельная сегментация проводится для всего изображения целиком.

Такой подход к обработке обеспечивает возможность гибкого регулирования сложности вычислений. Во-первых, в процессе вычисления оценки условно-линейного фильтра (2.4) коррекция осуществляется только для тех блоков изображения, для которых хотя бы один элемент $\theta _{k}^{{pq}}$ ($p = \overline {1,{{N}_{1}}} ,$ $q = \overline {1,{{N}_{2}}} $) содержит единичное значение (хотя бы один элемент является полезным). Во-вторых, для вычисления апостериорных плотностей адаптивного фильтра $P({\mathbf{d}}_{i}^{{(k)}}\,{\text{|}}\,{{{\mathbf{y}}}_{k}})$ может использоваться лишь несколько (${{N}_{b}} \ll {{N}_{1}}{{N}_{2}}$) “информативных” блоков кадра – наиболее детальных блоков, не закрытых АП, которые могут быть выбраны, например, по максимуму средней магнитуды градиента пикселей блока. При этом значения ошибки $e({\mathbf{d}}_{i}^{{(k)}})$ для разных блоков одного кадра полагаются независимыми [11].

Также вместо взвешенной суммы условных оценок в качестве ${\mathbf{\tilde {x}}}_{{k|k}}^{{pq}}$ может быть выбрана условная оценка, максимизирующая апостериорную плотность $P({\mathbf{d}}_{i}^{{(k)}}\,{\text{|}}\,{{{\mathbf{y}}}_{k}})$. Такая экономная схема адаптивной фильтрации немного уступает классической схеме в точности, но существенно превосходит ее по быстродействию за счет применения направленного перебора возможных значений вектора неизвестных параметров δ.

Выражения (2.4) и (2.5) при реализации блочной обработки и перечисленных выше приемов имеют вид

4. Результаты экспериментальных исследований. Каждый из рассмотренных выше алгоритмов был реализован в среде Matlab R2019b c учетом возможностей блочной обработки изображений [10], обеспечивающей понижение размерности обрабатываемых и обращаемых матриц.

Для АМСС, АОФ и АОФА требуется задание начальной (исходной) оценки. В реализованных алгоритмах было рассмотрено два способа к формированию начальной оценки:

– первое изображение НР из исходной последовательности (последовательное повышение разрешения при поступлении новых наблюдений);

– усредненное изображение НР с учетом межкадровых смещений и локализованных АП.

В обоих случаях разрешение исходного изображения НР было повышено при помощи алгоритма однокадрового повышения разрешения VDSR [18], основанного на глубоком обучении и изначально встроенного в среду Matlab.

Для экспериментального сравнения описанных выше подходов и алгоритмов построения СР были сформированы 12 наборов цветных изображений НР размера 128 × 128 из 20 кадров каждый. Для создания каждого из наборов проводилась генерация локальных областей закрытия АП (пятен случайной формы) в виде формирующей бинарной маски, захватывающей изображение ВР. Далее формировались сами ложные наблюдения как реализации случайного поля с заданными параметрами и проводилось их смещение с оригинальным изображением ВР в пределах созданной бинарной маски. После этого выполнялось прореживание полученного изображения для создания первого кадра НР. При формировании каждого следующего кадра НР указанные действия повторялись, при этом моделировалось перемещение камеры со случайным сдвигом и поворотом относительно ранее полученного изображения, а также перемещение областей, пораженных АП, путем генерации смещения и поворота формирующей бинарной маски.

Примеры исходных изображений НР с различной локализацией АП и используемых начальных оценок представлены на рис. 1.

В ходе экспериментов разрешение исходных изображений было увеличено в 2 раза. На рис. 2 и 3 представлены примеры изображений ВР, полученных на выходе. Качественный анализ результатов показывает, что АМСС и АМССИД, хуже справляются с устранением аппликативных помех по сравнению с аналогами. АМСП выполняет эту задачу несколько лучше, однако результаты его работы зависят от начальной оценки и менее детализированы по сравнению с результатами АОФ и АОФА.

Для численного сравнения результатов с точки зрения качества получаемых изображений ВР применялись следующие показатели: пиковое отношение сигнала к шуму (PSNR чем больше, тем лучше), индекс структурного сходства (SSIM чем больше, тем лучше) [19] и индекс качества изображений (NIQE чем меньше, тем лучше) [20]. Усредненные значения этих критериев по всей группе обрабатываемых изображений приведены в табл. 1 и 2.

Полученные данные показывают, что алгоритм, основанный на использовании условно-линейной фильтрации в адаптивной обработке, имеет большую точность восстановления исходного изображения ВР по сравнению с аналогами. При этом существует незначительное превосходство практически всех алгоритмов при реализации второго способа формирования начальной оценки на основе усреднения всех кадров и применения алгоритма VDSR. Тем не менее использование начальной оценки на основе первого кадра в сочетании с применением АОФА позволяет получить практически такое же качество при сохранении возможности реализации обработки в режиме последовательного накопления информации.

Заключение. Cтатья посвящена проблеме построения многокадрового сверхразрешения в условиях аномальных наблюдений аппликативного характера. Рассмотрены известные алгоритмы, основанные на использовании различных подходов: моделей спиновых стекол, моделей марковских случайных полей, моделей оптимальной линейной и условно-линейной фильтрации в рамках предложенного подхода. Выполнен синтез оптимального условно-линейного фильтра последовательности изображений низкого разрешения в условиях аппликативных помех в адаптивной постановке. Проведено экспериментальное сравнение всех приведенных алгоритмов на основе синтетических и реальных наборов тестовых изображений, которое показало преимущество алгоритмов, основанных на применении условно-линейной оптимальной фильтрации последовательности изображений низкого разрешения и двухэтапной процедуры обработки каждого такого изображения, использующей суперпиксельную сегментацию изображений.