Радиотехника и электроника, 2019, T. 64, № 6, стр. 563-574

ВВЕДЕНИЕ

Смаз и дефокусировка представляют собой наиболее распространенные искажения с которыми приходится сталкиваться при работе с реальными изображениями. Поэтому актуальными являются исследования позволяющие усовершенствовать методы обработки таких искажений.

При решении задач восстановления изображений искажение, как правило, описывают в рамках уравнения свертки искажающей аппаратной функции с неискаженным изображением (НИ) [1]. При использовании этого уравнения для восстановления неискаженного изображения необходимым условием является знание аппаратной функции (АФ) – функции рассеяния точки. При искажениях изображения рассматриваемого типа (смаз и дефокусировка) будем полагать, что спектр АФ представляет собой вещественную функцию, которая может быть как положительной, так и отрицательной. При этом для реальных изображений, важным условием является то, что по всему обрабатываемому полю должно корректно работать уравнение свертки, иными словами – фрагменты с разной степенью дефокусировки и смаза должны обрабатываться отдельно. Форма пятна дефокусировки, его размер, траектория смаза, в общем виде считаются произвольными.

Наиболее распространенным подходом при восстановлении изображений, является моделирование такой АФ которая, в той или иной степени, описывает искажения. Затем оцениваются параметры этой АФ [1–7]. На заключительном этапе, известными обратными процедурами, производится реконструкция изображения. Общепринятым методом восстановления является использование частотных фильтров, созданных на основе тех или иных критериев оптимальности, учитывающих наличие шума. Это, например, фильтр Винера (ФВ) (фильтр минимального среднеквадратического отклонения) или фильтр Тихонова, основанный на минимизации сглаживающего функционала со связью [1–3].

Кроме линейных “прямых” методов, использующих реконструкцию искажающей АФ, существуют нелинейные методы. Например, алгоритм Люси–Ричардсона (алгоритм итерационного нелинейного восстановления) использующий метод максимального правдоподобия с исходным предположением, что изображение подчиняется распределению Пуассона. Однако этот подход требует больших вычислительных ресурсов и сходимости процедуры восстановления (предсказуемости поведения) [1–3].

Некоторые методы основаны на попытках учитывать влияние неизвестной среды распространения зондирующего сигнала, вносящей вклад в искажающую АФ. В работе [4] описана модификация метода идентификации линейной модели наблюдения, использующего соотношение между энергетическими спектрами входного и выходного изображений. При отсутствии априорных данных об искажающей системе предлагается методика восстановления неизвестной АФ по наблюдаемому изображению с использованием маски границ, в качестве которой для изображений дистанционного зондирования Земли могут выступать границы векторной карты из геоинформационных систем, описывающие границы объектов на изображении. В работе [5] предложено объединение моделей атмосферных искажений и линейной спектральной смеси в единую модель. Этот метод определения параметров линейной спектральной смеси для гиперспектральных изображений, позволяет полностью исключить предварительную процедуру коррекции атмосферных искажений зарегистрированного изображения.

Для восстановления изображений, подвергшихся искажениям типа дефокусировки в работе [6] предложена технология синтеза фильтра с конечной импульсной характеристикой (КИХ), в которой вместо определения самих отсчетов импульсного отклика осуществляется идентификация параметров непрерывной функции, аппроксимирующей импульсный отклик. При этом зависящее от небольшого числа параметров параметрическое семейство аппроксимирующих функций задается с учетом желаемых частотных характеристик КИХ-фильтров, предназначенных для коррекции искажений.

В работе [8] восстановление изображения рассчитывали не через решение уравнения свертки, а с использованием решения уравнения диффузии без использования спектра АФ. Однако, при постановке задачи рассматривали не общий случай, поскольку в качестве АФ использовали функция Гаусса, спектр которой неотрицателен.

При восстановлении изображений искаженных неизвестной аппаратной функцией используют так называемую “слепую деконволюцию”, которая итерационными приближениями проводит реконструкцию ядра размытия АФ по максимуму правдоподобия. Выбирают первое приближение АФ, далее по выбранному известному методу делают деконволюцию, после чего по некоторым критериям определяют уровень качества, на этой основе уточняют аппаратная функция и итерация повторяют до достижения нужного результата. Это направление чрезвычайно актуально, поэтому подобным исследованиям посвящено большое количество работ, например [1–3, 9–11].

В данной работе предложен принципиально новый подход к решению задач восстановления искаженных изображений. Если традиционно исследователи пытаются реконструировать неизвестную АФ по каким-либо методикам, либо, при итерационных подходах, сделать начальное предположение о виде АФ, то мы опираемся на знание того каким, в среднем, должен быть амплитудный пространственный спектр неискаженного изображения. В наших предыдущих исследованиях было установлено, что амплитудный пространственный спектр неискаженных изображений можно условно разделить на аксиально-симметричную (изотропную) и анизотропную части. В этой связи была предложена эмпирическая модель изотропной составляющей амплитудного спектра, которая получила название “универсальный опорный спектр” (УОС) [7]. Модель УОС можно эффективно использовать при решении разнообразных практических задач:

1) для восстановления изображений, искаженных линейным смазом и дефокусировкой, при неизвестной форме и параметрах АФ (если спектр АФ неотрицателен) [12, 13];

2) для модификации ФВ, что позволяет восстанавливать изображение с неизвестными аддитивными шумами и помехами [14, 15];

3) для восстановления изображений в методе перенормировки с ограничением (МПО), искаженных известной аппаратной функцией, при наличии неизвестных помех и шума [16];

4) для прогнозирования возможного улучшения качества искаженных изображений [17, 18];

5) для фильтрации спектрально-локальных помех с помощью метода опорного изображения (МОИ) и МПО [19, 20];

6) для восстановления изображений искаженных аппаратной функцией с неизвестными боковыми лепестками [20];

7) для восстановления изображений при перенормировке спектра, искаженных гидрометеорами и аппаратной функцией с неизвестными параметрами [21].

Модель УОС является эмпирической, она построена на основе статистической обработки большого количества разнообразных реальных неискаженных изображений. Поскольку спектр каждого отдельно взятого изображения обладает своими уникальными особенностями, то при применении УОС в методах повышения качества изображений появляются артефакты. Очевидно, чем точнее модель УОС отражает изотропную часть амплитудного спектра конкретного улучшаемого изображения, тем эффективнее будут работать все процедуры восстановления.

В данной работе рассмотрено восстановление изображений искаженных смазом и дефокусировкой, которые могут быть описаны в рамках уравнения свертки. В этом подходе при восстановлении изображений вид искажающей аппаратной функции и ее параметры не оцениваются. Предполагается что АФ искажения неизвестна. Для использования в методе перенормировки с ограничением, производится адаптация УОС сделанная на основе информации извлеченной непосредственно из спектра исходного обрабатываемого искаженного изображения.

1. МЕТОДИКА РЕКОНСТРУКЦИИ ИЗОБРАЖЕНИЯ

Искаженное изображение, АФ и неискаженное изображение связаны уравнением свертки [1], которое в спектральном представлении выглядит так

где ${{J}_{0}}(\vec {f})$ и $J(\vec {f})$ – соответственно спектры неискаженного и искаженного изображения, $A(\vec {f})$ – спектр АФ, $\vec {f}$ – вектор пространственной частоты.

Обычно определяют тем или иным образом вид АФ и ее параметры [1–3]. Затем решают уравнение свертки в пространственном или частотном представлении (1) с применением тех или иных методов регуляризации [1–6]. В этой работе в качестве такого метода мы будем использовать ФВ [1]. Ошибки в определении вида и параметров АФ проявляются на восстановленном изображении в виде артефактов.

Понятно, что дискретный характер цифровых изображений ограничивает точность в определении вида и параметров АФ. Например, пятно дефокуса в виде круга в дискретном представлении лишь напоминает круг и радиус этого круга может быть выражен только в целых числах (число пикселей). Это явление повышает интерес к таким методам восстановления искаженных изображений, которые не используют вид и параметры АФ в качестве необходимых переменных.

В данной работе рассмотрено применение такого метода. Пусть АФ – вещественная неотрицательная функция, имеющая ненулевые значения в области, размеры которой много меньше размеров изображения и спектр АФ является вещественной функцией. Тогда области изменения знака спектра АФ соответствуют областям нулевых значений спектра АФ.

В работе [16] восстановление искаженного изображения производили с помощью МПО, который в нашем случае можно описать формулой

где $Js(\vec {f})$ – усредненный по спрайту 21 × 21 пикселей модуль спектра, $Si(\vec {f})$ – функция описывающая знак спектра АФ и принимающая значения 1 (единица) или –1 (минус единица), $URS(\vec {f})$ – универсальный опорный спектр [7]. Таким образом, задача восстановления изображения сводится к определению $Si(\vec {f}).$ Для этого воспользуемся тем, что АФ имеет ненулевые значения в области, размеры которой много меньше размеров изображения. Поэтому характерные расстояния изменения величин модулей спектров изображения и АФ существенно отличаются.

На рис. 1 представлены исходное и искаженное изображения и АФ. Вычислим усредненные по спрайтам модули спектра искаженного изображения и модуля спектра АФ. Размеры спрайтов для усреднения выберем 5 × 5 пикселей и 21 × 21 пикселей. Вычислим величину отношения соответствующих модулей спектров:

где $J{{s}_{5}}(\vec {f})$ и $J{{s}_{{21}}}(\vec {f})$ обозначают усредненные по спрайтам модули спектра искаженного изображения; $Ja{{f}_{5}}(\vec {f})$ и $Ja{{f}_{{21}}}(\vec {f})$ обозначают усредненные по спрайтам модули спектра АФ; индексы 5 и 21 обозначают величину спрайта усреднения – соответственно 5 и 21 пиксель.

На рис. 2а и 2б приведены графики $Z(\vec {f})$ и $Zaf(\vec {f}).$ На графиках, представленных на рис. 2в, видно, что изменение знака спектра АФ происходит в областях, соответствующих минимумам $Z(\vec {f})$ и $Zaf(\vec {f}).$ Интересно, что ниже определенной величины U (меньшей единицы) графики $Z(\vec {f})$ и $Zaf(\vec {f})$ практически совпадают. Этим можно воспользоваться, чтобы определить положение нулей спектра АФ, и, следовательно, областей изменения знака АФ. Для определения знака необходимо знать область, где этот знак спектра АФ всегда положителен. Эта область известна, и она расположена вокруг $\left| {\vec {f}} \right| = 0.$ Таким образом, для определения $Si(\vec {f})$ – функции описывающей знак спектра АФ, можно воспользоваться следующим алгоритмом.

Шаг 1. Двигаемся, начиная от пикселя с координатами $\left| {\vec {f}} \right| = 0,$ по прямой к заданному пикселю и ищем место, где значение $Z(\vec {f})$ становится меньше заданного уровня отсечки U.

Шаг 2. Если функция $Z(\vec {f}),$ уменьшаясь, пересекает заданный уровень отсечки U, а затем, увеличиваясь, повторно пересекает уровень отсечки, то середину этого отрезка полагаем местом изменения знака спектра АФ и, соответственно, спектра искаженного изображения.

Шаг 3. Если функция $Z(\vec {f})$ увеличиваясь, пересекает заданный уровень отсечки U, а затем, уменьшаясь, повторно пересекает уровень отсечки, то середину этого отрезка полагаем местом изменения знака спектра АФ и, соответственно, спектра искаженного изображения.

В результате применения указанного алгоритма вычисляем $Si(\vec {f})$ в виде матрицы знака спектра АФ или, другими словами, в виде таблицы искажения знака спектра изображения. Указанная таблица, содержит значениями +1 там, где оценка действительной части спектра АФ положительна и –1 там, где соответствующая оценка указывает на отрицательные значения действительной части спектра АФ. На рис. 3 показаны матрицы $Si(\vec {f})$размером 256 на 256 пикселей, где области черного цвета соответствуют отрицательным значениям, а области белого цвета – положительным. Рис. 3а демонстрирует знак спектра АФ, а рис. 3б иллюстрирует результат выполнения вышеописанного алгоритма.

Как видно из рисунка, предложенный алгоритм демонстрирует высокую эффективность. Таким образом, для восстановления изображения искаженного неизвестной АФ необходимо определить знак спектра АФ ($Si(\vec {f})$) в зависимости от пространственной частоты $\vec {f}$ и воспользоваться МПО (2) [16]. При этом нет необходимости знать форму и параметры АФ. Однако это справедливо только для АФ, у которой спектр является вещественной функцией.

2. РЕЗУЛЬТАТЫ РАБОТЫ АЛГОРИТМА ДЛЯ РАЗЛИЧНЫХ ВИДОВ АФ

Сравним результаты применения МПО и ФВ для восстановления искаженных изображений. Важным моментом при сравнении является следующее. Цифровые изображения являются дискретными. Даже если точно известна форма АФ – как непрерывная функция – все равно в дискретном представлении она будет выглядеть иначе. Например, круг радиусом 1 пиксель выглядит как “квадрат” составленный из 4 пикселей. В дискретном представлении параметры АФ фактически представляют собой целые числа, соответствующие количеству пикселей. Поэтому после получения модельных искаженных изображений мы будем уменьшать их в два раза, используя для уменьшенных изображений только четные пиксели. Затем эти искаженные изображения будут восстановлены с помощью МПО и ФВ. При этом для ФВ вычисленные параметры АФ будут округляться до соответствующего количества пикселей (целые числа). Сам вид АФ в случае восстановления изображения с помощью ФВ предполагается известным.

Используем следующие искажающие АФ, показанные справа на рис. 4: круглое пятно (б), пятно шестигранник (г), пятно прямоугольник (е), пятно овал (з), пятно объемной функции Гаусса (к), смаз линейный (м), смаз по овальной траектории (о), смаз по траектории соприкасающихся овалов (р). Изображения, показанные слева на рис. 4, демонстрирует воздействие соответствующих АФ, показанных справа, на исходное тестовое изображение (см. рис. 1а).

На рис. 5 представлены восстановленные с помощью МПО с автоматически адаптируемым УОС (слева) и ФВ (справа) искаженные изображения, показанные в левой части рис. 4.

Как видно из рис. 5, предложенный метод демонстрирует стабильное качество восстановления изображений искаженных разнообразными видами АФ. В то же время реконструкция изображений только с помощью ФВ, даже при условии точно известной формы АФ, приводит к появлению значительного количества артефактов.

ЗАКЛЮЧЕНИЕ

При использовании методов деконволюции, предполагающих использование реконструированной АФ, даже в случае точно известной формы АФ, неизбежны ошибки оцифровки (например округления параметров АФ до целого числа пикселей). Вследствие этого изображения восстановленные такими методами понижают свое качество. Это показано на рис. 5, где на изображениях, восстановленных с помощью ФВ видны характерные артефакты, отсутствующие на изображениях, полученных с помощью МПО с адаптированным УОС. В предлагаемом подходе адаптация УОС производится автоматически, на основе информации извлеченной из спектра исходного обрабатываемого изображения. Причем для восстановления изображения оказывается достаточно информации об изменении модуля и знака спектра искаженного изображения, и сама искажающая АФ не реконструируется.