Программирование, 2019, № 4, стр. 3-8

1. ВВЕДЕНИЕ

Задача подавления шума на изображениях является одной из самых старых но, по-прежнему, актуальных [1–4]. Одновременно с ростом качества аппаратных средств съемки наблюдается не менее существенный рост и запросов по съемке в гораздо более сложных условиях. Можно привести следующие области применения, где необходимость подавления шума будет и в дальнейшем сохранять актуальность:

1. Съемка бытовыми камерами и смартфонами в условиях плохой освещенности или искусственного освещения. Запросы постоянно растут – сумерки, приглушенное освещение, неудачный спектр освещения.

2. Аэрокосмическая съемка Земли – растет желаемое пространственное разрешение. Сейчас вполне типичным является разрешение свыше 1 метра, тогда как типичная высота космического аппарата составляет около 1000 км, т.е. 1 пиксель видим под очень маленьким углом 10-6 радиан. Более того, т.к. космический аппарат движется со скоростью около 7000 м/с, то время экспозиции при съемке с таким разрешением не должно превышать 1/7000 секунды, что обуславливает крайне низкий световой поток.

3. В медицине изображения получаются, как правило, с помощью излучений вредных для здоровья – рентген, гамма излучение, микроволновое излучение. Поэтому задача максимального снижения дозы облучения ведет опять к съемке в условиях слабого освещения и высоких шумов.

В принципе, подавляющее большинство алгоритмов представляет собой какой-либо вариант усреднения некоторого подмножества пикселей в некоторой окрестности рассматриваемой точки. Классический алгоритм среднего по окрестности – это усреднение всех пикселей из прямоугольной или круглой окрестности точки. Линейные алгоритмы усреднения – это усреднение пикселей локальной окрестности, используя весовые функции (ядро операторы свертки), которые зависят только от расстояния от этих пикселей до рассматриваемой точки [2, 3]. Алгоритмы на основе анизотропной и нелинейной диффузии [5, 6] можно рассматривать как аналог сверточных линейных методов, но с ядром свертки, меняющимся по плоскости изображения, например, вблизи границ объектов, вытягивающимся вдоль границы. При этом, размытие происходит вдоль границ, а не поперек, эффективный размер ядра меняется в зависимости от сложности изображения. В однородных областях обеспечивается большее размытие и поэтому сглаживание шума; в информационно насыщенных областях степень размытия снижается, поэтому сохраняется больше как шума, так и деталей изображения.

В ранговых алгоритмах [7], которые относятся уже к нелинейным фильтрам, помимо отбора по расстоянию (форма окрестности), производится отбор и по яркости пикселей, в усреднении участвуют только пиксели, удовлетворяющие некоторым ограничениям.

Важным шагом развития подобных подходов являются методы самоподобия, как алгоритм нелокального среднего [8] (NLM) и ряд его разновидностей [9–11]. В усреднении участвуют только точки, у которых похожи малые локальные окрестности. Таким образом, отбор ведется не только по пространственному признаку или яркости, но и по паттерну, текстуре вокруг точки. Фактически используются предположения самоподобия (self-similarity) и усредняются похожие фрагменты. Дальнейшим развитием этого направления является алгоритм BM3D [12], который после отбора похожих фрагментов собирает их в трехмерную структуру и подвергает фильтрации Винера. Этот алгоритм на сегодняшний день считается наилучшим по качеству подавления шума, внося минимальные повреждения в изображение.

Для случая аддитивного Гауссового шума, за достаточно короткий период, одними из наиболее популярных методов подавления шума стали методы, использующие глубокое обучение. Они показывают достаточно конкурентные результаты в сравнении с методами усреднения [13, 14]. Однако необходимо отметить, что методы, основанные на самоподобии, более устойчивы к изменению типа шума и его однородности на изображении. В связи с этим необходимо отметить работу [4], в которой предлагают метод итерационного подавления шума как с использованием CNN, так и методов самоподобия.

В данной работе предлагается новый алгоритм шумоподавления основанный на модифицированном методе структурного сходства [15], который сравнивается с алгоритмом нелокального среднего с весовой функцией, предложенной в [7], а также с методами на основе метрик L2 и SSIM. Результаты сравнения показывают перспективность этой метрики для использования при построении весовой функции метода нелокального среднего с помощью разбиения на отдельные составляющие и задания физически обоснованной весовой функции для каждой компоненты, аналогично [7].

2. АЛГОРИТМ НЕЛОКАЛЬНОГО СРЕДНЕГО

Рассмотрим процедуру отбора похожих блоков в алгоритме нелокального среднего [8]:

где $W(x,y) = \sum\nolimits_{x',y' \in \Omega (x,y)} \,w(x,y,x',y')$.

Размер окрестности $\Omega $ здесь может быть произвольным, в том числе и всем изображением, откуда и идет название метода нелокальное среднее. Здесь $w(x,y,x',y')$ – весовая функция, зависящая от схожести блоков с центрами в точках (x, y) и $(x',y')$, определенная как [8]:

Здесь окрестность ${{\Omega }_{p}}$ – это фрагмент изображения вокруг точки, по которому и выполняется сравнение похожести двух точек, т.е. анализ схожести их текстур или блоков. Числитель в экспоненте является, по сути, нормой ${{L}_{2}}$ разности двух векторов-параметров ${{\Omega }_{p}}$, построенных как построчные выборки пикселей этих окрестностей.

Из анализа выше приведенных формул следует, что в силу использования нормы ${{L}_{2}}$, блоки, содержащие совсем разные картинки, и блоки, содержащую одинаковую картинку, отличающуюся только яркостью или контрастом одинаково различны. При этом, мера отличия определяется только суммой квадратов разностей соответствующих пикселей и не зависит от графического образа картинки или структурного сходства блоков.

3. СТРУКТУРНЫЙ ИНДЕКС ПОДОБИЯ

Естественный способ преодолеть подобный недостаток – это подобрать более адекватную норму. В работе [16] предложен структурный индекс подобия SSIM, его достоинства по сравнению с ${{L}_{2}}$ рассмотрены в [17]. Он представляет собой произведение трех компонент:

где – функция подобия яркости, – функция подобия контраста, – функция подобия структуры.

Константы ${{C}_{1}},\;{{C}_{2}},\;{{C}_{3}}$ введены исключительно для предотвращения деления на нуль и, в принципе, не обязательны, так как при численных расчетах подобные предосторожности могут быть выполнены и иными средствами, исходя из желаемого поведения соответствующих компонент при предельном стремлении к нулю величин из знаменателя. В формулах использованы следующие величины:

$\mu (x,y) = \left\langle {I(x,y)} \right\rangle $ – средняя яркость,

${{\sigma }^{2}}(x,y) = \langle {{I}^{2}}(x,y)\rangle - \mathop {\left\langle {I(x,y)} \right\rangle }\nolimits^2 $– стандартное отклонение (корень из дисперсии), корреляционная функция – $\Gamma (x,y,x',y') = \langle I(x,y)I(x',y')\rangle $ – $\left\langle {I(x,y)\rangle \langle I(x',y')} \right\rangle $.

Усреднение $\left\langle {\,.\,} \right\rangle $ вычисляется по блоку ${{\Omega }_{p}}$ с центром в точке (x, y). Выражение $s(x,y,x',y')$ зависит от корреляционной функции между двумя блоками с центрами в (x, y) и $(x',y')$, и представляет собой коэффициент корреляции между этими блоками. Отсюда видно, что:

В [16] предложен алгоритм нелокального среднего, использующий индекс структурного сходства как весовую функцию:

Кроме того, формула NLM также претерпела изменения. Поскольку теперь каждый блок характеризуется раздельно яркостью, контрастом и структурой, логичным представляется перед выполнением усреднения центральных точек привести яркости и контрасты соответствующих блоков к целевому блоку. Поэтому

4. ПРЕДЛАГАЕМЫЙ МЕТОД

Модификации метода нелокального среднего, предложенная в [18] опирается на метрику SSIM, которая в свою очередь тоже не лишена недостатков. В статье [7] была предложена модификация метрики SSIM для задачи сравнения блоков изображений. Получена метрика MSSIM, которая при использовании в алгоритме нелокального среднего, показала результаты выше стандартного SSIM. Аргументация, которой мы руководствовались во время адаптации метрики SSIM в [7], была скорее эмпирическая и основывалась на особенностях работы алгоритма нелокального среднего. Полученная весовая имела следующий вид:

Здесь $\Theta ()$ – ступенчатая единичная функция Хэвисайда. Функция $f()$ служит для регулирования крутизны учета влияния слабо коррелированных блоков, в настоящей работе эта функция полагается линейной, $f(x) = x$. Пороги ${{T}_{1}}$ и ${{T}_{2}}$ определяют допустимые пределы по отклонению яркости и контраста и задаются из априорных соображений о допустимом повышении шума. Например, для пятикратного разброса яркостей ${{T}_{1}}$ = 5.2.

В работе [15] автор анализирует метрики SSIM и MSE с более общих позиций, не применительно к алгоритму нелокального среднего. Он находит существенные недостатки в метрике SSIM. Данные недостатки способны повлиять на качество результата алгоритма шумоподавления, основанного на индексе структурного сходства. Например, SSIM нестабильна в окрестности нуля и сильно зависит от абсолютных значений входных параметров. Он предлагает несколько похожих метрик, в которых исправлены недостатки классического SSIM, объединяя их все под названием CMSC (composite similarity measure):

где R – константа нормализациии, R = 255 для 8‑битных изображений.

В данной работе рассмотрено примение метрики CMSC в алгоритме нелокального среднего. Предлагается модифицировать метрику, по которой производится сравнение блоков, и изменить вид весовой функции для модифицированного алгоритма нелокального среднего. Таким образом в формулу из предыдущего параграфа вместо SSIM в качестве $w(x,y,x',y')$ подставляются метрики MSSIM и CMSC.

Практически, внесенные изменения должны привести к следующим отличиям предлагаемого алгоритма от классического нелокального среднего [8] и основанного на SSIM [18].

1. В указанных алгоритмах в усреднении эффективно участвуют только точки блоков, похожих как по структуре, так и по яркости и контрасту. В предложенном алгоритме – от блоков с близкой структурой, при широком разбросе яркостей и контрастов. Усредняются все похожие фрагменты сцены, независимо от того на свету они или затенены.

2. Ограничение на допустимый разброс контрастов ведет к дополнительному снижению шума.

3. Отсутствие отрицательных весов в отличие от [18].

4. Более высокая стабильность метрики в окрестности нуля, позволит найти больше похожих блоков.

5. РЕЗУЛЬТАТЫ

Тестирование производилось на всех изображениях базы TID2013 [19] с различными типами шума. Алгоритм нелокального среднего для результатов на основе L2 обозначаем далее как NLM-L2; алгоритм, использующий индекс структурной схожести, обозначается как NLM-SSIM; метод c модифицированным индексом структурной схожести обозначен как NLM-MSSIM; методы на основе CMSC соответственно NLM-CMSCam, NLM-CMSCm, NLM-CMSCa. Для всех изображений базы наилучшие результаты были получены для метода с CMSC, несколько уступают ему метод NLM-MSSIM. Методы NLM-SSIM и NLM-L2 дают результаты более низкого качества. Блоки ищутся в окрестности с радиусом 7 пикселей, радиус каждого блока равен 3, то есть с учетом центрального пикселя диаметр блоков 3 + 1 + 3 = 7 пикселей, а размер 7 × 7 пикселей. При поиске похожих блоков их центры ищутся по окну 15 × 15 пикселей. Параметры ${{C}_{1}},\;{{C}_{2}},\;{{C}_{3}}$ заданы следующим образом: C₁ = $({{k}_{1}}L),$ ${{C}_{2}} = ({{k}_{2}}L),$ ${{C}_{3}}$ = C₂/2, где ${{k}_{1}} = 0.01,$ ${{k}_{2}}$ = 0.03, L – динамический диапазон пикселей. Для NLM-L2 использовался параметр $\rho = 8.3$. Он выбирался исходя из параметров шума на изображении (стандартного отклонения). Результаты для нескольких характерных изображений приведены в таблице 1. Значения MOS (Mean Opinion Score) для изображений с шумом были следующие: I04/Additive Gaussian Noise – 4.27, I22/ High Frequency Noise – 4.18, I23/Spatially Correlated Noise – 3.26.

Подбор параметров производился при помощи расчета на сетке параметров и выбора наилучшего результата по метрике PSNR. Для NLM-L2 варьировался параметр $\rho $, для NLM-SSIM и NLM-MSSIM изменялись параметры ${{C}_{1}},\;{{C}_{2}},\;{{C}_{3}}$. Также для всех методов менялись размеры блока и область поиска. Методы NLM-SSIM, NLM-MSSIM и NLM-CMSCam, NLM-CMSCm, NLM-CMSCa имеют лучшую производительность, чем NLM-L2. Разрыв производительности между методами еще больше возрастает при увеличении размеров блоков и диапазона поиска. Различия по эффективности метрик NLM-CMSCam, NLM-CMSCm, NLM-CMSCa между собой крайне малы, поэтому в дальнейшем изложении будем обозначать их NLM-CMSC.

Результаты в таблице представлены для изображений, соответствующих характерным классам. Изображение из первого примера представлено на рис. 1 (на рис. 1 и 2 разностные изображения отконтрастированы). Можно заметить, что эффективность NLM-MSSIM и NLM-CMSC по сравнению NLM-L2 возрастает на изображениях, которые имеют мелкие структурные элементы, которые не портятся в результате применения более эффективной метрики. Это можно видеть в области прически на рис. 1. Во втором примере из таблицы мелкие детали более разрознены, что почти уравнивает NLM-SSIM и NLM-MSSIM, но NLM-CMSC все еще показывает лучшие результаты. В последнем примере из таблицы, он изображен на рис. 2, наоборот мелких деталей мало. Что делает это изображение благоприятным для применения классического NLM-L2, но благодаря участию блоков с близкой структурой при разбросе яркостей и контрастов NLM-MSSIM не проигрывает NLM-L2 в отличие от NLM-SSIM, а NLM-CMSC за счет устойчивости около нуля снова оказывается лидером.

6. ЗАКЛЮЧЕНИЕ

Проанализированы классический метод нелокального среднего и его модификация на основе метрики SSIM, рассмотрены достоинства и недостатки этих методов. Предложены новые методы шумоподавления на основе алгоритма нелокального среднего, использующего в качестве весовой функции метрики MSSIM и CMSC. Для базы изображений TID2013 [19] проведены сравнения с классическим алгоритмом нелокального среднего [2] и алгоритмом [18], использующим стандартный индекс структурной схожести. Наиболее универсальными себя показали алгоритмы на основе CMSC. Они показали лучшие или сопоставимые результаты на различных типах изображений. В то же время перспективной является модификация метода с весовой функцией на основе метрики MSSIM, используя идеи метода CMSC.