Кристаллография, 2021, T. 66, № 4, стр. 553-559

Метод усиления контраста слабых рефлексов и коррекции фона на картинах электронной дифракции от поликристаллических материалов

В. И. Бондаренко 1, Е. И. Суворова 1*

1 Институт кристаллографии им. А.В. Шубникова ФНИЦ “Кристаллография и фотоника” РАН
Москва, Россия

* E-mail: suvorova@crys.ras.ru

Поступила в редакцию 09.06.2020
После доработки 09.06.2020
Принята к публикации 07.07.2020

Полный текст (PDF)

Аннотация

Минимизация и подавление шума являются одними из самых актуальных проблем в области обработки изображений. На примере экспериментальных картин электронной дифракции, полученных от нанокристаллического 10 нм слоя оксида гафния, показано действие известных алгоритмов, включенных в программы ImageJ и Digital Micrograph (GATAN), и разработанного в настоящей работе программного обеспечения для корректировки шума и выделения слабых отражений. Предложен алгоритм обработки картин электронной дифракции, в основе которого лежат мультимасштабный Retinex-фильтр и преобразование Хафа. Также предложено представлять электронограммы в полярных координатах, что часто более наглядно и удобно для индицирования отражений.

ВВЕДЕНИЕ

Анализ картин электронной дифракции выбранной области широко применяется и часто имеет решающее значение в материаловедении для идентификации фаз. Одной из серьезных проблем, препятствующих точному установлению положений рефлексов на электронограммах и определению межплоскостных расстояний, является наличие сильного фона. Исследования природы непрерывного фона, на который накладываюся кольца от поли- или нанокристаллических материалов, показали, что случайный шум может увеличиваться при понижении энергии электронов или при использовании более толстых образцов в результате многократного рассеяния, при этом резкость колец не сильно меняется, но их контраст ослабевает. Диффузный фон возникает при рассеянии из-за теплового движения, неупругое рассеяние также способствует усилению фона.

В настоящей работе не стоит задача всеобъемлещего сравнения большинства методов подавления шума на изображениях, так как для каждого оригинального метода существует значительное число модификаций, призванных улучшить зрительное восприяние. Сравниваем результаты применения нескольких наиболее популярных и производительных, с нашей точки зрения, алгоритмов по коррекции фона на картинах электронной дифракции, которые относятся к полутоновым изображениям, и усилению по сравнению с фоном контраста слабых отражений. Целью работы являются разработка и описание нового метода выделения слабых рефлексов на кольцевых картинах электронной дифракции на примере электронограмм, полученных от тонкого нанокристаллического слоя оксида гафния, ослабления фона и представления электронограмм в полярных координатах.

Оксид гафния называют материалом будущего в производстве новых процессоров, энергонезависимой памяти, тонких нанометровых барьерных слоев. Физические свойства оксида гафния определяются его структурой, которая может может быть моноклинной, ромбической, тетрагональной и кубической в зависимости от температуры, давления и легирующих примесей. Дифракция электронов в просвечивающей электронной микроскопи является наиболее точным методом фазовой идентификации в наноразмерных областях. Однако из-за близости структурных параметров оксида гафния и размерного эффекта возникают трудности в проведении измерений на электронограммах. На примере экспериментальных картин электронной дифракции, полученных от нанокристаллического 10 нм слоя оксида гафния, показано действие известных алгоритмов и предлагаемого в настоящей работе программного обеспечения для корректировки шума и выделения слабых отражений.

ПРИМЕНЕНИЕ ИЗВЕСТНЫХ АЛГОРИТМОВ ВЫЯВЛЕНИЯ СЛАБЫХ РЕФЛЕКСОВ И УСИЛЕНИЯ КОНТРАСТА

Методы, основанные на преобразовании Фурье, не совсем успешно справляются с задачами коррекции фона на электронограммах, поскольку в частотной области имеется значительное перекрытие между фоновым и упругим сигналами рассеяния.

Преобразование Хафа (The circular Hough transform, преобразование Хафа для поиска окружностей) было использовано Д. Митчелом в его разработке программы анализа дифракционных картин от поликристаллических материалов [1], входящей составной частью в программный пакет DigitalMicrograph (Gatan). Применение кругового преобразования Хафа позволяет установить центр электронограммы, измерять радиусы дифракционных колец, корректировать эллиптические искажения, анализировать влияние текстуры. Таким образом, данная программа представляет собой инструмент для количественного анализа и идентификации структуры. Для выявления слабых отражений на электронограммах Д. Митчелом был создан специальный скрипт, который так и называется “Выявление слабых рефлексов”. Проводится математическое извлечение обратного корня куба из исходного изображения, т.е. ИЗО–1/3 (показатель степени можно менять), в результате чего диапазон значений сжимается, при этом использование отрицательной степени инвертирует изображение.

Результат применения скрипта “Выявление слабых рефлексов” показан на примере электронограммы с несплошными кольцами (рис. 1), составленными отражениями (пятнами) от нанокристаллов пленки оксида гафния, осажденного методом атомно-слоевого осаждения на TiN/SiO2/Si с напыленным сверху слоем TiN. Приготовление тонкого образца для исследования методом электронной дифракции потребовало напыления слоя Pt. Таким образом, картина электронной дифракции содержит отражения от нанокристаллического HfO2 и поликристаллических TiN и Pt.

Рис. 1.

Исходное изображение электронограммы (а), изображение после применения скрипта “Выявление слабых рефлексов” (б).

Сравнение исходного изображения (рис. 1а) и обработанного (рис. 1б) свидетельствует, что значительного усиления слабых рефлексов не произошло, возможно по причине большой разницы в контрасте колец. Данный скрипт лучше работает с электронограммами от монокристаллов, когда интенсивности отражений не слишком сильно отличаются.

Более обнадеживающий результат обработки электронограмм со слабыми рефлексами был получен при использовании алгоритма, разработанного С. Сaлфелдом, который называется CLAHE (Contrast Limited Adaptive Histogram Equalization [2]) и дословно переводится как адаптивная эквализация гистограмм с ограничением контраста.

В основу этого алгоритма, используемого в качестве плагина в программе ImageJ для коррекции полутоновых изображений, заложен метод адаптивного контрастирования изображения [3], хотя цветные изображения также могут быть подвергнуты обработке и их восприятие улучшено.

На рис. 2 приведен пример использования плагина CLAHE в ImageJ для корректировки фона в той же самой кольцевой электронограмме, где присутствуют рефлексы от трех фаз Pt, TiN и HfO2, причем кольца от Pt и TiN служили стандартом для установления фазы HfO2. Из рисунка видно, что обработка исходного изображения (рис. 2а) с помощью алгоритма CLAHE привела к усилению контраста всех рефлексов (рис. 2б). Премуществом использования плагина является то, что центральное яркое пятно, образованное прошедшим электронным пучком, не увеличивается, что, как правило, происходит при обычной корректировке контраста и яркости без использования плагина. Самой большой областью применения CLAHE является изображения биологических образцов, биопленок, клеток, визуализация и идентификация отдельных объектов в клетках.

Рис. 2.

Электронограмма, загруженная для обработки в ImageJ (а), электронограмма, после обработки с помощью плагина CLAHE c параметрами, введеными по умолчанию (б).

Алгоритмы контрастирования изображения постоянно развиваются и дополняются для решения конкретных задач. В работе [4] предложен алгоритм адаптивного контрастирования изображения, позволяющий подобрать оптимальные параметры кривой контраста для каждой области изображения индивидуально, т.е. после проведения предварительной сегментации и последующего анализа сегментов, причем декларируется, что применение такого подхода не вносит существенных искажений в исходное изображение.

НОВЫЙ МЕТОД УСРЕДНЕНИЯ ПО УГЛУ В ПОЛЯРНОЙ СИСТЕМЕ ОТСЧЕТА

В работе предложен новый алгоритм обработки картин электронной дифракции на основе мультимасштабного Retinex-фильтра и преобразования Хафа. Также предлагается использовать для индицирования отражений представление электронограммы в полярных координатах, что часто является более наглядным и удобным.

Для выделения слабых рефлексов на картине электронной дифракции использован метод усреднения по углу в полярной системе отсчета с центром, помещенным в центр дифракционной картины, и осью, параллельной горизонтальному краю изображения.

В дальнейшем под изображением будем понимать матрицу значений интенсивности в точках прямоугольной сетки с шагом в один пиксель. В отличие от обычного изображения в градациях серого диапазон значений интенсивности в этом случае ограничен только типом переменных, используемых для ее хранения. Для визуальной оценки данных используется обычное изображение с палитрой из 256 градаций серого цвета, полученное путем линейного отображения исходного диапазона значений интенсивности в интервал от 0 до 255 с последующей дискретизацией.

Начало отсчета связанной с изображением прямоугольной системы координат, как это принято в задачах компьютерного зрения, расположено в левом верхнем углу изображения, ось х горизонтальна и направлена вправо, а ось y – вертикально вниз.

Оценка качества и параметров изображения производится путем анализа его профилей. Профиль представляет собой график зависимости интенсивности изображения от положения точки на отрезке, проведенном между двумя произвольными точками изображения. Поскольку точки, принадлежащие отрезку, не совпадают с точками сетки пикселей изображения, формирующие профиль значения интенсивности получены путем билинейной интерполяции между точками сетки.

Подготовка изображения к проведению операции усреднения по углу состоит в очистке изображения от шумов, коррекции фона, определения положения центра дифракционной картины и переводе изображения в описанную выше полярную систему координат.

Для очистки изображения от шумов с минимальным искажением слабых рефлексов использован управляемый фильтр (Guided image filter) [5], параметрами которого являются размер окна фильтра и так называемый регуляризационный параметр, определяющий поведение фильтра вблизи границ объектов и областей с большим значением градиента интенсивности. В предельном случае, когда дисперсия значений интенсивности для пикселей в окне фильтра много меньше этого параметра, пикселю в центре окна присваивается значение, равное среднему по окну. В другом предельном случае, когда дисперсия много больше параметра, значение, отвечающее центру окна, остается неизменным. Для очистки изображения от шума значение регуляризационного параметра должно быть больше разброса значений интенсивности, обусловленного шумовой составляющей изображения.

Оценка разброса значений интенсивности получена путем анализа профилей интенсивности, взятых вдоль отрезков, проведенных в тех областях, где визуально не наблюдается резких изменений яркости изображения. Примеры профилей для периферийной и центральной областей изображения приведены на рис. 3а и 3б соответственно (кривые с точками). Обусловленный шумом разброс значений интенсивности достигает 500 единиц.

Рис. 3.

Сравнение профилей интенсивности исходного (кривые с точками) и очищенного изображений для периферийной (а) и центральной (б) областей.

Очистка картины электронной дифракции, приведенной на рис. 1 и 2а, от шума проведена управляемым фильтром с квадратным окном шириной 11 пикселей и регуляризационным параметром, равным 1000 единиц. Размер окна фильтра примерно равен расстоянию между максимумами на профилях интенсивности исходного изображения, показанных на рис. 3. Профили интенсивности очищенного от шумов изображения для периферийных и центральных областей в сравнении с исходными приведены на рис. 3а и 3б.

Фильтрованное изображение в областях, не имеющих визуально наблюдаемых значительных изменений яркости, лишено характерных для шумовой составляющей резких скачков интенсивности, а его интенсивность близка к среднему по окну фильтра. Очищенное таким образом изображение использовано для дальнейшей обработки.

Особенностью картины электронной дифракции является наличие яркого пятна в центре, обусловленного не полным экранированием прямого пучка электронов. В результате профиль интенсивности фильтрованного изображения, взятый вдоль радиального отрезка, проведенного из центральной области дифракционной картины, имеет заметный фон, резко увеличивающийся при приближении к центру (рис. 4а). Выделить на этом фоне слабые рефлексы практически невозможно.

Рис. 4.

Профиль интенсивности, взятый вдоль радиуса дифракционной картины, для очищенного изображения (а) и того же изображения после применения мультимасштабного алгоритма Retinex (б).

Для улучшения качества неравномерно освещенных изображений используются алгоритмы семейства Retinex, основанные на теории восприятия зрительным аппаратом человека яркости и цвета изображения [6]. В рамках этой теории видимое изображение I(x, y) представляется в виде произведения отражательной способности наблюдаемой сцены R(x, y) и яркости истинного изображения S(x, y):

(1)
$I(x,~y) = R(x,~y)S(x,~y),$
где x и y – координаты точки на видимом изображении.

Для выделения истинного изображения S(x, y) из выражения (1) различные алгоритмы этого семейства используют разные методы. В данной работе для устранения неравномерности освещения картины электронной дифракции использован мультимасштабный алгоритм Retinex (Multy-Scale Retinex) [7, 8]. Для случая одного цветового канала выражение для S(x, y) имеет вид:

(2)
$\begin{gathered} S(x,~y) = \log (I(x,~y)) - ~\mathop \sum \limits_{i = 1}^K \,{{W}_{i}}\log ({{F}_{i}}I)~, \\ {{F}_{i}}(x,~y) = \frac{1}{{2\pi \sigma _{i}^{2}}}\exp \left\{ { - \frac{{{{x}^{2}} + ~{{y}^{2}}}}{{2\sigma _{i}^{2}}}} \right\}. \\ \end{gathered} $
Здесь ${{W}_{i}}~$ (I = 1, …, K) – нормированные на единицу веса, а знак * обозначает свертку. На практике значение K, как правило, выбирают равным трем, а все веса – равными 1/3.

С учетом выражения для ${{F}_{i}}(x,~y)$ свертка под знаком логарифма сводится к применению к видимому изображению фильтра Гаусса. Параметры ${{\sigma }_{i}}$ для различных значений i должны существенно различаться. Они подбираются для каждого изображения индивидуально и зависят от его размеров по осям координат и размеров неравномерно освещенных областей.

Картина дифракции электронов обработана мультимасштабным Retinex фильтром с параметрами ${{\sigma }_{i}}$, равными 3, 13 и 42. Пример радиального профиля интенсивности результирующего изображения представлен на рис. 4б. Резко возрастающий к центру дифракционной картины фон, наблюдаемый на профиле интенсивности исходного изображения (рис. 4а), практически полностью отсутствует, а отвечающие рефлексам максимумы интенсивности хорошо прорисованы.

Для перевода изображения в полярные координаты с началом отсчета в центре дифракционной картины необходимо определить положение этого центра на изображении. В данном случае центр дифракционных колец не совпадает с геометрическим центром изображения. Его положение может быть найдено при помощи преобразования Хафа (Hough Transform) для поиска окружностей [9].

В общей постановке задачи преобразование Хафа позволяет найти центры всех окружностей на изображении. Поскольку картина дифракции электронов представляет собой несколько концентрических окружностей, проведенных из единого центра, для определения его положения достаточно найти центр хотя бы одного дифракционного кольца. Область поиска также может быть ограничена размерами одного из колец.

Для уменьшения количества точек, вовлеченных в преобразования Хафа к изображению, полученному на выходе Retinex фильтра, применен фильтр Кенни (Canny filter) [9], использующийся для поиска границ объектов на изображениях. Параметры фильтра Кенни подобраны таким образом, чтобы на результирующем изображении остались только дифракционные кольца. Результат применения фильтра Кенни представлен на рис. 5а.

Рис. 5.

Результат применения фильтра Кенни к картине дифракции электронов после коррекции фона (а) и разметка изображения, полученного после коррекции фона (б).

Преобразования Хафа применено только к белым областям полученного изображения. В результате центр дифракционных колец найден в точке с координатами ${{X}_{0}} = 1057$, $~{{Y}_{0}} = 1113$ в описанной выше системе отсчета изображения.

В эту точку помещено начало координат полярной системы отсчета, ось которой параллельна оси х системы отсчета исходного изображения и направлена вправо. Положительное направление отсчета полярного угла – по часовой стрелке, выбрано в соответствии с положительным направлением вращения в системе отсчета исходного изображения. Изображение в полярной системе координат формируется заданием значений интенсивности в точках сетки по радиусу и углу. Шаг сетки по радиусу совпадает с шагом координатной сетки исходного изображения и равен одному пикселю, а шаг сетки по полярному углу определяется произвольно заданием числа точек, лежащих в рассматриваемом диапазоне углов. Связь между координатами в исходной $(x,~y)$ и полярной $(r,~\varphi )$ системах отсчета имеет следующий вид:

(3)
$\begin{gathered} x = {{X}_{0}} + r\cos (\varphi ), \\ y = {{Y}_{0}} + r\sin (\varphi ). \\ \end{gathered} $
Для последующего усреднения по углу выбрана область исходного изображения, не содержащая изображений первичного пучка электронов и экранирующего его стоппера. С этой целью радиальные координаты в полярной системе отсчета используемых в усреднении точек ограничены снизу радиусом центрального светлого пятна ${{R}_{{{\text{min}}}}} = 130$ пикселей, а разрешенные углы лежат в интервале от 30 до 330 градусов. Количество точек сетки по углу принято равным 1000. В усреднении не участвуют точки сектора, в котором расположен стоппер, ограниченный прямыми, проведенными из точки ${{X}_{s}} = 930~$, ${{Y}_{s}} = 1117$ по касательной к его изображению.

Чтобы вовлечь в процедуру усреднения максимальное число точек для каждого значения радиуса, радиальная координата рабочей области ограничена сверху ближайшим расстоянием до границы изображения дифракционной картины, ${{R}_{{{\text{max}}}}} = 935$ пикселей. В этом случае для каждого значения радиуса можно использовать все разрешенные точки. Разметка изображения, полученного после коррекции фона, приведена на рис. 5б. Окружностями красного цвета показаны ограничивающие радиусы ${{R}_{{{\text{min}}}}}$ и ${{R}_{{{\text{max}}}}}$, а отрезки красного цвета ограничивают исключенную из рассмотрения область, отвечающую изображению стоппера.

Для определения значений интенсивности изображения в точках сетки полярной системы отсчета использован следующий алгоритм [9]:

– для координат каждого пикселя в полярной системе отсчета $({{r}_{i}},~{{\varphi }_{j}})$ по формулам (3) определить координаты (x, y) в декартовой системе отсчета исходного изображения;

– значение интенсивности в точке с координатами (x, y) найти путем бикубической интерполяции интенсивности между точками изображения, полученного после коррекции фона;

– найденное значение приписать пикселю с координатами $({{r}_{i}},~{{\varphi }_{j}})$ в полярной системе.

Полученное по этому алгоритму изображение в полярных координатах представлено на рис. 6а в виде развернутого прямоугольника, по горизонтальной оси которого отложен угол полярной системы координат, а по вертикальной – радиальная координата. Начало отсчета расположено в левом верхнем углу прямоугольника. На рис. 6б показана зависимость усредненной по углу интенсивности от радиуса:

(4)
$\overline {I({{r}_{i}})} = \frac{1}{N}\mathop \sum \limits_j \,I({{r}_{i}},~{{\varphi }_{j}}),$
где сумма берется по всем точкам сетки по полярному углу, N – количество точек сетки, j = 1, …, N – номер точки.

Рис. 6.

Электронограмма в полярных координатах с обозначением отражений HfO2 на правой стороне шкалы и отражений Pt и TiN слева (а), зависимость усредненной по углу интенсивности отражений HfO2, Pt и TiN от радиуса (б).

Представление электронограмм от поликристаллических материалов в полярных координатах имеет ряд преимуществ перед традиционным, особенно для случая присутствия отражений от нескольких фаз. На электронограмме рис. 6а помимо рефлексов от ромбической фазы HfO2 присутствуют рефлексы поликристаллических TiN и Pt. С практической точки зрения такое представление является более наглядным, а проводить индицирование многочисленных и близко расположенных отражений от нескольких фаз значительно удобнее.

ЗАКЛЮЧЕНИЕ

Разработан и описан новый алгоритм, в основе которого лежат мультимасштабный Retinex- фильтр и преобразование Хафа, для минимизации и подавления шума и выявления слабых отражений на картинах электронной дифракции от поли- и нанокристаллических материалов. Предложен способ перевода электронограмм в полярные координаты. Такое представление электронограмм является более наглядным и значительно более удобным при индицировании близко расположенных отражений от нескольких фаз, одновременно присутствующих в образце.

Авторы выражают благодарность А.М. Маркееву и сотрудникам его группы Московского физико-технического института за образцы, приготовленные методом атомно-слоевого осаждения.

Работа выполнена при поддержке Министерства науки и высшего образования в рамках выполнения работ по Государственному заданию ФНИЦ “Кристаллография и фотоника” РАН.

Список литературы

  1. Mitchell D.R.G. // Ultramicroscopy. 2008. V. 108. P. 367. https://doi.org/10.1016/j.ultramic.2007.06.003

  2. Saalfeld S. CLAHE, https://github.com/axtimwalde/mpicbg/tree/master/mpicbg/src/main/java/mpicbg/ij/clahe

  3. Zuiderveld K. Contrast limited adaptive histogram equalization. in Graphics gems IV. Ed. P. S. Heckbert. Academic Press Professional Inc., San Diego. USA. P. 474.

  4. Kurilin I., Safonov I., Rychagov M., Zavalishin S., et al. Fast Algorithm for Visibility Enhancement of the Images with Low Local Contrast. Proceedings of SPIE – The International Society for Optical Engineering, 2015. V. 93950B. https://doi.org/10.1117/12.2078975

  5. He K., Sun J., Tang X. Proc. IEEE Transactions on Pattern Analysis and Machine Intelligence // 2013. V. 35. № 6. P. 1397. https://doi.org/10.1109/TPAMI.2012.213

  6. Land E.W., McMann J.J. // J. Opt. Soc. Am. 1971. V. 61. № 1. P. 1–11. https://doi.org/10.1364/JOSA.61.000001

  7. Jobson D.J., Rahman Z., Wodell G.A. // IEEE Trans. Image Process. 1997. V. 6. № 7. P. 965. https://doi.org/10.1109/83.597272

  8. Rahman Z., Jobson D.J., Woodel G.A. // J. Electron. Imaging. 2004. V. 13. № 1. P. 100. https://doi.org/10.1117/1.1636183

  9. Gonzalez R., Woods R. Digital Image Processing, 2nd Edition. Prentice Hall. 2002. P. 793.

Дополнительные материалы отсутствуют.