Кристаллография, 2021, T. 66, № 6, стр. 1000-1008

ВВЕДЕНИЕ

Получение качественного изображения в просвечивающем электронном микроскопе (ПЭМ) – трудоемкий и многосторонний процесс. Изображение должно иметь хороший контраст, отсутствие аберраций, размытия и искажений формы вследствие дрейфа образца, а также равномерную освещенность по всему полю зрения [1–4], которая напрямую связана с качеством и особенностью метода подготовки образцов для просвечивающей электронной микроскопии.

Идеальный образец (рис. 1) для просвечивающей электронной микроскопии можно описать как жесткое кольцо толщиной 50–100 мкм с тонкой, не более 100 нм, плоскопараллельной мембраной в центральной части. У образца должны быть некоторые ребра жесткости, позволяющие его транспортировать и не дающие тонкой части деформироваться. Современными методами подготовки, такими как струйная электролитическая полировка [5–7] и ионная полировка [8–11], едва ли удастся приблизиться к данному идеалу. Поэтому приходится работать с образцом переменной толщины. Как правило, именно угол так называемого “клина“ определяет качество образца, доступную площадь изучения и возможности всего исследования.

Различная толщина образца приводит к появлению на изображении направленного градиента освещенности (рис. 2). Одна часть изображения засвечена, противоположная уходит в темноту. Эффект тем более выражен, чем быстрее изменяется толщина образца от края и чем большую область образца необходимо заснять. Единственным инструментом для улучшения изображения, доступным оператору микроскопа, является смещение электронного пучка от центра изображения в темную область. Однако такой метод подходит для относительно тонких образцов и небольших полей зрения. В большинстве случаев полностью устранить градиент освещенности не представляется возможным.

ПОСТАНОВКА ЗАДАЧИ

В работе предлагается решение описанной выше проблемы, заключающееся в постобработке исходного файла полученного изображения. Для понимания сути задачи необходимо знать принцип отображения фотографий на мониторе, а также знать величину динамического диапазона детекторов, записывающих сигнал, формирующий изображение [12–14].

При съемке изображения детектор воспринимает пришедшие на него электроны и формирует сигнал, обрабатываемый управляющей схемой и программным обеспечением. Полученный сигнал записывается в относительных единицах, пропорциональных интенсивности сигнала или количеству электронов, пришедших на детектор. Диапазон воспринимаемых интенсивностей зависит от типа детектора, эта величина всегда значительно больше диапазона в 256 уровней серого, отображаемых на экране монитора. Так, максимальная ширина диапазона интенсивности, записываемая 16-битными значениями, составляет 2¹⁶ = 65 536 уровней серого (рис. 2).

Для отображения исходного широкого диапазона на мониторе необходимо его преобразовать в 256 уровней серого. Это преобразование автоматически делают любые программы, работающие с изображениями широкого диапазона – “сырыми“ файлами. При таком преобразовании неизбежна частичная потеря информации для наблюдателя. В случае равномерной освещенности преобразование исходного диапазона не несет ущерба итоговому снимку. Однако при наличии градиента освещенности все локальные различия интенсивности, отвечающие за детали на изображении, попадают в узкие диапазоны в шкале [0–255], что помимо засветки и сильного затемнения приводит к низкому контрасту изображения. Гистограммы таких изображений сильно смещены в левую или правую часть в зависимости от того, преобладают темные области или засвеченные (рис. 2).

Поясним на примере. Если условно разделить изображение на четыре части по направлению градиента освещенности, то каждая часть будет отображена не во всем диапазоне серого [0–255], а лишь в его небольшой части (рис. 3). Так, самая темная четверть изображения будет отображаться на экране оттенками [0–35], что воспринимается глазом как темная область с низким контрастом и отсутствием деталей. Средние части изображения обладают большей шириной диапазона интенсивностей, но со значительным смещением влево. Гистограмма светлой части изображения обладает наиболее широким диапазоном и симметричной формой, что приводит к высокому контрасту при отображении на экране.

Каждая часть изображения в отдельности может быть более полноценно отображена во всем диапазоне [0–255] уровней серого. Совместив части изображения, каждая из которых преобразована во всем диапазоне серого, получаем изображение с искусственно расширенным диапазоном (HDR-изображение). Однако такое изображение (рис. 3) имеет существенный недостаток: видимость стыков отдельных частей изображения, обусловленная наличием градиента освещенности в каждой части. Таким образом, задача коррекции исходного изображения с градиентом освещенности сводится к представлению каждой отдельной строки (в случае вертикального градиента) в диапазоне [0–255] с последующим совмещением в одно изображение.

Существует большое количество методов восстановления изображений с широким диапазоном интенсивностей [15]. Настоящая работа является практической реализацией известных принципов построения HDR-изображений с учетом специфики ПЭМ-изображений. Все рассуждения и алгоритмы восстановления изображения приведены на примере работы в программе TEM Imaging&Analysis фирмы FEI. Однако общие принципы справедливы и для других программных продуктов, работающих с изображениями с широким диапазоном интенсивностей.

РЕАЛИЗАЦИЯ В АЛГОРИТМАХ

Преобразование по всей ширине диапазона каждой строки. Суть алгоритма состоит в том, что в каждой отдельной строке исходного изображения весь диапазон интенсивностей разбивается на 256 интервалов. Далее значения интенсивностей, попадающие в один интервал, отождествляются с одним уровнем серого в диапазоне [0–255]. Преобразование интенсивности отдельного пикселя изображения можно записать как

где $\operatorname{interval} = \frac{{{{I}_{{{\text{max}}}}} - {{I}_{{{\text{min}}}}}}}{{256}}$ – ширина интервала разбиения исходного диапазона интенсивностей в одной строке изображения; ${{I}_{i}},\;I_{i}^{*}$ – исходное и преобразованное значения интенсивности i-го пикселя строки изображения; ${{I}_{{{\text{min}}}}},\;{{I}_{{{\text{max}}}}}$ – исходные минимальное и максимальное значения интенсивности в отдельной строке изображения.

Типичный результат преобразования по такому алгоритму представлен на рис. 4. Как и ожидается, общий градиент устраняется, появляются ранее скрытые детали, контраст изображения максимальный. Однако все изображение состоит из полос различной яркости. Появление такого артефакта связано с тем, что исходные диапазоны интенсивностей различных строк сильно различаются из-за наличия в этих строках более темных или светлых областей.

Различия в исходных диапазонах интенсивностей соседних строк приводят к изменению ширины интервала разбиения, следовательно, равные исходные значения интенсивностей в соседних строках пересчитываются на разные значения в диапазоне [0–255]. Это и создает эффект полосатого изображения. Если в строке присутствует более темный объект, то вся строка в целом будет более светлой. Если в строке яркое пятно, то в целом вся строка становится темнее.

Данный вариант алгоритма сильно зависит от крайних значений интенсивности ${{I}_{{{\text{min}}}}}$ и ${{I}_{{{\text{max}}}}}$ в каждой строке. Поэтому для полноценной работы алгоритма восстановления изображения эту зависимость необходимо устранить.

Преобразование по ширине диапазона строк с аппроксимацией полиномом. Настоящий алгоритм является усовершенствованием первого варианта алгоритма за счет замены значений ${{I}_{{{\text{min}}}}}$ и interval, взятых из исходных данных (рис. 5), на значения, лежащие на сглаживающей кривой.

Для работы этого алгоритма необходимы два набора значений, взятых из исходного изображения: среднее значение интенсивности ${{I}_{{{\text{mean}}}}}$ пикселей в каждой строке и ширина диапазона интенсивности ${\text{range}} = ~{{I}_{{{\text{max}}}}} - {{I}_{{{\text{min}}}}}$ в каждой строке, вычисляемая как разница между максимальным и минимальным значениями интенсивности в строке. Набор указанных выше значений аппроксимируется полиномами ${{P}_{{\operatorname{range} }}}(x)$ и ${{P}_{{{\text{mean}}}}}(x)$ n-ой степени вида $P(x) = {{a}_{0}} + {{a}_{1}}x + {{a}_{2}}{{x}^{2}} + \ldots + {{a}_{n}}{{x}^{n}}$, которые используются для расчета значений ширины интервала interval и минимального значения интенсивности ${{I}_{{{\text{min}}}}}$ в формуле (1). В данном случае независимой переменной полиномов является номер строки изображения, иначе говоря, набор натуральных чисел от 0 до 2047 (в зависимости от разрешения снимка).

Отметим, что ${{I}_{{{\text{min}}}}}$ (рис. 6) здесь вычисляется не как значение полинома, аппроксимирующего набор исходных минимальных значений интенсивностей в строках, а по следующей формуле:

где $x$ – номер строки изображения. При таком вычислении значения ${{I}_{{{\text{min}}}}}$ отражают изменения как средней интенсивности, так и ширины диапазона в строке, что позволяет устранить влияние темных частиц в строках изображения и осуществить преобразование в диапазон [0–255] более симметрично относительно средних значений интенсивности.

Алгоритм можно представить в виде следующей последовательности шагов.

1. Формирование набора пар значений [№ строки, ${{I}_{{{\text{mean}}}}}$] вдоль направления градиента освещенности.

2. Формирование набора пар значений [№ строки, ${{I}_{{{\text{max}}}}} - {{I}_{{{\text{min}}}}}$] вдоль направления градиента освещенности.

3. Вычисление коэффициентов ${{a}_{i}}$ аппроксимирующих полиномов ${{P}_{{\operatorname{range} }}}(x)$ и ${{P}_{{{\text{mean}}}}}(x)~$ для обоих наборов пар значений (метод наименьших квадратов).

4. Вычисление ширины диапазона интенсивностей конкретной строки путем подстановки номера строки в аппроксимирующий полином ().

5. Вычисление ширины интервала по формуле: ${\text{interval}} = \frac{{{\text{range}}}}{{256}}$.

6. Вычисление среднего значения интенсивности строки путем подстановки номера строки в аппроксимирующий полином ().

7. Вычисление минимального значения интенсивности в строке по формуле (2).

8. Преобразование исходной интенсивности в значения в диапазоне [0–255] по формуле (1).

Шаги 4–8 повторяются для каждой строки изображения. Реализация алгоритма на языке JavaScript представлена в Приложении 1.

РЕЗУЛЬТАТЫ

Результат работы итогового алгоритма показан на нескольких примерах (рис. 7) с различной плавностью градиента освещенности. Алгоритм справляется с восстановлением даже тех изображений, на которых одновременно присутствуют засвеченная область и широкая область с полным затенением без видимых деталей (рис. 7а, 7б). Устранение засвеченной области и выявление в ней деталей возможны благодаря тому, что в исходном файле изображения пиксели засвеченной области имеют различные значения, не достигающие максимальных, т.е. информация о деталях изначально сохранена.

Также отсутствуют полосы на изображении в отличие от первого алгоритма, когда в диапазон [0–255] преобразовывается исходный диапазон по всей ширине. В отличие от первого варианта алгоритма ширина диапазона получаемого изображения больше 256 уровней, так как крайние значения исходного диапазона могут выходить за границы [0–255]. Типичная ширина диапазона преобразованного изображения составляет от 300 до 500 единиц. Границы диапазона при этом уходят как в отрицательную область, так и в значения выше 255, например полный диапазон интенсивностей на рис. 7б составляет [–53–442]. Это приводит к тому, что некоторые детали в очень темных участках при отображении на экране могут терять контраст или вовсе пропадать. Однако это не является значительной проблемой, так как глаз плохо воспринимает слабые различия в темных участках, следовательно, ими можно пренебречь.

Обратим внимание на изменение формы гистограмм распределения интенсивностей. Максимум гистограмм после обработки смещается в центральную часть, форма распределения становится более симметричной, что является показателем правильно экспонированного кадра и равномерной освещенности. При обработке изображения также повышается контрастность отдельных участков изображения без переконтрастирования других областей (рис. 7в, 7г), чего невозможно сделать стандартными методами коррекции, такими как изменение яркости, контрастности или γ-коррекцией.

Применение этого алгоритма не ограничивается изображениями только с вертикальным или только горизонтальным градиентом освещенности. На рис. 7д, 7е показан пример восстановления изображения с диагональным (сверху справа – вниз налево) градиентом освещенности. Чтобы восстановить такое изображение, необходимо дважды применить этот алгоритм к исходному изображению, повернув его на 90° после первого прохода. При этом на втором проходе алгоритм работает с ужатым диапазоном интенсивностей, что не мешает ему устранять градиент за счет нормализации яркости отдельных строк.

Выбор степени полинома, ошибка перехода через ноль. Код алгоритма преобразования изображения составлен так, что пользователь может быстро поменять степень аппроксимирующего полинома, переписав в коде скрипта одно значение (Приложение 1, строка 137). В большинстве случаев для корректной обработки изображения достаточно использовать третью степень полинома. Чем большая степень полинома используется, тем точнее описываются исходные наборы значений-показателей градиента, но при этом возрастает вероятность получения излишнего контраста.

Однако в ряде случаев график аппроксимирующего полинома может переходить через 0, что негативно сказывается на результате обработки изображения (рис. 8). Происходит это в тех случаях, когда строки изображения имеют очень узкую ширину диапазона интенсивностей, что на изображении выглядит как однородный фон. В таком случае ${{P}_{{{\text{range}}}}}(x)$ принимает околонулевые значения, и на изображении появляется полоса, по разные стороны от которой наблюдаются очень высокие положительные и отрицательные значения интенсивностей, порядка ±10⁵ и более.

Для устранения этого эффекта необходимо изменить степень аппроксимирующего полинома на любую другую, где такого эффекта не будет наблюдаться. Неправильно подобранная степень полинома может отражаться в виде засвеченных или затемненных полос, как правило, вблизи краев изображения. Эта проблема также решается изменением степени аппроксимирующего полинома в коде алгоритма.

ВЫВОДЫ

В работе предложено эффективное решение распространенной проблемы ПЭМ-изображений – градиента освещенности. Алгоритм восстановления позволяет полностью устранить неравномерность освещения изображения в любых направлениях, восстанавливая детали изображения как в темных областях, так и условно засвеченных. Следствием работы алгоритма становится повышение контраста отдельных частей изображения, без переконтрастирования изображения в других областях. Результат такого преобразования не может быть достигнут стандартными методами коррекции, основанными на работе с гистограммой распределения интенсивности.

Основная идея алгоритма восстановления изображения лежит в максимально эффективном использовании всего исходного 16-битного диапазона интенсивностей изображения путем построчного преобразования в диапазон [0–255] уровней серого. Для реализации предложенного алгоритма приведены все необходимые фрагменты кода скрипта для программы TEM Imaging&Analysis (Приложение 1). Наилучшие результаты обработки изображений достигаются при использовании исходных файлов типа .emi с широким диапазоном интенсивностей. Алгоритм успешно справляется и с обработкой сжатых типов изображения, таких как .bmp и .tiff.