Приборы и техника эксперимента, 2021, № 3, стр. 20-26

ВВЕДЕНИЕ

Классическое измерение твердости материалов методами Виккерса и Кнупа предполагает определение площади отпечатка по диагоналям, измеряемым на оптическом изображении. Измерение может быть проведено оператором, однако уже в течение нескольких последних десятилетий производители оборудования предлагают микротвердомеры с автоматической функцией распознавания границ и диагоналей отпечатка в соответствии с ГОСТ 6507-1-2007, ISO 6507-1:2005 [1, 2]. Данные методы показывают наибольшую работоспособность на металлах с отпечатками выраженной квадратной или ромбической формы. Однако разнообразие эффектов, нарушающих идеальную форму отпечатка (навалы, упругое восстановление, особенности структуры и рельефа), приводит к ухудшению качества автоматической обработки отпечатков и сбоям алгоритмов, поэтому принципы обработки изображений до сих пор являются предметом исследования [3].

К наиболее распространенным подходам относятся пороговая бинаризация, преобразование Хафа, а также детектор границ Кэни [3, 4]. Эти подходы демонстрируют высокую точность на высококонтрастных отпечатках со слабоструктурированным фоном и яркостной структурой поверхности. Алгоритмы на основе этих подходов специфически реагируют на дефекты различных типов и выдают ошибочные данные. Так, бинаризация неэффективна на низкоконтрастных изображениях, а преобразование Хафа и детектор границ Кэни менее зависимы от контрастности образцов и абсолютных значений яркости, но чувствительны к артефактам формы индентов и яркостного рельефа фона.

МОРФОЛОГИЯ ОСТАТОЧНЫХ ОТПЕЧАТКОВ

Наиболее простой и ожидаемой формой остаточного отпечатка при измерении твердости по Виккерсу является квадрат, однако такая идеальная ситуация является достаточно редкой. Как следует из работы [5], в зависимости от отношения модуля упругости к пределу текучести вокруг отпечатка могут наблюдаться навалы (pile-up) или провалы (sink-in). На изображении могут присутствовать протяженные дефекты или элементы рельефа, также влияющие на качество определения размеров индента. Кроме того, в ряде случаев яркость внутренней поверхности индента может оказаться сравнимой с ровной поверхностью, что уменьшает контраст, а также делает границы индента малоразличимыми.

Наиболее простым и удобным изображением остаточного отпечатка по Виккерсу является черный квадрат на фоне яркой поверхности, что довольно типично для отпечатков на металлах. Для таких изображений может быть использована обычная пороговая бинаризация, после которой осуществляется локализация вершин индента на размеченном изображении при помощи простых и производительных алгоритмов, основанных на нахождении наиболее удаленных от центра сегментированной области точек [6]. Бинаризация позволяет разметить инденты с кривыми краями, но при этом она весьма чувствительна к выбору порога бинаризации (рис. 1), что создает трудности при автоматической разметке изображений с градиентом освещения и дефектами.

Задача выбора оптимального порога бинаризации является объектом актуальных исследований. Предложены эффективные алгоритмы на основе анализа гистограмм яркостей и минимизации энергетических функций [7–9]. Кроме того, разработаны методы, позволяющие конструировать поверхности пороговых значений [10]. Эти методы обеспечивают с высокой точностью сегментирование изображений с равномерной и неравномерной яркостью, но не позволяют разделить отпечаток и дефекты рельефа.

Другой подход опирается на обнаружение краев и последующее преобразование Хафа [11, 12]. Обнаружение краев может быть усложнено низкой контрастностью и шумом, присутствующим в изображениях. Кроме того, огромное количество ложных кандидатов в виде прямых участков изображения (например, следы механической обработки) затрудняет поиск четырех небольших областей, действительно являющихся краями отпечатка. Алгоритмы, основанные на преобразовании Хафа, можно условно разделить на 2 группы.

Первая группа алгоритмов работает путем поиска на изображении участков прямых, являющихся гранями отпечатка [11]. Координаты вершин рассчитываются как точки пересечения этих прямых. Эти алгоритмы хорошо локализуют ребра и обеспечивают высокую точность на отпечатках с прямыми гранями. Вместе с тем, как следует из работы [5], в зависимости от отношения модуля упругости к пределу текучести вокруг отпечатка могут наблюдаться навалы (pile-up) или провалы (sink-in). На отпечатках с выпуклыми ребрами точность работы алгоритмов значительно снижается. Пример данной ситуации проиллюстрирован на рис. 2.

Вторая группа алгоритмов использует преобразование Хафа окрестности вершин индента [12]. Такой подход позволяет значительно увеличить точность на отпечатках с выпуклыми или вогнутыми ребрами за счет анализа участков прямых, лежащих в непосредственной близости к вершине. Это семейство алгоритмов пригодно только для уточнения координат вершин индента и чувствительно к артефактам изображения, находящимся непосредственно у вершины отпечатка. Данная ситуация проиллюстрирована на рис. 3.

ОПИСАНИЕ АЛГОРИТМА

Предлагаемый в данной работе алгоритм основан на сопоставлении двумерных диаграмм оптических свойств внешней и внутренней частей отпечатка на полученном изображении. Принцип работы алгоритма удобно показать на одномерном случае, работая только с одной цветовой характеристикой, с последующим обобщением для случая цветного изображения.

Для определения положения, размеров и ориентации отпечатка используется априорная информация об инденте – в первую очередь положение его центра. После непосредственного нанесения отпечатка вдавливанием наконечника в поверхность прибор перемещает образец из-под индентирующего модуля под оптический микроскоп. Расстояние между этими двумя модулями заранее откалибровано таким образом, что центр индента с точностью 2–5 мкм оказывается в центре кадра.

Из центра кадра выполняется построение ряда окружностей с радиусами в диапазоне от 5 мкм до 90% от высоты кадра. В рассматриваемом одномерном случае для каждого из пикселей изображения вычисляется тон (Hue) из цветовой схемы HSV (Hue, Saturation, Value). Для каждого из выбранных выше радиусов строятся две гистограммы ${\mathbf{A}}_{{{\text{Hue\;}}~}}^{{{\text{in}}}}$ и ${\mathbf{A}}_{{{\text{Hue}}}}^{{{\text{out}}}}~~$ распределения тона: для пикселей, лежащих как внутри, так и вне окружности. Традиционно параметр Hue принимает 256 значений, что определяет размер векторов Aⁱⁿ и A^out, однако на практике 256 значений избыточно. При применении многомерных гистограмм это значительно увеличивает вычислительные затраты и расход памяти. Также это делает гистограмму разреженной и мешает пикселям с незначительно отличающимися цветами, находящимся во внешней и внутренней области, влиять на значение функции разделения. В алгоритме используется гистограмма из 25-ти промежутков.

В случае наилучшего разделения областей индента и прочей поверхности образца пики гистограмм оказываются максимально разнесенными. В качестве меры, определяющей качество разделения пиков, используется нормированное скалярное произведение векторов:

Минимальное значение данного произведения обеспечивает наилучшее разделение векторов Aⁱⁿ, A^out.

В качестве начальной формы, аппроксимирующей область индентирования, выбран круг. Пример аппроксимации модельного ромбического отпечатка при различном значении радиусов окружности представлен на рис. 4. Данная форма используется, ввиду того что точное априорное расположение индента неизвестно, однако с точностью до 5° две диагонали отпечатка расположены горизонтально и вертикально. При некотором значении радиуса R нормированное скалярное произведение оказывается минимальным (см. рис. 4).

Следующим этапом применения алгоритма является аппроксимация отпечатка на оптическом изображении ромбом, диагонали которого расположены вертикально и горизонтально, а начальная длина диагоналей d выбирается из соотношения d = 2.8R. Коэффициент 2.8 был подобран путем численной аппроксимации окружностями модельного отпечатка. Был сгенерирован ряд ромбов (модельных отпечатков), длины диагоналей d_i которых заданы в процентах от высоты кадра. Для каждого ромба подобрана окружность R_i, минимизирующая скалярное произведение f(Aⁱⁿ, A^out). Отношение d_i/R_i для отпечатков различных размеров приведено на рис. 5.

Как видно из представленного рисунка, при малых размерах отпечатка отношение длины диагонали к оптимальному диаметру с большой точностью соответствует значению $2\sqrt 2 $. По мере увеличения размера отпечатка данное соотношение изменяется незначительно, не более чем на 5%. Таким образом, подобранный коэффициент можно считать хорошим приближением для отпечатков произвольных размеров.

На следующем этапе осуществляется изменение формы аппроксимирующего ромба. Данная процедура также выполняется путем минимизации функции f(Aⁱⁿ, A^out), определенной тоном пикселей, лежащих как внутри, так и вне ромба, и происходит следующим образом. Выбирается одна из вершин ромба и происходит ее перемещение в вертикальном и горизонтальном направлениях. После каждого шага осуществляется перерасчет функции f(Aⁱⁿ, A^out) с последующим движением в направлении уменьшения данной функции. Амплитуда каждого последующего смещения является случайной и меняется в диапазоне от 3 пикселей до 3% от размера кадра – такой подход позволяет найти глобальный минимум описанной выше функции. Случайный шаг позволяет алгоритму “не застревать” на локальных минимумах. В соответствующую точку устанавливается вершина ромба, и осуществляется обход оставшихся трех вершин. Вершины ромба перебираются циклически до тех пор, пока в течение пяти полных обходов всех вершин их положение (определенное с точностью до одного пикселя) не перестанет изменяться.

Для демонстрации описанного выше подхода рассмотрим простейший одномерный случай, в рамках которого работа алгоритма будет визуализирована для одного из углов индента. На данном этапе гистограммы, образованные векторами Aⁱⁿ и A^out, строятся на основе значений Value цветовой модели HSV. Для рассматриваемого угла индента аппроксимирующий его ромб вырождается в треугольник, две вершины которого закреплены по нижним углам изображения, а положение третьей вершины (X₃, Y₃) подлежит определению. Изменяя положение третьей вершины, согласно представленной выше формуле, можно получить массив значений f(Aⁱⁿ, A^out) для каждой пары координат (X₃, Y₃) (рис. 6). Положение минимума данной функции соответствует положению третьей вершины треугольника (рис. 6а).

После приближения отпечатка ромбом осуществляется приближение формы отпечатка фигурой, являющейся ромбом с искривленными ребрами, что позволяет учесть отклонение формы реального отпечатка от ромбической. Для этого каждое ребро аппроксимируется четырехзвенной ломаной линией. Ребра делятся на 4 части в отношении 10/40/40/10. Координаты вершин ломаной линии определяются векторными соотношениями:

где a и b – вектора, отложенные от центра исходного ромба к его вершинам (совпадают с полудиагоналями); коэффициент K отражает степень выпуклости индента.

Изменение формы сторон ромба для различных значений коэффициента К показано на рис. 7.

Алгоритм инициализируется при коэффициенте K, равном 0. Далее K изменяется на +0.0025 и –0.0025, и после каждого изменения осуществляется новый поиск вершин ромба с видоизмененными сторонами. Определение новых координат вершин, а также выбор коэффициента K также осуществляются на основе минимизации функции  f(Aⁱⁿ, A^out). Алгоритм завершает работу после того, как в течение двух полных итераций не происходит изменений координат вершин и кривизны. Данная стадия алгоритма является последней.

Как было указано выше, алгоритм, реализованный в программном обеспечении, использует двумерные гистограммы: распределения строятся не только с использованием канала Hue (тон), но также канала Value (яркость). Вместо векторов Aⁱⁿ и A^out используются массивы $A_{{i,j}}^{{{\text{in}}}}$ и $A_{{i,j}}^{{{\text{out}}}}$, а вместо нормированного скалярного произведения – его аналог – функция:

Так же как и одномерном случае (при использовании одного цветового канала), в двумерном случае функция  f  применяется сначала при выборе радиуса окружности, а затем – при выставлении границ ромба.

РЕЗУЛЬТАТЫ РАЗМЕТКИ ОТПЕЧАТКОВ

Для оценки качества работы алгоритма была использована образцовая стальная мера твердости МТВ (твердость HV5 446), а также мера микротвердости MV 010, имеющая следующее значение твердости, предписанное в результате поверки: HV0.2 858. Данные меры были измерены при помощи экспериментального микротвердомера “НаноСкан-HV” с использованием описанного выше алгоритма и в режиме ручного выставления границ индента. Также были проведены измерения твердости на микротвердомере “DuraScan 20” c установкой границ индентирования в ручном режиме. В табл. 1 представлены измеренные и паспортные значения, в качестве погрешности измеренных значений указана полуширина 95%-ного доверительного интервала на основе t-распределения (Стьюдента). Для каждой меры было выполнено десять измерений.

Представленные результаты демонстрируют хорошее соответствие длин диагоналей отпечатка, полученных ручным и автоматическим способами. В трех из четырех случаев среднее значение твердости, измеренное при помощи алгоритма, попало в доверительный интервал измерений твердости при ручной разметке образца. В случае измерений меры МТВ с нагрузкой HV2 95%-ные доверительные интервалы пересекаются только в своих крайних значениях, однако следует отметить, что разница при этом между средними значениями измеренной твердости составляет всего 1%.

Пример автоматической разметки границ диагоналей индента в случае нагрузок 0.2 кг и 1 кг представлен на рис. 8. Данные изображения демонстрируют работоспособность алгоритма для индента с вогнутыми краями, а также при наличии дефекта рельефа поверхности.

ЗАКЛЮЧЕНИЕ

Описанный алгоритм определения площади индента продемонстрировал свою работоспособность на изображениях с низким конрастом и ложными объектами в поле зрения микроскопа. Данный подход обеспечивает широту охвата индентов различной формы и точность определения площади отпечатка квазиромбовидной формы. Типичная величина случайного разброса и систематического отклонения полученных с использованием алгоритма данных составила порядка 1% для всех представленных в работе материалов при размере отпечатка более 5 мкм.