УДК 620.179.132

СОЧЕТАНИЕ ВРУЧНУЮ ПОСТРОЕННЫХ ПРИЗНАКОВ И ПРИЗНАКОВ

ГЛУБОКИХ СЕТЕЙ ДЛЯ АВТОМАТИЧЕСКОГО ОБНАРУЖЕИЯ ДЕФЕКТОВ

В ПРОЦЕССЕ ВИЗУАЛИЗАЦИИ КВАДРАТИЧНОЙ

ЧАСТОТНО-МОДУЛИРОВАННОЙ ТЕПЛОВОЙ ВОЛНЫ

¹Центр инфракрасной визуализации, Образовательный фонд Конеру Лакшмайя,

Ваддесварам, Андхра-Прадеш, Индия.

²Военно-морская исследовательская лаборатория материаловедения,

Амбернат, округ Тхане, Махараштра, Индия

*E-mail: gopitilak7@gmail.com

Поступила в редакцию 27.02.2021; после доработки 26.03.2021

Принята к публикации 02.04.2021

Последние достижения в области неразрушающего контроля и оценки надежности в совокупности с машинным

обучением, искусственным интеллектом и интернетом вещей как ключевых инструментов идеи об индустрией 4.0

достигли четвертой промышленной революции. Тем не менее активная термография (АТ) — это бесконтактный, без-

опасный, экономичный и широко используемый метод неразрушающего контроля для поиска подземных аномалий.

При АТ автоматическое обнаружение дефектов подразумевает локализацию объекта и семантическую сегментацию

термограммах. В этой статье представлена сеть объединения признаков, которая соединяет глобальные признаки,

полученные с помощью глубокой нейронной сети (ГНС), с глубокими признаками, полученными с помощью сверточ-

ной нейронной сети (СНС). Набор вручную построенных статистических и частотных характеристик тепловых про-

филей во временной области передается подсети ГНС, тогда как подсеть СНС получает тепловые профили в сети

объединения признаков. Эксперименты проводились на образце армированного углеродным волокном полимера

(углеполимера) с просверленными отверстиями с плоским дном, возбуждаемым квадратично-частотно-модулирован-

ным оптическим импульсом. Экспериментальные результаты показали, что объединение признаков улучшило воз-

можность обнаружения дефектов по сравнению с локальными сетями за счет значительного увеличения отношения

сигнал / шум, точности и F-меры.

Ключевые слова: NDT 4.0, визуализация квадратичной частотно-модулированной тепловой волны, объединение

признаков, 1D-СНС, ГНС, признаки во временной и частотной областях, полимер, армированный углеродным волокном.

DOI: 10.31857/S0130308221060051

ВВЕДЕНИЕ

Компьютерная автоматизация в недавнем прошлом позволила отрасли производить продукцию

по индивидуальному заказу с высоким качеством и надежностью. Цифровизация, искусственный

интеллект и интернет вещей стали ключевыми движущими силами нынешней промышленной ре-

волюции, индустрии 4.0. Однако для специализированных изделий требуется оценка качества и

анализ целостности с помощью неразрушающего контроля (НК) без нарушения их будущей функ-

циональности. Тем не менее неразрушающий контроль, как область знаний и набор методик, эво-

люционировал вместе с индустриализацией — от использования только органов чувств к цифрови-

зации и созданию сетей. NDT 4.0 — это настоящая революция в области неразрушающего контро-

ля, основанная на искусственном интеллекте, машинном обучении, 5G и квантовых технологиях

[1].

Но возможности бесконтактного, безопасного и экономичного контроля позволяет рекомендо-

вать активную инфракрасную термографию (АТ) как хорошо известный и широко распространен-

ный метод неразрушающего контроля, при котором анализируется тепловая карта исследуемого

образца в условиях внешнего воздействия. Возбуждение с высокой пиковой мощностью в течение

короткого времени при импульсной термографии (ИТ) [2] и периодическое возбуждение с низкой

пиковой мощностью в течение длительного времени при синхронной термографии (СТ) [3] яв-

ляются традиционными и широко используемыми механизмами стимуляции при ИКT. Благодаря

комбинации импульсного воздействия при ИТ и фазовой обработки при СТ, к традиционным под-

ходам AT позже была причислена импульсная фазовая термография (ИФТ) [4]. В последние два

десятилетия при визуализации частотно-модулированном тепловой волны (ВЧМТВ) оптический

импульс с низкой пиковой мощностью модулируется полосой низких частот [5], чтобы преодолеть

ограничения традиционных методов стимуляции (высокая пиковая мощность и увеличенное время

экспериментов) и улучшить детектирование дефектов и разрешение по глубине. С другой стороны,

Сочетание вручную построенных признаков и признаков глубоких сетей...

квадратичная версия ВЧМТВ (КВЧМТВ) обеспечивает улучшенное разрешение по глубине и об-

наружение более глубоких дефектов, чем ее линейный аналог [6]. Однако в AT были разработаны

различные методы для обработки захваченного теплового отклика [2—8].

Абсолютный тепловой контраст, восстановление теплового сигнала (ВТС), термография глав-

ных компонент (ТГК) и фаза преобразования Фурье — это обычно используемые методы обработки

в традиционной термографии [2]. С другой стороны, сжатие импульсов (СИ) и Z-преобразование

с линейной частотной модуляцией (ЛЧМ-ZП) стали удобны при обработке в процессе ВЧМТВ и

КВЧМТВ, с улучшенным разрешением по глубине и количественной оценкой глубины, поддержи-

ваемыми аналитическими моделями, представленными в [7, 8]. Однако для эффективного обнару-

жения и определения характеристик дефектов требуется опытный специалист в области AT, что

приводит к значительно меньшему количеству человеческих ошибок при наблюдении за массива-

ми данных обработки результатов термографии. Следовательно, недавние достижения в NDT 4.0

служат подтверждением успешного применения различных алгоритмов машинного обучения в AT

с целью избежать вмешательства человека и обеспечить автоматическое обнаружение дефектов

[9—22].

Машинное обучение стало использоваться в AT в начале 2000-х годов за счет использования

искусственных нейронных сетей (ИНС), многослойного персептрона (МСП) и метода опорных

векторов (МОВ) для автоматического контроля и описания дефектов. Авторы извлекали из тепло-

вых профилей характеристики, такие как максимальный тепловой контраст и время его появления

[9], кривые теплового контраста [10], коэффициенты ВТС [11], главные компоненты [12] и фазовые

кривые [13], чтобы обучать свои модели. Совсем недавно автоматический контроль дефектов со-

стоял из локализации объекта, классификации и семантической сегментации термограмм, которые

могут быть получены с помощью таких архитектур глубоких нейронных сетей с ядрами двухмер-

ной сверточной нейронной сети (СНС), известных в ИТ, как Yolo-Net и U-Net [14—17]. Однако это

непростой подход с точки зрения использования термограмм по двум причинам: первая — это тер-

мограммы, на которые влияет неоднородное излучение и эффекты неоднородной излучательной

способности, а вторая — выбор тестовых термограмм для обнаружения дефектов [18].

В отличие от моделей 2D-СНС, в СТ вводится двухпоточная модель СНС со структурой 1D-СНС

для контроля дефектов путем сравнения сходства между тепловыми профилями бездефектных и

дефектных областей [18]. В недавнем прошлом в КВЧМТВ предлагались ИНС, дерево решений и

одноклассовые модели автоматического обнаружения и описания дефектов на основе использо-

вания тепловых профилей [19, 20, 27]. Помимо автоматического контроля дефектов, в AT недавно

были введены автокодировщики и генеративно-состязательные сети как модели сжатия и увеличе-

ния термографических данных соответственно [21, 22]. Однако модели глубоких нейронных сетей

в ВЧМТВ с использованием одномерных СНС или моделей на основе долгой краткосрочной памя-

ти (ДКСП) еще не обсуждались.

В данной статье представлена глобальная сеть объединения признаков в КВЧМТВ для авто-

матической составной проверки, которая объединяет локальные характеристики, извлеченные

из модели СНС, и глобальные характеристики, извлеченные из моделей ГНС. Локальные харак-

теристики, извлеченные из обработанных тепловых профилей с использованием модели СНС, и

глобальные характеристики, извлеченные с помощью ГНС, где ГНС содержит несколько стати-

стических характеристик во временной области и частотных характеристик тепловых профилей.

Углеполимер с искусственно просверленными отверстиями с плоским дном различных размеров

на разной глубине. Температурные профили из дефектной и бездефектной области вместе с их ха-

рактеристиками (статистическая во временной области и частотная область) выбираются случай-

ным образом для подготовки обучающего набора. Обученные модели тестируются на тепловом от-

клике всего образца для классификации и визуализации дефектов. Значительное улучшение было

отмечено при автоматическом контроле дефектов с использованием модели объедения признаков

по сравнению с локальными моделями.

СЕТЬ ОБЪЕДИНЕНИЯ ПРИЗНАКОВ

Глубокая нейронная сеть (ГНС). Искусственные нейронные сети (ИНС) с мелкой архитек-

турой использовались для автоматического обнаружения дефектов в инфракрасной термографии

[9—13]. Простая модель ИНС состоит из трех уровней: входного слоя, скрытого слоя и выходного

слоя с несколькими нейронами в каждом слое для обучения целевой функции. ИНС с более чем

тремя скрытыми слоями считается глубокой нейронной сетью (ГНС). Параметры выборки вход-

ных данных определяют количество нейронов во входном слое. Несколько скрытых слоев позво-

Дефектоскопия

№ 6

2021

Г.Т. Весала, В.С. Гали, А. Виджая Лакшми, Р.Б. Найк

ляют сети изучать сложные отношения, используя количество нейронов в каждом скрытом слое,

и каждый вывод скрытого слоя нелинейно преобразуется с использованием функций нелинейной

активации, таких как сигмоид, гиперболический тангенс, ReLU и т.д. Все нейроны в каждом скры-

том слое полностью связаны с нейронами в предыдущем и следующем скрытых слоях. Количество

меток выборки определяет нейроны в выходном слое. Для заданных входных данных x выход про-

извольного скрытого слоя задается как

f x)

=ϕ(w

x+b

(1)

где w_ij — весовая коэффициент между i-м нейроном в скрытом слое и j-й нейронной ячейкой в

скрытом слое l, b определяет смещение нейронов в скрытом слое l, а f (x) — выход скрытого слоя l,

φ представляет собой функцию активации. Слой исключений широко используется между скрыты-

ми слоями, чтобы пропустить несколько нейронов в скрытых слоях для управления переобученной

сетью [25]. Последний выходной слой и последние скрытые слои связаны с софтмакс-слоем. Для

вычисления ошибки проводится сравнение между окончательным выводом слоя классификации и

желаемым выводом. Вычисленная ошибка обратно распространяется на предыдущие уровни для

обновления параметров до первого уровня в текущей итерации с заданным пакетом данных. Про-

цесс повторяется с новыми данными на следующей итерации, пока ошибка на выходе не станет

ниже порогового значения.

Сверточная нейронная сеть. Последние успехи в области глубокого обучения со сверточны-

ми нейронными сетями привлек внимание исследователей AT, и различные предварительно обу-

ченные модели доступных сверточных нейронных сетей (СНС) были введены посредством транс-

ферного обучения для автоматического обнаружения дефектов [14—17]. Однако типичная СНС со-

стоит из двух элементов: сети извлечения признаков и полносвязной нейронной сети (ПНС). Сеть

извлечения признаков представляет собой комбинацию сверточных слоев и слоев подвыборки с

нелинейными функциями активации. Сверточный слой содержит несколько ядер свертки с раз-

ными весами, которые скользят по функциям предыдущего слоя и используют операцию свертки.

Операции свертки с разными ядрами приводят к локальным связям и распределению веса между

предыдущим и текущим слоями. Кроме того, количество выходных функций в сверточном слое

уменьшается путем сканирования прямоугольной оконной матрицей со статистическим параме-

тром. Как правило, максимальные и средние значения в окне выбираются в качестве операций объ-

единения, т.е. более конкретно, широко используются максимальные значения. Полносвязная сеть

подключается в конце к сети извлечения признаков. Он состоит из скрытых слоев с нейронами, по-

добными ГНС, но на входе — карта признаков, извлеченная из сети извлечения признаков. Послед-

ний слой и последний скрытый уровень ПНС подключаются к софтмакс-слою для классификации.

В AT контроль дефектов осуществляется с помощью 2D-моделей СНС. Yanpeng [20] предста-

вил двухпотоковую архитектуру СНС с одномерными ядрами СНС для прогнозирования сходства

между парой характеристик теплового профиля, извлеченных с помощью операции 1D СНС. Точ-

но так же извлечение признаков из временного теплового профиля x с использованием одномерной

свертки с последующей нелинейной активацией дается выражением:

N₁

l −

l-1

l−1

=ϕ(

∑

⋅ x

)),

(2)

i =1

где xil-1 — это выход i-го нейрона на уровне l-1, wikl-1 — это ядро от i-го нейрона в слое l-1 до k-го

нейрона на слое l, b_kl определяет смещение k-го нейрона на слое l , φ представляет функцию акти-

вации, а f(x) — выходной сигнал сверточного слоя l. Размер объектов, извлеченных из l-го сверточ-

ного слоя, уменьшается с помощью объединяющего слоя и передается в ПНС. Последний скрытый

слой и выходной слой ПНС подключены к софтмакс-слою, и градиенты, сгенерированные путем

сравнения с желаемым выходом, передаются обратно на последний слой свертки в текущей ите-

рации с заданным пакетом данных. Процесс повторяется с новым пакетом данных на следующей

итерации до тех пор, пока ошибка вывода не станет ниже порогового значения.

Сеть объединения признаков. В вышеотмеченной литературе были проанализированы гло-

бальные характеристики, извлекаемые нейронной сетью из вручную построенных признаков,

и локальные характеристики, извлекаемые из модели СНС автоматического контроля дефектов

[9—22]. Влияние на возможность обнаружения дефектов в обоих случаях еще не проанализиро-

вано. Однако недавние исследования доказали значительное улучшение процесса классифика-

ции сигналов при мониторинге состяния конструкций и классификации биомедицинских сигна-

лов за счет объединения построенных вручную и глубоких признаков [23, 24]. Следовательно, в

Дефектоскопия

№ 6

2021

Сочетание вручную построенных признаков и признаков глубоких сетей...

Таблица

Параметры сети слияния функций

Слои

СНС

ГНС

Входной слой

1×625

Входной слой

Сверточный слой

n = 20, k = 1×11

Скрытый слой 1 + Дропаут

20, 0,2

Пулинговый слой

P = 5

Скрытый слой 2 + Дропаут

40, 0,2

Сверточный слой

n = 40, k = 1×7

Скрытый слой 3 + Дропаут

80, 0,2

Объединение

P = 5

Скрытый слой 4

160

Сверточный слой

n = 60, k = 1×3

Дропаут

0,5

Получение глобального среднего

Слой объединения

Дропаут

0,5

Софтмакс

1 (2 класса)

настоящем исследовании представлена сеть объединения признаков в КВЧМТВ для автоматиче-

ского контроля дефектов подповерхностных несплошностей в композитном образце. Подробная

информация о сети объединения признаков представлена в табл. 1.

Предлагаемая глобальная архитектура состоит из локальных моделей СНС и ГНС, как показано

на рис. 1. Модель СНС построена с входным слоем, тремя уровнями свертки с одномерной струк-

турой, двумя уровнями максимального объединения, за которыми следует одно глобальный сред-

ний слой объединения с временным тепловым профилем в качестве входного сигнала. Модель ГНС

состоит из входного слоя, нескольких скрытых слоев и слоев регуляризации со статистическими

характеристиками временной области и характеристиками частотной области теплового профи-

ля в качестве входных данных. Выходные характеристики СНС и ГНС объединяются с помощью

слоя слияния. Объединенные элементы проходят через слой регуляризации и, наконец, передаются

на выходной софтмакс-слой. Сеть объединия параметров обучается так же, как и две локальне

сети, которые итеративно реализуют прямое и обратное распространение. Для набора обучающих

данных D = {T, Tʹ, y} из N тепловых профилей X∈RNx1xM и вручную созданных статистических

и частотных характеристик во временной области X∈RNx1xk с соответствующими метками y∈RNx1,

прямое распространение на итерации i определяется выражением:

Сверточный слой(I₁),

Сверточный слой(I3),

Сверточный слой(I5),

размер фильтра(1*k)

размер фильтра(1*k) Слой получения

Пулинговый слой(I2),

Пулинговый слой(I4),

глобального среднего (I₆)

Входной слой X1*m

функция максимума(1*q)

Выходной

слой

Скрытый слой

Софтмакс

Входной слой

Признаки X1*m-во

временнной и частотной

области

Рис. 1. Схема предложенной сети объединения признаков.

Дефектоскопия

№ 6

2021

Г.Т. Весала, В.С. Гали, А. Виджая Лакшми, Р.Б. Найк

f t,t′)

=ϕ

ϕ

t,θ

,θ

,ϕ

ϕ

t′,θ

,θ

(3)

l−1

(

c,l−2

(

c,1

(

c,1

)

c,l−2

)

d,l−2

(

d,1

(

d,1

)

d,l−2

)

l−1

)

где θc, n, θ_{d, n} и φ_{c, n}, φ_{d, n} для n = 1, 2, …, l - 1 представляют собой параметры обучения операции на

каждом слое локальных моделей СНС и ГНС на тепловом профиле t и его параметрах tʹ соответ-

ственно. Результат классификации yʹ на софтмакс-слое определяется по:

f t,t′,

, p)

y′=

(4)

f t,t′,

∑e

j=1

Параметры обучения сети объединения признаков обобщаются как θʹ, и функция потерь, рас-

считываемая путем сравнения полученного результата с метками, определяется как

′,

∑

ln(y

′).

(5)

i =1

Задача обнаружения дефектов моделируется как задача двоичной классификации. Следователь-

но, учитывается функция потерь бинарной кросс-энтропии. Исходя из слоя объединения, потери

распределяются обратно на каждый уровень локальных сетей, а обучаемые параметры локальных

сетей оптимизируются для каждого пакета в обучающем наборе данных D. На рис. 2 представлена

пошаговая методика предложенной сети объединения признаков.

Выделение

Обучение

Данные для

Тепловой профиль

СНС

локальных

модели

обучения

признаков

классификации

Объединение

Результат

признаков

классификации

Анализ признаков

Выделение

ГНС

Данные для

Обучаемая

во временной и

глобальных

тестирования

модель

частотной области

признаков

Рис. 2. Схема работы предложенной сети объединения признаков.

ЭКСПЕРИМЕНТ И ПОДГОТОВКА ДАННЫХ

Матриалы и экспериментальная работа. Временная тепловая оценка профилей пикселей

в области дефекта в композитных структурах представляет различные параметры, такие как за-

тухание и временные задержки в зависимости от глубины и геометрических размеров дефектов.

Однако тепловые профили подвергаются процессу обработки, анализируется соответствующий

параметр контраста, при этом на обнаружение более глубоких и мелких дефектов влияет низкий

контраст и другие неоднородные эффекты, включая шум в тепловых данных. В данном случае

возможность обнаружения дефектов сетью объединения признаков для еще более глубоких дефек-

тов анализируется с использованием образца из углеполимера с искусственно просверленными

отверстиями с плоским дном различных размеров на разной глубине в виде дефектов расслоения.

Принципиальная схема, фото (в оптическом диапазоне) переднего и заднего вида тестового образ-

ца представлены на рис. 3а—в. Передняя поверхность тестового образца покрыта черной эмалевой

краской с коэффициентом излучения 0,96 для получения однородного коэффициента излучения во

время экспериментов [2].

Испытуемый образец помещают перед комплектом галогенных ламп мощностью 1 кВт каж-

дая на расстоянии 80 см. Две галогенные лампы испускают квадратичный частотно-модулиро-

ванный оптический импульс, имеющий развертку по частоте от 0,01 до 0,1 Гц в течение 100 с,

как показано на рис. 3г, смещение постоянного тока добавляется к возбуждению, чтобы избежать

фазы охлаждения [6]. Соответствующие тепловые карты поверхности объекта записываются со

скоростью 25 кадров в секунду в течение 100 с с помощью тепловизора FLIR A655SC, работаю-

Дефектоскопия

№ 6

2021

Сочетание вручную построенных признаков и признаков глубоких сетей...

Галогенная лампа № 1

Блок управления

Образец

Корпус

ИК-системы

Галогенная лампа № 2

Рис. 3. Принципиальная схема (а) (размеры в см); вид спереди (б); вид сзади образца из углеполимера (в) и общая схема

экспериментальной установки для визуализации квадратичной частотно модулированной тепловой волны (КВЧМТВ)(г).

щего в спектральном диапазоне от 7,5 до 14 мкм с чувствительностью 30 мк. Тепловые данные

включали 2500 термограмм с пространственным разрешением 640×480 пикселей.

Предобработка данных и их подготовка. Интересующая область выбирается из наблю-

даемой, чтобы исключить ненужный фон и выделить тепловой отклик тестового образца.

Урезанные данные охватывают тепловой отклик тестового образца с пространственным раз-

решением 315×317 пикселей на всех термограммах. Наблюдается средний рост каждого пик-

сельного профиля в поле зрения из-за смещения постоянного тока, добавляемого к импульсу,

и соответствующая методика полиномиальной аппроксимации удаляет его. Кроме того, дина-

мический компонент каждого временного теплового профиля извлекается путем вычитания из

него среднего. Необработанные и динамические тепловые профили до и после выравнивания

представлены на рис. 4. Далее у каждого динамического теплового профиля уменьшается дис-

кретизация с прореживанием, равным 4, для уменьшения входной длины признака для сети

объединения признаков [18]. Тепловой отклик с пониженной дискретизацией включает 625 то-

чек выборки. Следовательно, каждый временной тепловой профиль связан с бинарным слоем,

указывающим, принадлежит ли профиль области дефекта или бездефектной области. Темпе-

ратурные профили бездефектной области и области дефекта обозначаются метками «0» и «1».

Помеченные данные означают, что из 99855 тепловых профилей 6045 относятся к дефектным

областям, а 93810 профилей относятся к бездефектной.

420

Необработанный тепловой отклик в бездефектной области

Обработанный тепловой отклик в бездефектной области

400

Необработанный тепловой отклик в дефектной области

Обработанный тепловой отклик в дефектной области

380

360

340

320

300

280

100

Время, с

Рис. 4. Необработанные и динамические временные тепловые профили в бездефектной и дефектоной областях образца.

Дефектоскопия

№ 6

2021

Г.Т. Весала, В.С. Гали, А. Виджая Лакшми, Р.Б. Найк

Трехмерный тепловой отклик преобразуется в двумерный вектор путем размещения каждой

пиксельной тепловой карты в строку и соответствующей ему эволюции во времени в столбцах

вместе с соответствующими метками. Параллельно с этим из каждого теплового профиля выделя-

ется несколько характеристик для обучения предлагаемой сети объединения признаков. Совсем не-

давно объединение статистических признаков во временной области и комбинация характеристик

сигналов во временной и частотной областях повысило эффективность классификации сигналов

в различных приложениях [23, 24]. В данном случае из тепловых профилей выделяется несколь-

ко статистических и частотных характеристик во временной области. Характеристики временной

области включают минимум, максимум, размах, стандартное отклонение, асимметрию и эксцесс

тепловых профилей, тогда как характеристики частотной области включают четырехфазные ком-

поненты, полученные из фазы преобразования Фурье. В табл. 2 представлен список выбранных

вручную признаков для объединения с локальными характеристиками тепловых профилей, полу-

ченных из модели СНС. Далее был подготовлен набор обучающих данных с тепловыми профи-

лями и характеристиками, включающий 10000 образцов с соотношением 1: 4 тепловых профилей

дефектной и бездефектной областей. Каждый пиксельный профиль всего тестового образца и их

соответствующие характеристики остаются в качестве данных тестирования.

Таблица

Выбранные параметры во временной и частотной областях

№ п/п

Параметр

Формула

№ п/п

Параметр

Формула

Стандартное

Минимум

T_min = min|T_i|

σ=

∑

−

отклонение

i=1

Максимум

T_max = max|T_i|

Ассиметрия

(

−

∑

Размах

T_p-p = T_max - T_min

Эксцесс

∑

(

−

Признаки в

частотной

-1



Im(T(x,ω))

7—10

tan





области

Re(T(x,ω))





(Фаза)

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Обучение и валидация. Эффективность обучения сети объединения признаков анализируется

путем одновременной передачи тепловых профилей и построенных вручную признаков в локаль-

ные сети. Моделирование проводилось с использоваием четырехъядерного процессора AMD A10 с

тактовой частотой 3,5 ГГц, поддерживаемом графикой AMD Radeon R7 3 ГБ, внутренней памятью

6 ГБ и твердотельным накопителем на 256 ГБ. Перед инициализацией сетей данные обучения и

тестирования нормализуются как предварительный этап машинного обучения. Сети, инициали-

зированные с помощью инициализации веса Ксавье с нулевым смещением [26], обучены на 500

итерациях обратного распространения с размером пакета 64. Adam со скоростью обучения 0,00015

используется в качестве оптимизатора для обучения сетей.

Обучающие данные 10 тысяч тепловых профилей, соответствующих вручную построенным

признакам, и соответствующие метки сначала перетасовываются, нормализуются и передаются в

СНС, ГНС и сети объединения признаков. 20% данных обучения разделяются для оценки модели

сразу после обучения каждой эпохи. Потеря при валидации, показанная на рис. 5, представляет

эффективность обучения каждой сети. Замечено, что модель ГНС достигает глобальных миниму-

мов за меньшее количество итераций, тогда как потеря при валидации СНС и сетей объединения

признаков медленно уменьшается. Кроме того, объединение признаков приводит к быстрой сходи-

мости глобальной модели по сравнению с ее локальными сетями. Время обучения, указанное для

глобальной модели, аналогично СНС, которое составляет 6,5 с, тогда как ГНС занимает 0,3 с для

обучения эпохи (включая прямое и обратное распространение).

Дефектоскопия

№ 6

2021

Сочетание вручную построенных признаков и признаков глубоких сетей...

Потери

0,45

ГНС

0,40

СНС

Сеть объединения признаков

0,35

0,30

0,25

0,20

0,15

0,10

0,05

100

200

300

400

500

Итерация

Рис. 5. Сравнение кривых потерь между ГНС, СНС и сетью объединения признаков.

Автоматическое обнаружение дефектов. Обученная модель тестируется на полном тепловом

отклике образца и его построенными вручную признаками. Окончательный результат классифи-

кации — yʹ∈RNx1, который преобразуется в 2D, чтобы предоставить результаты автоматического

контроля дефектов. На рис. 6a—в показан результат обнаружения дефектов с использованием ГНС,

СНС и сетями объедения признаков. Можно отметить, что в случае использования моделей ГНС

и СНС имеет место большее количество ложных дефетов, а именно, профили бездефектных обла-

стей расцениваются как дефектные и, при этом, меньшее количество пропущенных дефектов. Это

связано с неоднородными эффектами, связанными с особенностями временной области, влияющи-

ми на производительность ГНС, и хорошо известен факт, что фаза преодолевает эти неоднородные

эффекты.

Пиксели по длине

ГНС

СНС

Сеть объединения

признаков

Пиксели по длине

Имя дефекта

Рис. 6. Сравнение способности обнаружения дефектов используя:

a — ГНС; б — СНС; в — сеть объединения признаков (цветная полоса обозначает предсказанные метки).

Дефектоскопия

№ 6

2021

Г.Т. Весала, В.С. Гали, А. Виджая Лакшми, Р.Б. Найк

Кроме того, сеть объединения признаков обеспечивает эффективное обнаружение более глу-

боких и мелких дефектов. Однако наблюдается превышение в количестве более глубоких дефек-

тов, что связано с неоднородными тепловыми эффектами, имеющими место во временной эво-

люции теплового профиля отдельных областей. С другой стороны, время тестирования для сети

объединения признаков составляет 26,73 с, что меньше, чем у СНС, где ГНС занимает 2,15 с для

классификации признаков. Эффективность автоматического контроля дефектов посредством пред-

лагаемой методики подтверждается с использованием показателей термографии и машинного об-

учения. Отношение сигнал/шум (ОСШ) — широко используемая мера оценки качества в АТ. ОСШ

определяется балансом между средней (µ) разницей в дефектной области и бездефектной области

и стандартным отклонением (σ) бездефектной области, приведенным в уравнениях (6), а наблюда-

емые отношения сигнал / шум представлены на рис. 6г.

µ

-µ



дефект

бездефект

SNR(db)

20⋅log



(6)







бездефект



По рисунку можно предположить, что модель ГНС и сеть объединения признаков обладают вы-

соким ОСШ по сравнению с архитектурой СНС из-за заметно низкого стандартного отклонения в

бездефектной области. Стандартное отклонение, зарегистрированное в бездефектной области для

ГНС, СНС и сети объединения признаков, составляет 1,0584×10^-4, 0,0143 и 6,4660×10^-5 соответ-

ственно. Небольшое стандартное отклонение дает право полагать, что сеть предсказала вероят-

ность того, что тепловые профили бездефектной области очень близки к целевой метке 0. А также

очень малы отклонения в предсказанных вероятностях. Это, в свою очередь, приводит к тому, что

сеть объединения признаков классифицирует тепловые профили бездефектных и дефектных об-

ластей, несмотря на наличие других важных параметров.

Кроме того, предлагаемая методика проверяется с использованием нескольких показателей

машинного обучения, таких как точность тестирования, F-мера и площадь под кривой рабочих

характеристик приемника (ППК). Высокое значение полносты и низкая точность приводят к слиш-

ком большому количеству ложных срабатываний в задачах классификации, и баланс этих двух

параметров увеличивает эксплуатационные затраты. Следовательно, рассматривается F-мера, ко-

торая задается как баланс между этими двумя показателями [24]. Помимо точности и F-меры, кри-

вые ППК демонстрируют способность классификатора анализировать термические профили, со-

ответствующие дефектным и бездефектным областям. ППК рассматривается между показателем

ложноположительных результатов и истинно положительными результатами. Точность, полнота и

F-мера математически выражаются в уравнениях (7)—(9), а в табл. 3 представлены рассматривае-

мые параметры классификации. Сравнение показателей эффективности показывает, что предлага-

емая сеть объединения признаков обеспечивает более высокую точность тестирования, полноту и

F-меру, чем локальные модели.

Таблица

Сравнение показателей эффективности предлагаемой сети объединения признаков с архитектурами ГНС и СНС

Показатель

ГНС

Сеть объединения признаков

Точность испытания, %

94,82

96,03

96,87

F-мера

Отсутствие дефекта

0,97

0,98

Дефект

0,70

0,75

0,79

ППК, %

96,64

97,65

98,14

Точность = Истинно положительная оценка (ИП)

;

Истинно положительная оценка + Ложно положительная оценка (ЛП)

(7)

Полнота = Истинно положительная оценка (ИП)

;

Истинно положительная оценка + Ложно отрицательная оценка (ЛО)

(8)

Дефектоскопия

№ 6

2021

Сочетание вручную построенных признаков и признаков глубоких сетей...

F1-мера = (2×точность×полнота)

(точность + полнота)

(9)

ЗАКЛЮЧЕНИЕ

Данная работа представляет КВЧМТВ-сеть объединения признаков для автоматического кон-

троля дефектов в составном образце. Построенные вручную признаки, извлеченные из тепловых

профилей, передаются в ГНС, который извлекает глобальные характеристики тепловых профилей,

объединенные с глубокими характеристиками тепловых профилей, извлеченных из СНС. Экспе-

риментальная проверка композитного образца из углепластика с искусственными плоскодонны-

ми отверстиями подтвердила значительное улучшение способности обнаруживать дефекты в сети

объединения признаков по сравнению с локальными моделями ГНС и СНС. Следует отметить,

что особенности временной области, обусловленные изменениями временного теплового профиля

(амплитуда), снижают точность классификации ГНС, где не рекомендуется анализ на основе ам-

плитуды в инфракрасной термографии из-за его чувствительности к неоднородностям и другим

шумам в тепловом отклике. Кроме того, хорошие результаты классификация достигаются за счет

объединения построенных вручную признаков с признаками глубокой сети в сеть объединения

признаков. Показатели производительности также подтверждают, что сеть Fusion Fusion можно

реализовать даже на экономичном оборудовании.

Работа частично поддержана грантом совета по военно-морским исследования(Индия), №

гранта NRB-423/MAT/18-19.

СПИСОК ЛИТЕРАТУРЫ

1. Vrana Johannes. NDE 4.0: The Fourth Revolution in Non-Destructive Evaluation: Digital Twin,

Semantics, Interfaces, Networking, Feedback, New Markets and Integration into the Industrial Internet of

Things. 2019.

2. Chung Yoonjae, Ranjit Shrestha, Seungju Lee, Wontae Kim. Thermographic Inspection of Internal

Defects in Steel Structures: Analysis of Signal Processing Techniques in Pulsed Thermography // Sensors 20.

2020. No. 21. P. 6015.

3. Razani Marjan, Parkhimchyk Artur, Tabatabaei Nima. Lock-in thermography using a cellphone

attachment infrared camera // Aip Advances. 2018. V. 8. No. 3. P. 035305.

4. D’Accardi E., Palano F., Tamborrino R., Palumbo D., Tatì A., Terzi R., Galietti U. Pulsed phase

thermography approach for the characterization of delaminations in cfrp and comparison to phased array

ultrasonic testing // Journal of Nondestructive Evaluation. 2019. V. 38. No. 1. P. 20.

5. Ghali V.S., Mulaveesala R. Frequency modulated thermal wave imaging techniques for non-destructive

testing // Insight-Non-Destructive Testing and Condition Monitoring. 2010. V. 52. No. 9. P. 475—480.

6. Subbarao Ghali Venkata, Mulaveesala Ravibabu. Quadratic frequency modulated thermal wave imaging

for non-destructive testing // Progress In Electromagnetics Research. 2012. V. 26. P. 11—22.

7. Subhani Shaik, Gampa V.P., Chandra Sekhar Yadav, Ghali Venkata Subbarao. Defect characterization

using pulse compression-based quadratic frequency modulated thermal wave imaging // IET Science,

Measurement & Technology. 2020. V. 14. Is. 2. P. 165—172.

8. Subhani Sk., Suresh B., Ghali V.S. Quantitative subsurface analysis using non stationary thermal wave

imaging // Infra. Phy. & Tech. 2018. V. 88. P. 41—47.

9. Bison P.G., Bressan C., Di Sarno R., Grinzato E., Marinetti S., Manduchi G. Thermal NDE of

delaminations in plastic materials by neural network processing // In QIRT. 1995. V. 94. P. 214—219.

10. Darabi Akbar, Maldague Xavier. Neural network based defect detection and depth estimation in TNDE

// Ndt & E International. 2002. V. 35. No. 3. P. 165—175.

11. Benitez Hernan, Ibarra-Castanedo Clemente, Loaiza Humberto, Caicedo Eduardo, Bendada

Abdelhakim, Maldague Xavier. Defect quantification with thermographic signal reconstruction and artificial

neural networks // In Proceedings of 8th Conference on Quantitative Infrared Thermography. Padova, Italy.

2006. V. 2. P. 6.

12. Benítez Hernán D., Loaiza Humberto, Caicedo Eduardo, Ibarra-Castanedo Clemente, Bendada

AbdelHakim, Maldague Xavier. Defect characterization in infrared non-destructive testing with learning

machines // NDT & E International. 2009. V. 42. No. 7. P. 630—643.

13. Maldague Xavier, Largouët Yves, Couturier Jean-Pierre. A study of defect depth using neural networks

in pulsed phase thermography: modelling, noise, experiments // Revue générale de thermique. 1998. 37.8.

P. 704—717.

14. Numan Saeed, King Nelson, Said Zafar, Omar Mohammed A. Automatic defects detection in CFRP

thermograms, using convolutional neural networks and transfer learning // Infrared Physics and Technology.

2019. V. 102. P. 103048.

Дефектоскопия

№ 6

2021

Г.Т. Весала, В.С. Гали, А. Виджая Лакшми, Р.Б. Найк

15. Fang Q., Nguyen B.D., Ibarra Castanedo C., Duan Y., Maldague, X. Automatic defect detection in

infrared thermography by deep learning algorithm / In Thermosense: Thermal Infrared Applications XLII,

2020. V. 11409.

16. Luo Q., Gao B., Woo W.L., Yang Y. Temporal and spatial deep learning network for infrared thermal

defect detection // NDT & E International. 2019. V. 108. P. 102164.

17. Oliveira B.C.F., Seibert A.A., Borges V.K., Albertazzi A., Schmitt R.H. Employing a U-net convolutional

neural network for segmenting impact damages in optical lock-in thermography images of CFRP plates // Non-

destructive Testing and Evaluation. 2020. P. 1—19.

18. Cao Yanpeng, Dong Yafei, Cao Yanlong, Yang Jiangxin, Yang Michael Ying. Two-stream convolutional

neural network for non-destructive subsurface defect detection via similarity comparison of lock-in

thermography signals // NDT&E International. 2020. June. V. 112. P. 102246.

19. Lakshmi A. Vijaya, Tilak V. Gopi, Parvez Muzammil M., Subhani S.K., Ghali V.S. Artificial neural

networks based quantitative evaluation of subsurface anomalies in quadratic frequency modulated thermal

wave imaging // Infrared Physics and Technology. 2019. V. 97. P. 108—115.

20. Lakshmi A. Vijaya, Ghali V.S., Subhani Sk., Baloji Naik R. Automated quantitative subsurface evaluation

of fiber reinforced polymers // Infrared Physics & Technology.2020. V. 110. P. 103456.

21. Kaur K., Mulaveesala R., Mishra P. Constrained Autoencoder based Pulse Compressed Thermal Wave

Imaging for Sub-surface Defect Detection // IEEE Sensors Journal. Doi: 10.1109/JSEN.2021.3056394

22. Kaixin Liu, Li Yingjie, Yang Jianguo, Liu Yi, Yao Yuan. Generative Principal Component Thermography

for Enhanced Defect Detection and Analysis // IEEE Transactions on Instrumentation and Measurement. 2020.

23. Li Hongmei, Huang Jinying, Ji Shuwei. Bearing fault diagnosis with a feature fusion method based on

an ensemble convolutional neural network and deep neural network // Sensors. 2019. V. 19. No. 9. P. 2034.

24. Fajardo Jose Manuel, Gomez Orlando, Prieto Flavio. EMG hand gesture classification using

handcrafted and deep features // Biomedical Signal Processing and Control. 2021. V. 63. P. 102210.

25. Srivastava Nitish, Hinton Geoffrey, Krizhevsky Alex, Sutskever Ilya, Salakhutdinov Ruslan. Dropout:

a simple way to prevent neural networks from overfitting // The journal of machine learning research. 2014.

V. 15. No. 1. P. 1929—1958.

26. Glorot Xavier, Bengio Yoshua. Understanding the difficulty of training deep feedforward neural

networks // Proceedings of the thirteenth international conference on artificial intelligence and statistics.

P. 249—256. JMLR Workshop and Conference Proceedings, 2010.

27. Tilak V. Gopi, Ghali V.S., Lakshmi A. Vijaya, Suresh B., Naik R.B. Proximity based automatic defect

detection in quadratic frequency modulated thermal wave imaging // Infrared Physics & Technology. 2021.

V. 114. P. 103674.

Дефектоскопия

№ 6

2021