Сенсорные системы, 2020, T. 34, № 2, стр. 156-171

ВВЕДЕНИЕ

Особой точкой в системах технического зрения называется проекция точки трехмерной сцены на плоскость изображения, отвечающая следующим требованиям (Haralick, Shapiro, 1992):

– Отличимость (distinctness): особая точка должна явно выделяться на фоне и быть отличимой (уникальной) в своей окрестности.

– Инвариантность (invariance): определение особой точки должно быть устойчиво к аффинным преобразованиям.

– Стабильность (stability): определение особой точки должно быть устойчиво к шумам и ошибкам.

– Уникальность (uniqueness): кроме локальной отличимости, особая точка должна обладать глобальной уникальностью для улучшения различимости повторяющихся паттернов.

– Интерпретируемость (interpretability): особые точки должны определяться так, чтобы их можно было использовать для анализа соответствий и выявления интерпретируемой информации из изображения.

Особые точки применяются при решении таких задач, как оценка положения тела в пространстве (Lepetit, Fua, 2006; Шемякина и др., 2017), классификация (Скорюкина и др., 2018), реконструкция трехмерных сцен (Agarwal et al., 2011.), визуальная одометрия и навигация (Scaramuzza, 2011) и многих других.

Помимо задачи обнаружения (детекции) особой точки, стоит задача ее описания (дескрипции) по ее окрестности для сопоставления с особыми точками на других изображениях. Алгоритм, решающий первую задачу, называется детектором, вторую – дескриптором. Ввиду практической значимости особых точек было предложено множество алгоритмов детекции и дескрипции (Lowe, 2004; Rublee et al., 2011; Alcantarilla et al., 2012; Bay et al., 2006). Эти алгоритмы основываются на классических методах обработки изображений. Кроме того, разработаны нейросетевые детекторы и дескрипторы (Rodríguez et al., 2019). В данной работе рассматриваются только классические алгоритмы детекции и дескрипции особых точек. Все они используют различные подходы к определению информативных областей. По этой причине данные алгоритмы демонстрируют разное поведение и качество в зависимости от структуры изображения. Множество работ посвящено сравнению детекторов. Среди них можно упомянуть работы З. Сонга (Song, Klette, 2013) и К. Миколайчика (Mikolajczyk et al., 2005), в которых проведены сравнения различных алгоритмов детекции на изображениях, к которым применялись различные преобразования. В работе Ж. Ху (Hu et al., 2015) сравнивается работа алгоритмов дескрипции на наборе изображений, полученных с разных точек обзора.

В большей части таких работ исследуется качество детекторов только на изображениях в видимом спектре. В то же время особые точки находят применение во многих задачах анализа специфических изображений (Shabanov et al., 2020; Moradi et al., 2006), в частности изображений, полученных в рентгеновском спектре. Так, в работе (Lecron et al., 2012) особые точки применяются для детектирования позвонков на рентгеновских снимках. В статье (Чеканов и др., 2020) особые точки применялись для восстановления траектории кругового движения томографа по сделанным им томографическим проекциям. В статье (Mery et al., 2016) рассмотрен подход к задаче обнаружения запрещенных к перевозке предметов на рентгеновских снимках багажа, который использует особые точки для поиска объекта в кадре.

При прохождении рентгеновского излучения через материал происходит его затухание. Цифровые рентгеновские изображения формируются путем регистрации этого затухания вдоль луча, соответствующего каждому пикселю матрицы детектора. Таким образом, принцип формирования рентгеновских изображений существенно отличается от формирования изображений в оптическом спектре, которые регистрируют информацию об интенсивности отраженного от объекта излучения. В отличие от последних, рентгеновским снимкам характерны полупрозрачность регистрируемого объекта, отсутствие текстур, малая резкость изображения. Возникает вопрос о применимости и устойчивости на цифровых рентгеновских изображениях детекторов и дескрипторов, разработанных для работы с изображениями с другими свойствами. Авторам неизвестны работы, в которых данный вопрос был исследован.

Цель данной работы – исследование качества работы распространенных алгоритмов детекции и дескрипции особых точек при работе с цифровыми рентгеновскими изображениями, а также с изображениями видимого спектра; сравнение показателей качества алгоритмов при работе с изображениями разных спектров и анализ устойчивости алгоритмов к различным преобразованиям изображений. Для проведения исследования нами был подготовлен набор изображений одного и того же объекта в видимом и рентгеновском спектрах. К этим изображениям применялись различные аффинные преобразования (поворот, масштабирование, скос), цветовая коррекция (изменение яркости и контраста), а также гауссово размытие. На парах оригинальных и преобразованных изображений мы тестировали пять алгоритмов детекции и дескрипции: SIFT, SURF, ORB, BRISK, AKAZE и сравнивали показатели качества отдельно для рентгеновских изображений и изображений видимого спектра.

ИССЛЕДУЕМЫЕ АЛГОРИТМЫ

В работе сравниваются следующие широко применяемые на практике детекторы и дескрипторы: SIFT, SURF, ORB, BRISK, AKAZE. Рассмотрим их подробнее.

SIFT (Scale Invariant Feature Transform) был предложен в работе (Lowe, 2004). На этапе детекции алгоритм строит пирамиду изображений – упорядоченную последовательность, содержащую оригинальное изображение и его уменьшенные копии, и вычисляет разницу гауссианов ее слоев, а затем находит локальные экстремумы среди вычисленных значений. Дескриптором SIFT является гистограмма ориентаций градиентов изображения в области вокруг задетектированной особой точки. Область вокруг особой точки разбивается на $4 \times 4$ подобласти, в каждой из которой строится гистограмма направлений градиентов (в каждой гистограмме восемь интервалов). Построенные гистограммы объединяются и нормализуются. Полученный вектор является дескриптором особой точки.

SURF (Speeded-Up Robust Features), описанный в работе (Bay et al., 2006), проектировался на основе SIFT. Основной целью авторов было предложить менее вычислительно затратный алгоритм и при этом получить качество работы, сравнимое с SIFT. SURF вычисляет и аппроксимирует гауссианы изображений пирамиды при помощи набора фильтров. При дескрипции область вокруг особой точки разбивается на $4 \times 4$ подобласти. Затем вычисляются и взвешиваются горизонтальное и вертикальное значения вейвлетов для узлов сетки $5 \times 5$ внутри каждой подобласти. После этого производится подсчет сумм горизонтальных, вертикальных значений вейвлета, а также сумм их модулей. Значения этих сумм каждой подобласти объединяются в вектор, который является дескриптором алгоритма.

ORB (Oriented FAST and Rotated BRIEF) был предложен в статье (Rublee et al., 2011). Детектор ORB считает точку особой, если при некотором масштабе изображения на окружности фиксированного радиуса с центром в этой точке существует последовательность пикселей темнее или светлее центрального пикселя. На этапе дескрипции ORB сравнивает 256 пар пикселей, если первый пиксель i-й пары темнее второго, то в i-ю позицию дескриптора записывается 1, иначе 0.

BRISK (Binary Robust Invariant Scalable Keypoints) в работе (Leutenegger et al., 2011) создавался авторами как алгоритм, сравнимый по качеству с SURF, но вычислительно эффективнее. Этап детекции BRISK схож с ORB, но отбрасывает точки, в которых величина FAST-score (сумма модулей разности пикселей окружности с центральным пикселем) не является локальным максимумом в пирамиде изображений. Дескриптор BRISK аналогичен ORB, но использует другой шаблон сравниваемых пар пикселей.

AKAZE (Accelerated-KAZE) представлен в работе (Alcantarilla, 2012). На этапе работы детектора строится пирамида изображений. К каждому изображению применяется нелинейная диффузионная фильтрация. После этого производится поиск локальных минимумов функции:

где $L_{{xx}}^{i}$, $L_{{xy}}^{i}$, $L_{{yy}}^{i}$ – производные i-го изображения второго порядка, ${{\sigma }_{{i,norm}}}$– коэффициент, определяемый масштабом изображения, на котором вычисляется значение функции. Этап дескрипции аналогичен ORB и BRISK, с той разницей, что сравниваются интенсивности не отдельных пикселей, а среднее значение некоторых областей изображения.

МЕТОДИКА

Описанные алгоритмы тестировали на наборе изображений небольшой детали, сделанных в видимом и рентгеновском спектрах (рис. 1). Набор изображений подготовлен в ФНИЦ “Кристаллография и фотоника” РАН (Бузмаков и др., 2018; 2019).

Изображения в видимом спектре получены камерой Canon EOS 5D Mark III. Ввиду ограничений камеры из исходных изображений разрешения 5760 × 3840 пикселей вырезали области размера 407 × 407 пикселей, в которых располагался исследуемый объект.

Рентгеновские изображения получены детектором Ximea xiRay11. Условия съемки были следующими: время экспозиции – 5 с, энергия излучения – 17 кэВ, монохроматор – пирографит, линия MoKa. Для учета шума детектора, помимо изображений объекта, было сделано несколько измерений в отсутствие объекта и рентгеновского пучка. Предобработка изображений происходила по следующей формуле:

где ${{I}_{{res}}}$ – результат предобработки исходного изображения ${{I}_{{orig}}}$, ${{I}_{{nox - ray}}}$, ${{I}_{{noobjeсt}}}$ – усредненные изображения, полученные в отсутствие источника излучения и объекта соответственно. Разрешение полученных снимков составило 3000 × 2650 пикселей. Чтобы исключить влияние размера изображения на работу алгоритмов, при их сравнении в видимом и оптическом спектрах все изображения рентгеновские были уменьшены до разрешения 407 × 360 пикселей. Разница размеров финальных изображений видимого и рентгеновского спектров (407 × 407 пикселей и 407 × 360 пикселей) обусловлена различием внутренних параметров детекторов и попыткой свести к минимуму разницу в пропорциях образов регистрируемого объекта (рис. 1).

ЭКСПЕРИМЕНТАЛЬНОЕ СРАВНЕНИЕ ДЕТЕКТОРОВ

Пусть имеются два изображения: ${{I}_{1}}$ и его преобразованная версия ${{I}_{2}};$ H – преобразование, переводящее ${{I}_{1}}$ в ${{I}_{2}}$. На рис. 2 представлены примеры преобразований изображений и задающие их выражения. Для сравнения качества работы детекторов на паре изображений ${{I}_{1}}$, ${{I}_{2}}$ рассчитывали так называемую повторяемость (Mikolajczyk et al., 2005). Повторяемость вычисляется по следующей формуле:

где ${{N}_{{correspond}}}$ – число сопоставленных точек; ${{K}_{1}},\;{{K}_{2}}$ – число найденных детектором точек на первом и втором изображениях соответственно.

Пусть ${{R}_{{{{\mu }_{a}}}}}$ – эллиптическая область вокруг особой точки на ${{I}_{1}}$. Для исследуемых в данной работе детекторов данная область является кругом, размер которого определялся размером области особой точки, определенной на этапе детекции. Пусть также ${{R}_{{{{H}^{T}}{{\mu }_{b}}H}}}$ – эллиптическая область вокруг особой точки на ${{I}_{2}},~$спроецированная на ${{I}_{1}}$ обратным отображением ${{H}^{{ - 1}}}$. Точки считаются сопоставленными, если отношение площади пересечения этих областей к площади их объединения больше некоторого порога $1 - \epsilon $ (рис. 3):

Отметим, что при повороте и скосе часть точек выходит за границы области изображения. Во всех экспериментах $\epsilon $ принимали равным 0.4. Точки, которые отсутствуют на преобразованном изображении, не учитываются при расчете повторяемости.

Эксперименты по сравнению детекторов проводили следующим образом:

– Из набора данных случайным образом выбирали изображение ${{I}_{1}}$.

Для оптических изображений исходное изображение ${{I}_{1}}$ приводили к одноканальному.

– Для получения изображения ${{I}_{2}}$ к ${{I}_{1}}$применяли преобразование H (поворот, сдвиг, масштабирование, аддитивное изменение яркости, изменение контраста или гауссово размытие).

– Измеряли повторяемость r.

Для каждого фиксированного преобразования H аналогичный эксперимент проводили 100 раз, после чего рассчитывали среднюю повторяемость. Эксперименты проводили отдельно для изображений видимого и рентгеновских спектров.

Преобразования H задавали следующими параметрами: среднеквадратическим отклонением σ для гауссова размытия (от 0 до 8 пикселей); интенсивностью b, добавляемой к интенсивности всех пикселей для преобразования яркости (от –255 до 255 с минимальным значением интенсивности 0 и максимальным 255); углом поворота изображения α для вращения (от –200 до 200 градусов); величиной скоса $sh$ вдоль осей x и y (от 0 до 0.5); коэффициентом масштабирования изображения $sc$ (от 0 до 2); мультипликатором интенсивностей всех пикселей c для контрастирования (от 0 до 4). Зависимости повторяемости r и числа сопоставленных точек ${{N}_{{correspond}}}$ от значения параметра, задающего преобразование, представлены на рис. 4.

Во всех экспериментах использовали программные реализации детекторов и дескрипторов из библиотеки OpenCV (Bradski, Kaehler, 2000). В качестве параметров детекторов и дескрипторов были взяты значения, предложенные авторами оригинальных работ (Lowe, 2004; Bay et al., 2006; Rublee et al., 2011; Leutenegger et al., 2011; Alcantarilla, 2011).

ЭКСПЕРИМЕНТАЛЬНОЕ СРАВНЕНИЕ ДЕСКРИПТОРОВ

Для исключения влияния работы детекторов на качество дескрипции, дескрипцию проводили в узлах сетки, наложенной на изображение и преобразованной вместе с ним (рис. 5). Размер сетки составил 200 × 200 узлов. Узлы, для которых какой-либо алгоритм не смог составить дескриптор (здесь под дескриптором понимается описание, которое построил алгоритм дескрипции, а не сам алгоритм), не участвовали в подсчете описанных далее показателей качества. Масштаб и ориентация особых точек также фиксировались. В отличие от эксперимента с детекторами, преобразованное изображение не обрезали (рис. 5). AKAZE был исключен из рассмотрения в данном эксперименте, так как программная реализация его дескриптора в OpenCV требует в качестве входных особых точек использовать точки, найденные его детектором.

Для сравнения дескрипторов мы измеряли отношение расстояний от точки исходного изображения до первого и второго ближайшего дескриптора среди точек преобразованного изображения. Для SURF и SIFT под расстоянием понимается L2 норма, для BRISK, ORB – расстояние Хэмминга. В работе (Lowe, 2004) было показано, что для дескриптора SIFT для верно сопоставленных точек данное отношение с большой вероятностью не превышает значения ~0.75. Однако данную величину иногда используют при выборе корректных сопоставлений и для других дескрипторов (Andersson, Reyna Marquez, 2016).

Не исключена ситуация, когда пара ближайших дескрипторов для исходного и преобразованного изображений не являются дескрипторами одной и той же особой точки. Чтобы учесть это, мы дополнительно провели измерение доли верно сопоставленных точек, т.е. точек, для которых дескриптор преобразованной особой точки является ближайшим к дескриптору исходной точки. Когда эта доля становится меньше 0.5 – алгоритм перестает надежно работать – возникает ситуация, при которой получение неправильного сопоставления вероятнее правильного.

Эксперименты по сравнению дескрипторов проводили следующим образом:

– Из набора данных случайным образом выбирали изображение ${{I}_{1}}.$

Для оптических изображений исходное изображение ${{I}_{1}}$ приводили к одноканальному.

– Для получения изображения ${{I}_{2}}$ к ${{I}_{1}}$применяли преобразование H (поворот, сдвиг, масштабирование, аддитивное изменение яркости, изменение контраста или гауссово размытие с параметрами, аналогичными эксперименту с детекторами).

– Измеряли отношение расстояний от каждой точки исходной сетки до первого и второго ближайшего дескриптора среди точек преобразованной сетки. После чего рассчитанные значения для всех узлов сетки усреднялись.

Как и при исследовании дескрипторов, для каждого преобразования H измерения проводили на 100 случайно выбранных изображениях и затем усредняли. Результаты экспериментов представлены на рис. 6. Исходя из полученных результатов можно сделать вывод, что часто доля верно сопоставленных точек падает ниже половины раньше, или, напротив, значительно позже момента, когда отношение двух ближайших дескрипторов достигает величины 0.75. Это, однако, не является показателем несостоятельности выбранного показателя качества, так как положение точек, для которых вычисляли дескрипторы, задавали изначально без учета информативности их окрестности. Полученный результат стоит рассматривать как демонстрацию того факта, что данной метрикой нужно пользоваться с осторожностью при анализе различных пар детекторов и дескрипторов, так как первый алгоритм может детектировать области, не являющиеся информативными для второго.

ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ

Детекторы. В табл. 1 указаны лучшие и худшие алгоритмы детекции для каждого типа изображений и применяемого преобразования. Алгоритмы выбирались исходя из значения повторяемости (рис. 4). Мы затруднились выбрать худший алгоритм в экспериментах по изменению контраста, так как при разных значениях параметра контрастирования разные детекторы демонстрировали наименьшую повторяемость.

Наблюдается резкое падение повторяемости всех детекторов при вращении изображения. Наиболее устойчиво алгоритмы работают при изменении яркости. Все алгоритмы находят значительно меньше точек в рентгеновском спектре, чем в видимом, что, по всей видимости, вызвано отсутствием текстур.

В табл. 2 подсчитаны типы преобразований, в которых алгоритм показал лучшее или худшее качество работы, а также среднее число задетектированных точек.

На рентгеновских данных зачастую наибольшую повторяемость демонстрирует SURF. AKAZE в свою очередь превосходит другие алгоритмы на изображениях в видимом спектре. Хуже всех себя показал SIFT. Далее мы рассмотрим результаты каждого алгоритма подробнее.

Дескрипторы. На графиках доли верных сопоставлений при изменении яркости и контраста наблюдается резкий скачок. Это связано с тем, что изображение при преобразовании становится равномерно черным или белым, из-за чего дескрипторы становятся практически идентичными.

В табл. 3 приведен анализ лучших и худших дескрипторов для каждого типа преобразования. Главным критерием при выборе алгоритмов служила доля верных сопоставлений (рис. 6). В спорных ситуациях выбирался алгоритм с меньшим отношением расстояния до двух ближайших дескрипторов. В табл. 4 подсчитаны типы преобразований, в которых алгоритм дескрипции показал лучшее или худшее качество работы. Однозначно лучшее качество продемонстрировал дескриптор SIFT, хуже всех себя показал SURF. Мы затруднились выбрать лучший алгоритм в экспериментах по изменению яркости рентгеновских изображений, так как три алгоритма продемонстрировали схожее качество работы. Наиболее чувствительно качество алгоритмов дескрипции, как и в случае детекторов, к повороту изображения. В целом показатели качества для алгоритмов дескрипции меньше различаются в разных спектрах, чем показатели качества алгоритмов детекции. Проанализируем подробнее все алгоритмы детекции и дескрипции.

SIFT

Детектор. На обоих типах изображений SIFT продемонстрировал худшее качество детекции. Из положительных сторон можно отметить устойчивость алгоритма к изменению масштаба, а также достаточно большое число детектируемых точек. Алгоритм показал заметную разницу качества работы на рентгеновских и обычных изображениях при размытии: в рентгеновском спектре повторяемость была сравнима с лучшими алгоритмами: SURF и AKAZE, в то время как в видимом спектре она была значительно хуже остальных алгоритмов.

Дескриптор. В отличие от экспериментов с детекторами, дескриптор SIFT продемонстрировал наилучшее качество в большинстве экспериментов. Больше всего SIFT выделяется в экспериментах с вращением и скосом изображения. Устойчивость алгоритма при вращении указывает на возможность использовать дескриптор с детекторами, которые не оценивают ориентацию особой точки (например, FAST) (Rosten, 2006) в задачах, где не предполагается сильное изменение положения точки обзора. К слабым сторонам дескриптора можно отнести среднее качество работы при размытии изображения.

Заметно отличается поведение на рентгеновском и видимом спектрах, как и для остальных дескрипторов, при изменении контраста и яркости: увеличение параметра контрастирования c приводит к резкому падению числа верных сопоставлений в рентгеновском спектре, в то время как в видимом диапазоне это значение уменьшается значительно плавнее. При уменьшении яркости изображения дескриптор достаточно устойчив в рентгеновском спектре, а для видимого спектра наблюдается резкое падение качества. При увеличении яркости в рентгеновском спектре уменьшение отношения расстояний до двух ближайших дескрипторов происходит значительно резче, чем для видимого спектра. Для SIFT также наблюдается инвариантность доли верных сопоставлений к уменьшению контраста и яркости в рентгеновском спектре.

SURF

Детектор. Алгоритм демонстрирует лучшее качество на рентгеновских изображениях. Помимо этого, он детектирует наибольшее число точек. Практически во всех экспериментах величина ${{N}_{{correspond}}}$ остается наибольшей, что говорит о высокой точности определения координат особых точек.

В измерениях при повороте рентгеновских снимков повторяемость SURF была сравнима с худшим алгоритмом в данном эксперименте – SIFT.

При изменении яркости, масштабировании и в меньшей степени при размытии и контрастировании поведение SIFT и SURF схоже, что объясняется схожими алгоритмами поиска особых, лежащих в основе этих детекторов. Резкая разница поведения в экспериментах с размытием, о котором было сказано в обсуждении SIFT, наблюдается и для SURF.

Дескриптор. Алгоритм дескрипции в отличие от детектора показал худшие результаты во многих экспериментах. Особенно низкое качество наблюдается в измерениях на рентгеновских данных, в них SURF оказывался худшим дескриптором чаще остальных. Единственные эксперименты, в которых алгоритм показал хорошее качество, – эксперименты по изменению яркости.

Смена поведения при разных спектрах наблюдается в экспериментах с изменением контраста и яркости, как уже описывалось в результатах для SIFT. При изменении яркости для SURF также наблюдаются флуктуации доли правильных сопоставлений и отношения расстояний. Для рентгеновского спектра эти флуктуации имеют заметно большую амплитуду.

ORB

Детектор. Детектор продемонстрировал самые неоднозначные результаты. Из сильных сторон детектора можно отметить инвариантность к изменению яркости для рентгеновских изображений, что закономерно, так как детектор сравнивает яркость пикселей по принципу светлее-темнее, и потому нечувствителен к глобальному изменению яркости. Помимо этого, ORB работает лучше большинства алгоритмов при скосе изображения. Также стоит отметить, что ORB находит большое количество точек изображения, уступая по этому параметру только SURF. Во многих экспериментах значение ${{N}_{{correspond}}}$ убывало медленнее остальных алгоритмов, в том числе и SURF, однако повторяемость ORB при этом падала быстрее, что, вероятно, объясняется менее точным определением положения и размера окрестности особой точки. Слабой стороной алгоритма является неустойчивость при размытии на рентгеновских изображениях и при масштабировании на обоих спектрах.

Сильная разница в поведении на различных спетрах наблюдается при размытии: в рентгеновском спектре повторяемость падает быстрее остальных алгоритмов, в то время как в видимом диапазоне значения повторяемости уступают только AKAZE.

Необычное поведение алгоритма наблюдается при размытии в видимом спектре, где повторяемость сначала падает до уровня 0.9, а потом возрастает до ~0.95. Схожее поведение происходит при изменении контраста: при уменьшении параметра c повторяемость падает и вновь возрастает до 1. Вероятно, оба случая объясняются уменьшением значений ${{K}_{1}},\;{{K}_{2}}$ (детектор перестает детектировать часть точек), при этом параметры оставшихся особых точек не меняются.

Дескриптор. В большинстве экспериментов алгоритм показал плохое качество работы. На визуальных данных он демонстрировал себя хуже остальных алгоритмов чаще других дескрипторов. Особенно низкое качество наблюдается при скосе и масштабировании изображения. Тем не менее ORB продемонстрировал наилучшую устойчивость в экспериментах с размытием. Также можно отметить инвариантность дескриптора к малым углам поворота, что говорит о возможности применения дескриптора в паре с детектором, точно определяющим ориентацию особой точки.

BRISK

Детектор. Алгоритм демонстрирует низкое качество работы. В большинстве экспериментов его повторяемость находится на среднем или низком уровнях относительно остальных алгоритмов. Исключением является изменение яркости для обоих спектров (причины такой устойчивости мы обсудили в результатах детектора ORB, который, как и BRISK, использует модификацию FAST детектора). Также можно отметить, что алгоритм ни разу не продемонстрировал худшую работу в видимом спектре, однако во многих экспериментах качество среднее или даже ниже среднего. Наиболее плохо алгоритм показал себя при масштабировании для всех изображений и скосе в рентгеновском спектре. Причиной средних результатов BRISK может являться малое число детектируемых им особых точек: меньше всех на рентгеновских изображениях и заметно ниже среднего на видимом спектре. Значение ${{N}_{{correspond}}}$ для BRISK зачастую падает быстрее остальных детекторов. Разница в поведении в различных спектрах повторяет результаты для ORB, т.е. наблюдается в экспериментах с размытием изображения.

Дескриптор. BRISK, как и ORB, показал низкое качество работы, несмотря на то, что табл. 4 этого не отражает (это связано с тем, что почти всегда есть дескриптор, который ведет себя несколько хуже, чем BRISK). Алгоритм не смог продемонстрировать высокое качество работы при сравнении с остальными дескрипторами нигде, кроме экспериментов по повороту изображения, где, как и для ORB, наблюдается инвариантность к малым изменениям угла, и при изменении яркости, где алгоритм ведет себя схожим с SIFT образом (но при этом отношение расстояний у BRISK растет быстрее).

К положительным сторонам BRISK также можно отнести медленное падение доли правильных сопоставлений при уменьшении масштаба. Стоит заметить, что при увеличении масштаба доля правильных сопоставлений падает резко. В то же время графики отношения расстояний между дескрипторами ведут себя симметрично относительно 1. Это приводит к ограниченности применения метрики отношения расстояний для определения правильных сопоставлений, так как возникает вопрос о выборе правильного порога данной величины.

AKAZE

Детектор. Алгоритм продемонстрировал наилучшее качество работы в большинстве экспериментов. Он является лидером по качеству в экспериментах в видимом диапазоне. Отдельно стоит отметить устойчивость алгоритма к размытию изображений видимого спектра. AKAZE при всех значениях σ превосходил остальные алгоритмы и при значении $\sigma = 8$ имел повторяемость $r \approx 0.93$, в то время как для остальных алгоритмов эта величина не превышала 0.8. Заметное преимущество алгоритм имеет и при увеличении c в экспериментах по изменению контраста в видимом спектре. Из недостатков алгоритма стоит отметить малое число обнаруживаемых точек. Данная величина наименьшая для видимого спектра и практически равна худшему значению для данного параметра в рентгеновском спектре. Также повторяемость AKAZE особых точек быстрее остальных алгоритмов достигает 0 при изменении яркости.

Заметная разница в поведении на разных спектрах наблюдается при размытии: сначала в обоих случаях повторяемость удерживается на постоянном уровне, но затем в рентгеновском спектре начинается падение данной величины. Меняется поведение и при изменении контраста: в видимом спектре при уменьшении контраста повторяемость имеет достаточно большое плато, и при увеличении после некоторого спада также выходит на постоянное значение. В рентгеновском же спектре плато отсутствует – происходит непрерывное падение повторяемости как при увеличении, так и уменьшении контраста.

Из специфического поведения можно отметить сильные колебания повторяемости при изменении масштаба. Так как при этом наблюдается плавное изменение ${{N}_{{correspond}}}$, можно сделать вывод, что оценка положения и/или размера области особой точки испытывает существенные колебания при изменении масштаба.

ЗАКЛЮЧЕНИЕ

Проведенные нами эксперименты подтвердили предположение о разнице в поведении алгоритмов при работе с изображениями в рентгеновском и видимом спектрах. В первую очередь в изображениях рентгеновского спектра алгоритмы детекции находят значительно меньшее число точек, что может отрицательно сказаться на качестве решения задач технического зрения, которые используют механизм особых точек. Также была показана меньшая устойчивость к преобразованиям изображения (это особенно заметно, например, в измерениях повторяемости детекторов при повороте) в случае рентгеновских изображений, по сравнению с изображениями, сделанными в видимом спектре.

Лучшее качество среди алгоритмов детекции на рентгеновских изображениях продемонстрировал SURF, на видимых – AKAZE. Худшее качество детекции наблюдалось у SIFT для обоих спектров.

Лучшим дескриптором в наших экспериментах стал SIFT. Отметим, что дескриптор AKAZE ввиду ограничений своей программной реализации и специфики эксперимента не участвовал в сравнении. Таким образом, с учетом того, что при проектировании SURF его авторы рассматривали схожие принципы поиска особых точек, что и авторы SIFT, стоит ожидать, что детектор SURF в паре с дескриптором SIFT будут давать наилучшее качество работы на рентгеновских изображениях. Мы планируем исследовать этот вопрос подробнее в дальнейшей работе.

Отметим, что эксперимент по сравнению алгоритмов дескрипции имеет недостаток: в нем вычисляются дескрипторы точек изображения, которые в общем случае не являются информативными, так как выбираются в узлах регулярной сетки (рис. 5), что может приводить к низкому качеству сопоставления особых точек. В будущем мы дополнительно проведем эксперименты, в которых учтем данный аспект. Кроме того, в дальнейшем планируется увеличить количество исследуемых алгоритмов, рассмотрев также нейросетевые детекторы и дескрипторы.

Исследование выполнено при частичной финансовой поддержке РФФИ в рамках научного проекта РФФИ 18-29-26037.