Программирование, 2020, № 6, стр. 3-15

2.1. Обнаружение карты

При разработке алгоритма обнаружения карты учитывается, что размер кадра входной видеопоследовательности в современных мобильных устройствах варьируется и может достигать разрешения 3840 × 2160 пикселей, также устройствами обеспечивается автоматическое удержание фокуса на объекте, корректировка яркости и баланс белого. Таким образом, полученное изображение будет, как правило, иметь приемлемые следующие характеристики: резкость, яркость и достаточное разрешение кадра для автоматического извлечения данных банковских карт.

На первом этапе осуществляется детектирование и локализация всех прямоугольных областей на изображении. С учетом возможного большого разрешения кадра, до 4 K, но ограниченных вычислительных ресурсов мобильных устройств, применяется метод поиска, основанный на быстрых алгоритмах Виолы–Джонса [11] и OverFeat [12], обеспечивающий также высокую результативность обнаружения. Далее, для определения контура, описывающего банковскую карту, используется анализ отношения размеров сторон полученных объектов. Поскольку высота m_o и ширина n_o карты стандартизированы, отношение размеров ее сторон является постоянной величиной, то целесообразно ее использовать в качестве критерия при нахождении контура карты из всех детектированных прямоугольных областей. Тогда прямоугольная область r_i с размерами m_i × n_i может быть отнесена к изображению карты в кадре, если выполняется условие:

где e – коэффициент допустимого отклонения соотношения размеров сторон карты.

Однозначным соответствием считается прямоугольник с наибольшей длинной стороны m_max из всех детектированных. Найденные на данном этапе размеры прямоугольной области и ее расположение относительно всего изображения p_i(x_i, y_i) используются для извлечения области карты из входного кадра.

2.2. Сегментация областей интереса

На полученном изображении карты I с размерами m_I × n_I  необходимо найти области, содержащие информацию о номере банковской карты (I_C), дате истечения срока ее действия (I_D) и владельце (I_E). Размер и расположение этих областей определено ISO/IEC 7811-5.4:2018, что может быть использовано для сегментации этих полей, формально представлено как:

С(x_C, y_C, m_C, n_C) – номер карты;

D(x_D, y_D, m_D, n_D) – дата окончания срока действия карты;

E(x_E, y_E, m_E, n_E) – имя и фамилия держателя карты.

Поскольку значения m_I и n_I могут варьироваться в процессе видеосъемки, необходимо предусмотреть нормализацию, чтобы корректно определять C, D и E. Для этого используются коэффициенты масштабирования, которые умножаются на параметры этих областей, по ширине (c_мш) и по высоте (c_мв):

Номер банковской карты содержит 16 цифр, распределенных на 4 равные группы по 4 цифры в каждой. Исходя из этого выделенное на предыдущем этапе изображение I_C с областью номера карты С_I, разделяется на 4 равные области C_I1, C_I2, C_I3, C_I4:

Выделив рассчитанные области из I_C, получим изображения сегментов групп номера карты – I_C1, I_C2, I_C3, I_C4.

2.3. Улучшение изображения сегментов

Для уменьшения количества обрабатываемой информации полученные изображения (I_D, I_E, I_C1 – I_C4) преобразуются в полутоновые с дальнейшим повышением их контраста методом нормализации гистограммы, который обеспечивает растяжку не всего диапазона изменения интенсивностей, а только его наиболее информативного участка, что усиливает эффект контрастности за счет потери шумовых областей с редко встречающимися интенсивностями.

При таком подходе выходной уровень яркости g для пикселя определяется следующим образом:

где Y_x,y – уровень яркости входного пикселя с координатами x, y; Y_{c_min}, Y_{c_max} – заданные значения уровней пикселей входного изображения, минимальное и максимальное соответственно.

Для улучшения результатов обработки Y_{c_min}, Y_{c_max} отличны от минимального и максимального уровней яркости входного изображения, что позволяет пренебречь незначительным количеством пикселей по краям гистограммы.

Таким образом, значения Y_{c_min}, Y_{c_max} могут быть определены как:

где f_t – количество пикселей на изображении с яркостью Y_j; T = m ⋅ n ⋅ e; е – коэффициент допустимого отклонения (%), определяемый экспериментально.

Далее, с использованием операций математической морфологии, осуществляется подчеркивание границ символов на полученном с предыдущего этапа полутоновом изображении. Для того чтобы определить цвет фона и символов рассчитывается среднее значение яркости. Если результат больше 127, то цвет фона светлый, а цвет символов темный, и наоборот.

Если цвет символов определен как светлый, для изображения выполняется морфологическое преобразование WhiteTopHat, которое вычитает разомкнутое изображение из исходного, что обеспечивает подчеркивание деталей контуров светлых символов. Преобразование BlackTopHat используется, чтобы подчеркнуть детали границ темных символов путем вычитания исходного изображения из замкнутого. Структурирующий элемент b для ядер обоих фильтров имеет прямоугольную форму и его размер n_b × m_b с учетом экспериментально определенных коэффициентов масштабирования рассчитывается как:

где n_I, ширина поступившего для преобразования изображения.

2.4. Локализация границ

Поскольку на изображениях банковских карт, несмотря на их небольшой размер, яркостно-контрастные характеристики фрагментов могут значительно отличаться, уровни яркостей пикселей участков фона, на которых расположены символы, также изменяются. С учетом данной особенности и необходимости сохранения границ символов, используется метод бинаризации изображений с адаптивным порогом на основе анализа локального региона согласно выражению:

где T(x, y) – адаптивный порог бинаризации, рассчитываемый для каждого пикселя как T(x, y) = = corr(I, G) – c; corr(I, G) – взаимная корреляция локального фрагмента изображения размером k × k с окном Гаусса; c – константа. Матрица коэффициентов окна Гаусса с размером k × k определяется как [13]: где i = 0 … k – 1, α – коэффициент масштабирования, выбранный таким образом, что $\sum\nolimits_i^\square {{{G}_{i}}} $ = 1

Для уменьшения количества шумов и удаления из изображения неинформативных деталей, а также для грубого отделения символов от фона изображения применяются последовательно морфологические операции замыкания и эрозии.

Форма структурирующего элемента b размером n_b × n_b $\left( {{{n}_{b}} = \frac{{{{w}_{{symb}}}}}{3}} \right)$ ядер обоих фильтров задана с учетом особенностей символов шрифта согласно ISO/IEC 7811-7.1:2018 в виде эллипса. Толщина символа w_symb не зависит от типа обрабатываемого фрагмента изображения карты и определена для OCR-B. Проекция значения ширины шрифта (мм) на размер в пикселях, относительно размера области банковской карты, является константой и рассчитывается на основе ее полной ширины:

Далее выполняется уточнение краев области символов на обработанном изображении на базе метода скользящего вертикального окна. Высота окна варьируется по размеру шрифта символов. H_нк – высота шрифта номера карты (4.0 мм), H_дси – высота шрифта даты срока истечения карты (2.85 мм), H_ивк – высота шрифта имени владельца карты (2.65 мм). Тогда их проекции на высоту в пикселях относительно размеров области полной карты h_нк, h_дси, h_ивк. Общий вид расчета представлен формулой:

где 54.0 мм – высота карты (ISO/IEC 7811-6.3:2018), а m_O – высота детектированной области карты (пикс).

Полученная область символов из предыдущего шага, черный и белый списки символов, а также языковой идентификатор последовательно передаются в систему распознавания Tesseract.

Белый список, состоящий из набора цифр от 0 до 9 и языковой идентификатор “eng”, передаются в качестве параметров для изображения номера банковской карты. Для изображения с датой срока ее истечения: цифры от 0 до 9 и символ “/” образуют белый список, а “eng” – идентификатор языка. Для имени держателя карты: “rus” и “eng” являются языковыми идентификаторами, а набор символов, включая знаки препинания, специальные символы и цифры, составляют черный список. Такой подход способствует увеличению скорости распознавания символов библиотекой Tesseract и ускорению всего процесса обработки в целом.

3.1. Программная реализация

Программная реализация алгоритма выполнена на языке Objective-C с применением библиотеки низкоуровневой обработки изображений OpenCV, системы оптического распознавания символов Tesseract, фрэймворков iPhone SDK: CoreMedia и AVFoundation – менеджмент медиаданных; UIKit – работа с интерфейсом приложения; CoreGraphics – низкоуровневая обработка 2D изображений на базе Quartz.

Фрэймворк AVFoundation используется для захвата видеопотока с основной камеры iOS-устройства в режиме реального времени с частотой 30 кадров в секунду. Кадры размещаются в очередях в отдельных потоках при помощи объектов класса NSOperationQueue. Первый поток получает кадры и размещает их в последовательной очереди для обработки, если последняя не занята, в противном случае кадры игнорируются. Второй поток последовательно извлекает кадры из очереди захвата и, передавая их на обработку, занимает очередь на период, пока не будут получены результаты. После завершения алгоритма, обработанный кадр удаляется, очередь освобождается, и итерация обработки запускается для следующего кадра.

Библиотека Tesseract выполняет обработку асинхронно в фоновом режиме. После окончания работы алгоритма полученный результат распознавания при помощи функции обратного вызова поступает для отображения пользователю в главном потоке. Интерфейс мобильного приложения c результатами распознавания показан на рис. 2.

3.2. Результаты экспериментов

Тестирование качественных характеристик разработанного алгоритма выполнено с использованием iPhone 7 и созданной базы данных из 180 банковских карт (рис. 3), которые размещались на сложном фоне, информационные поля реквизитов не были перекрыты посторонними предметами и визуально распознавались.

Значения коэффициентов, которые используются при вычислениях, были экспериментально получены с использованием методики ROC-анализа [14]. Вычисление допустимого коэффициента отклонения соотношения размеров сторон карты банковской карты (e) выполнено с учетом точных размеров ее согласно ISO/IEC 7811-5.4:2018 на выборке из 214 изображений, 178 из которых имели объекты карт, 36 – карт не имело, либо их границы были смазаны или искажены. В результате эксперимента для каждого коэффициента e, который изменялся от 0 до 0.02 с шагом в 0.0002, были рассчитаны доли истинного (TPR) и ложного (FPR) обнаружения. Для e = 0.011 получено максимальное значение TPR = 0.974194 и минимальное FPR = 0.111111.

Определение размера локального региона для бинаризации выполнено с учетом коэффициента масштабирования, так как данный параметр зависит от входных размеров детектированной области банковской карты (ее ширины (W_I, пикс.)):

Значения k' варьировались от 0.002 до 0.03 с шагом 0.001. На данном этапе максимальное значение доли истинного распознавания символов TPR = 0.83447 и доли ложного распознавания символов FPR = 0.140864 получено для k' = 0.016. Аналогично определена константа с = 13.

В табл. 1 представлены некоторые результаты выполненных исследований по оценке эффективности распознавания реквизитов карт на видеопоследовательностях, полученных в различных условиях, с применением разработанного подхода.

Согласно полученным с помощью ROC-анализа результатам, после установки оптимальных коэффициентов и пороговых значений в реализации алгоритма, доля истинно положительной классификации всех полей данных на карте TPR = 0.88, а доля ложноположительной классификации FPR = = 0.14. На рис. 4–6 приводятся примеры детектирования банковских карт из набора видеопоследовательностей, с указанием ключевых кадров и диаграмм детектирования. Обнаружению карты на диаграмме соответствует – 1, отсутствию – 0. Захват видео осуществлялся при постоянной частоте 30 кадр/с.

Анализ кадров видеопоследовательности, представленной на рис. 4а, свидетельствует, что изображение карты имеет сильные яркостные перепады, тени и блики, поэтому устойчивое ее обнаружение (начиная с 71-го кадра, рис. 5а) выполняется когда пользователь переносит карту в зону более стабильного освещения. На другой видеопоследовательности (рис. 4б) первоначально карта не имеет полных границ в кадре и не обнаруживается. Далее она успешно детектируется (рис. 5б), но имеет смазанный контур и нечеткие символы, что не позволит распознавать данные.

Временные затраты для каждого этапа обработки алгоритма одного кадра видеоряда различного разрешения с использованием устройства iPhone 7 показаны на рис. 6.

Как видно из графиков (рис. 6), время, затрачиваемое на операцию распознавания символов, имеет нелинейную зависимость от размера обрабатываемого кадра, в отличие от остальных операций.

3.3. Сравнение и обсуждение

Алгоритмы, предложенные в [7] и [8], характеризуются точностью распознавания цифр 80% и 90% соответственно. Однако, следует отметить, результаты получены на разных базах данных. Для обеспечения сравнения результатов работы представленного алгоритма с известными подходами в одинаковых условиях на одной и той же базе данных использовался реализованный модуль CardIO SDK [15].

Эксперименты выполнены для 180 карт при различных условиях сьемки, из которых для 104 случаев на картах присутствовало тиснение символов. В табл. 2 представлены примеры распознавания 10 изображений карт алгоритмом CardIO и предложенным алгоритмом.

Анализ результатов распознавания по всем картам используемой базы данных показывает, что разработанный подход значительно улучшает распознавание на картах с неэмбоссированными символами по сравнению с CardIO, который не предусматривает распознавание имени владельца карты. В общем, доля истинно положительной классификации предложенным алгоритмом всех трех полей данных на карте составляет TPR = 0.88, для номера и срока действия карты – TPR = 0.925. Модуль CardIO обеспечивает долю истинно положительной классификации цифровых полей TPR = 0.68. Однако, только для карт с тиснением используемой базы данных CardIO характеризуется TPR = 0.935.

Если на входе разработанного алгоритма будут яркостно-цветовые характеристики изображения банковской карты очень схожи с общим фоном (рис. 7а, 7б), входное изображение размыто (рис. 7в), значительная область покрыта тенью, в результате чего цвет шрифта полностью совпадает с его фоном (рис. 10 г), карты не могут быть им детектированы (рис. 7а, 7б) или данные на них не будут распознаны (рис. 7в, 7г). Кроме этого, невыразительный, не создающий контрастности с фоном карты контур символов, а также его повреждение или дефективность приводят к невозможности распознавания данных (см. рис. 8).

Анализ полученных результатов при проведении исследований показывает, что ошибки детектирования и распознавания возникают из-за влияния совокупности факторов: расположение объекта карты на сложном фоне, схожем с изображением самой карты; наличия бликов искусственного освещения или существенный перепад яркости; слишком удаленное ее расположение относительно камеры; смазывание контуров карты если камера или карта движется при видеосьемке. Дальнейшее улучшение работы алгоритма планируется за счет совершенствования алгоритма распознавания символов.