Сенсорные системы, 2019, T. 33, № 2, стр. 173-178

ВВЕДЕНИЕ

Задача сегментации строки на символы является одной из основных при распознавании текста и остается актуальной на протяжении последних десятилетий (Casey, Lecolinet, 1996; Jacobsetal., 2005; Jiaetal., 2017). Сегментация может проводиться на изображениях в градациях серого (Grafmuller, Beyerer, 2013; Jacobsetal., 2005; Jiaetal., 2017; Maietal., 2016), на бинаризованных (Manwatkar, Yadav, 2015; Meietal., 2013; Radhiahetal., 2018; Sahare, Dhok, 2018; Vuckovic, Azinovic, 2017) или же на предварительно преобразованных (Chomphuwiset, 2017) изображениях.

Можно выделить два основных подхода к сегментации строки на символы: поиск компонент связности и анализ проекций. Анализ вертикальной проекции включает большое количество различных методов. Самой базовой версией можно считать поиск на бинаризованном изображении столбцов, не содержащих черных пикселей (Manwatkar, Yadav, 2015; Ryan, Hanafiah, 2015). Однако на изображениях, полученных в слабо контролируемых условиях, возникает множество искажений, которые после бинаризации приводят к зашумлению фона. В результате на проекциях возникает много ложных срабатываний, которые ведут к возникновению лишних разрезов и к потере настоящих, а также вызывают проблемы при сегментации курсива, прописных букв, а также лигатур и соприкасающихся символов, лишь частично решаемые с применением эвристик (Maietal., 2016; Mollahetal., 2010;Rehman, 2017; Ryan, Hanafiah, 2015; Shivakumaraetal., 2011). Ряд авторов предлагают анализировать проекции, учитывая результаты распознавания выделенных регионов. Так, в работе (Jacobsetal., 2005) распознаются все регионы строки с заданным шагом, а потом при помощи динамического программирования определяется лучшая кандидатура. В работе (Jiaetal., 2017) авторы строят вертикальную проекцию градиента, содержащую много потенциальных разрезов. Следующим шагом они строят дерево сегментации, содержащее все возможные пути из первого в последний разрез. В качестве ответа выбирают вариант с наибольшим весом, который рассчитывается исходя из оценок разрезов и уверенности распознавания символов. В работе (Чернов и др., 2016) анализ вертикальной проекции сравнивается с сегментацией при помощи машинного обучения. По результатам тестирования искусственные нейронные сети показывают результат лучший, чем классический “инженерный” подход.

Много работ рассматривают проблемы работы стандартных методов сегментации на символы для нетипичных западных пользователей языков, прежде всего арабского и китайского. Отличительной особенностью арабского языка является прежде всего связность букв (Firdausetal., 2017). Как правило, методы сегментации арабского языка основаны на том факте, что буквы соединены на уровне базовой линии (Radhiahetal., 2018), которую допустимо разделить. В случае китайского языка возможно не только соединение соседних иероглифов в одну связную компоненту, но и противоположная ситуация, когда один иероглиф состоит из нескольких несоприкасающихся радикалов (Meietal., 2013). Для решения этой проблемы используют в основном эвристические подходы, основанные на “квадратности” иероглифов, т.е. сначала разделяют символы на отдельные радикалы, а потом удаляют лишние разрезы так, чтобы отношение ширины и высоты каждого символа было примерно равно единице (Qietal., 2008).

При усложнении входных данных, например, если необходимо сегментировать текст, содержащий несколько алфавитов и знаки препинания, количество особенностей, которое нужно учитывать при построении оценки разреза, возрастает. При этом для получения стабильно качественного ответа на разных входных данных каждая составляющая суммарной оценки должна хорошо коррелировать с результирующим показателем. Кроме того, необходимо нормировать эти величины для совместного использования в общем оптимизируемом функционале. С увеличением количества компонент результирующей оценки растет и сложность их комбинирования, что, во-первых, может приводить к неожиданным или противоречащим здравому смыслу результатам, а во-вторых, требовать излишне много вычислительных мощностей. Таким образом, с одной стороны, хочется получить ответ, учитывающий все особенности входных данных, а с другой – опираться на разумно небольшое количество оценок.

Как уже отмечалось выше, алгоритм сегментации должен правильно работать и на касающихся, и на состоящих из нескольких частей (например, буква “Ы” в кириллице) символах. Мы предлагаем строить оценки разрезов, основываясь не на содержании каждого отдельного столбца, а на некоторой его окрестности. В такой постановке задача сегментации становится похожа на задачу распознавания образов, где уже много лет в качестве классификаторов успешно применяются сверточные нейронные сети (СНС). Мы считаем, что данный подход имеет большой потенциал в задаче сегментации текста на символы, так как в зависимости от обучающей выборки, СНС можно научить учитывать особенности письменностей, а также сделать ее нечувствительной к относительному сдвигу компонент символов и зашумлению изображения. В данной работе мы покажем, как обучить сегментирующую СНС и проверим ее применимость на строках, полученных с полей паспорта гражданина РФ.

ОБУЧАЮЩИЕ И ТЕСТОВЫЕ ДАННЫЕ

Для обучения нейронной сети мы использовали искусственные данные, созданные по методике (Chernyshovaetal., 2018). Такие данные хорошо подходят для обучения, так как не требуют ручной разметки и не содержат потенциальных ошибок, которые могли бы допустить эксперты. Примеры изображений, использованных для обучения, представлены на рис. 1. Всего было сгенерировано 50 000 изображений строк по 100 случайных символов. Искусственные данные для обучения были выбраны по двум причинам: их можно сгенерировать в любое заданное количество и настоящие данные выгоднее использовать для тестирования.

Рис. 1.

Примеры изображений из обучающей выборки.

Для тестирования обученной сети мы использовали набор из 11 500 строк, собранных с полей “Кем выдано” и “Место рождения” паспорта гражданина РФ. Некоторые примеры из тестовой базы показаны на рис. 2.

Рис. 2.

Примеры изображений из тестовой выборки.

Все данные перед подачей на вход нейронной сети были приведены к заранее заданной высоте (но по ширине они не изменялись). В данной работе высота составляла 33 пикселя.

Для каждой картинки из тестового набора данных был создан текстовый файл, содержащий значение распознаваемой строки. Для обучающей базы в дополнение к значению строки еще были известны положения разрезов между буквами.

АРХИТЕКТУРА СЕТИ

При создании архитектуры сети мы основывались на следующих соображениях:

– сеть должна быть полносверточной для удобного применения к строкам с заранее неизвестной длиной;

– на выходе сети должно быть изображение w×1×1, где в каждой точке находится оценка разреза на изображении в соответствующей координате;

– количество обучаемых параметров сети должно быть не велико для уменьшения эффектов переобучения и для быстрой работы.

В итоге была создана сеть с архитектурой, представленной в табл. 1. Количество обучаемых параметров данной сети – 1741.

Важно добавить, что в качестве “идеального” ответа сети использовалось изображение, отражающее правильное расположение разрезов, т.е. изображение размера w × 1 × 1 (где w – ширина картинки), содержащее единичные значения в точках, координата x которых соответствует положению разреза на основном изображении, а во всех остальных – нули. Таким образом, сеть состояла из двух ветвей, одна из которых – обучаемая – содержала сверточные слои, а необучаемая – лишь передавала идеальное значение для вычисления функции потерь.

ПРЕДЛАГАЕМЫЙ КРИТЕРИЙ

Первые эксперименты обучения подобных сетей мы проводили, оптимизируя L2 норму между векторами, полученными от двух ветвей сети. Результат обучения сети таким способом не показал высокого качества, и впоследствии анализа процесса обучения было обнаружено несколько проблем. Первая из них заключается в том, что из-за сравнительно небольшого количества позиций в строке с разрезом относительно позиций в строке без разреза нейронная сеть учится говорить везде “нет разреза”, так как потенциальный рост оптимизируемого функционала из-за ложных срабатываний слишком велик. Вторая проблема, связанная с подобным функционалом обучения, заключалась в том, что ошибка ответа в 1 пиксель вносит такой же штраф, как и ошибка в любое другое количество пикселей, что противоречит здравому смыслу в данной задаче: логично предположить, что допустима некоторая погрешность в ответах.

Для решения этих проблем был разработан слой кумулятивной суммы. После ее применения по отдельности к полученному и к ожидаемому ответу уже проводилась минимизация L2 нормы между ними. Таким образом, мы внесли в критерий обучения сети два фактора: количество разрезов в обоих векторах должно быть примерно одинаково, иначе оптимизируемый функционал будет очень велик, и небольшие отклонения от идеальных разрезов приводят к меньшему росту оптимизируемого функционала, чем большие отклонения. На рис. 3 показаны четыре вектора. При обучении классическим методом происходит минимизация расстояния между векторами из первой строки, тогда как при обучении предлагаемым методом минимизируется расстояние между векторами второй строки.

Рис. 3.

Визуализация применения кумулятивной суммы к идеальному вектору (слева) и к полученному (справа).

Стоит упомянуть еще одну деталь, имеющую отношение к реализации слоя. В нейронной сети такой слой был реализован в виде линейного оператора (право-верхне-треугольной матрицы):

Если вспомнить, что при обратном проходе для распространения градиента линейные операторы транспонируются, то выгодно применить следующий трюк: считать не прямую кумулятивную сумму, а обратную (лево-верхне-треугольная матрица):

Таким образом, матрица линейного оператора будет верхне-лево треугольной и при транспонировании перейдет сама в себя.

РЕЗУЛЬТАТЫ

Обе нейронные сети были проверены на тестовом наборе данных. Нейронная сеть, обученная по предлагаемой схеме, менее склонна пропускать разрезы и имеет более высокое качество. На рис. 4 представлены ответы обеих сетей, по которым видно, что сеть, обученная с кумулятивной суммой, ставит разрезы точнее. Стрелками на рисунке отмечены основные отличия в ответах.

Рис. 4.

Ответы сети, обученной с кумулятивной суммой (слева) и обычным способом (справа).

Для численного замера эффективности работы подобной сети мы встроили ее в существующую систему распознавания (Bulatov et al., 2018) и замерили качество распознавания. Результаты экспериментов приведены в табл. 2.

Из результатов видно, что как посимвольное, так и построчное качество распознавания выше с сетью, обученной с использованием предложенного критерия. Анализ ошибок показал, что сеть, обученная предлагаемым способом, позволяет добиться меньшего количества ошибок распознавания.

ЗАКЛЮЧЕНИЕ

В данной работе была рассмотрена проблема сегментации текста на символы и ее решение с использованием нейросетевого энкодера для построения оценок наличия разрезов в каждой из позиций строки. Была предложена модификация оптимизируемого функционала, которая позволила улучшить точность сегментации. Эксперименты показали, что использование предложенной модификации позволяет сократить количество ошибок распознавания в 2 раза.

Дальнейшие работы планируются в основном по двум направлениям. Первое направление – исследование зависимости полученного улучшения качества от сложности сети. Второе – разделение ответов сети с “разрезы” на “начала” и “концы” букв, что должно привести к дальнейшему увеличению робастности метода.

Работа выполнена при финансовой поддержке РФФИ в рамках научных проектов № 17-29-07092 и № 18-07-01384.