Известия РАН. Теория и системы управления, 2021, № 1, стр. 114-123

Введение. Технологии биометрического распознавания личности активно внедряются в повседневную жизнь людей. Среди способов биометрической идентификации стоит выделить методы, основанные на использовании рисунка радужной оболочки глаза, который практически не изменяется с течением жизни человека и обладает богатой индивидуальной для каждой личности текстурой [1]. Применение этого биометрического признака позволяет достигать высочайшей точности идентификации. Классическая система распознавания по радужке состоит из трех основных этапов: локализация области радужной оболочки, извлечение и сравнение признаков [2]. Этап локализации состоит, как правило, из нескольких шагов: нахождение области глаза, поиск внешней и внутренней границ радужной оболочки и выделение перекрытий области внутри найденных границ ресницами и веками [3].

Одним из способов решения задачи поиска границ является их приближение параметрическими кривыми, такими, как окружности или эллипсы. Решением в данном случае будет оптимальный по некоторому критерию набор параметров. В работе [2] предлагается модель концентрических окружностей для аппроксимации границ радужной оболочки. Для определения оптимального набора их параметров минимизируется значение интегродифференциального оператора. В [4] описан метод сегментации, основанный на преобразовании Хафа. Поиск окружностей в трехмерном пространстве параметров является вычислительно затратным, поэтому предложены различные модификации первоначальной идеи, оптимизированные непосредственно для решения задачи сегментации [5]. Как правило, при решении задачи выделения области радужки в первую очередь определяется граница зрачка, затем внешняя граница радужной оболочки. Это связано с тем, что зрачок на изображении виден как характерная темная область округлой формы. Обнаружение зрачка позволяет сузить диапазон допустимых параметров внешней границы [6]. Также предлагается совместный поиск двух границ [3].

Помимо аппроксимации границ радужной оболочки окружностями, существуют методы, моделирующие контуры области радужки более сложными кривыми [7, 8], например, активными контурами [9] или оптимизацией формы кривой в полярных координатах [10]. Решение задачи локализации области радужки на изображении глаза усложняется в случае ослабления ограничений на допустимые условия регистрации. Большие изменения освещенности или размера глаза в поле зрения камеры могут вызвать значительные изменения в видимой структуре глаза в целом, что приводит к ошибкам в работе классических алгоритмов локализации.

Распознавание изображений методами машинного обучения быстро развивается в последние годы вследствие увеличения объема доступных данных и роста производительности вычислительных систем. Впечатляющие достижения методов глубокого обучения в области обработки изображений побуждают испробовать их при решении задачи сегментации радужной оболочки. В некоторых работах, основанных на применении глубокого обучения, предлагается решать задачи локализации, выделения и сравнения признаков при помощи единственной нейронной сети [11]. Подобные методы позволяют добиться высокой точности, однако вычислительная сложность затрудняет их применение в системах малой производительности, таких, как мобильные устройства. В [12] рассматривается иной подход к решению задачи сегментации при помощи глубокого обучения, основанный на предсказании центра зрачка при помощи небольшой сверточной нейронной сети. Несмотря на предпринятые усилия, эта сеть осталась слишком большой для современных мобильных устройств.

В данной работе предлагается метод аппроксимации границ радужки окружностями с допустимой ошибкой не более 5% от диаметра ее области. В основе метода лежит применение сверточной нейронной сети с небольшим количеством параметров, обучаемой при помощи функции потерь, которая применяется для задач классификации.

1. Аппроксимация границ. Решение задачи детектирования радужной оболочки осуществляется как последовательность шагов: сперва применяются две сверточные нейронные сети для определения параметров ограничивающих окружностей, затем при помощи эвристического подхода оценивается качество полученных предсказаний.

1.1. Постановка задачи. Поиск границ радужной оболочки осуществляется, когда известно расположение периокулярной области на изображении. Входными данными для предлагаемого метода является изображение, на котором заведомо содержится глаз. Без ограничения общности будем предполагать, что входное изображение I есть квадратный растр размером W × W пикселей, внешняя и внутренняя границы радужной оболочки на котором задаются двумя окружностями: $({{X}_{i}},{{Y}_{i}},{{D}_{i}})$ и $({{X}_{p}},{{Y}_{p}},{{D}_{p}})$, где X, Y – координаты центра окружности диаметром $D$ в левосторонней системе координат с центром в верхнем левом углу изображения. Индексы $i$ и $p$ соответствуют границам “склера–радужка” и “радужка–зрачок”. Значения координат центров и диаметров обеих окружностей при этом удовлетворяют неравенствам:

Результатом работы описанного метода являются параметры аппроксимирующих границы радужной оболочки окружностей:

1) ${{x}_{i}},\;{{y}_{i}},\;{{d}_{i}}$ – внешняя граница, “радужка–склера”;

2) ${{x}_{p}},\;{{y}_{p}},\;{{d}_{p}}$ – внутренняя граница, “радужка–зрачок”.

Предлагается считать, что параметры окружностей были определены корректно, если абсолютная ошибка детектирования не превышает α = 5% истинного диаметра радужки на изображении:

Для оценки точности работы метода применяется набор или выборка из $N$ изображений, для каждого из которых возможно определить, удовлетворяют ли предсказанные на нем значения $x_{i}^{k},y_{i}^{k},d_{i}^{k},x_{p}^{k},y_{p}^{k},d_{p}^{k}$ неравенствам (1.2). Для обозначения истинных и предсказанных параметров окружностей для k-го по порядку изображения из выборки используются верхние индексы. Совокупность упомянутых параметров применяется для расчета значений следующих мер качества.

1. Средняя абсолютная ошибка оценки диаметра:

2. Распределение относительных расстояний между предсказанным и истинным центром окружности:

где ${{\rho }^{k}} = \sqrt {{{{({{x}^{k}} - {{X}^{k}})}}^{2}} + {{{({{y}^{k}} - {{Y}^{k}})}}^{2}}} $, |{⋅}| – мощность множества.

3. Распределение относительных ошибок детектирования параметров окружности:

где ${{l}^{k}} = {\text{|}}{{x}^{k}} - {{X}^{k}}{\text{|}}\; + \;{\text{|}}{{y}^{k}} - {{Y}^{k}}{\text{|}}\; + \;{\text{|}}{{d}^{k}} - {{D}^{k}}{\text{|}}$.

1.2. Переход к задаче классификации. В соответствии с постановкой задачи параметры границ радужки могут быть рассчитаны с относительной ошибкой до 5%. Поэтому отсутствует необходимость обрабатывать входные изображения в полном разрешении, и решение задачи может быть получено без потерь точности при помощи масштабированного к меньшему разрешению изображения при условии корректности условий (1.1). Размер такого изображения может быть выбран как минимальный, позволяющий притом допустить относительную ошибку не более 5%. В предположении, что диаметр радужки принимает свое наименьшее возможное значение и с учетом неравенств (1.1), после масштабирования изображения глаза к размеру W × W диаметр будет равен $D = W{\text{/}}4$. Тогда максимальная допустимая ошибка аппроксимации будет составлять

Таким образом, чтобы максимально возможная ошибка составляла не менее одного пикселя, требуется выполнение неравенства $W \geqslant 80$. Поэтому значение W выбрано равным 80 пикселям, что соответствует наименьшему допустимому значению. Поскольку неравенство (1.1) всегда выполняется, параметры $(x,y,d)$ могут оцениваться как целочисленные. Это означает, что каждый параметр может принимать конечное множество целочисленных значений от 0 до $W - 1$. Каждое из возможных изображений глаз может быть отнесено к одному из $W = 80$ классов: $\mathop {\{ C_{k}^{X}\} }\nolimits_{k = 0}^{W - 1} $, где $C_{k}^{X}$ – класс изображений, для которых верно $X \in [k;k + 1)$. Аналогично, можно отнести изображения к одному из классов $\mathop {\{ C_{k}^{Y}\} }\nolimits_{k = 0}^{W - 1} $ значений Y и классов $\mathop {\{ C_{k}^{D}\} }\nolimits_{k = 0}^{W - 1} $ значений D.

Таким образом, задача определения параметров x, y и $d$ может быть сведена к решению трех задач классификации:

1) на классы $\mathop {\{ C_{k}^{X}\} }\nolimits_{k = 0}^{W - 1} $;

2) на классы $\mathop {\{ C_{k}^{Y}\} }\nolimits_{k = 0}^{W - 1} $;

3) на классы $\mathop {\{ C_{k}^{D}\} }\nolimits_{k = 0}^{W - 1} $.

Если для входного изображения I верны следующие утверждения: $I \in C_{i}^{X}$, $I \in C_{j}^{Y}$, $I \in C_{k}^{D}$, тогда x = i, $y = j$, $d = k$ будут корректными параметрами аппроксимации радужки в смысле условий (1.2).

1.3. Решение задачи классификации. Для решения задачи классификации в данной работе предлагается использовать сверточную нейронную сеть с небольшим количеством параметров в соответствие с идеями, предложенными в [13]. Особое строение сверточных слоев, описанное в этой статье, упрощает применение подобных нейронных сетей в мобильных устройствах. Основным компонентом, из которых состоит предлагаемая сверточная сеть, является блок операций, описанный в табл. 1. В дальнейшем предлагается называть такую последовательность операций MobileConvBlock или MCB, где $M$ и $s$ – параметры MCB, которые определяют соответственно количество каналов тензора после применения блока и шаг применения фильтра в первой операции свертки “depth-wise”.

Строение приведенной в данной работе сверточной нейронной сети дано в табл. 2. Гиперпараметры ее архитектуры были выбраны в серии экспериментов как те, которые позволили достичь наилучшей точности решения задачи детектирования на валидационной выборке.

Описанное в табл. 2 строение нейронной сети применяется как для детектирования внешней границы радужной оболочки, так и для внутренней. Будем в дальнейшем называть первую модель IrisModel, а вторую – PupilModel.

1.4. Применение метода к детектированию. В данной работе предлагается определять параметры границ радужной оболочки в два этапа.

Этап 1. Определяются параметры внешней границы радужной оболочки, что позволяет сократить область поиска окружности зрачка на втором этапе. Входными данными для нейронной сети первого этапа является изображение глаза, результатом – параметры окружности “радужка–склера” $({{x}_{i}},{{y}_{i}},{{d}_{i}})$, полученные как решения трех задач классификации в соответствии с разд. 1.3.

Этап 2. Осуществляется поиск параметров внутренней окружности $({{x}_{p}},{{y}_{p}},{{d}_{p}})$. Исходя из особенностей строения человеческого глаза и статистических исследований [3], можно ввести ограничения, связывающие между собой упомянутые выше параметры:

Исходя из (1.7), имеет смысл осуществлять поиск зрачка внутри области изображения, заданного как квадратная область, содержащаяся между точками p₁ и p₂:

Полученная область изображения масштабируется к размеру W × W с учетом (1.6) и подается в сверточную нейронную сеть, которая осуществляет поиск $({{x}_{p}},{{y}_{p}},{{d}_{p}})$ как решение трех задач классификации в соответствии с разд. 1.3.

1.5. Оценка качества детектирования. Предлагаемый метод детектирования границ радужки, как и ряд других, по построению не позволяет оценить точность получаемой аппроксимации. На практике наличие подобной оценки позволило бы снизить долю ложных срабатываний метода и, следовательно, не допустить некорректно обработанные входные данные на последующие этапы работы системы распознавания.

Здесь предлагается простой эвристический подход к оценке качества аппроксимации границ. Пограничные зоны радужной оболочки характеризует присутствие контраста для областей “радужка–зрачок” и “радужка–склера”, степень выраженности которых может отличаться из-за особенностей строения глаза или изменчивости условий регистрации изображения.

Анализ контрастности пограничных областей позволит получить оценку качества аппроксимации. Граница “радужка–склера” редко видима полностью вследствие перекрытия веками и ресницами, в отличие от области “радужка–зрачок”. При наличии данных о расположении век и ресниц было бы возможно произвести анализ контрастности внешней границы, однако это выходит за рамки предлагаемого в работе метода. Поэтому оценивается только аппроксимация внутренней границы, как изображено на рис. 1.

Построим признаковое описание для контрастности внутренней границы радужки θ_p = =  $({{x}_{p}}$, y_p, d_p). Выделим на аппроксимирующей окружности 36 точек с шагом в ϕ = 10°:

Для каждого пикселя $(x,y) \in V$ с помощью билинейной интерполяции можно оценить средние значения яркости изображения снаружи и внутри данной окружности для соседних с (x, y) пикселей. Оценкой контрастности в окрестности (x, y) будет разность этих средних значений. Совокупность этих оценок позволяет построить признаковое описание $f = F(V;I,{{\theta }_{p}})$ для аппроксимирующей окружности. Работа данного алгоритма проиллюстрирована на рис. 1.

Пусть $q \in [0;1]$ – величина, принимающая значение 0 для идеальной аппроксимации окружностями и 1 – для ошибки сегментации. Построим алгоритм, вычисляющий:

Рассмотрим задачу построения такого алгоритма как задачу бинарной классификации и воспользуемся методом логистической регрессии. Обучающую выборку можно сформировать, используя истинные параметры аппроксимации границы “радужка–зрачок” для объектов нулевого класса. Признаковое описание для объектов положительного класса можно получить, используя заведомо некорректные значения координаты центра и диаметра зрачка. Для повышения робастности подобной оценки качества также предлагается применять эквализацию гистограммы входного изображения I перед построением признакового описания  f.

2. Результаты. Для обучения и тестирования моделей глубокого обучения, осуществляющих поиск параметров границ радужки, применялись данные открытых баз изображений. Использованные базы можно разделить на две группы. Первую составляют базы, содержащие изображения высокого разрешения CASIA 2 [14], ES, ICE [15] и MMU [16], а также UBIRIS v.1 [17], имеющая примеры изображений низкого качества. Вторую группу составляли изображения низкого разрешения, характерные для растров, которые получаются с небольших камер, встраиваемых в мобильные устройства: CASIA Mobile [18] и собранная вручную база изображений Raspberry DB. База изображений CASIA Mobile составлена из трех частей: M1, M2 и M3. В данной работе, однако, были использованы только последние две части, поскольку первая содержит изображения недопустимо низкого в соответствии с (1.6) разрешения. База изображений Raspberry DB была получена вручную при помощи одноименного микрокомпьютера, оборудованного совместимой инфракрасной камерой с активной инфракрасной подсветкой. Более подробная информация об упомянутых базах изображений приведена в табл. 3, а примеры изображений из каждой использованной базы – на рис. 2.

Целью поставленного вычислительного эксперимента была проверка качества работы предлагаемого метода на изображениях разного качества и из разных доменов. Параметры истинных аппроксимирующих границы радужки окружностей $({{X}_{i}},{{Y}_{i}},{{D}_{i}})$ и $({{X}_{p}},{{Y}_{p}},{{D}_{p}})$ для баз были получены с помощью разметки человека-эксперта.

2.1. Подготовка данных. Все эксперименты с обучением нейронных сетей проводились на обучающей выборке, составленной из изображений баз CASIA2, CASIA Mobile S2 и ES. В качестве валидационной выборки были применены базы изображений MMU, CASIA Mobile S3, а также половина изображений из базы ICE. В качестве отложенной тестовой выборки использовалась другая половина изображений базы ICE и база изображений низкого качества UBIRIS v.1.

Во время обучения для повышения обобщаемости модели применялись аугментации случайной яркостной коррекции, наложения случайного пуассоновского шума, случайного аффинного поворота, случайного отображения по горизонтали и извлечения случайной области внутри изображения. Масштабирование изображений к целевому разрешению (1.6) производилось после описанных преобразований. Обучение моделей осуществлялось методом стохастического градиентного спуска с адаптивным моментом. Первоначальное значение темпа обучения составляло 0.001 и уменьшалось экспоненциально в 0.9 раза каждые 10 эпох.

2.2.  Процедура обучения и подбор гиперпараметров. Архитектура предлагаемых нейронных  сетей  такова, что их выходной слой может содержать произвольное количество нейронов, а значит, осуществлять предсказание произвольного количества классов для координат центра и диаметра. В случае, если количество предсказываемых классов будет превосходить размеры изображения, можно утверждать, что модель будет обучена находить параметры границ радужки с субпиксельной точностью. Однако в данной работе подобный эксперимент не был произведен, поскольку постановка задачи допускает некоторую степень неточности решения задачи детектирования при условии, что применяемая сверточная нейронная сеть будет сравнительно небольшой. Для поиска оптимального размера выходных слоев провели вычислительный эксперимент. Осуществлялось сравнение моделей, предсказывающей количество классов, соразмерное разрешению входного изображения “original” и уменьшенное вдвое “reduced”. Постановка этого эксперимента имела смысл ввиду большого количества возможных искажений видимого качества изображений и неизбежных ошибок экспертной разметки. Каждая модель была обучена на протяжении 50 эпох, после чего проводилось сравнение по мере качества (1.4) со значением $\alpha = 0.05$. Большей точности на валидационной выборке достигли модели с размерами выходных слоев “original”. В дальнейших экспериментах были использованы соответствующие их версии. Отличия по качеству решения задачи для IrisModel составили 85.3% против – 60.9%, для PupilModel – 99.7% против – 99.1%. Заметим, что разные версии моделей PupilModel практически не отличаются по точности решения задачи аппроксимации границы зрачка, что можно объяснить тем, что поиск производится уже внутри выделенной области радужки, тогда как IrisModel вынуждена искать положение центра глаза на изображении периокулярной области, которая, как правило, более вариабельна.

После выбора размеров выходных слоев обе модели обучались на протяжении 128 эпох на независимых выборках. Полученные значения мер качества (1.3)–(1.5) приведены в табл. 4.

2.3. Применение моделей в комбинации. Детектирование границ радужной оболочки на изображении глаза осуществляется в два этапа, как описано в разд. 1.4. Качество работы комбинации двух моделей оценивается при помощи меры качества (1.5). В данном эксперименте применялись следующие базы изображений: CASIA Mobile S3, Raspberri DB, UBIRIS v.1, MMU и ICE как составляющие валидационной и тестовой выборок.

Определение точности комбинации моделей IrisDet и PupilDet было проведено как совместно с применением алгоритма оценки качества аппроксимации границы ${{a}_{p}}(I;{{\theta }_{p}})$ (1.8), так и без него (табл. 5). Для изображений, где найденная окружность “зрачок–радужка” была помечена ${{a}_{p}}(I$; θ_p) как ошибочная, изображение не учитывалось при расчете меры качества (1.8). Скорректированные таким образом значения данной меры качества приведены в столбцах $Q_{p}^{a}$ и $Q_{i}^{a}$. Доля объектов с неверными метками ошибочной аппроксимации внутренней границы радужки рассмотрена в столбце FRR.

Для оценки точности метода на мобильной базе изображений CASIA Mobile S3 требовалось бы применение постороннего алгоритма выделения области глаза на входном изображении, поскольку это изображение содержит обширную область лица участника. В данной работе предложен иной способ оценки точности, использующий искусственное создание выборки изображений лица с применением экспертной разметки. Для каждого изображения лица из данной базы извлекается пять случайных прямоугольных областей глаза следующим образом:

1) размер области глаза выбирается случайно из равномерного распределения $U(2{{D}_{i}},4{{D}_{i}})$;

2) координаты центра области (x, y) выбираются случайно из равномерного распредления $U( - {{D}_{i}},{{D}_{i}})$.

Таким образом удается оценить точность детектирования радужки в условиях ошибочной работы детектора области глаза.

Приведенные результаты вычислительного эксперимента демонстрируют снижение качества работы предлагаемого метода на базах изображений низкого качества, таких, как UBIRIS. Данная база содержит изображения с низкой контрастностью на границе “зрачок–радужка”, что также подтверждает высокий уровень ложных срабатываний предложенного алгоритма ${{a}_{p}}(I;{{\theta }_{p}})$ в столбце FRR, что, несомненно, усложняет задачу аппроксимации границ радужки. Обучающая выборка предлагаемого метода имеет сравнительно малое количество примеров изображений глаз, видимое качество которых подобно изображениям UBIRIS. Наконец, база изображений UBIRIS отличается не только низким контрастом границы “зрачок–радужка”, но и рапределением размеров зрачка относительно радужки: большая часть изображений содержит в себе зрачки малого размера, сопоставимого по величине с бликом от осветителя. Низкая точность работы детектора зрачка на базе MMU вызвана низким разрешением исходных изображений и аналогично UBIRIS – большим количеством изображений с малым видимым размером зрачка.

2.4. Применение моделей с последующим уточнением. Помимо описанного в предыдущем разделе способа применения комбинации моделей, было проанализировано использование последующего уточнения получаемой аппроксимации границ с помощью метода [2] со значительно суженной областью поиска. По построению предлагаемый метод имеет ошибку детектирования не выше 5% от истинного диаметра радужки. Таким образом, область поиска параметров границы $\hat {\theta } = (\hat {x},\hat {y},\hat {d})$ при уточнении методом [2] можно определить следующим образом в зависимости от первичной аппроксимации $\theta = (x,y,d)$:

Вычислительная стоимость поиска внутри такой области пространства параметров будет сравнительно невысокой. Результаты применения предлагаемого метода с уточнениями даны в табл. 6.

Уточнение границ радужной оболочки при помощи классического метода [2] позволяет повысить качество работы комбинации методов и снизить долю ложных срабатываний алгоритма ${{a}_{p}}(I;{{\theta }_{p}})$ на базе UBIRIS, вызванных низкой контрастностью на границе “зрачок–радужка” и ошибками детектирования зрачка. Однако прирост точности детектирования для границы зрачка нельзя назвать существенным. Аналогично для базы изображений MMU применение метода [2] для уточнения границы зрачка не привело к значительным улучшениям, поскольку данный метод работает неустойчиво на изображениях с небольшими по величине зрачками.

2.5. Сравнение с существующими методами. Предлагаемый метод детектирования границ радужной оболочки на изображении глаза также сравнивался с иными методами, описанными в [2–4, 19, 20]. Сравнение производилось с применением базы изображений MMU при помощи следующих мер качества:

1) относительная ошибка детектирования центров:

2) относительная ошибка детектирования радиусов:

Помимо точности детектирования в сравнение было включено медианное время выполнения (${{t}_{{c + r}}}$) на одном ядре процессора Snapdragon 845. Результаты приведены в табл. 7.

Заключение. Предложен метод детектирования параметров, аппроксимирующих границы радужки окружностей для мобильных биометрических систем. Метод состоит из двух сверточных нейронных сетей небольшого размера. Предлагаемый подход достигает показателей точности детектирования, сравнимых с описанными в современной литературе, однако обладает существенно меньшим временем выполнения на современных мобильных процессорах. Метод может быть применен для получения грубой оценки границ, которая может быть использована в дальнейшем для ее улучшения иными методами.