Известия РАН. Теория и системы управления, 2022, № 2, стр. 80-85

Введение. Распознавание эмоций человека по мимике лица является важной научно-исследовательской проблемой, которая затрагивает множество дисциплин и областей [1–3]. Эта тематика актуальна в таких сферах, как медицина, психология [4] и безопасность. В данной работе рассматриваются подходы к распознаванию эмоций человека по визуальным признакам лица. Применяется глубокое обучение многослойных нейронных сетей.

Существует огромное разнообразие алгоритмов, способных распознавать эмоции человека по мимике лица [5]. Однако качество этих систем уменьшается из-за следующих обстоятельств:

маленькая выборка для обучения,

расхождение в пропорциях лица,

наигранность эмоций,

освещенность во время съемки,

окклюзия,

различный угол поворота головы,

внутриклассовое различие и межклассовое сходство,

этническая принадлежность, пол, возраст.

Использование многослойных нейронных сетей направлено на повышение точности определения эмоций на изображениях.

1. Краткий обзор существующих подходов. Наиболее точно на сегодняшний день эмоции человека были описаны П. Экманом в работе [6], где каждая эмоция была представлена при помощи кодирования лицевых движений, но данный подход сложно автоматизировать [7, 8]. Это связано с тем, что он содержит 46 основных категорий и более 50 дополнительных, а эмоции являются комбинациями таких групп. Поэтому для подготовки такие датасеты (пронумерованный набор изображений, фонограмм или видеозаписей с указанием исследуемых признаков каждого элемента) обрабатываются психологами вручную с учетом указанных обстоятельств.

Особый интерес представляет датасет Aff-Wild [9–11], который состоит из фрагментов видеороликов платформы YouTube, они не являются предзаписанными в видеостудии. Это значит, что условия записи материалов максимально приближены к действительности.

Существует два принципиально разных подхода в распознавании эмоций:

с предварительным алгоритмическим извлечением визуальных признаков и последующей машинной классификацией [12],

с использованием глубоких нейронных сетей без предварительного извлечения признаков.

Визуальные признаки могут быть извлечены при помощи выявления:

геометрических объектов лица (брови, нос, рот, глаза и др.) [13, 14] методами дескриптора line edge map, сравнения направленности градиентов [15, 16], активной модели формы ASM [17], курвлет-преобразования [18], использования структурных моделей [19] и др.;

текстурных особенностей методами фильтра Габора, дискретным вейвлет-преобразованием [20] и др.;

глобальных и локальных объектов методами главных компонент [21], оптического потока [22], морфологическими преобразованиями [23] и др.

Но при условии наличия достаточного датасета наиболее высокой точности классификации удается достичь именно при помощи автоматического выявления признаков и классификацией глубокими нейронными сетями [24–26].

2. Обучение нейронной сети. Сначала осуществляется предварительная обработка. Этот этап предподготовки информации позволяет минимизировать перечисленные ранее причины ошибок. В первую очередь выполняется обнаружение области лица, обрезка изображения и масштабирование для подведения под нужный размер. Затем производится изменение контрастности для уменьшения ошибок, возникающих из-за большой разницы освещения, и выделение общих визуальных особенностей лица. Под этими особенностями понимаются компоненты лица, такие, как губы, нос, рот, брови и т. д., а также немаловажный признак – текстура кожи. Этот этап нужен для более точной постановки задачи перед алгоритмом классификации.

Среди известных подходов обнаружения лиц на изображении существуют две категории.

1. Методы, построенные на конкретном наборе составленных правил, основанных на выделении независимых свойств изображений лиц. Здесь имеет место два этапа построения:

установка явных признаков, характерных для изображений лица,

обработка найденных признаков.

2. Методы, в которых задействован вычислительный вектор признаков, разделяющий изображение на два типа: лицо и не лицо. Выбор метода зависит от установленных ограничений и условий в процессе выполнения задачи. Выделяются следующие возможные ограничения:

пространственные характеристики положения лиц;

наличие или отсутствие ограничений на возможные искусственные помехи на лице;

количество лиц на изображении;

условия освещенности объектов;

цветность изображения;

приоритет в минимизации ложных обнаружений или в количестве обнаруженных лиц;

масштаб лиц и разрешение изображения.

Для анализа видеопотока была выбрана библиотека для проектирования нейросетей – Theano. Это библиотека, которая используется для разработки систем машинного обучения как сама по себе, так и в качестве вычислительного бекэнда для более высокоуровневых библиотек, в данном случае – Lasagne. Также применяется Nolearn как дополнительная и вспомогательная библиотека машинного обучения.

Вычисления проводились для различных датасетов. Для датасета RAVDESS [27] каждый видеоматериал разбивался на части по 0.5 с, и при обработке они перемешивались. Для датасета СК+ [28] из каждой директории брали 3–5 последних кадров, они отбирались многократно и случайным образом, а затем была проведена аугментация в виде поворота кадра в случайный угол на 10°, для того чтобы достичь баланса в классификации. Для датасета Aff-Wild из видео выбирались 4–16 кадров случайного отрезка, а сами видеоматериалы определялись также многократно и случайным образом, после проводилась аугментация для достижения баланса. Дальнейшая работа заключалась в фиксации лица и его переформировании в конкретное изображение лица в формат 256 × 256, чтобы пропустить его через сверточную нейронную сеть.

После прохождения нейронной сетью обучения требуется тестирование ее полученной архитектуры. Происходит это посредством обработки нейронной сетью новых данных. Для этого была сделана выборка из датасета RAVDESS. Для работы над видеоматериалами были также взяты выборки из CK+ и Aff-Wild. На основе этой выборки была проведена оптимизация гиперпараметров для получения более точного результата. Целевая функция использовала кортеж гиперпараметров и возвращала связанные с ними потери. Использовался случайный перебор всех комбинаций на выборку их случайным образом при помощи библиотеки Keras Tuner, а именно с применением алгоритмов случайного поиска и HyperBand.

Случайный поиск заменяет полный перебор всех комбинаций на выборку их случайным образом. Метод может быть обобщен к непрерывным и смешанным пространствам. Случайный поиск может превзойти поиск по решетке особенно в случае, если только малое число гиперпараметров оказывает влияние на производительность алгоритма обучения машины. Следовательно, задача оптимизации имеет низкую внутреннюю размерность. Случайный поиск также легко параллелизуем и, кроме того, позволяет использовать предварительные данные путем указания распределения для выборки случайных параметров.

3. Комбинирование архитектурой нейронных сетей и датасетов. В рамках проведения экспериментов были получены следующие результаты тестирования нейронной сети для видеофиксации.

Датасет RAVDESS, точность – 69.35%. Классификация по эмоциям:

грусть,

злость,

нейтральное состояние,

отвращение,

радость,

спокойствие,

страх,

удивление.

Датасет CK+: точность – 82.3%. Классификация по эмоциям:

грусть,

злость,

отвращение,

презрение,

радость,

страх,

удивление.

Датасет Aff-Wild: точность – 60.7%. Классификация по состояниям:

нейтральное состояние,

возбужденное позитивное,

возбужденное негативное,

расслабленное позитивное,

расслабленное негативное.

Здесь в каждой из трех групп вводятся неотрицательные коэффициенты (вероятности), сумма которых равна единице. Цель распознавания – нахождение максимального коэффициента.

Остановимся на результатах датасета Aff-Wild. Он является единственным из представленных, в котором материал для анализа содержит изображения в различных ракурсах. Из этого делается следующий вывод: в датасетах CK+ и RAVDESS наличие схожих кадров лиц неизбежно привело бы к ухудшению показателей результата.

На предыдущем этапе разработки была создана и обучена нейросеть, которая показывает хорошую точность в условиях, близких к идеальным: при правильном освещении, фоне, расстоянии от камеры до лица. Но при ухудшении условий точность результатов падает. Поэтому следующей задачей является создание нейросети, которая обучена уже на данных, приближенных к реальным.

Для обучения был выбран датасет Aff-Wild, который участвовал в предыдущем этапе разработки, но в качестве датасета результативной выборки. Сама организация процесса обучения выглядит следующим образом.

Обучаем первичную сеть на простой задаче, удаляя первый класс. При этом датасет сбалансируется, так как в исходной версии было много нейтральных кадров с нулевой результативностью. На этом этапе кадры обрабатываются по отдельности без последовательности. Точность на этом этапе составляет 72%.

Из обученной в предыдущем этапе нейросети убираем последние слои, дойдя до слоя укрупнения (maxpool) с предыдущего блока слоев. Полученную нейросеть делаем первичной. После чего пропускаем через эту нейросеть датасет RAVDESS и сохраняем найденный промежуточный результат.

Таким образом получаем промежуточный датасет для обучения нейросетей по определению эмоций и их силы. В результате такой комбинации архитектур нейросети будут достаточно точны при пропускании через них материалов, приближенных к реальным условиям, потому что первичная нейросеть уже умеет с ними работать, а студийные условия выступают лишь как частный случай.

Нейросети должны объединять в себе точность, скорость работы и простоту реализации. Работа с изображением все так же предполагает работу со сверточными нейронными сетями в силу их спецификации. Точность сети можно предварительно оценить, исходя из результатов теста cifar-10. В тесте убирается первый слой, а после через нейросеть пропускаются картинки размером 32 × 32, разбитые на 10 классов.

Подходящие под все три критерия сети обладают большим количеством простых слоев и относятся к одному из двух видов:

полносвязные (dense), в которых результат свертки объединяется с исходными данными;

остаточные (residual), в которых результат свертки (или нескольких) суммируется с исходными данными.

Особенность обеих архитектур состоит в том, что градиент ошибки, являющийся фактором обучения, не угасает от слоя к слою, а равномерно обучает все слои сети. Кроме того, обе архитектуры используют после каждого слоя (либо перед каждым слоем) нормализацию внутри партии. Это значит, что из исходных данных вычитается среднее, а отклонение делается равным единице. Этот процесс заметно стабилизирует и ускоряет обучение и заодно повышает точность, однако замедляет работу примерно на 30%.

Выбран вариант нейросети с нарастанием. Используются тонкие свертки с нелинейностью elu и нормализацией результата, потому что исходные данные уже нормализованы, при добавлении новых данных остаются нормализованными, и нет смысла повторять вычисления.

Также для удобства реализации создан слой плотной свертки, в котором последовательно объединены:

тонкая свертка с ядром 1 × 1,

основная свертка с ядром 3 × 3 и нелинейностью,

нормализация по партии,

объединения с исходными данными.

Две первые операции эквивалентны обычной свертке, но требуют на порядок меньше вычислений, а значит и времени. Для нормализации (простой вариант) мы обучаем параметры beta и gamma, и итоговое значение будет

где $con{{v}_{{mean}}}$ – среднее по осям партии, длине и ширине свертки, $con{{v}_{{std}}}$ – стандартное отклонение по осям партии, длине и ширине свертки.

В отличие от стандартной архитектуры, из модели удалены полносвязные слои, образующие итоговый набор классов. Вместо них при достижении слоем размеров менее 5 × 5 происходит усреднение внутри слоев.

Видео читается покадрово при помощи библиотеки Scikit-video. Для удобства работы написан итератор, который перебирает элементы контейнерного класса без необходимости пользователю знать реализацию определенного контейнерного класса. Он определяет характеристики видео из заголовка и затем читает видео посекундно. Лишние кадры удаляются, а на оставшихся итератор находит лицо при помощи библиотеки Dlib, и изменяет его размер до 256 × 256 при помощи библиотек Scikit-image или CV2. Полученные изображения объединяем в партию и обрабатываем первичной нейросетью. Полноценно архитектура сети выглядит следующим образом:

первые слои сети – нормализация внутри партии и обнуление (dropout) с вероятностью 0.1,

далее следует свертка с ядром 5 × 5 и шагом 2,

4–8 плотных сверток с ядром 3 × 3 и 15 каналами,

укрупнение размера промежуточного изображения,

слой нормализации,

слой обнуления,

свертки 1 × 1 с числом каналов, равным половине входящих,

последний блок, который впоследствии будет отбрасываться,

обнуление с вероятностью 0.3,

свертка размером 90 × 1 × 1,

6 плотных сверток с ядром 1 × 1,

усреднение слоев,

нормализация по партии,

усреднение каналов до 5 созданных классов.

Контрольная выборка была взята из расширенного датасета RAVDESS, в которой три актера произносили одну фразу с разными эмоциональными оттенками. Итоговая нейросеть правильно классифицировала 91 файл из 100, тем самым можно сделать вывод об увеличении точности на 21% по сравнению с предварительными итогами.

Заключение. Последующее исследование будет связано с анализом и разработкой нейронных сетей для классификации эмоциональных состояний в фонограммах. Совместное применение аудио- и видеосистем увеличит точность распознавания.