Известия РАН. Теория и системы управления, 2022, № 2, стр. 100-106

Введение. Задача распознавания движений человека по видеоданным актуальна для множества прикладных областей. Примерами отраслей являются виртуальная реальность, восстановительная медицина и здравоохранение, безопасность и видеонаблюдение, обеспечение безопасности на производствах, спорт, робототехника, взаимодействие компьютеров и человека и др. Распознавание движений человека может помочь рассчитать взаимодействие нескольких агентов, что необходимо, например, при разработке программного обеспечения для беспилотных автомобилей. Решение задачи распознавания движений человека осложняется тем, что на то, как человек двигается, влияет множество факторов от взаимодействия с внешней средой до физических возможностей, телосложения и эмоционального состояния конкретного человека. Кроме того, движения человека могут быть обусловлены внешними воздействиями. Количество данных для тренировки сетей довольно ограниченно, а разметка датасетов под распознавание движений – достаточно трудоемкая задача. Помимо количества данных играют роль и условия, в которых они были сняты. В связи с этим большинство алгоритмов хорошо работают только на данных какого-то конкретного типа. Для большинства практических применений решений задачи распознавания движений человека по видеоданным важным критерием является возможность работы в реальном времени и на ограниченных ресурсах. Задача распознавания движений человека имеет множество разновидностей: распознавание движений всего тела, мимики, жестов и др. В статье рассматриваются задачи распознавания движений всего тела в двух постановках: обучение с учителем и решения zero-shot постановки задачи, а также формулируются ответы на три вопроса:

1) как влияет наличие дополнительных модальностей данных на точность решения задачи распознавания движений человека,

2) как подойти к задаче распознавания движений в условиях недостатка размеченных данных,

3) как могут помочь подходы из области обработки естественного языка (и, в частности, языкового моделирования) в решении задачи распознавания движений человека?

1. Постановка задачи. Сначала изучается задача обучения с учителем. Задана выборка видеозаписей, содержащих движения человека, $D = \left\{ {X,Y} \right\}$, где X – множество элементов выборки, Y – конечное множество меток класса. Необходимо найти оптимальный классификатор $f(x)$, такой, что

где $L\left( {f,D} \right)$ – заданная функция потерь, например, количество ошибок классификации

Здесь x ∈ X , y ∈ Y , [⋅] – скобка Айверсона, функция, возвращающая 1, если аргумент является истинным утверждением и 0, если аргумент ложный.

Затем рассматривается постановка обучения без подготовки (zero-shot learning). Аналогичным образом задана выборка видеозаписей, содержащих движения человека, $D\, = \,\{ X,Y\} $. При этом множество Y представляет собой объединение двух непересекающихся множеств: $Y\, = \,{{Y}_{{train}}}\, \cup ~\,{{Y}_{{test}}},$ где $~{{Y}_{{train}}} \cap {{Y}_{{test}}} = \emptyset $, ${{Y}_{{test}}} - $ метки классов тестовой выборки, ${{Y}_{{train}}}$ – метки классов тренировочной выборки. Множество соответствующих меткам классов из ${{Y}_{{test}}}$ объектов обозначим через ${{X}_{{test}}}$. Отложенной выборкой будем называть ${{D}_{{test}}} = \left\{ {{{X}_{{test}}},{{Y}_{{test}}}} \right\}$. Заметим, что в отложенной выборке встречаются исключительно метки классов из множества ${{Y}_{{test}}}$, не встречавшиеся в обучающей выборке. Необходимо найти классификатор f(x), минимизирующий ошибку на отложенной выборке ${{D}_{{test}}}$, такой, что

где $L\left( {f,D} \right)$ – заданная функция потерь, при этом $\forall \left( {x,y} \right) \in {{D}_{{test}}}$ верно, что $y \notin {{Y}_{{train}}}.$

2. Краткое описание подходов обучения с учителем. С развитием глубокого обучения появилось множество подходов к решению задачи распознавания движений человека по видеоданным. Изначально для решения задачи распознавания движений по видео использовались 2D-сверточные сети, после чего информация, извлеченная из обработки каждого кадра отдельно, суммировалась с целью учета упорядоченной во времени информации [1–3]. Например, в [3] были представлены TRN (temporal relation networks сети, учитывающие временные зависимости) и MTRN (multi-scale temporal relations networks сети, учитывающие временные зависимости в различных шкалах). Эти подходы не всегда достаточно эффективны для работы с длинными видеозаписями, что критично для некоторых областей применения (например, спорт).

При работе с данными часто возникает проблема наличия неинформативных признаков [4]. В частном случае задачи распознавания движений человека по видеоданным эта проблема проявлятеся в наличии неинформативных кадров в видеозаписях. Обработка этих данных повышает вычислительную сложность, но при этом несет крайне мало информации, необходимой для решения задачи. В связи с этим для снижения вычислительной сложности были предложены схемы семплирования, которые позволяют извлекать наиболее информативные кадры для их последующей обработки. Примером работы на эту тему являются исследования [2, 5]. В [5] утверждается, что при использовании схемы семплирования, основанной не на покадровом анализе видео, а на обработке фрагментов записи (SMART), можно выделить из видео только информативные кадры. Такой подход позволяет не только сократить вычислительную сложность, но и повысить точность.

Для более эффективного учета упорядоченности информации во времени использовались рекуррентные сети, например LSTM (долгая краткосрочная память) [6, 7], DB-LSTM (полносвязная двунаправленная долгая краткосрочная память) [8]. Так в [6] авторы предложили решение на основе LSTM с несколькими ядрами свертки и attention механизма, адаптированного под работу с ядрами разного размера. Авторы [8] сначала обрабатывали каждый шестой кадр видеозаписи сверточной нейросетью, а затем полученные данные подавали на вход двунаправленной LSTM с целью учета временной структуры. Иногда из видеоданных предварительно извлекаются ключевые точки, позволяющие определить позу человека, и с учетом этой информации решается задача распознавания движений человека [7, 9, 10]. Например, в [7] такие последовательности подавались на вход системе, состоящей из трех LSTM и семи сверточных сетей. В [9] авторы решали задачу распознавания движений на ключевых точках с помощью графовых нейросетей. Подобные архитектуры в последнее время все чаще появляются в публикациях, посвященных оценке позы человека.

При работе с видео появляется необходимость учитывать временную структуру данных. Для решения проблемы моделирования используются различные подходы. Так, в [11] для анализа данных различной природы (в частности, временных рядов, представленных в разных шкалах) предлагается применять несколько моделей. В частном случае задачи распознавания движений человека для восстановления временной структуры и повышения точности часто используются дополнительные модальности. Примером добавления таких модальностей в задаче распознавания движений может являться звуковая дорожка видеозаписи [12–14], оценка позы человека [15] или оптический поток [13, 16, 17]. В [13] авторы отдельно обрабатывают звуковую дорожку и оптический поток, при этом информация о взаимодействии между модальностями извлекается до учета временной структуры. Авторы [12] разработали решение, состоящее из двух частей: первая часть основана на механизме дистилляции [18]: модель-учитель, которая обучена на видеоданных, и модель-ученик, которой на вход подается звуковая дорожка и первый кадр видеозаписи. Вторая часть представляет собой LSTM, которая избирательно обрабатывает кадры и аудиофрагменты. В [15] в начале оценивается поза человека по видеоданным, а затем конструируется пространственно-временной граф на последовательности поз. А в [16] предлагается предварительно извлекать из оптического потока признаки для использования в дальнейшем обучении моделей. Некоторые модальности значительно повышают вычислительную сложность, что привело к развитию отдельного направления исследований: распознавания движений человека по сжатым видеоданным. Дело в том, что в сжатых видеозаписях содержатся векторы движения, которые кодируют движения отдельных блоков пикселей [14, 19, 20]. Применение их вместо оптического потока позволяет значительно снизить вычислительную сложность, но имеет свои минусы: потеря информации о связях между различными модальностями, падение точности предсказаний в связи с потерей части информации при переходе от оптического потока к векторам движения, повышение зашумленности данных. В [20] представлены подходы к обучению, позволяющие повысить качество предсказания с помощью векторов движения. В [19] проведено сравнение нескольких стратегий обучения систем учитель-ученик, где модель-учитель обучается на оптическом потоке, а модель-ученик – на векторах движения (MV-CNN).

Для решения задачи распознавания движений человека по видеоданным применяются и 3D-сверточные сети. Пример такой модели – Two-Stream I3D [21]. Использование нейронных сетей такого типа позволяет учитывать пространственную и временную информацию одновременно благодаря применению операции свертки сразу к последовательности кадров [22, 23]. Внедрение 3D-CNN (3D-сверточные сети) хоть и позволило повысить точность решений, но сделало вычисления значительно более вычислительно затратными. В рамках борьбы с этой проблемой авторы [24–26] представили разнообразные псевдосвертки, позволяющие снизить вычислительную сложность. Одна из моделей такого типа – R[2 + 1]D [27].

В литературе также встречаются решения задачи распознавания движений человека по видеоданным, использующие информацию о связях между различными модальностями для повышения качества моделей. Методы извлечения дополнительной информации из отношений между модальностями варьируются от билинейного пулинга в общем пространстве [28] до зарекомендовавшей себя в задачах языкового моделирования архитектуры Transformer [14, 29, 30]. Так, авторы [29, 30] обучали модели на базе архитектуры Transformer одновременно на графических и текстовых данных. В [31] обучение проводилось на визуальных и аудиоданных, а в [32, 33] – на визуальных, аудио- и текстовых данных.

В последнее время в задачах компьютерного зрения набирает популярность использование механизма self-attention, стоящего в основе архитектуры Transformer. Эта тенденция не обошла стороной и распознавание движений человека по видеоданным. Так, с выходом Vision Transformer (ViT) [34] появились публикации, посвященные применению подобной архитектуры для задачи классификации видео [35, 36]. В исследовании [36] было экспериментально установлено, что временной и пространственный attention механизмы, примененные отдельно к каждому блоку, значительно повышают качество классификации. В [14] успешно использовали трансформер для распознавания движений человека на сжатых видеоданных, принимая на вход изображения, данные о движении и звуковую дорожку. Работа интересна тем, что предложенное в ней решение позволяет учитывать информацию о связях между различными модальностями.

В табл. 1 приведены результаты, достигнутые с помощью различных архитектур на датасете UCF101 [37], который представляет собой 13320 видеозаписей, на каждой из которых представлено одно действие, выполняемое человеком. Средняя длительность видео составляет 180 кадров, всего содержится 101 действие.

В [38] представлена модель (VidTr-L) на основе Vision Transformer, в [39] использовали оптический поток в качестве модальности (Optical Flow Guided Feature), авторы [40] выбрали LSTM (TS-LSTM), а в основе [41] лежат графовые сети (MLGCN).

3. Методы обучения без подготовки (zero-shot обучение). Часто область практического применения распознавания движений человека по видеоданным предполагает возможность работы с движениями, которых не было в обучающей выборке. Это обусловлено тем, что сбор достаточного количества размеченных данных для моделей – дорогая и трудозатратная задача. В связи с этим активно исследуется область zero-shot обучения для задачи распознавания движений. Zero-shot обучение нацелено на возможность обобщения модели для распознавания движений на виды движений, которые не были представлены в тренировочной выборке. Для распознавания незнакомых движений такой генерализованной модели не понадобится размеченных данных.

Для каждого класса (вида детектируемого движения) строятся векторные представления в семантическом пространстве. Таким образом удается построить связи между классами из тренировочной и тестовой выборок. Чаще всего используется метод поиска ближайшего соседа. Существует несколько подходов к построению векторных представлений для решения задачи zero-shot обучения. Каждый из этих подходов имеет свои плюсы и минусы. В [42, 43] для построения представлений атрибуты действий задаются вручную. Такой метод не всегда эффективен, так как действиям иногда непросто определить корректные атрибуты.

Использование визуальных (основанных на графических данных) векторных представлений интуитивно, но не всегда удобно, так как иногда данных недостаточно для построения информативных представлений. Способы получения информативных векторных представлений из графических данных исследовались в [44–46]. В [44] для построений векторных представлений используются объекты, распознанные на видео нейронной сетью (O2A). Авторы [45] связывают не только атрибуты и информацию о распознанных объектах из тестовой выборки с атрибутами и информацией о распознанных объектах из тренировочной выборки соответственно, но и атрибуты и информацию о распознанных объектах попарно (TS-GCN). С одной стороны, такой подход имеет преимущества: объектам легко сопоставить векторные представления, которые хорошо обобщаются. С другой стороны, такой подход к построению представлений не учитывает взаимодействия объектов. В некоторых исследованиях для создания векторных представлений используются 3D-нейронные сети, способные выделять пространственную и временную информацию из видео, что является несомненным преимуществом. В [47] предложен иной подход: авторы предлагают применять модель похожей архитектуры для предсказания векторных представлений для названий действий (E2E). Минусом этого подхода является склонность к переобучению на тренировочной выборке. Альтернативный способ построения векторных представлений – использование в качестве данных для построения названий действий. Например, в [48] предлагается решение, основанное на помехоустойчивом кодировании (ZSECOC). Но и этот, казалось бы, интуитивно понятный и эффективный подход не универсален. Слова могут иметь разное значение в зависимости от контекста, а названия действий могут содержать слова, употребленные в переносном смысле.

В последнее время популярность набирает подход, объединяющий в себе векторные представления, основанные на тексте и визуальных данных. В качестве примера может выступить работа [49]. В ней обрабатывают описания действий для получения представлений из текста и соответствующие  действиям изображения (ASR). Любопытно, что сами видеоданные для построения векторных представлений не используются. Авторы [50] обрабатывали предложения, которые описывают действия, предобученным BERT [51] и линейным преобразованием (ER-ZSAR). Таким образом они получили информативные векторные представления. Также строятся представления на основании пространственно-временной информации с помощью 3D-нейросети из видеоданных и применяется информация об объектах, распознанных на видео.

В табл. 2 приведены результаты, достигнутые с использованием различных подходов на датасете UCF101 [37].

Отдельно рассматривается вопрос чистоты экспериментов в области zero-shot обучения. Часто в обучающую выборку попадают объекты из тестовой выборки. В частности, на исследование этой проблемы направлено внимание в [52], где предложен новый протокол составления обучающей и тестовой выборок, позволяющий оценивать работу решений zero-shot обучения на тестовых выборках, которые не пересекаются с тренировочными.

Заключение. Использование дополнительных модальностей позволяет решать задачу распознавания движений с более высокой точностью/качеством как в случае обучения с учителем, так и в постановке типа zero-shot. В течение последних лет основные подходы перешли от работы исключительно с визуальным доменом к использованию как визуальных данных, так и данных другого рода.

3D-свертки и трансформеры применяются для выявления связей/зависимостей на “низком уровне” не только для пикселей, но и для данных, упорядоченных во времени.

Языковые модели вдохновляют развитие других областей. Предложенные для задач языкового моделирования архитектуры достаточно универсальны. Это указывает на их способность не только улавливать разноплановые низкоуровневые зависимости в языке (на уровне символов/морфем/слов), но и в других данных сложной структуры, обусловленных на какой-то достаточно строго формализованный процесс (например, движения человека).