Сенсорные системы, 2021, T. 35, № 1, стр. 30-37

ВВЕДЕНИЕ

На сегодняшний день в рамках решения широкого спектра задач активно разрабатывается большая группа интерфейсов для управления эргатическими (человеко-машинными) системами (Wolpaw, 2002; Martin, 2011; Zhu, 2010; Microsoft, 2009; Tobii, 2010). При этом принципы управления допускают использование, наряду с широко распространенными в качестве команд сигналы, зарегистрированные с мозга, движения глаз, мышц. Данные команды могут обеспечивать управление системами, реализующими как замещение утраченных пользователем функций, так и дополняющих и расширяющих набор этих функций у здорового оператора. Одной из таких эргатических систем, характеризующихся высокой скоростью и точностью работы, по сравнению с интерфейсом мозг-компьютер, является видеоокулографический интерфейс: близкое технологическое решение с так называемой eye-tracing реализацией (Oyekoya, 2004; Bissoli, 2019). Принцип работы данного устройства заключается в том, что видеоизображение, зафиксированное с глазного яблока, после обработки, связанной, как правило, с выделением зрачка и анализом траектории его движения, превращается в команды на устройства–эффекторы, например, персональный компьютер или самоходное шасси. Исследования продемонстрировали в целом успешность данной категории устройств: высокий процент пользователей (Туровский, 2017б), овладевающих техникой управления, низким влиянием на вегетативный гомеостаз (Туровский, 2018), связь с рядом мутаций (Туровский, 2019) и, в целом, достаточно удачную эргономику. Однако остается ряд вопросов, связанных с психологическими коррелятами овладений устройствами и стратегиями управления, в первую очередь изменения движений глаз, которые используют операторы для достижения целей.

Цель настоящего исследования – анализ связи ряда психофизиологических показателей операторской деятельности с частотно-временными характеристиками движения глаз при использовании видеоокулографического интерфейса.

МЕТОДИКА

Методология эксперимента основывается на ранних работах (Туровский, 2017б). Разработанная авторами компьютерная программа имитирует управление перемещением объекта на плоскости, тем самым программа обеспечивает обучение и тестирование освоения пользователем видеоокулографического интерфейса. Переход от управления самоходным шасси к управлению объектом на плоскости связан с необходимостью минимизировать изменение положения головы оператора, не используя в то же время ее фиксацию. Реализована интеграция аппаратной части видеоокулографического интерфейса с компьютером, настройка параметров видеорегистрации движения зрачка, калибровка движения глаз пользователя и, в дальнейшем, прохождение пользователем серии задач, сформированных экспериментатором. Испытуемому следует движениями глаз перемещать маркер по полю из одной области в другую, обходя препятствия, положение которых может изменять экспериментатор. Фиксируются координаты положения глаз, маркера, попадание маркера в целевые области и на препятствия.

В проведенных экспериментах приняли участие 40 добровольцев: 22 юноши и 18 девушек в возрасте от 19 до 23 лет, их медианный возраст составил 20 лет. Испытуемые не имели неврологической и психиатрической патологии, не принимали лекарств, влияющих на координацию движений и скорость принятия решения, имели нормальное или скорректированное до нормального зрение. Испытуемые находились перед экраном монитора (22”) на комфортном для себя расстоянии. Видеоокулографический интерфейс позволял на основе стандартной видеокамеры с извлеченным инфракрасным (ИК) фильтром получить более четкое по сравнению с камерой с оставленным ИК фильтром изображение области глаза. Для ИК камеры был изготовлен специальный держатель, который крепится на голове и предоставляет возможность изменения положения камеры, что позволяет осуществлять настройку изображения, поступающего с камеры независимо от формы головы, и удовлетворять требованиям удобства испытуемого. После проведения калибровки на экране монитора запускалось экспериментальное поле, представляющее собой область старта, прямоугольные границы ряда объектов и область цели. В инструкции, которая в устной и письменной форме излагалась испытуемому, запрещалось совмещать маркер с объектами, обозначенными черными прямоугольниками на экране. Совмещение маркера с таким объектом расценивалось как ошибка управления/промах, которая автоматически фиксировалась программой (рис. 1). Программа фиксировала и распознавала движение зрачка глаза в четырех направлениях: “вверх”, “вниз”, “влево”, “вправо”. Каждому испытуемому было предоставлено четыре попытки для прохождения эксперимента, длительностью 2 мин. Каждая новая команда могла генерироваться пользователем не чаще 1 раза в секунду, при регистрации положения зрачка 25 раз в секунду. Перед каждым экспериментом проводилась необходимая калибровка устройства.

Рис. 1.

Пример траектории движения пользователя от точки старта к точке финиша с ошибкой в виде попадания в области черных прямоугольников.

С использованием тестов Айзенка, Спилберга и теста на рабочую память были установлены психологические характеристики испытуемых. Тест на рабочую память реализован следующим образом: задавалась матрица размером 5 × 5 квадратов. В каждой попытке генерировалось выделение трех квадратов, последовательность которых нужно было запомнить и верно определить порядковый номер предъявления одного из них в конце каждой попытки (Войтов и др., 2015). Число попыток равнялось десяти.

Для оценки параметров движения глаз использовался с учетом особенностей генерации команд алгоритм дискретного вейвлет-преобразования с использованием вейвлета Хаара (Добеши, 2001). Для полученных значений каждого уровня вейвлет-преобразования (рис. 2) рассчитывались средние значения и среднеквадратическое отклонение всего временного ряда. Полученные значения интерпретируются как средние расстояния, пройденные зрачком за время эксперимента, при этом период изменения расстояния соответствует масштабу (или уровню) вейвлет-преобразования. Соответственно, среднеквадратическое отклонение данных временного ряда после вейвлет-преобразования – это усредненные значения перемещений зрачка от средней амплитуды перемещения за все время выполнения теста. Полученные значения будем называть, в соответствии с принятыми в вейвлет-анализе подходами, аппроксимирующими последовательностями (а-последовательности) и детализирующими последовательностями (b-последовательности). При этом непосредственно вейвлет-преобразование осуществлялось на данных, где частота дискретизации была искусственно снижена до 5 Гц. Таким образом, масштабы вейвлет-преобразования имели следующие периоды: 0.4, 0.8, 1.6, 3.2, 6.4, 12.8 с.

Рис. 2.

Результаты вейвлет-преобразования расстояния перемещения зрачка. Пояснения в тексте.

В статистическом анализе использовались методы дескриптивной статистики, критерии Крас-кела–Уоллиса, Манна–Уитни, Вилкоксона для парных случаев (Рунион, 1982; Гланц, 1998), при этом параметр α принимался равным 5%. Для анализа категориальных переменных использовались точный критерий Фишера и критерий χ². Для статистического изучения связи между явлениями использовали непараметрический метод – коэффициент ранговой корреляции Спирмена. Учитывался эффект множественных сравнений.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Число испытуемых, не достигших цели в первой, второй, третьей и четвертой попытках, составило 70, 50, 47.5 и 45% соответственно (p < 0.05 при сравнении первого и последнего эксперимента). Этот факт демонстрирует эффективность обучения применению данного интерфейса для управления эргатической системой и, в общем, близок к результатам, полученным при управлении движущимися объектами (Туровский, 2017a). Число тех, кто дошел до цели, но не начал возвращаться к точке старта в первой, второй, третьей и четвертой попытках, составило 5, 7.5, 10 и 10% соответственно (p ≫ 0.05). Очевидным результатом было то, что пользователь, совершивший меньшее число ошибок при управлении маркером (совмещение маркера с областями экрана, запрещенными для совмещения на данном эксперименте), большее число раз достигал целевой области (p < 0.05). Корреляционным анализом выявлена взаимосвязь между результатами теста на экстраверсию (тест Айзенка) и результатами успешного выполнения испытания (p < 0.05, r = –0.39), что свидетельствует о том, что экстраверты хуже достигают цели, вероятно, это обусловлено большей концентрацией внимания интровертов.

Разделение выборки по результатам достижения или недостижения цели продемонстрировало следующую зависимость (табл. 1). При достижении цели среднеквадратическое отклонение как а-последовательностей, так и b-последовательностей были статистически ниже, чем для попыток, где цель не была достигнута. Аналогично средние значения а-последовательностей (аппроксимированных файлов) так же были ниже при достижении цели. Следовательно, зрачок пользователя проходил меньшие расстояния, а сам характер движений носил меньший размах при успешном достижении цели.

При этом следует обратить внимание, что данная закономерность охватывала все исследуемые периоды. Данный результат может быть интерпретирован двояко. С одной стороны (Туровский, 2017б), по мере успешного овладения методикой управления размах движений зрачка уменьшается. С другой, возможна ситуация, что пользователь активно двигает глазом, пытаясь “найти” те положения, которые соответствуют успешному управлению, что, однако, по ряду причин не удается. В этом случае стратегия максимальной амплитуды движения глаз сохраняется, что и находит отражение в представленных данных.

Сравнение результатов вейвлет-преобразования в зависимости от ошибок управления показало, что для периодов 0.8, 1.6, 6.4 и 12.8 с наличие ошибок управления сопровождается значимо большими значениями среднеквадратического отклонения а-последовательностей (рис. 3). При этом для b-последовательностей таких зависимостей в большинстве случаев не наблюдалось. Таким образом, выявленное увеличение среднеквадратического отклонения отражает больший размах движений зрачка. Вероятно, большая амплитуда движений зрачка соответствует худшему управлению, что приводит к ошибке, и в то же время больший размах движений может отражать попытки пользователя выйти из зоны экрана, нахождение в которой интерпретируется как ошибка. Таким образом, показано, что высокоамплитудные движения глаз в исследуемых периодах являются маркерами неуспешного овладения видеоокулографическим интерфейсом и являются показателями наличия ошибок при его использовании. В то же время динамика результатов вейвлет-преобразования от попытки к попытке выявлена не была.

Рис. 3.

Различия среднеквадратического отклонения для аппроксимирующих значений (а-последовательность) в зависимости от наличия ошибок в управлении. Различия статистически значимы для: а – p = 0.0466; б – p = 0.0368; в – p = 0.0090; г – p = 0.0232.

Анализ параметров рабочей памяти с успешностью или неуспешностью достижения цели продемонстрировал взаимосвязь этих показателей (рис. 4). Можно было бы ожидать, что более высокие показатели рабочей памяти должны давать лучшие результаты управления. Действительно, в ходе работы с окулографическим интерфейсом пользователю нужно запоминать необходимые положения зрачка, генерирующие команды, и соотносить их с управлением курсором. Вероятно, низкий уровень рабочей памяти не позволяет пользователю запоминать необходимые для управления параметры, что должно сказаться на результате. Сравнение показателей рабочей памяти с ошибками в управлении показало значимые различия. Люди с низким значением теста на рабочую память (6–7 баллов) реже совершали ошибку управления (в двух случаях из 20). Люди с высоким значением теста на рабочую память (9–10 баллов) совершали ошибки управления значительно чаще, в 43 случаях из 105. Таким образом, высокие показатели рабочей памяти связаны с низкими показателями освоения окулографического интерфейса, т.е. результаты продемонстрировали противоположную динамику: с ростом результатов тестирования по рабочей памяти (что подразумевает лучшие показатели) качество управления снижается.

Рис. 4.

Доля достигнувших цели в зависимости от показателей рабочей памяти (p < 0.01).

Последовательности, представляющие собой результаты вейвлет-преобразования, продемонстрировавшие статистически значимые различия в зависимости от показателей рабочей памяти, представлены в табл. 2. Из таблицы следует, что высокие значения рабочей памяти оператора приводят к высоким значениям среднеквадратического отклонения расстояний, на которые перемещался зрачок. Поскольку установлено, что высокоамплитудные движения глаз являются маркерами неуспешного овладения окулографическим интерфейсом, то становится понятной связь большого числа ошибок и низкой точности работы окулографического интерфейса для операторов с высокими показателями рабочей памяти. Тем не менее физиологический механизм этой зависимости требует еще детального изучения. Можно предположить, что именно тот тест на рабочую память из большого числа существующих, который использовался в этой работе, обеспечивает столь парадоксальный результат.

Рассматривая не суммарное перемещение зрачка, а отдельно перемещения в проекциях на горизонтальные и вертикальные оси, получены следующие результаты (табл. 3). Для всех исследуемых периодов размах движений зрачка по горизонтальной оси существенно превосходил таковой для вертикальной оси. При этом различия в зависимости от достижения цели в детализированных последовательностях для периодов меньше 3.2 были достоверно значимы для горизонтального движения глаз, но отсутствовали для движения глаз по вертикали. Связи между характером движения зрачка в проекции на вертикальную и горизонтальную оси в зависимости от ошибок при выполнении команд установлено не было.

Анализ влияния показателей рабочей памяти продемонстрировал, что только быстрые движения глаз в горизонтальной плоскости (0.4, 0.8 с) давали статистически значимые различия (p < 0.01), в то время как вертикальные движения глаз не продемонстрировали достоверных различий.

ЗАКЛЮЧЕНИЕ

Представлены результаты исследования параметров движения глаз человека при помощи видеоокулографического интерфейса для управления объектом на плоскости. Показано, что в ходе проводимого эксперимента от попытки к попытке снижались количество ошибок и число испытуемых, не осуществивших успешное управление, а также зависимость способности такого управления от темперамента человека и особенностей рабочей памяти. Показано, что при высоких значениях рабочей памяти пользователи совершают более резкие высокоамплитудные движения зрачком, формируя управляющий паттерн, что в итоге приводит к большему числу ошибок управления и не достижению требуемого результата. Таким образом, данные о психологических особенностях пользователя позволяют, в первом приближении, оценить его потенциал в аспекте освоения видеоокулографических интерфейсов. В значительной степени различия по указанным показателям связаны с движением зрачка вдоль горизонтальной оси, нежели в вертикальной. Наиболее значимые движения зрачка находятся в областях с периодом от 0.4 до 1.6 с. Полученные данные могут быть использованы для оптимизации расположения датчиков движения глаза и выборе оптимальной частоты дискретизации данных, что позволит снизить объем вычислений без существенной потери точности. Более медленные периодические компоненты в движении глаз мало связаны с особенностями управления окулографическим интерфейсом. Полученные результаты будут полезными для создания и применения интерфейсов человек-компьютер в цифровом мониторинге при управлении эргатическими системами и могут служить отправной точкой для разработки высокоскоростных окулографических интерфейсов с существенно более широким, по сравнению с существующим, функционалом.

Работа выполнена при финансовой поддержке РФФИ (грант 19-07-01037 А).