Сенсорные системы, 2023, T. 37, № 1, стр. 49-59

ВВЕДЕНИЕ

В настоящее время как в научной, так и в коммерческой сфере, представлено большое количество разработок, связанных с так называемыми нейротехнологиями, и в том числе с системами управления, основанными на иных принципах, чем механические воздействия верхних и нижних конечностей на управляемую аппаратуру. К таковым технологиям можно отнести имеющие давнюю историю развития электромиографические интерфейсы (Персон, 1969), интерфейсы мозг-компьютер (Wolpaw и др., 2002; Федотчев и др., 2017), окулографические интерфейсы (Hoffman, 1998; Tobii, 2022). Последние представляют значительный интерес, поскольку сочетают в себе относительную простоту и технологичность изготовления с высокой точностью и скоростью управления, что ставит данный класс устройств в группу лидеров для систем альтернативных человеко-машинных интерфейсов (Туровский, Кургалин, 2017).

В то же время очевидное, на первый взгляд, применение данных устройств в виде систем управления как для лиц с ограниченными физическими возможностями (в случае замещающего утраченные функции канала управления), так и для здоровых пользователей (в случае дополнительного канала управления к уже существующим), сталкивается с рядом трудностей как технической, так и физиологической природы. К некоторым из технических сложностей можно отнести задачу перекалибровки прибора при незначительных смещениях устройства на голове испытуемого, автоматическую детекцию и подстройку к разному уровню освещенности, включая “мерцания” ряда искусственных источников освещения, защиту от неблагоприятных факторов окружающей среды при перемещении на открытом воздухе (Schreiber, Haslwanter, 2004). К сложностям физиологической природы следует, к примеру, отнести недостаточную изученность особенностей произвольного управления движением глаз в условиях конвергенции различных влияний (Ярбус, 1965; Турицын и др., 2016). Действительно, если в обычном состоянии произвольные движения глаз генерируются пользователем достаточно редко, то в режиме работы с окулографическим интерфейсом, помимо непроизвольных движений глаз, связанных с непосредственной работой зрительного анализатора, добавляются произвольные компоненты, связанные с генерацией команд путем изменения положения зрачка. К этому добавляется в случае использования самоходного шасси (Туровский и др., 2017б) или, например, очков виртуальной реальности в управлении дронами, целый ряд вестибулоокуломоторных рефлексов (Brostein, Lempert, 2017; Hampton, 2022), которые могут формировать помехи в управлении в виде движений глаз, не связанных с генерацией управляющих команд пользователем (Барабанщиков и др., 2010; Андреева и др., 1975). В свете сказанного выше актуальным представляется оценка влияния вестибулярного анализатора на особенности генерации управляющих команд пользователем в условиях нахождения человека непосредственно “на борту” управляемого им самоходного шасси.

Цель работы – изучение влияния вестибулярных воздействий в задачах управления самоходным шасси с находящимся на нем пользователем с использованием оптикоокулографического интерфейса.

МАТЕРИАЛЫ И МЕТОДЫ

В исследовании приняли участие 30 человек обоего пола (19 юношей и 11 девушек) в возрасте от 18 до 24 лет. Испытуемые являлись правшами, не имели неврологической и психиатрической патологии, не принимали лекарств, влияющих на координацию движений и скорость принятия решения. Все испытуемые ранее не имели опыта в управлении самоходным шасси с использованием окулографического интерфейса. Испытуемый располагался в самоходном кресле, заняв удобную позу перед закрепленным на кресле монитором 35 на 27 см на удобном для себя расстоянии (не ближе 0.3 м и не дальше 0.7 м). На голове испытуемого, помимо оптикоокулографического интерфейса, крепился набор датчиков для определения ускорений. Такой же набор датчиков крепился и на самоходном шасси.

Схема перемещения самоходного шасси, представляющего собой электрифицированную инвалидную коляску “Армед H007”, при проведении эксперимента представлена на рис. 1.

Рис. 1.

Схема перемещения самоходного шасси при проведении эксперимента.

Треугольниками обозначены препятствия, прямоугольник – самоходное шасси, передняя часть которого обозначена штрихом. Оператор, находящийся на самоходном шасси, обозначен кружком.

Как видно из рисунка, самоходному шасси, управляемому испытуемым, необходимо объехать два препятствия, не задев ни одного из них, совершив маневр в виде цифры “8” (на рис. 1 первая часть пути обозначена одинарной, а вторая – двойной стрелкой). Испытуемый мог подавать команды “вперед”, “назад”, “вправо”, “влево” или “нейтраль” (когда самоходное шасси не двигалось с места, не выполняло каких-либо маневров). Скорость движения вперед или назад составляла 35–40 см/с, скорость поворота составляла 60°/с. При этом команды пользователя транслировались аппаратной частью на шасси последовательно и дискретно. Каждый испытуемый осуществлял три заезда. В качестве препятствий движению использовались белые пластиковые цилиндры высотой 75 см и диаметром 50 см. Начальный поворот вправо или влево испытуемый выбирал самостоятельно, без каких-либо инструкций. Вернувшись на исходную позицию, ему необходимо было остановиться и развернуть самоходное шасси на 180°, т.е. вернуть его в то же положение, с которого начинался эксперимент.

Передвижение самоходного шасси осуществлялось за счет генерации пользователем цифровых команд управления “вперед”, “назад”, “влево”, “вправо” и передачи сгенерированных команд в блок управления двигателями самоходного шасси. В кресле самоходного шасси пользователю было дано указание находиться неподвижно, в том числе не совершать движения головой. Генерация команд осуществлялась только взглядом. Для непосредственной генерации команд управления “вперед”, “назад”, “влево” и “вправо” пользователь переводил взгляд на маркеры, расположенные соответственно в верхней, нижней, левой и правой частях экрана, установленного на раме самоходного шасси перед пользователем.

Первый заезд осуществлялся с использованием управления самоходным шасси в виде джойстика “мыши”, данные считывались только с датчиков, регистрирующих наклоны головы. Второй и третий заезды осуществлялись с использованием окулографического интерфейса. Для этого испытуемый надевал очки, в правую линзу которых были встроены четыре светодиода и фоторезистора, работающих в инфракрасном диапазоне. Во время заездов датчики считывали положение зрачка и регистрировали координаты в пикселях, и углы наклона головы по осям координат. Испытуемый подавал на самоходное шасси команды управления при помощи окулографического интерфейса, сигналы с которого представлены на рис. 2 (с учетом реакции механической части задержка от начала генерации команды пользователем не превышала 3 с, а также одновременно контролировал положение устройства относительно препятствий и границ полигона).

Рис. 2.

Не обработанные показания сенсоров, используемые окулографическим интерфейсом для генерации команд управления, где s1 – сенсор, расположенный под глазом, s2 – сенсор над глазом, s3 – сенсор справа от глаза, s4 – сенсор слева от глаза.

Гироскопы и акселерометры, с которых считывались данные, располагались на височной области испытуемого и на самоходном шасси, при этом оси, маркируемые как Х, соответствовали движению влево и вправо вокруг вертикальной оси, Y – вверх и вниз вокруг горизонтальной оси, Z – наклонам влево и вправо относительно сагиттальной оси, проходящей через датчик.

При проведении эксперимента испытуемому отводилось 5 мин на заезд с использованием мыши и 10 мин на каждый из двух заездов с использованием окулографического интерфейса. Если он не успевал выполнить задания заезда в установленное время, то считалось, что исход заезда неудачен. Помимо требования соблюдения временного лимита нельзя было задеть при движении ни один из цилиндров, обозначающих трассу движения. В случае, если испытуемый все же задевал хотя бы один цилиндр, но при этом укладывался во временной лимит, считалось, что заезд завершен успешно, но со “штрафом”.

Таким образом, в настоящей работе реализована достаточно простая схема управления самоходным шасси с использованием окулографического интерфейса, обеспечивающая, тем не менее, работу дискретного канала передачи команд при использовании интерфейса человек-компьютер. Данные, собираемые с датчиков положения на голове и на самоходном шасси, а также данные, поступающие с окулографического интерфейса, представлены соответственно на рис. 3–6.

Рис. 3.

Компоненты кватерниона вращения, показывающие вращение датчика положения, прикрепленного к самоходному шасси, относительно положения в начале проведения эксперимента. Примечание: кватернион – это математическое обозначение вращения объекта в 3-мерном пространстве, представленное в виде 4-компонентного вектора с соответствующим обозначением компонент как [x, y, z, w].

Рис. 4.

Компоненты линейного ускорения, действующего на датчик положения, прикрепленный к самоходному шасси.

Рис. 5.

Компоненты кватерниона вращения, показывающие вращение датчика положения, прикрепленного к голове оператора, относительно положения в начале проведения эксперимента.

Рис. 6.

Компоненты линейного ускорения, действующего на датчик положения, прикрепленный к голове оператора.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Как и ожидалось, среднее время поездки под управлением с использованием джойстика было ниже, чем время с использованием оптикоокулографического интерфейса (324 ± 12 с; 37 ± 11 с; 365 ± 12 с; р < 0.01, тест Манна–Уитни, U = 521.5). При этом время для первой и второй попыток с использованием окулографического интерфейса не различалось, равно как и не различалось количество ошибок в управлении. Данный результат отличается от полученных ранее в задачах управления видеоокулографическим интерфейсом самоходным шасси в ситуации, когда пользователь осуществляет управление со стороны (Туровский и др., 2017а). В то же время количество ошибок (наезд на препятствие), совершенных испытуемым при управлении с использованием “мыши”, не отличалось от ситуации, когда испытуемый управлял шасси с использованием оптикоокулографического интерфейса. Таким образом, уступая в скорости, данный интерфейс не уступает в точности управления, при заданных настройках. При этом количество команд, генерируемых пользователем в разных режимах управления, также не различалось.

Корреляция, с использованием критерия Спирмэна движения глаз (оси Х и Y), продемонстрировала зависимость, представленную в табл. 1.

При выполнении команды “вперед” обращает на себя внимание, что для оси Х" движения глаз с движением головы была наиболее значима для Х' будучи существенно меньше для остальных осей (различия с коэффициентами корреляции по другим осям р < 0.05). Для вертикальных движений глаз корреляция была схожей для перемещения головы по всем осям. Для самоходного шасси в этом случае модули корреляции были достаточно близки. Следует пояснить, что вертикальные движения самоходного шасси вызваны перемещениями по нелинейной траектории при старте и остановке в ходе цикла выполнения команд, при том, что датчики закреплены не в области центра тяжести системы оператор-шасси, а оси самих колес так же не проходят через указанную точку. Для команды “назад”, корреляция для осей Y" и Х' была значимо ниже, чем между другими парами осей с участием оси Y" окулографического интерфейса, чего не наблюдалось в корреляционных зависимостях с участием оси Y" и осей самоходного шасси. Здесь очевидно, что ускорения от движения шасси нивелируются движениями головы оператора, в значительной мере равномерно, в то время как сами движения головы особенно при выполнении команды “назад” мало влияют на горизонтальные движения глаз. В остальных случаях коэффициенты корреляции при анализе одной из осей окулографического интерфейса с линейным ускорением шасси демонстрировали близкие результаты. В целом можно отметить, что движения глаз в горизонтальной плоскости хорошо коррелируют с соответствующими движениями головы, что можно интерпретировать как непроизвольные движения оператора, в то же время движения, связанные с вертикальным перемещением глаза, зависят от характера выполняемой команды: для команд “вперед” и “назад” эта связь существенно ниже, чем для команд поворота, что отражает лучшее удержание положения тела ускорения вдоль сагиттальной оси.

Учитывая высокую вариабельность движения глаз, и, соответственно, особенности генерируемых ими команд управления, была осуществлена кластеризация наблюдений. С учетом разделения на кластеры было решено ограничиться двумя кластерами, так как большее, чем два, число кластеров только детализировало полученную информацию, занимая промежуточное положение.

В ходе оценки движения “вперед” выявлены следующие закономерности (рис. 7).

Рис. 7.

Команда вперед, кластеризация показаний датчиков.

В движении самоходного шасси различия между кластерами касались только осей Х (движение влево-вправо), связанные с тем, что в период с 1 по 2.5 с результаты имели низкую дисперсию. После 2.5 с высокий разброс скорости, определяемый конструктивными особенностями шасси в виде механических реле, управляющих каждым из моторов, обеспечивающих движение своего колеса, не позволял разделить кластеры. При этом наблюдались различия в движении головы, затрагивающие время, начиная со второй секунды от генерации команд. Наблюдается четкое разделение на группу с уменьшающимся ускорением головы (кластер 2) и группу, где ускорение головы носит двухфазный характер: после затухания в начале движения самоходного шасси голова оператора совершает повторные колебания с ускорением. Следует отметить, что для самого шасси и головы оси координат не являются параллельными и не соответствуют друг другу, поскольку выравнивание осей было технически невозможно по причине движения головы пользователя. При выполнении команды “вперед” высокоскоростному, двухфазному движению головы пользователя соответствуют низкоамплитудные движения глаза. Верно и обратное – однофазное низкоскоростное движение головы сопровождается высокоамплитудным движением глаз только по одной из осей. Это движение является следствием генерации команды и не связано непосредственно с рефлексами, вызываемыми ускорением при перемещении шасси.

Движение “влево” (рис. 8) продемонстрировало различия в движениях головы, связанные с динамикой перемещения самоходного шасси.

Рис. 8.

Команда влево, кластеризация показаний датчиков.

Для более медленных перемещений шасси характерны и более медленные и низкоамплитудные движения головы пользователя, при этом движение головы пользователя по оси Х, возникающие в самом начале перемещения шасси, являются по сути условным рефлексом на начало движения, призванным удержать голову в требуемом положении. Наибольший интерес представляет то, что команда на поворот вызывает статистически-значимые различия при движении глаза по обеим осям плоскости проекции зрачка. При этом различия затрагивают всю эпоху анализа, что отражает индивидуальные реакции пользователей на поворот шасси с последующей его остановкой.

При повороте “вправо” (рис. 9), в соответствии со сгенерированной командой, обращает на себя внимание, что в целом движение головы оператора симметрично по отношению к повороту “влево”.

Рис. 9.

Команда вправо, кластеризация показаний датчиков.

При этом как при повороте в противоположную строну менее быстрое движение головы сопровождается большей амплитудой движения глаза по горизонтали, но при движении по вертикали различий не наблюдается. Таким образом, движение глаза при генерации команды и поворота самоходного шасси вправо не приводит к движению глаза по вертикали, в отличие от поворота и генерации команды “влево”. Следует отметить, что если поворот налево сопровождался выделением групп реакции по оси Y, как для шасси, так и для головы, то поворот направо демонстрировал различия по оси Х для шасси, и, как и в предыдущем случае – разделение по оси Y для головы пользователя. Различия в движении шасси при поворотах связаны в первую очередь с асимметричной посадкой пользователя, в результате чего нагрузка на одно колесо была несколько больше, чем на другое.

Движение “назад” (рис. 10) не продемонстрировало значимых различий ни в ускорении, связанном с самоходным шасси, ни в аналогичных показателях движения головы пользователя.

Рис. 10.

Команда назад, кластеризация показаний датчиков.

Однако само движение глаза, генерирующего управляющие команды, показало две стратегии генерации, не различающиеся по эффективности: в первом случае, движения глаз идут вниз и влево, во втором – после калибровки движения осуществляются преимущественно вправо и вниз, причем последние движения более низкоамплитудные.

ЗАКЛЮЧЕНИЕ

В ходе работы проведено исследование динамики движения глаз, при управлении самоходным шасси, в режиме “оператор-на-борту”, приводящему к движению головы пользователя, не связанному с генерацией управляющих команд, но являющемуся ответом на движение шасси.

При выполнении команды “вперед” высокоскоростному, двухфазному движению головы пользователя соответствуют низкоамплитудные движения глаза. Верно и обратное: однофазное низкоскоростное движение головы сопровождается высокоамплитудным движением глаз только по одной из осей. Это движение является следствием генерации команды и не связано непосредственно с рефлексами, вызываемыми ускорением при движении шасси.

Движение глаза при генерации команды и поворота самоходного шасси вправо не приводит к движению глаза по вертикали, в отличие от поворота и генерации команды “влево”. Следует отметить, что если поворот налево сопровождался выделением групп реакции по оси Y, как для шасси, так и для головы, то поворот направо демонстрировал различия по оси Х для шасси, и, как и в предыдущем случае, разделение по оси Y для головы пользователя.

Полученные результаты позволяют утверждать, что генерация оптикоокулографическим интерфейсом команд “вперед” и “назад” в целом осуществляется по общему для пользователей сценарию, и не требует коррекции при управлении самоходным шасси. В то же время генерация команд на повороте является более индивидуальным процессом, что связано как с калибровкой устройства, так и с индивидуальным положением головы и глаза пользователя и, следовательно, требует более тщательного контроля при использовании окулографических интерфейсов.

Работа поддержана РФФИ (грант № 19-29-01156) мк.