Программирование, 2019, № 4, стр. 9-18

1. ВВЕДЕНИЕ

Устройства виртуальной, дополненной и смешанной реальностей нашли широкое применение в различных областях человеческой жизни. Например, они используются в виде нашлемных индикаторов и очков виртуальной, дополненной и смешанной реальностей, в виде индикаторов на лобовом стекле в автомобильной и авиаиндустрии, в системах тренажеров. При создании тренажеров они используются для создания интуитивно-понятных интерфейсов взаимодействия виртуального и реального миров.

Высококачественная оптика, реализм изображения виртуального мира и высокое разрешение ЖК экранов являются только необходимым условием для представления естественного восприятия виртуального мира. Достаточным условием естественного восприятия виртуального изображения является отсутствие дискомфорта зрительного восприятия виртуального мира, вызванного, например, рассогласованностью вергенции и аккомодации зрения наблюдателя или некорректным освещением объектов виртуального мира. Данная проблема особенно остро встает в стереоскопических системах видео 360 [1, 2] и непрозрачных системах смешанной реальности, формирующих изображение реального мира с помощью стереоскопических систем. Например, при съемке видео 360 каждая часть изображения снимается парой сонаправленных камер, расположенных друг относительно друга на среднем межцентровом расстоянии глаз человека. Данная схема соответствует наблюдению бесконечно удаленного объекта. При просмотре такого видео пользователь может комфортно наблюдать объекты, расположенные на удаленном расстоянии, однако при попытке рассмотреть объекты вблизи, изображение начинает двоиться, так как ожидаемой дистанцией наблюдения является бесконечность. Данная проблема не может быть полностью устранена и единственным решением на настоящий момент является рекомендация избегать съемки объектов, расположенных близко к наблюдателю.

В системах виртуальной и смешанной реальностей данная проблема может быть частично решена за счет отслеживания положения зрачка пользователя. Когда направление взгляда изменяется, необходимо создать новые изображения для левого и правого глаза, соответствующие новому направлению взгляда. Однако правильная ориентация виртуальных камер, соответствующих вергенции глаз, не является достаточным условием для естественного восприятия виртуального мира. Необходимо также обеспечить соответствие аккомодации и вергенции зрения [3–5], поскольку при конвергенции человеческих глаз на наблюдаемом объекте одновременно происходит фокусировка (аккомодация) глаз на этом объекте. В результате наблюдаемый объект виден четко, а объекты, которые находятся ближе или дальше, размыто. Эффект размытия зависит от расстояния до объекта и от размера зрачка. Если это условие нарушено, то возникает дискомфорт зрительного восприятия, причины которого демонстрируются на левой части рисунка 1. Средствами компьютерной графики данный дискомфорт не может быть удален, поэтому одновременно с синтезом изображения, “размытого” в соответствии с аккомодацией глаз, необходимо осуществить дополнительную фокусировку окуляра системы виртуальной и смешанной реальности на точку конвергенции. Правая часть рисунка 1 иллюстрирует метод устранения дискомфорта, вызванного рассогласованием вергенции и аккомодации зрения.

В настоящее время существует несколько методов для решения проблемы согласования аккомодации и вергенции зрения [4, 6]. В основном они базируются или на синтезе правильно-размытого изображения, визуализируемого через окуляр с переменным фокусным расстоянием, адаптирующимся к расстоянию до наблюдаемого объекта сцены, или на преобразовании плоского изображения ЖК экрана в псевдотрехмерное, соответствующее глубинам сцены.

Вторая и не менее важная причина возникновения дискомфорта зрительного восприятия в системах виртуальной и смешанной реальностей заключается в несоответствии условий освещения объектов виртуального и реального миров, поскольку неправильно освещенный объект может ввести наблюдателя в заблуждение, например, из-за отсутствия теней, ориентированных естественным образом. В данной ситуации возникает дискомфорт между тем, что человек видит, и тем, что человеческий мозг ожидает увидеть при данных условиях освещения, например, возможность увидеть отражение виртуального объекта в реальном зеркале, подсветку и блики на виртуальном объекте, соответствующие условиям освещения, и т.п.

Существует два основных вида освещения: естественное (солнце и небо) и искусственное. Решение задачи определения параметров источников света имеет свою специфику для каждого из типов освещения. Для определения параметров естественного освещения достаточно ограничиться определением ряда внешних параметров, таких как географические координаты, время дня, ориентация устройства в пространстве и погодные условия, по которым можно восстановить положение солнца на небе и световые характеристики солнца и неба. Для источников искусственного освещения задача восстановления их параметров намного сложнее. Во-первых, надо найти положение источников света и классифицировать их и, во-вторых, определить их световые характеристики. Предполагая, что геометрия сцены известна, например, восстановлена портативным 3D-сканером, входящим в комплект устройства дополненной реальности, и имеется калиброванное (в значения абсолютной яркости) изображение видимого участка сцены, положение источников света может быть с определенной степенью точности восстановлено с использованием сверточных нейронных сетей.

Сверточные нейронные сети являются мощным инструментом для распознавания объектов на изображении. Впервые сверточная нейронная сеть была представлена Алексом Крижевски [7] на соревнованиях по распознаванию изображений ImageNet в 2012 году, где с огромным отрывом опередила своих конкурентов. В дальнейшем, сверточная нейронная сеть уже использовалась повсеместно в задачах анализа и обработки изображений. Меняя архитектуру сети, можно добиться хороших результатов по распознаванию источников света и определению их координат, привязывая области изображения с источниками света к трехмерным координатам сцены, полученным с помощью 3D-сканера.

2. МОДЕЛЬ ВИРТУАЛЬНОГО ПРОТОТИПА ДЛЯ ОЦЕНКИ ДИСКОМФОРТА ЗРИТЕЛЬНОГО ВОСПРИЯТИЯ

Одной из целей данной работы была разработка быстрого и точного метода прототипирования различных подходов, нацеленных на избавление от эффектов дискомфорта зрительного восприятия в системах виртуальной, дополненной или смешанной реальностей, вызванного некорректными условиями освещения виртуальной сцены или конфликтом вергенции и аккомодации зрения. Каждая из систем отображения виртуальной реальности имеет свои особенности, которые должны быть учтены при решении задач снижения дискомфорта зрительного восприятия. В случае виртуальной реальности, весь видимый пользователем мир виртуален, и он видит только объекты, созданные системой отображения. Следовательно, если система снабжена устройством отслеживания положения глаз, то можно синтезировать изображение, корректно учитывающее все эффекты, в том числе и то, как решается проблема конфликта вергенции и аккомодации зрения оптической системой. В случае смешанной реальности проблема становится сложнее, так как в ней существует два мира: реальный и виртуальный. Система синтеза изображений имеет полную информацию о виртуальном мире, но при этом только частичную о реальном, например, оптические свойства реальной сцены и условия ее освещения могут быть определены некорректно, что может привести к дискомфорту, вызванному неестественным освещением объектов виртуального мира в реальной среде. Системы дополненной реальности являются частным случаем систем смешанной реальности. Более того, в большинстве случаев они не являются стереоскопическими и проблемы дискомфорта в большинстве случаев относятся к эргономике отображения виртуальной информации.

Учитывая проблемы и сложность прототипирования систем виртуальной, дополненной и смешанной реальностей, авторы предлагают специально разработанную для данной цели систему виртуального прототипирования. Система состоит из девяти основных компонент, а именно:

• виртуальный прототип глаза (как изображение формируется на сетчатке глаза);

• виртуальный прототип оптической системы, проецирующей изображение с жидкокристаллического (ЖК) экрана на зрачок глаза;

• виртуальный прототип реального мира (актуально только для систем дополненной и смешанной реальностей), соответствующий изображению наблюдаемого реального мира, формируемый на сетчатке глаза;

• виртуальный прототип оптической системы между пользователем и реальным миром (актуально только для систем дополненной и смешанной реальностей, например, очки дополненной реальности);

• виртуальный прототип виртуального мира, соответствующий изображению виртуального мира, формируемого на сетчатке пользователя, если бы он наблюдал его как реальный;

• виртуальный прототип системы синтеза изображений, отображаемых на ЖК-экране. В результате решаемая задача сводится к созданию виртуального устройства виртуальной, дополненной или смешанной реальности, состоящего из перечисленных выше компонент;

• синтез реального (ожидаемого) изображения сцены (реального или виртуального мира), формируемого на сетчатке глаза (данное изображение не будет иметь конфликта вергенции и аккомодации зрения и других конфликтов визуального восприятия);

• синтез изображения, отображаемого на ЖК-экранах системы виртуальной, дополненной или смешанной реальности при тех же условиях наблюдения, и проецирование его через оптическую систему на сетчатку глаза;

• сравнение полученных изображений (первое изображение будет свободно от конфликтов зрительного восприятия, включая конфликт вергенции и аккомодации зрения и конфликт, вызванный некорректным освещением объектов виртуального мира, тогда как второе изображение будет тем, которое пользователь реально увидит через проектируемую систему).

В данной статье приведены результаты виртуального прототипирования системы виртуальной реальности как подверженной конфликту вергенции и аккомодации зрения, так и избавленной от нее. Был проведен анализ источника возникновения конфликта и предложен метод его устранения за счет использования проекционной системы с переменным фокусным расстоянием. Таким образом, изображения для левого и правого глаз строятся в соответствии с конвергенцией глаз пользователя и фокусное расстояние оптической системы адаптируется к той же конвергенции, полностью исключая конфликт. Кроме того, в данной работе была проведена классификация источников освещения реальной сцены с помощью технологии сверточных нейронных сетей, позволяющая детектировать и определить основные параметры источников света в сцене. Данное решение должно позволить устранить конфликт зрительного восприятия, вызванный некорректным освещением виртуальных объектов в реальном мире.

3. СИНТЕЗ ИЗОБРАЖЕНИЯ

Изображение, отображаемое на ЖК-экранах систем виртуальной, дополненной или смешанной реальности, должно быть согласовано, во-первых, с оптической системой проецирования изображения на зрачок глаза и, во-вторых, с условиями наблюдения, то есть вергенцией и аккомодацией глаз на наблюдаемый объект. Естественно, оптическая система проецирования изображения не может быть безаберрационной по причине наложенных на нее жестких ограничений, таких как широкое поле зрения и большая область выходного зрачка, по которой перемещается зрачок глаза. Однако, размер зрачка глаза существенно меньше, чем размер зрачка системы, что значительно уменьшает зрачковые аберрации системы окуляр-глаз, оставляя одну дисторсию изображения. Современные системы синтеза изображений могут учитывать дисторсию, и, соответственно, строить изображение с обратной дисторсией, делая данный эффект невидимым пользователю. Остается проблема несоответствия между вергенцией и аккомодацией глаз.

Специальные системы отслеживания положения зрачков глаз, встроенные в системы виртуальной и смешанной реальностей, могут определить направление взгляда пользователя и на основе этой информации вычислить точку сцены, на которую направлен взгляд. Поэтому не вызывает никаких проблем синтезировать изображения для левого и правого глаз, используя направления взгляда. Однако остается проблема аккомодации. Когда глаз фокусируется на каком-либо объекте, то другие объекты, находящиеся вне плоскости фокусировки, размываются. Данный эффект корректной фокусировки (и дефокусировки) может быть достигнут двумя методами.

Первый – это преобразование плоского изображения, формируемого на ЖК-экране в псевдотрехмерное. В зависимости от расстояний до объектов, соответствующих точкам экрана, пространственный модулятор света может задать фазовое запаздывание отделенных пикселей ЖК-матрицы, тем самым преобразуя 2-мерное изображение в 2.5-мерное [6]. От системы синтеза изображений данный подход требует только вычисления карты глубин, что не является технической проблемой.

Другой метод – это синтез 2-мерного изображения с дефокусировкой, соответствующей естественному восприятию глаза. В данном случае дефокусировка будет основной среди всех возможных зрачковых аберраций глаза. В случае дефокусировки функцией рассеивания точки будет цилиндр, чей радиус зависит от фокусного расстояния оптической системы, размера зрачка и смещения от плоскости фокусировки. Учитывая, что фокусное расстояние и размер зрачка постоянны для всей сцены, радиус функции рассеивания точки будет зависеть только от смещения объекта от плоскости фокусировки. Таким образом, синтезировав изображение, сформированное “идеальной” камерой, имеющей бесконечно малый зрачок, с корректной картой глубин сцены, достаточно отфильтровать полученное изображение цилиндрической функцией, чей радиус в каждой точке есть глубина сцены в данной точке. Необходимо помнить, что карта глубин должна быть сформирована до диффузных, а не до первых видимых объектов сцены. Например, если диффузный объект отражен в зеркале, то дефокусировка должна быть применена к этому объекту, а не к зеркалу. Кроме того, метод фильтрации может вызывать неестественное размытие границ объектов, поскольку данная модель не учитывает реальный размер глаза наблюдателя. Как правило, влияние этого эффекта пренебрежимо мало, поскольку размер зрачка глаза мал и может быть заметен только для объектов, находящихся в непосредственной близости от наблюдателя.

Рис. 1.

Эффект конфликта вергенции и аккомодации зрения и метод его устранения.

В рамках исследования причин дискомфорта зрительного восприятия был проведен, во-первых, анализ возможности определения параметров источников света реальной сцены для создания естественных условий освещения в системах дополненной и смешанной реальностей и, во-вторых, анализ и оценка возможного несоответствия между аккомодацией и вергенцией в системах виртуальной, дополненной и смешанной реальностей. По этой причине для синтеза изображений были использованы методы синтеза физически корректных изображений, отличные от тех, которые используются в системах виртуальной реальности. Эти методы, реализованные в программном продукте Lumicept [8], основаны на физически корректном расчете переноса светового излучения. Они позволяют синтезировать как реалистичные изображения сцены, видимые левым и правым глазами, так и то, что пользователь увидит при использовании различных устройств виртуальной, дополненной или смешанной реальности [9]. Сравнивая полученные изображения, можно оценить возможный дискомфорт визуального восприятия.

4. РЕЗУЛЬТАТЫ МОДЕЛИРОВАНИЯ КОНФЛИКТА ВЕРГЕНЦИИ И АККОМОДАЦИИ ЗРИТЕЛЬНОГО ВОСПРИЯТИЯ

Для анализа возможного дискомфорта использования системы виртуальной реальности, вызванного несоответствием вергенции и аккомодации зрения, была создана сцена виртуального мира, представленная на рисунке 2. Сцена была построена таким образом, что пользователь видит серию находящихся на полу объектов, расположенных на различном расстоянии и попадающих в десятиградусное поле зрения. Расстояние до ближайшего объекта 0.5 метра, а до наиболее удаленного 32 метра. В результате возможное несоответствие между вергенцией и аккомодацией будет значительно, что может вызвать существенный дискомфорт у наблюдателя.

Рис. 2.

Сцена виртуального мира.

При синтезе виртуального изображения было использовано две модели наблюдения сцены. Первая – это модель зрения человека. Изображение, видимое каждым глазом по отдельности, синтезировалось с учетом вергенции и аккомодации глаза. Для построения изображения, формируемого на сетчатке глаза, была использована система фотореалистичной визуализации [2, 8]. Во второй модели строилось изображение, видимое каждым глазом по отдельности, но через систему виртуальной реальности, отображающую ту же самую сцену. На рисунке 3 представлены две модели устройств виртуальной реальности (схемы приведены для одного глаза), рассмотренные в рамках данного исследования:

Рис. 3.

Модели систем виртуальной реальности.

• Первая модель представляет собой идеальную линзу, строящую безаберрационное изображение. Данная модель использовалась как эталон при проектировании более сложных систем. В описываемой модели ЖК матрица и линза смещаются в зависимости от точки наблюдения, тем самым изменяя расстояние фокусировки.

• Вторая модель представляет собой специально спроектированный окуляр системы виртуальной реальности. Он предоставляет высокое качество изображения в поле зрения 10° и может считаться безаберрационным.

На рисунке 4 представлены результаты синтеза видимого изображения для левого и правого глаза при условии естественного наблюдения пользователем данной сцены. В верхней части показано изображение, смоделированное для поля зрения 40°, а в нижней – для центральной области поля зрения 10°. Глаза при этом аккомодировались и конвергировались на расстояние в 565 мм. Хорошо видно, что в точке фокусировки картинка четкая, тогда как вне фокуса она размыта.

Рис. 4.

Реальное наблюдение виртуальной сцены.

На рисунке 5 представлены результаты синтеза изображения сцены, наблюдаемого через систему виртуальной реальности, отслеживающей положение зрачка и, соответственно, строящей изображения для левого глаза с учетом конвергенции зрения. На данных изображениях хорошо прослеживается возникновение эффекта рассогласования вергенции и аккомодации глаз. В обоих представленных на рисунке случаях система рендеринга создает изображение с помощью модели камеры-обскуры. Также в обоих случаях положение ЖК-дисплея, размещенного в фокусе окуляра, не изменяется. В первом случае глаза наблюдателя аккомодировались к бесконечности. В результате все объекты в фокусе, что очевидно приводит к рассогласованию вергенции-аккомодации. Во втором случае глаза наблюдателя аккомодировались к конечному расстоянию наблюдения, равному 565 мм, что приводит к расфокусировке изображения по причине неподвижности ЖК-дисплея. Таким образом, в обоих приведенных случаях мы наблюдаем рассогласование вергенции-аккомодации.

Рис. 5.

Моделирование изображений виртуальной сцены, наблюдаемой левым глазом через оптическую систему виртуальной реальности. ЖК-экран расположен в фокусе окуляра. Слева: глаз сфокусирован на бесконечность. Справа: глаз сфокусирован на конечное расстояние 565 мм.

Для исключения рассогласования вергенции и аккомодации требуется строить изображения для естественного значения аккомодации (в данном случае 565 мм) одновременно с изменением параметров оптической системы формирования изображения (фокусного расстояния оптической системы и расстояния до ЖК-экрана). На рисунке 6 представлен результат синтеза изображения сцены, наблюдаемый в системе виртуальной реальности при условии, что изображение, сформированное на ЖК-экране, фокусное расстояние оптической системы и расстояние до ЖК-экрана выставлены для соблюдения условий естественного восприятия. Видно, что эффект конфликта вергенции и аккомодации зрения отсутствует.

Рис. 6.

Наблюдение виртуальной сцены левым глазом через систему виртуальной реальности. Фокусное расстояние оптический системы и расстояние до ЖК-экрана скорректированы. Глаз сфокусирован на расстоянии в 565 мм.

5. КЛАССИФИКАЦИЯ ОСВЕЩЕНИЯ

Проблема корректного определения источников света в системах смешанной реальности заключается в дискомфорте восприятия синтезированных изображений виртуальной реальности в реальном мире. Человеческий мозг находит несоответствие с тем, что он видит, и тем, что он ожидает увидеть. Например, некорректно воспринимаются тени от объектов: они излишне контрастны (без полутонов) или имеют неверную ориентацию. В работе [10] предложен метод вставки синтезированных изображений в уже существующие фотографии путем не только анализа освещения, но и геометрии помещения. Как известно, освещение бывает двух видов: естественное и искусственное. Искусственное освещение, в свою очередь, можно классифицировать по его расположению в сцене, например, боковое, потолочное, напольное и комбинированное. Каждый вид освещения имеет специфические параметры, такие как угол, диаграмма и интенсивность освещения, что является ключевым моментом для согласования условий затенения сцены объектами виртуального и реального миров и формирования естественного распределения яркости на синтезированных объектах сцены. Поэтому корректное определение освещения является одной из важнейших задач при проектировании систем смешанной реальности.

5.2. Архитектура CNN и обучение

В качестве архитектуры сверточной нейронной сети в данном исследовании была использована архитектура VGG 16 NET, которая успешно использовалась в работах [16, 17], состоящая из трех слоев свертки размерности 3 × 3 и размером ядер подвыборки 2 × 2.

Так как обучение происходит “с учителем”, то необходимо сформировать обучающий набор изображений для каждого вида освещения. В данном случае нейронная сеть обучалась определять два вида освещения – потолочное (ceiling) и боковое (wall). Всего набор данных состоит из 1560 изображений каждого класса размерности 200 × 300 пикселей, из которых 15% выделены на тестовый набор изображений и 15% на проверочный набор. Итого, каждый класс состоит из 1092 тренировочных изображений и по 234 тестовых и проверочных. Структура каталогов представлена на рисунке 7, где “train” – набор данных для тренировки, “validation” – для проверки и “test”, соответственно, набор данных для тестирования. При составлении набора данных, изображения были зеркально отражены и немного наклонены в разные стороны, что необходимо для увеличения размерности набора данных и выработки инвариантности к наклону.

Рис. 7.

Структура каталогов наборов данных.

Ряд изображений из тренировочного набора данных представлен на рисунке 8.

Рис. 8.

Набор тренировочных изображений.

Обучение нейронной сети происходило при помощи библиотеки машинного обучения “keras”, в качестве бэкенда использовался “tensorflow”. При обучении использовался метод “model.fit_generator”, которому передавалось на вход два параметра: “train_generator” – набор данных с изображениями для обучения и “val_generator” – набор данных для проверки. Обучение выполнялось в течение тридцати эпох. На рисунке 9 представлена история обучения, где “acc” – точность на обучающем наборе данных, а “val_acc” – точность на проверочном наборе данных.

Рис. 9.

История обучения нейронной сети.

Как видно из графика, составленного по значениям точности обучения после каждой итерации (эпохи), точность работы сети на тестовых данных равняется 96.43%. Об этом также говорит функция model.evaluate_generator, представленная на рисунке 10.

Рис. 10.

Функция оценки точности работы нейронной сети.

Для проверки работоспособности нейронной сети после окончания процесса обучения на обработку запускается изображение, которое не участвовало ни в обучении, ни в тестировании. На рисунке 11 представлен процесс подачи изображения на вход нейронной сети, а на рисунке 12 его классификация к классу wall (боковое).

Рис. 11.

Подача изображения на вход нейронной сети.

Рис. 12.

Классификация изображения к классу wall.

6. ЗАКЛЮЧЕНИЕ

В работе был представлен метод использования виртуального прототипирования для проектирования систем виртуальной, дополненной и смешанной реальностей. Данный метод позволяет выявить и оценить конфликт визуального восприятия изображения виртуального мира, вызванный рассогласованием вергенции и аккомодации и некорректными условиями освещения объектов виртуального мира реальными источниками света. Кроме того, были предложены решения по созданию устройств, не подверженных данным конфликтам. Дальнейшие исследования будут направлены на разработку методов количественного анализа дискомфорта зрительного восприятия, включая количественную оценку конфликта вергенции и аккомодации в системах виртуальной, дополненной и смешанной реальностей. Также был рассмотрен подход к классификации видов освещения с помощью сверточных нейронных сетей, который может использоваться для определения типа освещения с дальнейшей его обработкой, включая возможность восстановления параметров источников света и оптических характеристик объектов сцены.