Программирование, 2020, № 3, стр. 24-34

1. ВВЕДЕНИЕ

В настоящее время происходит быстрое развитие визуальных интерактивных технологий: VR (виртуальная реальность), AR (дополненная реальность), MR (смешанная реальность) [1–3]. На рынке представлено множество устройств VR, AR, MR [4–6], а над улучшением качества зрительного восприятия, включая решение проблемы восстановления параметров источников света реального мира, работают многие исследовательские группы [7–9]. Существует ряд реализованных пилотных проектов, использующих эти технологии не только в индустрии развлечений и игр. Технологии VR, AR, MR находят применение в медицине [10], в архитектуре [11], в военном деле [12] и в других областях человеческой деятельности.

Следует отметить, что технология смешанной реальности сложнее технологий виртуальной или дополненной реальностей. Если в системе виртуальной реальности человек полностью погружен в виртуальный мир и не видит окружающего пространства, а в системе дополненной реальности человек наблюдает вспомогательные элементы, такие как, например, данные навигации или информационные сообщения, то в системе смешанной реальности человек видит виртуальные объекты, внедренные в пространство реального мира. При этом человек должен воспринимать виртуальные объекты как объекты реального мира и у него не должно возникать конфликта зрительного восприятия, вызванного, например, неестественным освещением виртуальных объектов. Для того, чтобы виртуальный объект выглядел достаточно реалистично, необходимо выполнить несколько условий. Во-первых, виртуальный объект должен иметь естественные оптические свойства поверхности (отражение, пропускание, преломление, включая соответствующие текстуры). В большинстве случаев свойства поверхностей виртуальных объектов (текстур и оптических свойств) могут быть назначены вычислительной системой (на основе данных из библиотек материалов, например) или пользователем (на основе личного опыта). Поэтому корректное назначение оптических свойств не является сложной проблемой

Вторым важным условием реалистичного восприятия виртуальных объектов является физическая корректность их освещения. То есть блики, яркие и затененные области на объектах должны соответствовать условиям реального освещения, а также виртуальные объекты должны отбрасывать тени в соответствии с этими условиями освещения. С точки зрения зрительного восприятия блики на виртуальных объектах и тени, которые они отбрасывают, должны коррелировать с бликами и тенями от реальных объектов и не вызывать чувства дискомфорта при наблюдении смешанного изображения.

В данной статье авторы предлагают эффективный метод восстановления положения источников света (ИС) реального мира по двухсполовиноймерным изображениям, получаемым с помощью камер глубины, которые могут быть интегрированы в системы смешанной реальности.

2. АНАЛИЗ СУЩЕСТВУЮЩИХ РАБОТ

Ранее авторы рассматривали вопрос восстановления распределения яркости методом трех сфер, который заключался в определении координат положения источника света в пространстве сцены [13]. В статье было показано, что разработанный метод определения координат положения источника света на основе анализа HDRI может обеспечить достаточно точные результаты. Тем не менее, метод имеет ряд недостатков, таких как:

1. Метод работоспособен только при условии, что, во-первых, поверхности имеют свойства отражения, близкие к закону Ламберта, то есть идеально “матовые” или диффузно отражающие поверхности, и во-вторых, диаграмма излучения источника света близка к закону Ламберта.

2. Для локальной области изображения метод позволяет найти только один источник света.

Предлагаемый метод лишен этих недостатков. Он может работать с произвольными диффузными поверхностями (заданными ДФР), а также с несколькими источниками света.

Вопросами восстановления условий освещения реальных сцен занимаются различные группы исследователей. В работе [14] представлен метод, основанный на высококачественной оценке освещенности методами сверточной нейронной сети (СНС, англ. – CNN). Авторы обучают СНС, используя синтезированные изображения, и впоследствии применяют ее для анализа реальных изображений. Чтобы поддерживать точность и эффективность метода, результаты оценки освещенности объединяются от нескольких экземпляров СНС. Экспериментальные результаты показывают, что предлагаемый метод дает достаточно точные оценки при анализе изображений реального мира.

В работе [15] представлен метод визуализации теней с помощью освещения, полученного в ходе анализа изображений в приложениях дополненной реальности. Для аппроксимации результатов освещения и затенения окружающей среды система использует купол с разноцветными источниками света. Цвет каждой тени определяется областью окружающей среды за источником света. В результате становится возможным устанавливать непосредственное влияние изменений условий освещения на отбрасывание теней виртуальными объектами.

В статье [16] предложена концепция анализа теней в режиме реального времени для приложений дополненной реальности, использующих теневые объемы. Концепция была реализована в прототипе “shadowAReality” с положительными результатами. Тени значительно улучшают реальную сцену и предлагают пользователю более интуитивный и реалистичный мир. Как представлено в статье [17], алгоритм анализа теневого объема может быть улучшен за счет использования порталов, окклюзии и методов отбора усеченного вида, позволяющих избежать рендеринга ненужных теневых объемов. Кроме того, возможно улучшение алгоритма теневого объема с использованием языка затенения nVIDIA Cg [18, 19].

Авторы работы [20] представляют метод восстановления освещения и свойств поверхности по случайно отсканированной геометрии. Это означает быструю и потенциально “шумную” процедуру сканирования немодифицированных и неструктурированных сцен с помощью стандартного датчика RGB-D. В отличие от процедур восстановления светотехнических характеристик объектов, требующих тщательной подготовки в лабораторных условиях, этот метод работает с данными, которые могут быть получены пользователями в полевых условиях. Чтобы обеспечить надежную процедуру восстановления, авторы сегментировали полученную геометрию на поверхности с однородными свойствами материала и рассчитали перенос излучения на этих сегментах. С такими входными данными авторы решили обратную задачу рендеринга – факторизацию освещения и свойств материала, используя итеративную оптимизацию в форме сферических гармоник. Это позволяет учитывать самозатенение и восстанавливать зеркальные свойства объектов. Полученные данные можно использовать для генерации широкого спектра приложений смешанной реальности, включая рендеринг синтетических объектов с соответствующим освещением в заданной сцене, а также синтез изображения сцены (или ее части) с новым освещением. Была продемонстрирована надежность данного подхода на реальных и синтезированных примерах в различных условиях освещения и проведено сравнение с исходными данными.

Для восстановления параметров естественного и искусственного освещения по HDRI изображениям существует ряд работ [21–23], которые позволяют найти и выделить яркие источники света, создающие блики и тени. Однако для гарнитур смешанной реальности при нахождении параметров естественного освещения (положение солнца) более естественный подход должен основываться на анализе параметров датчиков, определяющих ориентацию гарнитуры в пространстве, дате и времени, привязывая эти параметры к параметрам модели неба и, соответственно, положению солнца на небе.

В работе [24] предлагается метод восстановления контуров теней с помощью ROI (Region of interest) и анализа прилегающих пикселей объекта на изменение контрастности. Метод достаточно простой и надежный, но для простых объектов и теней. В отличие от данного метода сверточные сети позволяют определять сложные тени по всему изображению, а не только в интересующей области.

Рассмотренные работы предлагают эффективные подходы для восстановления распределения освещения в системах смешанной реальности, что в ряде случаев позволяет получить удовлетворительные результаты. С другой стороны, рассмотренные подходы хорошо работают, когда в сцене присутствует только один источник света (солнце или искусственный источник света) или источники света находятся на значительном расстоянии (практической бесконечности). В реальном мире присутствует множество источников света. Поэтому авторами предложен новый подход, который может восстановить параметры освещения в сложных сценах с несколькими источниками света.

3. МЕТОД

В настоящей работе предложен метод, который заключается в определении источников освещения сцены по RGBD-изображению сцены. Данное RGBD-изображение позволяет получить координаты точек теней и объектов сцены, создающих эти тени. Метод основывается на формировании и анализе пучков лучей, соединяющих координаты объекта и тени. Основное положение, на котором базируется данный метод, заключается в том, что для каждой точки на границе тени существует точка на объекте, которая соединит его с источником света. Поэтому, в области максимальной концентрации “пересечений” лучей, идущих от точек, находящихся на границах теней, на точки, находящиеся на границах объектов, будет находиться источник света. Кроме того, по размеру области концентрации лучей можно оценить размер источника света. Данный метод позволяет работать как со сценами, в которых источник света может отсутствовать в поле зрения, так и со сценами, содержащими большое количество источников света, включая неточечные источники света. Естественно, предложенный метод может обнаружить только те источники света, которые отбрасывают различимые тени.

Следует отметить, что предложенный метод работает не с 3D моделями сцены, а с изображениями и картами глубин, которые могут быть получены с использованием специальных устройств, например, 3D сканеров или лидаров, которые могут определить расстояние до любой точки изображения и формируют эту информацию значительно быстрее, чем создание полной 3D модели.

На рисунке 1 наглядно представлено изображение метода восстановления координат источников света по координатам объектов и их теней.

Рис. 1.

Метод восстановления координат источников света по теням от объектов.

Алгоритм предлагаемого метода восстановления координат источников света представлен на рисунке 2 и состоит из следующих этапов:

Рис. 2.

Алгоритм метода восстановления координат источников света.

1. Получение входных данных от устройства MR: карта глубины и соответствующее изображение видимой области сцены.

2. С помощью сверточной нейронной сети определение всех теневых участков изображения и нахождение их границ.

3. Используя пространственный фильтр и алгоритм фильтрации Canny в ROI, определение объектов, отбрасывающих тени, и выделение их разными цветами. Нахождение границ объектов.

4. Сохранение координат точек границ объектов и теней.

5. Формирование пучков лучей. Пучки лучей испускаются через координаты точек границы тени на точки на границе объектов. Точки на границе тени выбираются с шагом 5 пикселей и из каждой точки на границе тени с шагом 5 пикселей обстреливается граница объекта.

6. Поиск области “пересечения” лучей (каустики лучей) от различных точек на границе тени. Считается, что источник может находиться там, где есть “пересечение” как минимум трех лучей.

Реализация данного метода графически проиллюстрирована на рисунке 3, где одним цветом выделены лучи, проходящие через одну точку на границе объекта от различных точек на границе тени, а точкой выделены координаты с наибольшей плотностью каустики, то есть наиболее вероятным положением источника света.

Рис. 3.

Иллюстрация метода восстановления координат источников света.

Для восстановления координат точек объекта используется подход ROI (Region of Interest) относительно изображения тени. Если предположить, что объект соприкасается с тенью (это характерно для большинства объектов и их теней), то алгоритм обрабатывает эти участки (ROI) с помощью фильтра “Canny” и вычитает уже известные координаты теней, тем самым оставляя только координаты объекта. В фильтр “Canny” так же входит сглаживание по Гауссу для поиска градиентов и устранения шума.

Использование данного подхода позволяет отделить области тени от самого объекта, а использование функций библиотеки “NumPy” дает возможность получить координаты всех ненулевых пикселей отдельно для тени и для объекта.

4. РЕАЛИЗАЦИЯ

В основе предлагаемого метода лежит полносверточная нейронная сеть, позволяющая на исходном изображении сцены выделить тени и объекты, их формирующие, а также алгоритмы восстановления источников света по двухсполовиноймерным изображениям объектов и их теней. В качестве тренировочного набора данных был использован набор данных “SBU_Shadow” [25], который состоит из оригинальных изображений и их масок, где белым цветом выделена тень, а черным – незатененные участки.

В качестве архитектуры полносверточной сети было решено взять архитектуру U-Net, поскольку она наиболее хорошо подходит для работы с бинарной классификацией.

Архитектура состоит из 4 блоков “downsample” слоев для обучения классификации, 4 блоков “upsample” слоев, для получения на выходе массива той же размерности, что и на входе, а также “bottleneck” блоков со значением карты признаков 256 для более глубокого обучения сети.

Архитектура U-NET представлена на рисунке 4.

Рис. 4.

U-Net архитектура нейронной сети.

Пример пары изображений данного набора представлен на рисунке 5.

Рис. 5.

Пример пары изображений данных, используемых для обучения нейронной сети.

Тренировочный набор данных состоит из 4085 пар изображений, а тестовый из 638. Для схождения нейронной сети потребовалось всего 6 эпох, что заняло на GeForce 1080Ti порядка 3 минуты. Скорость работы уже обученной нейронной сети составляет 28 мс.

В качестве функций активации слоев использовалась функция sigmoid, поскольку по своей природе она нелинейна, а комбинация таких функций производит также нелинейную функцию. Еще одно достоинство функции sigmoid это то, что она гладкая, и в отличие от ступенчатой функции она позволяет сделать активацию аналоговой. Для сигмоиды также характерен гладкий градиент. Сигмоида выглядит подходящей функцией для задач классификации. Она стремится привести значения к одной из сторон кривой (например, к верхнему при х = 1 или нижнему при х = –1 пределу). Такое поведение позволяет находить четкие границы при предсказании. Из недостатков же стоит отметить то, что при приближении к концам сигмоиды значения Y имеют тенденцию слабо реагировать на изменения в X. Это означает, что градиент в таких областях принимает маленькие значения. А это, в свою очередь, приводит к проблемам с градиентом исчезновения.

На рисунке 6 изображена история обучения нейронной сети в виде графика, где по горизонтали отображены эпохи, а по вертикали – уменьшение потерь. Данный график построен для обучающихся данных (loss) и для проверочных (val_loss). Задача нейронной сети максимально снизить ошибку целевой функции, чего она и достигает на 5 эпохе со значениями loss: 0.2093 и val_loss: 0.2179. В качестве функции ошибки в данной работе использовалась 'binary_crossentropy', а в качестве оптимизатора (функция обновления весов) – RMSprop со значениями lr=1e-4, decay=1e-6.

Рис. 6.

История обучения нейронной сети.

Точность классификации на проверочных данных составила 92 процента, а на тестовых – 94 процента, используя IoU (intersection over union) метрику. Как можно увидеть на рисунке 7, результаты работы нейронной сети очень близки к эталонным. Левые изображения на рисунке 7 – оригинальные изображения, которые подаются на вход нейронной сети, правые – эталонные или “ground truth”, а посередине – результат предсказания нейронной сети.

Рис. 7.

Результаты работы нейронной сети.

После того, как определили участки с тенью на изображении, берется ROI этой области и применяется оператор Canny. Зная координаты области с тенью, убираются все внутренние и наружные пиксели и остаются только области с контурами самого объекта.

Результат работы оператора “Canny” представлен на рисунке 8.

Рис. 8.

Результат работы оператора Canny для выделения контуров.

Зная координаты объекта и тени, испускаются пучки лучей, соединяющие точки на контуре тени с точками на контуре объекта. Данный алгоритм детально описан в предыдущей главе. Функция, хранящая координаты всех испущенных лучей, реализована в виде numpy-массива. Библиотека numpy выбрана из-за удобства и эффективности работы с данными. Затем для групп лучей, выпущенных с разных точек на границе тени, находятся области каустик, соответствующие максимальной близости лучей. Эти области являются источниками света, освещающего сцену.

Данный метод позволяет определить источники освещения в заданной системе координат. В простейшем случае система координат формируется относительно текущего изображения, т.е. одна из осей ориентирована по направлению на центр изображения, а две другие – по осям экрана. Использование данного метода с 3D сканером или гарнитурой смешанной реальности, позиционирующей свое положение в пространстве, позволит определить координаты источников света в пространстве сцены.

На рисунке 9 показан пример работы данного алгоритма на примере пяти реальных изображений. Слева направо приведены исходные изображения и промежуточные результаты работы алгоритмов по определению координат объектов и их теней на изображении. На рисунке представлены: оригинальные изображения, изображения, полученные с помощью фильтра Canny, изображения с тенями и изображения с объектами. Имея данные изображения, можно определить координаты на объектах и тенях изображений, затем построить лучи с границ теней на границы объектов и определить источники света. Сцены пронумерованы по порядку, от первой сверху до пятой внизу рисунка.

Рис. 9.

Пример работы алгоритмов по определению координат границ объектов и теней.

На рисунке 10 визуализирован результат работы алгоритма по определению координат источников света с помощью анализа трасс лучей.

Рис. 10.

Результат работы алгоритма по определению источников освещения (1–5 сцена слева направо).

Более подробно результат работы алгоритма для третьей сцены представлен на рисунке 11. Слева приведено оригинальное изображение, а справа результат работы с выделенной областью пересечения лучей. Абсолютная погрешность относительно источника освещения составляет 0.109 метра (или 37 пикселей экрана), относительная погрешность – 13.9%, угловая погрешность ориентации источника света относительно центра освещаемого объекта сцены – 0.0606 радиана.

Рис. 11.

Область пересечения лучей сцены относительно исходного источника света.

В таблице 1 представлены результаты восстановления координат источников света для пяти сцен, приведенных выше. Погрешности восстановления координат источника света приводятся в абсолютном виде как отклонение центра исходного источника от центра восстановленного источника света (в пространстве реальной сцены – в метрах и в пространстве экрана – в пикселях) и как отклонение между направлениями от центра объекта на исходный источник света и от центра объекта на восстановленный источник света – в радианах. Кроме того, приводится относительная ошибка восстановления источника света как разность между положениями центров исходного и восстановленного источников света, приведенная к расстоянию от центра объекта до исходного источника света – в процентах.

Размеры оригинальных изображений сцен составляют 622 × 415 пикселей. Размеры ROI участков изображения – 224 × 224 пикселя, что дает возможность запустить их на вход нейронной сети и классифицировать теневые области.

Все операции были выполнены на компьютере с процессором Ryzen7-1700 и видеокартой GTX 1080Ti. Время распознавания тени на изображении составило 32 ms, распознавание объекта – 25 ms и поиск координат положения центра источника света методом поиска области “пересечения” лучей – 875 ms.

В данной работе использовался язык программирования Python и библиотеки OpenCV, Keras, Numpy и Scikit-learn.

5. ЗАКЛЮЧЕНИЕ

В данной работе показано, что разработанный метод подходит для работы с системами дополненной реальности и позволяет решить задачу восстановления координат центров источников света в системе координат сцены. В работе использовалась сверточная нейронная сеть с архитектурой U-Net, после обучения которой точность классификации составила 94 процента. Архитектура данной сети подходит для бинарной классификации данных и может распознавать сложные тени на изображениях. Скорость работы нейронной сети позволяет использовать данное решение в системах реального времени, а скорость восстановления параметров источника света лучевым методом, после его реализации на GPU, также позволит использовать предложенный подход в системах реального времени. Точность восстановления координат центров источников света в большинстве случаев была достаточной для формирования естественного визуального восприятия освещения виртуальных объектов источниками света реального мира. В дальнейшем планируется повысить точность восстановления координат источников света, особенно в случаях сложного освещения, и реализовать возможность оценки размера и формы протяженного источника света.