Известия РАН. Теория и системы управления, 2023, № 3, стр. 90-105

Введение. Задача трехмерной реконструкции исследуется в научном сообществе уже более 20 лет. Трехмерные модели могут использовать, например, для симуляции распространения шума, света и электромагнитных волн, что может быть очень полезно при создании планов застройки и планирования расположения объектов телекоммуникационной инфраструктуры [1]. Рост интереса к данной проблеме в последние годы вызван бурным развитием вычислительной техники и алгоритмов глубокого обучения, позволившим создавать намного более робастные алгоритмы, что в свою очередь привело к значительному улучшению качества таких алгоритмов и повышению уровня автоматизации решения данной проблемы. Тем не менее, задача построения устойчиво работающего алгоритма трехмерной реконструкции по одному оптическому изображению с приемлемым уровнем детализации все еще остается нерешенной.

3D-реконструкция объектов по данным дистанционного зондирования Земли (ДЗЗ) заключается в обнаружении объектов и определении их трехмерных свойств, таких как высота и форма. Как правило, результат работы конечного алгоритма представляет собой набор векторных моделей. Для описания точности получаемых моделей обычно используют уровни детализации LoD (level of details) [2], из которых стоит отметить LoD1 и LoD2. В зависимости от конкретного метода уровень детализации может немного различаться, но обычно под уровнем LoD1 понимают призматическую модель здания (восстанавливается форма основания и высота), в то время как модель LoD2 дополнительно содержит информацию о форме крыши (без формообразующих элементов, таких, как вентиляционные трубы, слуховые окна и т.д.). Проблема является плохо поставленной, поэтому стандартным подходом будет ее декомпозиция на более простые и четко сформулированные подзадачи. В свою очередь определение подзадач опирается, главным образом, на тот набор данных (их природу и качество), которые будут поданы на вход алгоритма реконструкции. В работе в качестве входных данных используется одно оптическое спутниковое изображение сверхвысокого разрешение (<1 м/пк). Существует также большое количество методов, опирающихся на применение многопозиционной съемки [3–5] или результаты лидарного сканирования местности [6–8]. Однако они в некоторой степени отличаются от методов восстановления по одному аэрокосмическому изображению и поэтому рассматриваться здесь не будут.

1. Анализ существующих методов решения задачи. Представленные в литературе способы трехмерной реконструкции можно условно разделить на два типа: основанные на моделях и на данных.

Первый тип предполагает наличие некоторой библиотеки моделей. Задача реконструкции в этом случае заключается в определении для каждого объекта подходящей модели с уточнением параметров этой модели. Среди ранних работ в данном направлении можно отметить [9], где использовалась библиотека из восьми форм оснований, а сегментация проводилась на базе специально подобранной функции энергии. С помощью методов, адаптированных к работе только с оптическими изображениями, фактическим стандартом стало применение искусственных нейронных сетей (ИНС) для семантического анализа изображений. Только эта технология способна на данный момент обеспечить достаточно высокое качество извлечения семантики сцены. В некоторых методах задача трехмерной реконструкции решается полностью с помощью нейросетевых алгоритмов. Например, в [10] реализован алгоритм реконструкции, аппроксимирующий здания кубоидами, параметры которых определяются непосредственно с помощью сверточной сети детекции. Преимуществом модельного подхода является меньшая подверженность ошибкам из-за шума в данных, за что в свою очередь приходится платить ограниченностью форм восстанавливаемых объектов теми вариантами, которые заранее определены разработчиками в библиотеке моделей.

Методы, основанные на данных, предлагают определение всех геометрических форм объектов через набор простых элементов (прямых, углов, плоскостей и т.д.) и не ограничивают возможности их взаимного расположения. Так, в [11] рассмотрен подход реконструкции по одному аэрофотоснимку. Для реконструкции разработан алгоритм, основанный на правилах и геометрических построениях, который в качестве входных данных использует сегментацию линий (изгибов) крыш и нормализованную цифровую модель поверхности (NDSM). Для построения NDSM и масок сегментации применяется Y-образная сверточная сеть с двумя декодерами. Другой интересный способ реконструкции предложен в [12], где авторы описывают image-to-mesh ИНС архитектуру, результатом работы которой является непосредственно 3D-модель здания. Метод не рассчитан на работу со спутниковой съемкой в качестве входного изображения, зато имеется возможность работы с наземной или аэрофотосъемкой.

Подходы, основанные на данных, теоретически позволяют восстанавливать объекты более разнообразной формы, нежели подходы, основанные на моделях. Однако они сильно зависят от качества нахождения используемых базовых элементов. В случае плохой сегментации элементов результат может выходить крайне нереалистичным, чего не может случиться для методов, основанных на моделях. Тем не менее, бурное развитие технологий глубокого обучения дало возможность производить быструю и качественную сегментацию даже очень сложных объектов. Можно полагать, что качество работы сверточных нейронных сетей (СНС) в ближайшее время будет только расти. Поэтому для разработки собственного решения был выбран подход, основанный на данных, как наиболее перспективный.

2. Предлагаемый подход. 2.1. Основная идея. Предлагаемый метод реконструкции состоит из двух этапов (или блоков).

Извлечение семантической информации. Подразумевает семантическую сегментацию изображения по определенному набору классов, производящуюся с использованием СНС. Наиболее важными классами являются стены, крыши и тени зданий, а также производные от них. Для определения эталонов возможно выделение других классов: автомобильной полосы или железнодорожной колеи, автомобильных или железнодорожных столбов (при подходящем пространственном разрешении). Выбор и формализация классов являются важной задачей, от решения которой зависит качество последующей реконструкции [13–15].

Восстановление геометрии. Основан на детерминированных необучаемых алгоритмах проективной геометрии, статистических методах, а также наборе правил (предположений) об объектах. В общем случае восстановление геометрии можно разделить на следующие стадии:

введение системы координат в пространстве и на плоскости;

выделение опорных точек по результатам сегментации и определение их координат на плоскости изображения;

определение связей между опорными точками;

нахождение пространственных координат опорных точек;

построение модели объекта.

Данное разделение имеет ряд преимуществ. Во-первых, блочная структура позволяет независимо менять (обновлять) отдельные части алгоритма, важно лишь сохранение интерфейса. Во-вторых, для каждого этапа в отдельности легче построить систему оценки качества.

2.2. Извлечение семантической информации с помощью ИНС. Наибольший интерес в задаче реконструкции имеют объекты хозяйственной инфраструктуры, которые ввиду большого разнообразия геометрических и текстурных признаков невозможно сегментировать с надлежащим качеством при помощи классических методов машинного обучения. Поэтому для решения этой задачи использовались искусственные сверточные нейронные сети (ИСНС).

Первые опыты проводились с топологиями на основе U-net [16], состоящими из одного кодировщика и нескольких декодеровщиков [13]. Однако, как показали дальнейшие исследования, более предпочтительной для данной задачи является топология MultiResUNet [17]. Во множестве проведенных экспериментов она стабильно показывала высокие результаты как с точки зрения качества получаемого результата, так и с точки зрения скорости обучения. Топология представляет собой улучшенный вариант U-net с возможностью параметрического масштабирования. Схематичное изображение архитектуры MultiResUnet представлено на рис. 1. Используемые параметры масштабирования вместе с их описанием представлены в табл. 1, 2.

Приведенная параметрическая структура стала основой для разработанных базовой и усиленной топологий сегментации. Базовая топология (рис. 2,а) представляет собой MultiResUnet-сеть, дополненную в начале сверткой с размером фильтра 7 × 7, а также сверткой 1 × 1 с сигмоидальной функцией активации в конце. Усиленная топология (рис. 2,б) представляет комбинацию из двух MultiResUnet-сетей, дополненных остаточными соединениями с конкатенацией, сверткой с размером фильтра 7 × 7 в начале, а также двумя свертками с размером фильтра 1 × 1, батч-нормализацией и сигмоидальной функцией активации в конце.

Целевым источником данных для разрабатываемого метода являются изображения дистанционного зондирования. Космические аппараты дистанционного зондирования имеют свои особенности аппаратуры, что приводит к значительным различиям в поступающей от них информации даже при совпадающем пространственном разрешении. Поэтому для получения качественной сегментации необходимо иметь набор размеченных данных с целевого аппарата, в частности Ресурс-П. Однако собранное количество данных все еще достаточно мало. Для решения проблемы была разработана техника аугментации, позволяющая, с одной стороны, расширить количество данных для обучения (с помощью линейных искажений и шума), а с другой – сбалансировать классы, симулируя больше участков из мест, где представлены редкие классы [18, 19]. Оценка качества сегментации для основных классов: “здания целиком” – $F1 = ~$ 0.8962, IoU = 0.8119; “крыши зданий” – F1 = 0.8963, IoU = 0.8121; “тени зданий” – F1 = 0.8717, IoU = 07726, где $F1$ и IoU – количественные меры при оценке качества сегментации. Вычисляются по формулам:

tp и tn – области истинно положительных (сегментации есть в местах, где класс есть) и истинно отрицательных (сегментаций нет в местах, где класса нет) сегментаций класса на изображениях, fp и fn – области ошибочно положительных (сегментации есть в местах, где класса нет) и ошибочно отрицательных (сегментаций нет в местах, где класс есть) сегментаций класса на изображениях, $accuracy$ – мера правильности, или $accuracy$-мера (доля правильных ответов классификатора от общего числа правильных и неправильных ответов), $precision$ – мера точности (доля правильных положительных ответов классификатора), $recall$ – мера полноты (способность классификатора “угадывать” как можно большее число положительных ответов из ожидаемых), f1 – F1-мера (характеристика качества классификатора, “балансирующая” между precision и recall), IoU – мера “пересечения через объединение” (доля положительных ответов классификатора, которые действительно являются положительными), S(u) – площадь области u (число пикселей области $u$).

2.3. Восстановление геометрии. Рассматривались в основном объекты из набора классов, стандартного для такой задачи: здания, автомобильные и железные дороги, вагоны, столбы [13, 20–23 ].

В данном случае изображение представляется как двумерная проекция трехмерного пространства. В работах приводятся два типа проекций: ортогональные и перспективные. Очевидно, что при проектировании часть информации теряется. Объекты интереса, такие, как здания, раскладываются на геометрические примитивы: линии, плоские и пространственные (такие, как цилиндры, пирамиды) фигуры. Примитивы можно описать набором геометрических точек (углов) и связей (отрезков) между ними.

Для восстановления пространственной формы объекта привлекаются различные предположения, в частности:

плоскости стен здания являются ортогональными между собой и по отношению к поверхности земли;

для зданий с плоской крышей ее поверхность параллельна плоскости земли;

направления линий окон перпендикулярны между собой и параллельны соответствующим линиям контуров стен.

3. Разработанные алгоритмы. В рамках описанной концепции были исследованы два метода реконструкции.

3.1. Трехмерная реконструкция по спутниковому изображению [13, 20–22]. Позволяет в общем случае получать призматические (LoD1) модели зданий, а в некоторых случаях – модели уровня детализации LoD2. Содержит следующие принципиальные этапы обработки:

применение к сегментационным маскам морфологических операций для уменьшения влияния ошибок на этапе сегментации;

приближение контуров крыш и стен кусочно-линейными кривыми (линеаризация);

определение на изображении вертикального направления и направления падения тени;

определение высоты здания из метаданных съемки и средней высоты стены;

построение призматической модели в предположении, что контур фундамента совпадает с контуром крыши;

форма крыши оценивается на основе профилей стен, а также с привлечением дополнительной информации o гранях крыши.

Пример 1. Построим трехмерную модель здания ${{С}_{1}}$ по его спутниковому изображению (рис. 3,а). Местоположение объекта: адрес – Красноярский край, г. Норильск, Вокзальная ул., 2Б; географические координаты – 69°21′23.50″С, 88°08′59.31″В. Предполагаем, что входными данными алгоритма являются сегментационные маски стен, крыши и тени здания, которые создаются в автоматическом режиме с использованием ИСНС.

Для удобства дальнейших построений, на изображениях для элементов объектов будем различать фотометрические и теневые проекции. Обозначим фотометрические проекции строчными буквами, а сами трехмерные объекты – прописными; I и S – изображение и тенеобразование объекта, которые идентифицируются набором фотометрических параметров. Преобразование некоторого физического или геометрического объекта $A$ в его фотометрическую проекцию a запишем как $a = I\left( A \right)$, а в теневую проекцию $A'$ – в виде $A' = S(A)$. Таким образом, полагаем a двухмерным, A и A' – трехмерными, опорными точками являются ${{A}_{0}}, \cdots ,{{A}_{9}}$. При этом также определяется соответствие точек и их теневых проекций по формулам:

После ряда морфологических преобразований и линеаризации контуров сегментационных масок (рис. 3, б–г) выделяются опорные точки, на основании которых производится реконструкция здания. Изображения опорных точек ${{A}_{0}}, \cdots ,{{A}_{9}}$, ${{a}_{0}} = I({{A}_{0}}), \cdots ,{{a}_{9}} = I({{A}_{9}})$ представлены на рис. 4. В свою очередь координаты ${{a}_{0}}, \cdots ,{{a}_{9}}$ в системе координат (СК) изображения (p, q) – в табл. 3. Точки ${{A}_{0}}, \ldots ,{{A}_{4}}$ соответствуют стыкам стен с крышей или поверхностью земли (либо являются тенями таких точек) и необходимы для восстановления формы здания уровня LoD1. Кроме того, на крыше есть надстройка (будка выхода или машинное отделение лифта). Поэтому для более детального восстановления формы к опорным добавляются: ${{A}_{5}},~{{A}_{6}},~{{A}_{7}}$ – точки вдоль карниза надстройки, ${{A}_{8}}$ – точка в углу основания надстройки.

Будем использовать пространственную СК $O{{X}_{1}}{{X}_{2}}{{X}_{3}},$ привязанную к объекту C₁. Считаем, что C₁ имеет прямоугольную крышу и ортогонально ориентированные несущие стены; $O = {{A}_{0}}$ – на углу крыши, $O{{X}_{1}}~$ и $O{{X}_{2}}~$ – вдоль карниза крыши, $O{{X}_{3}}$ – по стыку несущих стен; $O{{X}_{1}},~O{{X}_{2}},~O{{X}_{3}}$ задаются по точкам O и ${{A}_{1}},~{{A}_{2}},~{{A}_{3}}$, т.е.

В начале определяются основные фотометрические параметры для ортотрансформированного изображения [13, 14, 21]:

где $\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,\overline {{{n}_{3}}} $ – направляющие векторы осей $o{{x}_{1}},o{{x}_{2}},o{{x}_{3}}$; ${{m}_{1}},{{m}_{2}},{{m}_{3}}$ – масштабирующие коэффициенты (разрешения) вдоль $\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,\overline {{{n}_{3}}} $; $\overline {{{n}_{s}}} $ – направляющий вектор оси $o{{x}_{s}} = {{I}_{S}}\left( {O{{X}_{s}}} \right)$, где OX_s – ось, противоположная направлению от точки O к Солнцу. Также необходимо отметить следующие параметры: ${{\varphi }_{1}},{{\varphi }_{2}},{{\varphi }_{3}},{{\varphi }_{s}}$ – наклоны векторов $\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,\overline {{{n}_{3}}} ,\overline {{{n}_{s}}} $ в системе координат $wxy$ относительно оси wx, где $wxy - $ СК-изображения, в которой начало координат w находится в точке (1, 1) изображения (его левый верхний угол), ось $wx$ проходит в направлении от (1, 1) до (2, 1), ось wy – в направлении от (1, 1) до (1, 2).

Параметры ζ могут быть оценены как без использования метаданных, так и с помощью них.

I. По эталонным размерам. По сегментациям эталонных объектов на базе определенных алгоритмов находятся опорные точки этих объектов. Если для эталонных объектов предполагаются эталонные размеры (линейные размеры в данных точках), то можно оценить ζ:

Здесь $\overline {{{B}_{j}}} $ – некоторые векторы в опорных точках, сонаправленные осям $O{{X}_{j}}$; $B$ и $B'$ – некоторые отрезки в опорных точках, параллельные соответственно плоскости $O{{X}_{1}}{{X}_{2}}$ и оси OX₃.

В нашем случае $\overline {{{B}_{j}}} = \overline {O{{A}_{j}}} $. Тогда $\overline {{{b}_{j}}} = \overline {o{{a}_{j}}} = \overline {{{a}_{0}}{{a}_{j}}} ,~\,\,j = \overline {1,3} $, а $\overline {{{b}_{s}}} = I(S( - \overline {O{{A}_{3}}} )) = I(\overline {{{A}_{3}}{{A}_{4}}} ) = \overline {{{a}_{3}}{{a}_{4}}} $. Отсюда находим $\left\{ {\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,~\overline {{{n}_{3}}} ,~\overline {{{n}_{s}}} } \right\}$.

В табл. 4 и на рис. 4 представлены примеры эталонных объектов в составе железнодорожной инфраструктуры и расчетов параметров $\left\{ {m,{{m}_{3}},{{m}_{s}}} \right\}$ по опорным точкам {d_i}.

II. По метаданным. Для разных спутниковых систем структуры данных в файлах метаданных разные. В табл. 5 отражены метаданные {τ_i} и их токены для Ресурс-П, экстрагируемые из файлов метаданных, для вычисления $\zeta '$:

Ясно, что ${{\varphi }_{3}} = {{\tau }_{1}},~{{\varphi }_{s}} = {{\tau }_{2}}$. Векторы $\overline {{{n}_{1}}} ,\overline {~{{n}_{2}}} $ находятся по формуле (3.1)$.$ Расчеты по способу I дают:

После определения фотометрических параметров восстанавливается пространственная информация об объекте. Запишем горизонтальные L и вертикальные $L'~$ размеры:

где $l = I\left( L \right),~l' = I\left( {L'} \right),~l'' = {{I}_{S}}\left( {L'} \right)$. Тогда получим:

габариты основной части:

габариты надстройки:

положение надстройки:

наклон здания и надстройки (наклон оси $O{{X}_{1}}$ от направления на Север):

На рис. 5 рассмотрена простейшая геометрическая модель объекта C₁(a), выполненная для демонстрации в программе Sketch Up, и ее соотнесение с наземным изображением (Яндекс Карты, панорамный режим съемки). Визуальная оценка высоты здания, включая чердачный пролет и цоколь, с учетом стандартной высоты окна 1.53 м – примерно $8~\, \cdot \,~1.53 = 12.24$ м, что дает точность оценки высоты 92%.

3.2. Трехмерная реконструкция по перспективному изображению. Вводятся декартовые координаты $O{{X}_{1}}{{X}_{2}}{{X}_{3}}$ в пространстве и плоские координаты $wpq$ на изображении. По информации об условиях и типе съемки определяется форма проецирования и отображение пространственных координат в плоские (уравнение проектирования) ${{\Pi }}:\left( {{{X}_{1}},~{{X}_{2}},{{X}_{3}},\zeta } \right) \to \left( {p,~q} \right)$, где ζ – набор фотометрических параметров.

В качестве входных данных алгоритм принимает следующие наборы.

Набор опорных точек ${{\Xi }} = {\text{\{ }}{{a}_{i}} = \left( {{{p}_{i}},{{q}_{i}}} \right)~{\text{|}}i = \overline {1,~n} \} ~$ объекта и системы координат на изображении объекта. Предполагается, что точки определяются автоматически с использованием методов компьютерного зрения. Очевидно, что набольший интерес в данном случае представляют угловые точки (т.е. точки стыка стен с крышей и ландшафтом, точки стыка граней крыши, углы окон и т.д.).

Набор функциональных связей о расположении точек, дающий информацию о форме объекта, который можно определить в виде множества $\Phi = {\text{\{ }}{{\phi }_{j}}\left( {{{A}_{1}}, \ldots ,~{{A}_{n}},~{{K}_{j}}} \right) = 0{\text{|}}~j = \overline {1,m} \} $, где ${{\Pi }}\left( {{{A}_{i}},\zeta } \right) = {{a}_{i}}~\forall ~i \in \overline {1,r} ,$ а K_j – набор параметров связи ϕ_j. Примеры некоторых связей:

три или более точек лежат на одной прямой;

четыре или более точек лежат в одной плоскости;

два отрезка параллельны;

непосредственно значение одной или нескольких пространственных координат точки.

На основе описанной выше информации составляется система уравнений:

Далее производится попытка численно разрешить систему относительно неизвестных ζ и {K_j}. Решение системы можно вычислить при условии, что она содержит достаточное количество независимых уравнений.

Удобным является введение так называемых осевых координат. Для некоторой точки $A = \left( {{{X}_{{A1}}},~{{X}_{{A2}}},~{{X}_{{A3}}}} \right)$, изображение которой есть $a = {{\Pi }}\left( {{\text{A}},\zeta } \right),$ осевые координаты определяются по формуле

где ${{\bar {n}}_{i}}$ – направляющие векторов ${{\overline {ox} }_{i}}$, а ${\text{||}} \cdots {\text{|}}{{{\text{|}}}_{2}}$ – Евклидова норма (корень суммы квадратов разности компонент векторов).

На рис. 6 представлены иллюстрации, поясняющие суть осевых координат для случая ортогонального (а) и перспективного (б) изображений. В каждом из случаев $wpq$ – система плоских декартовых координат на изображении (как правило, оси p и q направлены вдоль его граней, а w – его левый верхний угол). В этой системе спроецированы оси некоторой пространственной СК $O{{X}_{1}}{{X}_{2}}{{X}_{3}}$ (оси обозначаются соответственно $o{{x}_{1}}{{x}_{2}}{{x}_{3}}$). Точки ${{g}_{1}},{{g}_{2}},{{g}_{3}}$ являются изображениями проекций некоторой точки A (ее изображение есть a) на соответствующие пространственные оси (т.е. ${{g}_{i}} = \,\,~\Pi \left( {{{X}_{{Ai}}}~{{{\bar {n}}}_{i}},\zeta } \right),~i = \overline {1,3} $), также $o = {{\Pi }}\left( {O,\zeta } \right)$ – изображение центра пространственных координат O. При введенных обозначениях осевые координаты точки A есть нормы плоских векторов ${{x}_{{ai}}} = {\text{||}}\overline {o{{g}_{i}}} {\text{|}}{{{\text{|}}}_{2}},~~i = \overline {1,3} ~$.

При центральном проецировании преобразование из осевых координат в пространственные имеет вид

Здесь $\left\{ {{{x}_{{fi}}},{{x}_{{mi}}},{{X}_{{mi}}}} \right\},i = \overline {1,3} ,$ – некоторые фотометрические параметры; ${{x}_{{fi}}} = o{{f}_{i}}$, f_i – некоторые точки (так называемые фокусы), постоянные для выбранной СК, условий и типа съемки; ${{x}_{{mi}}}$ – эталоны осевых координат, которым соответствуют эталоны пространственных координат ${{X}_{{mi}}}$. Для перспективных изображений ${{x}_{{fi}}}$ конечно (рис. 6,б), для ортотрансформированных ${{x}_{{fi}}} \to \infty $ (рис. 6,а). В последнем случае перепишем (3.2):

Так как $\left| {{{y}_{i}}} \right| < 1,\left| {{{y}_{{mi}}}} \right| < 1$, разложим числитель и знаменатель в (3.3) в ряды Маклорена и найдем предел дроби при ${{x}_{{fi}}}\,~ \to \infty $:

где ${{m}_{i}} = {{X}_{{mi}}}{\text{/}}{{x}_{{mi}}}$ – масштабирующий коэффициент (разрешение) вдоль $\overline {{{n}_{i}}} $.

Пример 2. Проведем реконструкцию здания C₂ по его аэрофотоснимку (рис. 7). Местоположение объекта: адрес – Московская область, г. Балашиха, мкр. Железнодорожный, Лесопарковая ул., 5; географические координаты – 55°45′12.87″С, 38°00′25.25″В (полное изображение доступно по ссылке https://clck.ru/338Nog).

Аналогично конструктивному подходу имеем опорные точки ${{A}_{i}}$, $i = \overline {1,9} $, изображения которых ${{a}_{i}} = I\left( {{{A}_{i}}} \right)~$ представлены на рис. 7. В свою очередь координаты $\left( {{{p}_{i}},{{q}_{i}}} \right)$ (в пикселях) точек ${{a}_{i}}$ отражены в табл. 6.

Система координат $O{{X}_{1}}{{X}_{2}}{{X}_{3}}$ привязана к объекту C₂. Считаем, что C₂ имеет прямоугольную крышу и ортогонально ориентированные несущие стены; $O = {{A}_{0}}$ – на углу основания, OX₁ и OX₂ – вдоль основания, $O{{X}_{3}}$ – по стыку несущих стен, ${{A}_{3}}$ – в углу крыши, видимой на изображении. Координаты $O{{X}_{1}},~O{{X}_{2}},~O{{X}_{3}}$ задаются по точкам O и ${{A}_{1}},~{{A}_{2}},~{{A}_{3}}$; $o = I\left( O \right),~\,\,o{{x}_{i}} = I\left( {O{{X}_{i}}} \right)$. У стены есть пристройка (для размещения лестничной коробки и/или лифтовой шахты), подобная зданию по форме. Опорные точки ${{A}_{4}} - {{A}_{9}}$ соответствуют точкам в видимых углах этой пристройки.

Основные фотометрические параметры для перспективного изображения [13, 22]:

где $\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,\overline {{{n}_{3}}} $ – направляющие векторы осей $o{{x}_{1}},o{{x}_{2}},o{{x}_{3}}$; ${{x}_{{f1}}},{{x}_{{f2}}},{{x}_{{f3}}}$ – осевые координаты фокусов вдоль $\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,\overline {{{n}_{3}}} $; ${{x}_{{m1}}},{{x}_{{m2}}},{{x}_{{m3}}}$ – эталоны осевых координат, соответствующие эталонам пространственных координат ${{X}_{{m1}}},{{X}_{{m2}}},{{X}_{{m3}}}$. Параметры ζ оцениваются по эталонным размерам или по метаданным.

По сегментациям эталонных объектов на базе определенных алгоритмов находятся опорные точки этих объектов. Если для эталонных объектов предполагаются эталонные размеры (линейные и угловые размеры в данных точках), то можно оценить ζ:

Здесь $\overline {{{B}_{j}}} $ – некоторые векторы в опорных точках, сонаправленные осям $O{{X}_{j}};$ ${{V}_{j}} = B_{j}^{'}B_{j}^{{''}}$ – отрезок, параллельный $O{{X}_{j}}$, длина которого известна. В нашем случае $\overline {{{B}_{j}}} = \overline {O{{A}_{j}}} $. Тогда $\overline {{{b}_{j}}} = \overline {o{{a}_{j}}} = \overline {{{a}_{0}}{{a}_{j}}} ,~\,\,j = \overline {1,3} $. Отсюда находим $\left\{ {\overline {{{n}_{1}}} ,\overline {{{n}_{2}}} ,~\overline {{{n}_{3}}} } \right\}$.

Параметры $\left\{ {{{x}_{{mj}}},{{X}_{{mj}}}} \right\}$ оцениваются по отрезкам V_j по-разному в зависимости от их пространственного положения. Приведем два случая.

I. ${{V}_{j}} \subset O{{X}_{j}}{{X}_{{j'}}},~{{V}_{j}}||O{{X}_{j}}$:

где $\left| \ldots \right| - $ абсолютная величина числа.

II. ${{V}_{j}}||O{{X}_{j}},B_{j}^{'} \subset O{{X}_{{j'}}}{{X}_{{j''}}}$:

В табл. 7 и на рис. 7 рассмотрены примеры эталонных объектов в составе железнодорожной инфраструктуры и расчетов параметров $\left\{ {{{x}_{{mj}}},{{X}_{{mj}}}} \right\}$ по опорным точкам {d_i}. Расчеты дают:

После определения фотометрических параметров восстанавливается пространственная информация об объекте. Пространственные координаты ${{X}_{{{{A}_{i}}j}}}$ точек A_i здания рассчитываются по (3.2), где

а ϕ_j – исходя из геометрических связей: ${{A}_{1}} \in O{{X}_{1}},~{{A}_{2}} \in O{{X}_{2}},{{A}_{3}} \in O{{X}_{3}}$, ${{A}_{6}}{{A}_{7}}{\text{||}}O{{X}_{1}},{{A}_{4}}{{A}_{5}}{\text{||}}O{{X}_{2}},{{A}_{4}}{{A}_{6}}||O{{X}_{3}}$ и др. (см. рис. 7). Результаты вычислений представлены в табл. 8.

На рис. 8 показана простейшая геометрическая модель объекта C₂(a), выполненная для демонстрации в программе Sketch Up, и ее соотнесение с наземным изображением (Яндекс Карты, панорамный режим съемки, вид справа со двора жилого массива). Также продемонстрировано соотнесение с аэрофотоснимком (рис. 1, вид сверху), визуальная оценка высоты основного здания, включая парапет, чердачный пролет и цоколь (2 м), с учетом стандартной высоты одного этажа для здания детского сада (3.3 м) – $2 + 3\, \cdot \,3.3 \approx 12$ м, что дает точность оценки высоты 95%. Высота пристройки равна высоте основной части плюс выступающая ее часть над крышей: с учетом высоты дверного проема (2 м) она равна примерно 15 м, что дает точность 93%. Точность определения горизонтальных размеров сравнивалась с оценками, полученными в геоинформационных системах (ГИС) Google Maps и Yandex Maps с помощью линейки, результаты сравнения представлены в табл. 9.

Высотные размеры (ориентированные по $O{{X}_{3}}~$оценены более точно, чем размеры, ориентированные по OX₁ и OX₂. Данное обстоятельство обусловлено точностью определения фокуса f_j, которое зависит от количества взятых отрезков по каждой оси, причем определяемые впоследствии размеры весьма чувствительны к рассчитанным положениям фокусов. В нашем случае по каждой оси взято только по одному отрезку.

4. Полученные результаты. Описаны два подхода к трехмерной реконструкции зданий: по спутниковому и перспективному изображениям. В обоих случаях при расчете фотометрических параметров практически для каждого оцениваемого параметра следует получить выборку его значений, в частности: выборку ${{m}_{s}}$ по ${{E}_{1}}$ и ${{E}_{3}}$ по нескольким эталонным объектам (см. пример 1) или облако точек  f_j по нескольким прямым, параллельным  j-й оси (см. пример 2). Результирующие оценки можно найти, прибегнув к различным статистическим характеристикам (выборочное среднее, выборочная медиана и т.д.). Комплементарным подходом является расчет фотометрических параметров по метаданным с учетом их оценки по эталонным объектам. Линейные и угловые связи между опорными точками могут определяться как методами компьютерного зрения, так и исходя из набора предположений (например, если группа точек принадлежит одной стене здания, то они лежат в одной плоскости).

Разработаны базовые алгоритмы расчета трехмерных параметров изображенного объекта в условиях дефицита входных данных. Фотометрические параметры могут быть оценены как по метаданным изображения, так и без них (по сегментациям эталонных объектов). Приведены примеры расчета геометрических параметров по одному изображению, в основе которых лежит сегментация главных компонентов зданий (крыша, стена, тень). По ним вычисляется призматическая модель здания, в том числе с учетом его надстроек и пристроек.

Заключение. В рамках представленной концепции трехмерной реконструкции описано два подхода: по спутниковому и перспективному изображениям.

Особенности предлагаемой концепции:

оценка трехмерной модели ригидного объекта проводится по одному изображению;

машинное обучение в условиях дефицита обучающих данных;

допустимо невысокое качество сегментации информативных классов, в частности растры компонентов объектов могут иметь произвольную форму границ и с наличием пустот;

качество оценки трехмерной модели объекта зависит от полноты известной растровой информации об этом объекте;

используются предположения о видах, размерах и пространственной ориентации видимых элементов на изображении.

Также допускается вариативность входных данных, которая состоит в том, что:

возможности использования изображений с различными наборами спектральных каналов, в том числе полутоновых изображений;

метаданные изображения на входе опциональны, и при их отсутствии на входе альтернативой является наличие эталонных стандартизированных объектов;

полная или частичная видимость объектов на изображении;

вариативность входных данных на этапе векторизации объектов по растрам.

В настоящее время проводится дальнейшая разработка алгоритмов, производится разметка новых данных и дообучение на них подобранных нейросетевых архитектур сегментации, работы над программой и ее тестированием по извлечению фотометрической информации из изображений, расчета трехмерных параметров и моделирования представленных объектов.