Исследование Земли из Космоса, 2020, № 5, стр. 78-96

ВВЕДЕНИЕ

В связи с возрастанием экономической деятельности людей все больше усложняется структура земной поверхности и населяющие ее объекты искусственного и естественного происхождения. Это приводит к необходимости разработки новых и совершенствования существующих неклассических цифровых методов для обработки большого объема космических изображений в существующих и создаваемых системах дистанционного мониторинга (в том числе многоспутниковых) (Бондур, Савин, 1992; Савин, Бондур, 2000; Бондур, 2010).

Построение трехмерных моделей различных объектов на земной поверхности по спутниковым изображениям с использованием методов моделирования и синтеза изображений (Бондур, 2000а, б; Бондур, Савин, 1995; Бондур и др., 2003) важно для анализа динамических объектов, оценки ряда экономических характеристик. В частности, это целесообразно использовать при развитии способов эффективного управления пространственно-распределенной геотехнической системой инфраструктуры железнодорожного транспорта на различных этапах жизненного цикла, включая: предпроектные изыскания; контроль хода строительных работ, включая оценку воздействия на прилегающую территорию; обеспечение перевозок, включая мониторинг потенциально опасных природных и техногенных воздействий на объекты инфраструктуры; обеспечение безопасности технологических процессов, ресурсосбережение; создание моделей пути и путевого развития станций; инвентаризация объектов земельно-имущественного комплекса; контроль несанкционированного использования полосы отвода и охранных зон; обеспечение антитеррористических мероприятий; обеспечение ситуационной осведомленности при ЧС; экологический контроль воздействия объектов железнодорожного транспорта на окружающую среду.

С учетом необходимости оперативной обработки больших потоков данных, для построения трехмерных моделей интересующих нас объектов требуется решить две основные задачи: задачи определения места расположения объекта на спутниковом изображении, связанной с сегментацией этого изображения по определенному принципу, и задачи нахождения информативных признаков, необходимых собственно для построения трехмерной модели объекта.

Разработка алгоритмов автоматического выделения и сегментации объектов естественного и антропогенного происхождения является одной из важнейших задач обработки спутниковых изображений. Методы решения этой задачи успешно развиваются в последние годы применительно к различным классам объектов: растительность и почва (Бондур, 2014, 2015; Бондур и др., 2016а; Бондур, Чимитдоржиев, 2008а, б), объекты, процессы и явления на поверхности океана (Бондур, Зубков, 2005; Бондур и др., 2006, 2012; Bondur, 2005, 2011). свалки и мусорный покров (Рихтер и др., 2015; Казарян и др., 2016; Казарян и др., 2017; Казарян и др., 2018а, б; Гвоздев и др., 2019; Казарян и др., 2018а, б; Мурынин и др., 2018; Richter, 2019), импактные районы (Бондур, Воробьев, 2015; Бондур и др., 2016б).

Сегментация спутниковых изображений объектов естественной природы таких, например, как типы почвы или растительность определенного типа, возможна с применением методов, оперирующих спектральными яркостями отдельных пикселов, определяемых фитоценологическими, гумификационными и другими механизмами гомеостаза этих объектов (Бондур, 2014; Бондур, Старченков, 2001; Бондур, Воробьев, 2015; Бондур и др., 2016а; Мурынин и др., 2019; Richter et al., 2017; Kazaryan et al., 2017; Shakhramanyan et al., 2017).

Иначе обстоит дело с различными искусственными объектами: домами, железными и автомобильными дорогами, элементами городской, сельской и транспортной инфраструктуры и другими. Эти объекты могут иметь различные спектральные параметры и зачастую не позволяют ограничиться методами, работающим с каждым пикселем изображения в отдельности (Бондур, 2014). При этом информация о таких объектах важна для анализа дорожной сети, моделирования и прогнозтрования чрезвычайный ситуаций, актуализации геоинформационных данных (Бондур, 2000а, б; Кудряшов, Соловьев, 2019).

В данной статье проведем краткий обзор основных методов построения трехмерных моделей ригидных объектов на примере объектов железнодорожной инфраструктуры и опишем метод интеллектуальной обработки спутниковых изображений, основанный на многомасштабном анализе изображений с применением искусственных нейронных сетей (ИНС) и с последующей векторизацией растровых изображений с использованием методов регрессионного анализа.

СУЩЕСТВУЮЩИЕ МЕТОДЫ ПОСТРОЕНИЯ ТРЕХМЕРНЫХ МОДЕЛЕЙ ОБЪЕКТОВ ЗЕМНОЙ ПОВЕРХНОСТИ

Современные подходы к извлечению трехмерной информации с изображений местности можно условно разделить на традиционные методы, основанные на классических подходах к обработке изображений, и нейросетевые методы, основанные на интеллектуальном анализе данных. Классический метод извлечения трехмерной информации из двумерных изображений основан на использовании стереопар изображений и построении по ним карт диспаратности (Fua, 1991; Матвеев, Мурынин, 2003). Для вычисления карт диспаратности при автоматической и автоматизированной обработки стереопар изображений в настоящее время разработаны эффективные алгоритмы и быстродействующие прикладные программы для, обзор которых приведен, в частности, в работе (Hamzah, Ibrahim, 2015). Метод успешно применяется при обработке стереопар спутниковых изображений для построения трехмерных карт поверхностей и карт застройки (Alobeid et al., 2010; Hirschmüller, 2008; Abduelmula, 2015).

Поскольку получение стереопар космических изображений трудоемко и относительно дорого, активно развиваются методы извлечения 3D-информации из одиночных спутниковых изображений, которые предполагают как привлечение вспомогательных данных, так и дополнительную операторскую обработку данных спутниковой съемки (Abduelmula, 2015; Мурынин, Рихтер, 2018; Рихтер и др., 2018; Казарян и др., 2018в; Шахраманьян и др., 2018а, б).

В последнее время интенсивно развиваются нейросетевые методы, основанные на машинном обучении и работающие по одному изображению (Umut Gunes Sefercik et al., 2014; Sherrie Wang et al., 2020; Srivastava et al., 2017; Ghamisi, Yokoya, 2018; Mou et al., 2018; Amirkolaee, Arefi, 2019; Bittner et al., 2018; Kaiser et al., 2017). Одна из групп нейросетевых методов решает задачу высокоточной локализации объектов на изображении и их классификации с помощью искусственных нейронных сетей (ИНС), которая чаще всего упоминается под названием сегментация образца (instance segmentation) (Гвоздев и др., 2020).

В последнее годы для задач обработки изображений стандартом фактически стали сверточные ИНС (CNN), которые позволяют учитывать контекст и после 2012 г. неизменно занимают первые места среди алгоритмов сегментации и классификации изображений.

Приведем наиболее характерные методы построения трехмерных моделей зданий как наиболее распространенной категории искусственных объектов земной поверхности.

Среди традиционных методов, не использующих искусственных нейронных сетей, можно отметить:

1. Метод для определения формы крыши, состоящий в сравнении спектров матрицы смежности и требующий предварительного выделения и векторизации линий крыш (с помощью преобразований Хафа). Методом распознаются только заранее установленные классы крыш, а для полного восстановления 3D-модели зданий (до степени детализации LoD2) авторы предлагают дополнительно использовать карту высот (Тужилкин, 2015);

2. Метод сегментирования зданий, основанный на анализе спектральной гистограммы, на которой выделяются пики яркостей, относимые к точкам здания. Предварительно по данным ГИС позиционируются рецептивные участки изображения (с большой вероятностью расположения здания). Для уменьшения ошибок привлекается дополнительная верификация с использованием теневых, геометрических и размерных признаков (Соколова, 2015);

3. Метод построения 3D-моделей зданий по топографическим планам, созданным и редактируемым для многих частей РФ. На топопланах отмечены дома и их высоты. На первом этапе волновым методом автоматически выделяются контуры домов по изображениям топопланов. После – строится его 3D-модель, помещаемая на нужное географическое место. Для окрашивания стен используются наземные фотографии зданий с разных ракурсов. Также авторы предлагают пользовательское приложение, которое должно реализовывать предложенный ими алгоритм в удобной форме (Кудряшов, Соловьев, 2019).

В последние годы интенсивно развиваются нейросетевые методы извлечения 3D-информации об объектах из одиночных спутниковых изображений:

1. Обучение нейронной сети (DeepResUnet), позволяющее с высокой точностью различать дома на изображениях сверхвысокого разрешения. Данная сеть использует сверточную структуру с остаточными связями и в работе обучается с нуля. Позволяет с точностью выше 90% классифицировать каждый пиксель изображения на один из двух классов: здание или не здание. Для обучения сети был создан новый датасет, основанный на свободно распространяемых снимках с сайта (Yaning et al., 2019);

2. Обучение сверточной сети на основе VGG для различения дороги и здания, на базе большого количества открытых данных (Google maps, Open street maps), дающее высокое пространственное расхождение датасетов, но приемлемое качество сегментации (примерно 85%) (Persello, Stein, 2017);

3. Предложение архитектуры сверточной сети, базирующейся на архитектуре Mask R-CNN. Основная доработка заключается в улучшении рецептивного блока, генерирующего прямоугольные области, которые могут иметь угол наклона (в отличие от классической структуры, где их стороны параллельны граням изображения) (Wen et al., 2019);

4. Построение 3D-моделей зданий, задействующее две нейросети и большое количество метрик качества. Первая ИНС – для определения линий крыш, должна выделять три различных типа: карнизы (краевые линии крыши), коньки (гребни) и линии, которые соединяют карнизы и коньки (hip lines). Вторая – для восстановления карты высот, обучалась по данным лидара. Алгоритм в автоматическом режиме определяет линии крыши, воссоздает по ним конструкцию крыши, принадлежащую к одному из 11 предустановленных классов, затем комплексирует их данными лидара о высоте (ввиду преемственности спутниковой съемки в надир) (Fatemeh Alidoost et al., 2019);

5. Распознавание формы основания и крыши, задействующее две предобученных сети, основанных на архитектуре VGG. Для их обучения специально строились датасеты, для которых была проведена аугментация (вращения и цветовые искажения). Сначала, с помощью селективного поиска отбираются области интереса, а уже затем к ним последовательно применяются две нейронные сети. Первая устанавливает рецептивную область, вторая пытается предсказать тип крыши: плоская, двухскатная или вальмовая (hip-roof) (Fatemeh Alidoost, Hossein Arefi, 2018).

6. Дополнительное использование лидаров позволяет получать наиболее информативные модели зданий, включающие не только форму и габариты, но также и определение окон, разделение сколекса зданий на отдельные части, разделение здания по этажам (Sun et al., 2018);

ВЫБОР АРХИТЕКТУРЫ ПРЕДЛАГАЕМОГО МЕТОДА

Предлагаемый метод построения трехмерных моделей объектов земной поверхности основан на многомасштабном подходе и предполагает, что исходные данные были предварительно обработаны методом повышения разрешения, отличающимся репрезентативным понижением разрешения изображений обучающей выборки.

Реализация предлагаемого метода включает два этапа обработки спутниковых изображений.

На первом этапе выполняется интегральный анализ изображения, целью которого является выявление основных свойств и соотношений объектов на изображении:

– Принадлежность объектов тематическим классам: здания, сооружения, ограждения, железнодорожные пути и др.;

– Принадлежность пикселов пространственным классам: крыши и стены зданий, поверхность земли;

– Принадлежность пикселов теням от объектов;

– Принадлежность пикселов значимой окрестности объектов;

– Группировка пикселов изображения в объекты и извлечение релевантной им информации (значимого контекста).

На втором этапе проводится индивидуальный (локальный) анализ каждого выявленного объекта, целью которого является построение его трехмерной модели. Этот этап основывается на использовании результатов первого этапа, в зависимости от которых объект подвергается различным процедурам обработки:

– уникальные объекты (определяются по заранее известным пространственным положениям) не подвергаются обработке, при наличии – используются готовые 3D-модели;

– типовые объекты (определяются по тематическому классу объекта, определенному на этапе интегрального анализа) подвергаются специализированной (для данного типа объектов) процедуре определения свойств;

– для остальных объектов выполняется процедура восстановления геометрии.

Третий случай, очевидно, является наиболее сложным и имеет, в свою очередь, два подэтапа: 1) извлечение геометрических признаков (граней крыши и стен) с помощью сверточной ИНС; 2) интерпретация полученных геометрических признаков.

Сверочная ИНС извлечения геометрических признаков аналогична по своей структуре ИНС интегрального анализа, за исключением выходной группы, специализированной для высокоточной локализации линейных и точечных объектов путем применения FocalLoss (Tsung-Yi Lin et al., 2018).

Из результатов выполнения интегрального и локального анализа формируется единый информационный продукт, включающий все значимые промежуточные и окончательные результаты, пригодный для дальнейшей машинной или ручной обработки.

Принципиальная схема метода представлена на рис. 1.

Рис. 1.

Принципиальная схема разработанного метода.

I. Обнаружение и локализация площадных, линейных и точечных объектов.

В разработанном методе значительную роль играет решение задачи обнаружения и локализации множеств площадных, линейных и точечных объектов.

Проблематика их обнаружения с применением искусственных нейронных сетей заключается в отсутствии однозначно-оптимального метода построения нейросетевых моделей, возвращающих множество равноправных объектов переменной длины при сегментации образца.

Наиболее развитым в решении задачи сегментации образцов является семейство методов “Region Proposal Networks” (Kaiming He et al., 2018; Shaoqing Ren et al., 2016; Joseph Redmon et al., 2016). Их основой является генерация множества кандидатов объектов с их последующей фильтрацией и уточнением, которая, в свою очередь, может выполняться с помощью дополнительной нейросетевой модели. Кандидаты объектов представляются в виде параметров априорно определенных опорных точек на изображении. Изначальное расположение этих опорных точек является компромиссным параметром: их высокая плотность понижает общую производительность схемы и увеличивает шансы ложных срабатываний, в том время как низкая приводит к неспособности обнаружения схемой мелких тесно расположенных объектов.

Альтернативный класс методов сегментации образцов основан на введении в модель промежуточного состояния. Например – координат отправной точки для поиска объекта (Konstantin Sofiiuk et al., 2019) или задействования рекуррентных нейросетевых топологий (Amaia Salvador et al., 2019).

Несмотря на высокую степень изученности, оба эти класса обладают существенным с точки зрения решаемой задачи недостатком: они ограничены обнаружением крупных площадных объектов и не могут быть адаптированы для применения к линейным или точечным объектам.

Для преодоления этого противоречия, авторами предлагается обратиться к еще одному классу методов сегментации образцов, основанному на генерации выходных данных в форме, тривиально обрабатываемой классическими методами, способных к обработке переменного количества объектов. Среди них можно отметить методы, основанные на концепции instance embedding: присвоении каждому пикселу изображения координат в признаковом пространстве, в котором тривиальной является кластеризация (Bert De Brabandere et al., 2017). Другим подходом является генерация полей “энергии” для дальнейшего использования в методе “водораздела” (Min Bai Raquel Urtasun, 2017).

В настоящей работе использован именно этот метод с обобщением обучаемые в его рамках нейросетевых моделей для аппроксимации полей “энергии” не только для площадных, но линейных и точечных объектов. При этом для площадных объектов “энергия” определяется как мера близости к центру объекта, в то время как в точечных и линейных случаях – как мера близости к ближайшей точке объекта.

Локализация точечных и линейных объектов, таким образом, сводится к поиску локальных максимумов (рис. 2).

Рис. 2.

Примеры аппроксимируемых нейросетевой моделью полей энергии для точечных (а), линейных (б) и площадных (в) объектов.

II. Модель интегрального анализа.

Для интегрального анализа применяется модель на основе искусственной нейронной сети. В рамках данной задачи наиболее важно обеспечить пиксельную точность локализации и классификации объектов, а также аппроксимации полей “энергии” для применения водораздельных методов, что успешно обеспечивают нейросетевые топологии семантической сегментации.

В рамках данного метода используется топология на основе U-Net (Olaf Ronneberger et al., 2015), расширенной и дополненной авторами для задач интерпретации аэрокосмических изображений.

Ввиду необходимости решения нескольких задач в рамках одной модели, для сокращения времени обучения и обеспечения консистентности результатов вместо ансамбля независимо обучаемых моделей, используемого традиционно, нами применены следующие модификации топологии нейросетевой модели и процесса ее обучения:

1) Блок кодировщика оставлен без изменений;

2) Для каждой из подзадач реализованы отдельные блоки декодеровщика и функции потерь;

3) В целях оптимизации потребления оперативной памяти в процессе обучения модели для каждого из декодировщиков выполняется отдельная операция градиентного спуска.

Принципиальная схема предлагаемой топологии представлена на рис. 3.

Рис. 3.

Принципиальная схема топологии нейросетевой модели на базе U-Net с несколькими декодировщиками.

III. Модели индивидуального (локального) анализа.

Предлагаемый авторами метод предполагает разработку отдельных нейросетевых моделей для каждого укрупненного класса объектов, в частности: 1) Модель классификации типов вагонов; 2) Модель определения параметров типовых зданий; 3) Модель выделения геометрических признаков нетиповых зданий.

С точки зрения топологии нейросетевых моделей данные задачи могут быть сведены к двум: задача извлечения количественных признаков из изображений; задача локализации элементарных геометрических примитивов. Первая из них, в свою очередь, сводится к классической задаче аппроксимации детерминированного набора свойств объекта (Arsalan Mousavian et al., 2015). Вторая – к решению, предложенному в качестве основы для построения модели интегрального анализа.

АЛГОРИТМ ПОСТРОЕНИЯ ТРЕХМЕРНОЙ ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ ОБЪЕКТА ПО РАСТРОВЫМ ОБЛАСТЯМ

На рис. 4 приведена общая схема алгоритма автоматизированного построения трехмерных моделей объектов железнодорожного транспорта (зданий) по растрам классов c₁, c₂ и c₈. Применяемый подход имеет следующие особенности: 1) Восстановление формы объекта проводится по одному ортотрансформированному спутниковому изображению; 2) Метаданные изображения не используются; 3) Используется дополнительная входная информация – размеры эталонных стандартизированных объектов; 4) Детектируемые растры классов непрерывны, могут иметь произвольную форму, в том числе с наличиями пустот; 5) Для полных объектов (заданы “крыши” и “стены”) восстанавливается 3D-модель; 6) Для неполных объектов (заданы либо “крыши”, либо “стены”) оценивается 2D-модель; 7) Для объектов, частично скрытых: в рамках снимка (заслонение фоновыми объектами) или за рамками снимка – оценивается только видимая часть; 8) Для частично скрытых объектов скрытая часть может быть восстановлена с учетом предположения их формы.

Рис. 4.

Алгоритм построения геометрической модели объекта по растровым областям.

ПРИМЕР ПОСТРОЕНИЯ ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ ОБЪЕКТА ПО РАСТРОВЫМ ОБЛАСТЯМ

Приведем пример использования разработанного алгоритма. В примере выбраны следующие информативные классы элементов ригидных объектов (рис. 5): c₁ – крыша; c₂ – стена здания; c₃ – вертикальная составляющая опорного столба; c₄ – тени от c₁ и c₂; c₅ – тени от c₃; c₆ – направляющая c₂; c₇ – направляющая c₄; c₈ – рельсы. Классы c₁, c₂, c₄ размечаются как полигоны, классы c₃, c₄, c₆, c₇, c₈ – как полилинии.

Рис. 5.

Пример сегментации изображения объектов железнодорожной инфраструктуры: а – информативные классы; б – сегментированное изображение – выделены крыши и стены.

Растровые области классов ригидных объектов в наборе данных имеют ряд особенностей, затрудняющих применение традиционных методов тематической обработки для восстановления их трехмерных моделей. К ним относятся (рис. 6): 1) Возможное наличие надстроек и пристроек к зданию, подобных ему по форме и возможно имеющих также свои надстройки и пристройки (рис. 6, а); 2) Слипание или пересечение областей, относимых к разным объектам (крыш, стен, теней) (рис. 6, а); 3) Заслонение областей одних информативных классов (видимость ниже) областями других информативных классов (более открытых, видимость выше) или фоновыми объектами (например, деревья или тени скрывают часть крыши или стены здания) (рис. 6, б); 4) Искажение тени от объекта при ее падении на неровную поверхность (рис. 6, в). Так, (3) приводит к: 1) Разрыву одной связной области на несколько, которые могут принадлежать одному объекту; 2) Имплицитности образа объекта за счет покрытия растром только части объекта и его неоднозначной интерпретации; 3) Стохастической форме границы, встречаемости или полному отсутствию прямых линий границы. В сочетании с другими обструкционными особенностями качество растра области для построения по ней 3D-модели еще более неблагоприятно.

Рис. 6.

Особенности построения обучающей выборки (на примере изображений): а – наличие надстроек и пристроек, слипание и пересечение областей, относимых к разным объектам; б – заслонение областей одних информативных классов областями других информативных классов или фоновыми объектами; в – искажение тени от объекта при ее падении на неровную поверхность.

При расчетах были использованы следующие эталонные размеры: a = 1.52 м – расстояние между рельсами, класс c₈. b = 11.35 м – высота опорного столба (промежуточные опоры с нормальным габаритом на двухпутном участке), класс c₃. По ним найдены масштабирующие коэффициенты m_i = R_i/r_i, i = 1…q по направлениям ${{\bar {n}}_{i}} = {{{{{\bar {r}}}_{i}}} \mathord{\left/ {\vphantom {{{{{\bar {r}}}_{i}}} {{{r}_{1}}}}} \right. \kern-0em} {{{r}_{1}}}}$, где отрезки ${{r}_{i}}$ – мерятся координатами точек на изображении I, R_i – соответствующие линейные размеры отрезков. В нашем случае q = 4: ${{\bar {n}}_{1}}$ и ${{\bar {n}}_{2}}$ – направления вдоль прямоугольных стен здания (предполагаем здания прямоугольными), характерные для каждого объекта, ${{\bar {n}}_{3}}$ и ${{\bar {n}}_{4}}$ – вертикальное направление и направление падения тени, характерные для снимка в целом. Считаем, что ${{\bar {r}}_{1}} = \overline {AC} ,~$ ${{\bar {r}}_{2}} = \overline {BC} {{m}_{1}} = {{m}_{2}} = m = {a \mathord{\left/ {\vphantom {a r}} \right. \kern-0em} r}$, r = DE, R₃= R₄= b, где m – пространственное разрешение. Опорные столбы AC, их тени BC, расстояние между рельсами DE мерятся для соответствующих выборок объектов и находятся как средние значения этих выборок (рис. 7, а).

Рис. 7.

Основные построения: а – входное изображение; б – участок классификационного изображения (объект ξ).

Алгоритм включает два этапа обработки спутникового изображения.

На первом этапе проводилась постобработка классификационного изображения K (см. рис. 7, б).

1. Выделение классов c₁ (i = 1) и c₂ (i = 2): ${{K}_{i}}\left( {x,y} \right) = \left\{ {\begin{array}{*{20}{c}} {1,~\left( {x,y} \right) \in {{c}_{i}}} \\ {0,~\left( {x,y} \right) \notin {{c}_{i}}} \end{array}} \right.$, заполнение “пустот”, при необходимости эрозия (для разделения “слипшихся” объектов) и дилатация при выделении каждого объекта в отдельности.

2. Построение матриц $K_{1}^{'} = {{K}_{1}} + R + \sum\nolimits_{j = 1}^p {{{{\Delta }}_{j}}} $, $K_{2}^{'} = {{K}_{2}} + R$, где R – “пустая” рамка некоторой толщины d (задает долю скрытой части объекта за рамками изображения от всего объекта), ${{{\Delta }}_{j}}$ – добавляемые фигуры высотой h < d с основаниями на границах рамки и объектов (за них принимаются равнобедренные треугольники).

3. Выделение объектов в $K_{1}^{'}$ и $K_{2}^{'}$ и их соотнесение: поиск стен, смежных с крышей и лежащих “на пути” вектора ${{\bar {n}}_{3}}$ от границы крыши; поиск пристроек – другая крыша, прерывающая стену “на пути” ${{\bar {n}}_{3}}$, вместе с ее стенами; поиск надстроек – часть той же крыши, ограниченная отрезками от углов F по направлениям $\bar {n}{\kern 1pt} '$, таким что $\bar {n}{\kern 1pt} ' \bot \bar {n}{\kern 1pt} ''$, $\angle \left( {\bar {n}{\kern 1pt} ',{{{\bar {n}}}_{3}}} \right) - {\text{max}}$.

На втором этапе проводилась автоматизированная обработка каждого объекта в отдельности (рис. 8):

Рис. 8.

Основные построения (второй этап обработки, на примере объекта ξ₁): а – линия контура; б – линеаризованная линия; в – опорная линия; г – поляризованная линия; д – доведение; е – геометрическая коррекция.

1. Выделение и отслеживание контура (получение линии контура L).

2. При линеаризации для каждой точки L_i = (x_i, y_i) линии L крыши находился отрезок линии регрессии точки L_i и последующих t точек (t – линейный шаг линеаризации). Далее направляющие отрезков поворачивались до ближайших направлений $\overline {{{k}_{i}}} \in u$, где u – множество углов от 0 до $2\pi $ с некоторым шагом $\varphi $ ($\varphi $ – угловой шаг линеаризации). Находится линеаризованная линия T – точек линии L, для которых меняется направление $\overline {{{k}_{i}}} $.

3. При поляризации в плоскости направляющие $\overline {{{k}_{j}}} $ отрезков линии T поворачиваются до ближайших направлений $\overline {{{l}_{j}}} \in v$, где v – множество ортогональных направлений от $\bar {l}$ (${{\bar {n}}_{1}} = \bar {l},~{{\bar {n}}_{2}} \bot {{\bar {n}}_{1}},~~ - {{\bar {n}}_{1}},~ - {{\bar {n}}_{2}}~$). За $\bar {l}$ принимается направление отрезка линии T, составляющего наиболее прямой и длинный участок L, при отсутствии таких участков за $\bar {l}$ принимается направление эквивалентного эллипса точек T. Строится опорная линия G ' – точек линии T, для которых меняется направление $\overline {{{l}_{j}}} $, а длины отрезков от этих точек больше некоторого e. Ей соответствует поляризованная линия G ", состоящая из отрезков длин G ', но в поляризованных направлениях $\overline {{{l}_{j}}} $. При доведении G линия G " замыкается в начальной M и одной из последних N точках в одном из направлений $\overline {{{l}_{j}}} $ и удаляются точки, в которых направление не меняется на ортогональное.

4. При геометрической коррекции линии G относительно линии L: G сдвигается из точки O' в точку O, затем поворачивается от направления $\bar {l}{\kern 1pt} '$ до направления $\bar {k}{\kern 1pt} '$ и масштабируется в s_x и s_y раз по оси абсцисс и ординат относительно точки O. За точки O и O ' принимаются начало наиболее длинного отрезка линии G и соответствующей ему точки линии G ' либо геометрические центры G и G '. За $\bar {k}{\kern 1pt} '$ и $\bar {l}{\kern 1pt} '$ принимаются направления этих отрезков либо ближайшие друг к другу направления эквивалентного эллипса. s_x и s_y – отношения по оси абсцисс и ординат расстояния от O до самой дальней от нее точки (на линии G ') к расстоянию от O' до самой дальней от нее точки (на линии G).

Присоединение пристройки или надстройки к объекту осуществлялось присоединением ее крыши к крыше объекта сдвигом и поворотом от вектора p₁ до вектора p₂.

5. Высота H объекта оценивалась как среднее значение длин отрезков w, соединяющих точки границы крыши по направлению ${{\bar {n}}_{3}}$, пересекающих точки смежной с крышей стены до окончания стены (см. рис. 7). Превышения пристроек H' оценивалось как средние w' (при наличии стен пристроек) либо как разностей w – dw (при отсутствии стен пристроек). Превышения надстроек H" оценивалось как средние значения отрезков w'', соединяющих точки границ крыши вдоль ${{\bar {n}}_{3}}$ и пересекающих точки смежной с крышей стены.

Форма крыши оценивалась по разностям h = w – H (h' = w' – H ', h" = w" – H") вдоль профиля стены. Если максимальное отклонение h_m по всему профилю незначительно, крыша считается прямой. Если оно значительно, в этой точке – вершина треугольной крыши высотой h_m, а наклону соответствует средний наклон линий регрессии в обе стороны от этой точки (оставшаяся часть профиля считается прямой). Профили накладываются на соответствующие стороны границы крыши, продолжаются до противоположных сторон и пересекаются друг с другом.

6. Трехмерная модель объекта складывается из контуров крыши объекта, крыш его пристроек и надстроек (замкнутые линии G), а также ортогональных отрезков высот H и превышений H ' и H " (при наличии стен). Объект масштабируется на m по осям абсцисс и ординат и на m₃ по оси аппликат. Географические координаты объекта брались как координаты геометрического центра объекта на снимке.

На рис. 9 приведены примеры трехмерных моделей объектов, построенных по предложенной методике. Объект ξ₁ обособлен от других объектов, а ξ₂ “слипается” с другим объектом, относительно которого он является пристройкой. ξ₃ находится на границе изображения и частично скрыт, для него отсутствует растр стен, поэтому строится только 2D-модель (для таких объектов принимается средняя высота 3-этажного здания H = 3H₀, H₀~ 3.2 м – высота одного этажа). Масштабирующие коэффициенты, полученные для данного изображения: m₁ = m₂ ~ 0.21, m₃ ~ 1.09.

Рис. 9.

Примеры восстановленных по растрам (а, б, в) 3D-моделей объектов ξ₁ (г), ξ₂ (д), ξ₃ (е).

По результатам проведенной обработки получены оценки площади зданий в основании, которые составили соответственно 320, 1400, 210 м². Получены также соответствующие оценки объемов зданий: 1250, 29 000, 1900 м³.

ЗАКЛЮЧЕНИЕ

В работе предложен многомасштабный метод построения трехмерных моделей объектов земной поверхности по отдельному ортотрансформированному спутниковому изображению, состоящий из этапов интегрального и локального анализа спутниковых изображений, причем каждый из этапов включает в себя композицию традиционных и нейросетевых методов.

Используемые нейросети построены на базе полносверточной топологии U-Net, расширенной и дополненной авторами для задач интерпретации аэрокосмических изображений.

Целью интегрального анализа является локализация интересующих объектов при сегментации изображений и извлечение релевантной этим объектам информации: тематических и пространственных классов отдельных пикселов, теней и т.д.

Локальный анализ направлен на извлечение данных, необходимых для определения трехмерных геометрических характеристик объекта и их интерпретацию. Локальный анализ поддерживает построение моделей как типовых объектов, обладающих низкой вариативностью по заранее известным признакам, так и зданий или сооружений прямоугольной (обобщаемой до произвольной) пространственной конфигурации.

В работе описан подход к восстановлению трехмерной модели ригидных объектов по одному изображению без использования метаданных на базе четырех информативных классов, выявляемых по результатам машинного обучения: рельс и опорных железнодорожных столбов для оценки масштабирующих коэффициентов, крыш и стен для оценки формы основания и высоты строений. Приведены примеры трехмерных моделей трех зданий, восстановленных по растрам областей классов стен и крыш.

Получаемые с помощью предложенного метода трехмерные модели можно использовать в качестве данных для ГИС и систем поддержки принятия решений на их основе. Такие данные применимы для мониторинга протяженных инфраструктурных объектов и их периферии как основы для художественной или научной визуализации.

Перспективными направлениями развития метода является его интеграция с методами интерактивного обучения; расширение тематического охвата моделируемых объектов, развитие методов разрешения ситуаций неопределенности.