Исследование Земли из Космоса, 2022, № 2, стр. 72-87

Обзор современных облачных платформ обработки и аналитики данных ДЗЗ и информационных продуктов на их основе

А. А. Емельянов ab, М. В. Ерешко a*, О. С. Сизов a, А. В. Борисов a

a АО “Российские космические системы”
Москва, Россия

b АО “Научно-исследовательский институт точных приборов”
Москва, Россия

* E-mail: contact@spacecorp.ru

Поступила в редакцию 25.06.2021

Полный текст (PDF)

Аннотация

Активное развитие орбитальной группировки космических аппаратов дистанционного зондирования Земли (ДЗЗ) привело к накоплению больших объемов данных ДЗЗ, которые требуют новейших подходов к организации хранения и оперативного доступа к ним для аналитики в режиме реального времени. На фоне переориентации потребительского интереса от получения данных ДЗЗ первичных (стандартных) уровней обработки к использованию интегрированной виртуальной среды применения данных и продуктов ДЗЗ, наиболее перспективным и востребованным форматом взаимодействия с различными категориями пользователей является облачная платформа обработки и анализа данных ДЗЗ (облачная платформа). Существующее многообразие облачных платформ затрудняет понимание пользователями внутренней структуры и связанности составных элементов с точки зрения функциональных и потребительских свойств, что приводит к необходимости их научной систематизации. В данной работе приведены результаты обзорного анализа зарубежных и российских облачных платформ. Выделена типовая структура облачной платформы, каждый слой которой имеет собственный характер функционирования, автономности, стандартизации и горизонтальной масштабируемости. Результаты проведенного обзора показали, что облачные платформы являются наиболее перспективным направлением развития средств обработки и анализа данных ДЗЗ.

Ключевые слова: облачная платформа, дистанционное зондирование Земли, науки о Земле, большие данные, облачные технологии

ВВЕДЕНИЕ

В настоящее время вследствие динамичного развития информационных и телекоммуникационных технологий открываются новые возможности для модернизации средств и инструментов обработки и распространения данных ДЗЗ. Концепция и логика оказания геоинформационных услуг подвергается изменениям, просматривается трансформация традиционных подходов к комплексу операций с данными ДЗЗ и предоставлению информационных продуктов на их основе пользователям.

Необходимость создания облачных платформ во многом определяется растущими объемами данных, получаемых с российских и зарубежных космических аппаратов (КА) ДЗЗ (Хайлов, Заичко, 2018), расширением перечня прикладных задач пользователей, решаемых с привлечением методов ДЗЗ (Борисов и др., 2013), и масштабным внедрением технологий Индустрии 4.0 (переход к программно-определяемой инфраструктуре) (Емельянов и др., 2020).

В частности, тенденция накопления больших объемов данных ДЗЗ характерна для орбитальной группировки КА Sentinel (Storch et al., 2019) – ежегодный объем поступающих “сырых” данных превышает 4 петабайта. По оценкам, в настоящее время ежесуточный прирост суммарного объема данных, производимых мировой ОГ КА ДЗЗ, достигает 1 петабайта (La Beaujardiere, 2019), что приводит к проблеме “больших данных”. Требуются новые подходы к обработке, анализу данных ДЗЗ, оптимизации их хранения и доступа к ним с привлечением облачных технологий. Одним из таких подходов является представление данных ДЗЗ в виде “кубов данных” (data cube), которые позволяют консолидировано хранить и предоставлять оперативный доступ к информации (Schmidt, 2019; Giuliani et al., 2019).

Целью исследования является обзор и систематизация облачных платформ обработки и аналитики данных ДЗЗ, а также выделение их типовой структуры и анализ перспективных способов оказания услуг ДЗЗ пользователям различных сфер экономической деятельности.

ОБЗОР ОБЛАЧНЫХ ПЛАТФОРМ ОБРАБОТКИ И АНАЛИЗА ДАННЫХ ДЗЗ

Согласно определению Национального института стандартов и технологий США (Mell, Grance, 2012), облачные вычисления (cloud computing) реализуют модель обеспечения удобного сетевого доступа по требованию к некоторому общему фонду конфигурируемых вычислительных ресурсов, которые могут быть оперативно предоставлены пользователю с минимальными эксплуатационными затратами.

Сервис представляется как внешний интерфейс (верхняя граница облачной платформы) между пользователем и внутренней организацией платформы, используя функции веб-приложения. Таким образом, пользователю предоставляется полный объем необходимых ресурсов в соответствии с его требованиями, при минимальном включении данного пользователя в процесс подготовки и получения требуемого результата.

Появление облачных платформ хорошо согласуется с эволюцией концепции геоинформационных систем (ГИС) (OGC, ISO, 2014), в которой отражены уровни стандартов предоставления геопространственной информации, данных и продуктов ДЗЗ пользователям в зависимости от масштаба вовлеченных в сообщество заинтересованных сторон и многообразия механизмов управления ими:

– уровень 1 – обмен геопространственной информацией через Интернет, повсеместное использование рабочих мест с настольным программным обеспечением и серверов в локальных сетях. На рынке ДЗЗ и ГИС задействованы единицы слабовзаимодействующих между собой организаций-разработчиков программного обеспечения и поставщиков данных ДЗЗ (1990-е гг.);

– уровень 2 – партнерство по обмену геопространственной информацией – обмен, интеграция и использование геопространственных данных различных поставщиков. Усиление взаимодействия между сообществами в сферах ДЗЗ и ГИС, и, как следствие, рост потребности в стандартизации и внедрении спецификаций для представления географических характеристик и для обслуживания конкретных потребностей организаций-участников в области геопространственных технологий и сервисов. Планомерный рост числа поставщиков данных ДЗЗ (2000-е годы). На финальном этапе накопленный объем данных подталкивает к следующему шагу совместного развития ГИС и IT-технологий;

– уровень 3 – разработка глобальной инфраструктуры пространственных данных, которая обеспечивает доступ к нескольким источникам разнородной информации с возможностью их интеграции в различных средах (мобильные приложения, web-сервисы облачных платформ и т.д.). Развитие сегмента высокотехнологических сервисов стимулирует коммерциализацию продуктов на основе данных ДЗЗ (Тюлин А.Е. и др., 2020). В оборот входит термин “Цифровая Земля” как система предоставления пользователям геоинформационных услуг и передовых технологий, включая ДЗЗ, ГИС, глобальное позиционирование, связь, сенсорные сети, виртуальную реальность (Grossner et al., 2008). (2010-е и начало 2020-х гг.);

– уровень 4 (будущее) – создание сетевой (консолидированной) модели доступа к пространственным данным, доставки геопространственной информации в сеть и наведения мостов между инфраструктурами пространственных данных и более широким сообществом информационных систем.

Развитие каждого уровня выражается в повышении производительности и эффективности использования технологий ДЗЗ и ГИС. В настоящее время решения в сфере ДЗЗ относятся ко второму и третьему уровням применения стандартов, с признаками перехода на четвертый уровень.

Ретроспективный анализ облачных платформ и приложений в сфере ДЗЗ показал, что первая волна таких платформ появилась в конце 2000-х гг. Наиболее развернутый обзор с краткими характеристиками платформ, по состоянию на 2013 г., приводится в (Evangelidis et al., 2014). В другом исследовании (Lü et al., 2011) по состоянию на 2010 г. описаны 13 платформы (в том числе, GoogleEarth, GoogleMaps, BingMaps), включая характеристику внутренней логики их функционирования. При этом отмечается тренд трансформации платформ общего назначения (общегеографические с картографическими слоями) в узкоспециализированные платформы для решения конкретных задач отдельных отраслей экономики и социальной сферы. Обзор облачных платформ (Gomes et al., 2020) в разрезе функциональных ожиданий (потребностей) и технических возможностей показал отсутствие универсальной платформы, а ее создание сопровождается затруднениями технологического и маркетингового плана.

При характеристике облачных платформ в первую очередь учитывается реализация следующих технических особенностей:

– интерфейс сервиса в веб-клиенте (веб-браузере), запуск или развертывание без предустановок и специфических настроек ближайшего окружения рабочего места (обязательный критерий);

– автоматическая обработка на средствах интегратора и предоставление информационных продуктов ДЗЗ в режиме он-лайн или близком к нему (обязательный критерий);

– оперативное поступление данных ДЗЗ от поставщиков или/и использование собственных данных ДЗЗ;

– открытая и детальная информация для потенциальных пользователей, какие услуги, в каком объеме, из каких данных ДЗЗ поставщиков формируются продукты, на каких условиях (сроки и стоимость) сервис может быть предоставлен;

– возможность пользователя участвовать в разработке алгоритмов и скриптов формирования продуктов ДЗЗ для дальнейшего встраивания в сервис для расширения его функциональности в интересах пользователя.

Облачные платформы можно разделить по функциональному назначению предоставляемых сервисов на: DaaS (данные ДЗЗ как сервис), SaaS (программное обеспечение обработки данных ДЗЗ как сервис), PaaS (платформенная среда обработки данных ДЗЗ как сервис), IaaS (инфраструктура сбора, обработки и хранения данных ДЗЗ как сервис). Соответственно, в разрезе функциональных свойств облачных платформ можно выделить следующие классы:

– предоставление данных ДЗЗ (собственные – Ia, сторонние – Ib);

– предоставление возможностей аналитики данных ДЗЗ (II);

– интеграция данных ДЗЗ и инструментов их аналитики в единой среде (III);

– предоставление инструментария для создания пользовательских сервисов (IV);

– предоставление облачной инфраструктуры хранения данных ДЗЗ и вычислительных ресурсов обработки (V).

Деление классов Ia и Ib достаточно условное, т.к. оператором данных ДЗЗ может выступать группа организаций из нескольких государств-участников (например, ЕС).

В табл. 1 приведен перечень изученных облачных платформ. В него не включены сервисы по предоставлению только облачной инфраструктуры для хранения данных ДЗЗ или вычислительных ресурсов для их обработки. Также не рас-смотрены ресурсы, реализующие организационную форму доступа к настольному программному обеспечению (в сферах ГИС и ДЗЗ) с помощью удаленных рабочих столов (RDP), таких как GeoCloud (Райзман, 2019), CloudEO (Krischke, Benz, 2018) и др.

Таблица 1.  

Российские и зарубежные облачные платформы

Название облачной платформы Назначение и решение прикладных задач Функционал (информационное наполнение) и подходы к реализации Степень готовности
1. Геоаналитика.Агро (Россия) (http://agro.geoanalitika.com/ru/) [Ib, II]*
1) Поддержка принятия решений в области сельского хозяйства.
2) Предоставление доступа к массиву разнообразной, постоянно обновляемой информации о состоянии сельскохозяйственной растительности, условиях произрастания и характере землепользования.
– анализ временных рядов данных ДЗЗ, метео- и другой геопространственной информации,
– использование моделей интерполяции,
– классификация по набору параметров.
Эксплуатация
 2. Банк базовых продуктов (Россия) (https://bbp.ntsomz.ru/) [Ia, Ib, II]*
1) Отслеживание изменений подстилающей поверхности Земли.
2) Построение карт, восстанавливаемых по данным ДЗЗ геофизических параметров.
3) Валидация восстановленных геофизических параметров, описывающих физические объекты и получение исходной устойчивой информации для моделей развития различных явлений и процессов.
4) Решение прикладных задач (лесное и сельское хозяйства, морская среда, чрезвычайные ситуации, экология).
– предоставление индексных изображений – продукты специальной обработки данных ДЗЗ стандартных уровней, характеризующие состояние объектов подстилающей поверхности и представленные в производных физических (или псевдофизических) величинах;
– предоставление композитных изображений – продукты, формируемые из данных ДЗЗ стандартных уровней на одну территорию интереса за разные даты наблюдения либо от разных сенсоров, характеризующие относительное изменение состояния объектов подстилающей поверхности в пространстве и времени.
Эксплуатация
 3. TerraCloud (https://cloud.terratech.ru) [Ia, Ib]*
1) Возможность приобретения данных ДЗЗ (новая съемка или архив) с российских и иностранных космических аппаратов в одном окне онлайн. – реализация автоматической цепочки заказа и поставки данных ДЗЗ конечному потребителю,
– предоставление комплекта поставки включает данные по международной классификации 2А с сопутствующей информацией.
Эксплуатация
 4. Геоинтеграционная платформа Геотрон (Россия) (http://geotron.ntsomz.ru/) [Ia, Ib, II, III]* 1) Интеграция открытой, коммерческой и собственной пространственно-распределенной информации в едином геоинформационном пространстве.
2) Облегчение процесса сбора ретроспективной и актуальной информации о территории и объектах инфраструктуры.
– предоставление многопользовательского доступа к различным видам геоинформационных ресурсов: базам геоданных, картографическим ресурсам и сервисам, 3D-моделям местности и объектов, данным ДЗЗ,
– создание, загрузка, хранение, обработка и визуализация геопространственной информации из различных источников с учетом собственных данных пользователей.
Эксплуатация
 5. Maritime Scanex (Россия) (https://maritime.earth/) [Ib, II, III]*
1) Оперативный мониторинг навигационной, инженерно-технической и экологической безопасности морских объектов и акваторий, направленный на обеспечение адекватной оценки ситуации в море и быстрого реагирования. – интеграция технологий обработки и интерпретации оперативных спутниковых данных, алгоритмов моделирования автоматической идентификации судов ведущих мировых поставщиков. Эксплуатация
 6. ЦКП ИКИ-Мониторинг (Россия) (http://ckp.geosmis.ru/) [Ib, II]* 1) Возможность архивации, обработки и анализа данных ДЗЗ в интересах РАН.
2) Решение научных и прикладных задач изучения и мониторинга окружающей среды.
– обеспечение доступа к многолетним, постоянно пополняющимся архивам данных ДЗЗ,
– возможность обработки и аналитики данных ДЗЗ.
Эксплуатация
 7. Решения компании ИнноГеоТех (Россия) (http://innogeotech.ru/solutions/) [Ib, II]*
1) Единое облачное пространство для хранения и управления пользовательскими геоданными.
2) Оперативный мониторинг и моделирование развития болезней сельскохозяйственных культур.
3) Управление лесным фондом с алгоритмами распознавания.
– импорт и экспорт данных ДЗЗ из разных источников в разных форматах, а также конвертация данных,
– первичная и тематическая обработка данных в автоматическом режиме,
– визуализация и аналитика данных,
– применение обучающих и тестовых наборов данных ДЗЗ и ручной разметки объектов для машинного обучения.
Эксплуатация
(внедрение)
 8. EO VAS (Словения, Австрия) (http://eo-vas.eu/) [Ib, II]*
 
1) Ядро платформы Perceptive Sentinel.
2) Идентификация видового состава сельскохозяйственных культур.
3) Мониторинг луговых угодий и определение областей и границ участков.
– отработка технологий машинного обучения на основе данных ДЗЗ,
– программная поддержка разработки облачных платформ и предоставления услуг ДЗЗ,
– валидация внедряемых технологий.
Проект (ядро проекта PerceptiveSentinel)
 9. EOPEN (Италия, Греция) (https://eopen-project.eu) [Ib, II, III]*
1) Обнаружение изменений подстилающей поверхности Земли.
2) Мониторинг изменений климата.
– применение технологий обработки разновременных и разнородных данных,
– предоставление инфраструктуры для поддержки жизненного цикла обработки big data.
Проект
 10. CANDELA (ЕС) (http://www.candela-h2020.eu/) [Ib, II]*
1) Обнаружение изменений подстилающей поверхности Земли.
2) Мониторинг за стихийными бедствиями, мониторинг лесного хозяйства.
3) Урбанистка и сельское хозяйство.
Проект
 11. BETTER (ЕС) (https://www.ec-better.eu/) [Ib, II]*
1) Решение социально-экономических проблем, продовольственная безопасность.
2) Мониторинг опасных геологических явлений.
Проект
 12. CreoDIAS Browser (ЕС) (https://browser.creodias.eu) [Ia, Ib, II, III, IV, V]*
1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким.
– предоставление открытых данных ДЗЗ c КА Sentinel и Landsat (хранилище петабайтного класса),
– предоставление готовой аналитики и доступных вычислительных кластеров большой мощности в целях оперативной аналитики и предоставлении ее результатов,
– оказание услуг, связанных в предоставлении вычислительных мощностей пользователям для обработки и хранения данных ДЗЗ,
– предоставление подписок на ряд коммерческих операционных систем и сетевые ресурсы,
– для некоторых платформ – предоставление возможностей для разработки собственных сервисов, используя готовый набор библиотек и утилит.
Эксплуатация
 13. Mundi (ЕС) (https://mundiwebservices.com/) [Ia, Ib, II, III, V]*
1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким.
3) Интеграция с атрибутами, не являющими данными ДЗЗ.
4) Наличие маркетплейса других решений и сервисов.
Эксплуатация
14. Onda (EC) (https://www.onda-dias.eu/) [Ia, Ib, II, III, IV, V]* 1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким, с пользовательскими шаблонами (предварительно настроенных виртуальных сред).
Эксплуатация
  15. Sobloo (EC) (https://sobloo.eu/) [Ia, Ib, II, III, V]*
1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким.
3) Интеграция с атрибутами, не являющими данными ДЗЗ.
4) Наличие маркетплейса других решений и сервисов.
Эксплуатация
 16. Wekeo (EC) (https://www.wekeo.eu/) [Ia, Ib, II, III, IV, V]*
1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким.
3) Интеграция с атрибутами, не являющими данными ДЗЗ.
Эксплуатация
17. EOS Platform (США) (https://eos.com/) [Ib, II, III]*
 
1) Аналитика и визуализация данных.
2) Круг прикладных задач в платформе может быть широким (22 отрасли экономики).
– поиск, анализ и предоставление данных ДЗЗ,
– выполнение аналитики данных ДЗЗ,
– визуализация разновременных и разнородных наборов данных,
– доступ и управления хранилищем данных.
Опытная эксплуатация
18. Descartes Labs (США) (https://www.descarteslabs.com/) [Ib, II, V]*
1) Обработка данных ДЗЗ, обнаружение изменений и тенденций.
2) Решение прикладных задач (сельское хозяйство, энергетика, финансы, лесное хозяйство, страхование, транспорт и др.).
– доступ к глобальным данным – в ретроспективе и в почти реальном масштабе времени,
– аналитика данных с использованием искусственного интеллекта,
– просмотр в режиме реального масштаба времени изменений и тенденций подстилающей поверхности Земли, аналитика с измерением физических величин,
– возможность написания скриптов обработки и манипуляции данными.
Опытная эксплуатация
19. Google Earth Engine (США) (https://earthengine.google.com/) [Ib, II, III, IV]*
1) Обработка и аналитика подстилающей поверхности Земли в глобальном и локальном масштабах.
2) Решение прикладных задач (аналитика от изменения леса до распределения водных поверхностей, изменений глобального климата и др.).
– обработка и аналитика с применением большого числа инструментария для манипуляции данными ДЗЗ, в том числе с применением технологий искусственного интеллекта,
– возможность написания скриптов обработки и манипуляции данными.
Эксплуатация
20. Maxar GBDX (США) (https://www.geobigdata.io/) [Ia, Ib, II, III, V]*
1) Обработка и аналитика подстилающей поверхности Земли в глобальном и локальном масштабах.
2) Решение прикладных задач (климатология, урбанистка, городское планирование и др.).
– доступ к большому архиву данных ДЗЗ коммерческих операторов Северной Америки,
– автоматическая аналитика с получением информационных продуктов,
– возможность написания скриптов обработки и манипуляции данными,
– аналитика данных с использованием технологий машинного обучения,
– интеграция растровых изображений с векторными данными.
Эксплуатация
21. ArcGIS Platform (США) (https://www.esri.com/en-us/arcgis/products/arcgis-platform/overview) [Ib, II, III, IV]*
1) Обработка и анализ подстилающей поверхности Земли в глобальном и локальном масштабах.
2) Круг прикладных задач в платформе может быть широким.
– создание, публикация и запуск скриптов для изучения и управления данными, а также для выполнения административных задач,
– возможность написания скриптов обработки и манипуляции данными.
Эксплуатация
22. Planet (США) (https://www.planet.com/products/platform/) [Ia, Ib, II, III, IV, V]*
1) Обработка и анализ подстилающей поверхности Земли.
2) Круг прикладных задач в платформе может быть широким.
– предоставление инфраструктуры для обработки больших объемов данных ДЗЗ, включая контейнеризацию, выделенную облачную инфраструктуру,
– визуализация практически в реальном масштабе времени разновременных и разнородных наборов данных,
– возможность написания скриптов обработки и манипуляции данными.
Эксплуатация
23. Perceptive Sentinel (США) (http://www.perceptivesentinel.eu/) [Ia, Ib, II, III]*
 
1) Обработка и анализ подстилающей поверхности Земли.
2) Круг прикладных задач в платформе может быть широким.
3) Многопрофильный разработчик в области ДЗЗ.
4) Решение проблем обработки big data, машинного обучения.
– предоставление механизма обработки и интерпретации мультиспектральных и разновременных данных ДЗЗ,
– аналитика данных с использованием технологий потокового машинного обучения.
Проект
24. Pixel Information Expert (PIE) (Китай) (http://www.piesat.cn) [Ia, Ib, II, III, V]*
1) Обработка данных и аналитика подстилающей поверхности Земли.
2) Круг прикладных задач в платформе может быть широким.
– предоставление инфраструктуры для обработки больших объемов данных ДЗЗ,
– предоставление возможности интеграции разнородных данных ДЗЗ.
Эксплуатация
25. Bhuvan (Indian Geo-Platform of ISRO) (Индия) (https://bhuvan.nrsc.gov.in) [Ia, Ib, II, III]*
1) Представление готовых информационных продуктов и анализ подстилающей поверхности территории Индии и сопредельных территорий (Индийский океан), для части продуктов – в глобальном масштабе.
2) Решение прикладных задач (сельское хозяйство, лесное хозяйство, гидрология, геоморфология, туризм, урбанистка и др.).
– аналитика данных ДЗЗ из разных источников (операторы ДЗЗ, в основном с индийских КА ДЗЗ),
– предоставление возможности интеграции разнородных данных ДЗЗ.
Эксплуатация

* Расшифровка классов платформ приводится в тексте статьи.

Изученные облачные платформы имеют различную степень технологической готовности и уровень раскрытия информации. Группа облачных платформ PerceptiveSentinel, EO VAS, EOPEN, CANDELA, BETTER являются участниками программы Horizon-2020 (https://ec.europa.eu/programmes/horizon2020/en/what-horizon-2020). Наличие нескольких однотипных проектов говорит о создании конкурентной среды между ними. Данные проекты ориентированы на опытную отработку технологий и разработку технических решений для дальнейшего масштабирования проектов под эгидой Европейского космического агентства (ESA).

В 2017 г. ESA подписало контракт по созданию облачной платформы CreoDIAS с консорциумом, возглавляемым Creotech Instruments S.A., основная идея которой состоит в объединении хранилища данных петабайтного класса, получаемых различными операторами ДЗЗ и доступных пользователям вычислительных кластеров большой мощности, в целях оперативной аналитики и предоставлении результатов. Аналогичным образом были реализованы облачные платформы Mundi, Onda, Sobloo и Wekeo, по их назначению и функциональности они подобны CreoDIAS.

Maxar GBDX (Geospatial Big Data platform) декларируется как мощная облачная платформа, предназначенная для геопространственной аналитики больших данных и позволяющая извлекать значимую для потребителей информацию, такую как: идентификация объектов с помощью технологий искусственного интеллекта, численные параметры и масштабные изменения, с доступом к библиотеке данных ДЗЗ высокого пространственного разрешения. Доступ к сервисам платформы GBDX из-за их коммерческой направленности возможен только после многоступенчатой регистрации с заключением соглашения.

Облачная платформа Google Earth Engine предоставляет данные ДЗЗ, информационные продукты и наборы геопространственных данных с возможностями анализа подстилающей поверхности Земли в глобальном масштабе, имеет средства программного взаимодействия (API) и другие инструменты, в том числе пользовательские, для анализа разнородных наборов данных. В (Gorelick et al., 2017) предпринята попытка выстроить упрощенную схему архитектуры системы на примере Google Earth Engine в разрезе укрупненных информационных сред, реализующих группу общих технических решений.

В экосистеме ERSI произошла переориентация известного продукта ArcGIS от настольного программного обеспечения к облачной платформе и ее сервисам в исполнении веб-приложения. На первом этапе был представлен продукт ArcGIS Notebook, далее – ArcGIS Platform (PaaS) и ArcGIS Online (SaaS). ArcGIS Platform аналогичен Maxar GBDX и Google Earth Engine, который использует ресурсы ESRI Python – открытые библиотеки для анализа, статистической обработки и машинного обучения.

Анализ облачной платформы Planet показал, что данное решение представляет собой сервис онлайн заказа и автоматической стандартной обработки данных ДЗЗ с КА, принадлежащих компании Planet и сторонним операторам. На коммерческих условиях возможен доступ к аналитике данных ДЗЗ высокого пространственного разрешения (мониторинг изменений подстилающей поверхности Земли, применение технологий компьютерного зрения, возможность извлечения характеристик идентифицируемых объектов подстилающего поверхности).

Облачная платформа Decartes Labs обеспечивает доступ к данным ДЗЗ с отслеживанием изменений и тенденций подстилающей поверхности Земли, возможна обработка данных с использованием искусственного интеллекта. Аналогичный функционал имеет платформа EOS Platform, в ее составе входят готовые тематические решения для различных отраслей экономики.

Среди реализованных облачных платформ в сфере ДЗЗ в странах БРИКС можно выделить Pixel Information Expert (Китай) и Bhuvan (Индия), их создание произошло несколько позже европейских и американских , и в настоящее время развитие идет стремительными темпами, что главным образом связано с развертыванием собственных орбитальных группировок ДЗЗ.

К российским платформам условно можно отнести Геоаналитика.Агро (Мышляков, Глотов, 2014) и Банк базовых продуктов (Васильев и др., 2015; Марков и др., 2016). Программно-аппаратная составляющая Банка базовых продуктов обеспечивается развертыванием виртуальных машин на базе серверной инфраструктуры и применением вычислительных модулей параллельной обработки (Марков и др., 2016), что несколько отличается от других рассматриваемых облачных платформ.

В части предоставления данных ДЗЗ можно выделить онлайн-сервис покупки данных ДЗЗ с российских и иностранных космических аппаратов TerraCloud (АО “Терра Тех”).

К платформе с поддержкой интеграции открытой, коммерческой и собственной пространственно-распределенной информации в единой геоинформационной среде можно отнести географическую интеграционную платформу (ГИП) “Геотрон” (Серебряков, 2019).

В целях решения задач мониторинга навигационной, инженерно-технической и экологической безопасности морских объектов и акваторий разработан набор сервисов Морской портал компании “Сканэкс” (Maritime Scanex). Компанией “ИнноГеоТех” совместно с ведущими организациями в сферах ГИС и ДЗЗ внедряются проекты, начиная от облачной платформы для решения задач общего назначения (хранение, обработка, визуализация и анализ) и заканчивая тематическими сервисами мониторинга в области сельского хозяйства и управления лесным фондом.

Среди крупнейших российских проектов следует выделить Центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ИКИ РАН для решения задач изучения и мониторинга окружающей среды “ЦКП ИКИ-Мониторинг” (Лупян и др., 2019).

ТИПОВАЯ СТРУКТУРА ОБЛАЧНЫХ ПЛАТФОРМ ОБРАБОТКИ И АНАЛИЗА ДАННЫХ ДЗЗ

В выделении типовой структуры облачной платформы применяется методологический подход абстрагирования в процессе анализа от несущественных сторон, свойств, связей объекта (предмета или явления) в целях выделения их существенных, закономерных признаков. Данный подход применяется по причине большого числа различающихся технических решений при разработке платформ в зависимости от масштаба и специфики решаемых задач.

В целом в типовой структуре выделены пять слоев, реализующих логику связанных групп средств и функциональных задач, соединенных интерфейсами (рис. 1): слой сервиса, слой бизнес-логики, слой вычислительной среды, слой облачной инфраструктуры, слой вычислительных ресурсов. Преимуществом данной структуры является то, что пользователь отделен от аппаратно-программных средств трех нижних слоев платформы, обеспечивая принцип инкапсуляции, т.е. система скрывает от пользователя процессы управления и распределения вычислительных ресурсов.

Рис. 1.

Типовая структура облачных платформ обработки и аналитики данных ДЗЗ.

Деление на слои обусловлено основополагающим принципом программной инженерии – разделением ответственности (separation of concerns) (Dijkstra, 1982; (Reade, 1989), представляющим собой процесс разделения облачной платформы на функциональные блоки, как можно меньше перекрывающие функции друг друга:

– слой сервиса представляет собой среду оказания ряда услуг по аналитике, по предоставлению данных ДЗЗ и информационных продуктов на их основе, непосредственно взаимодействующую с пользователями и реализуемую в виде веб-приложения (HTML, CSS, JavaScript, PWA и др.) и сервисов (Jupyter и др.);

– слой бизнес-логики содержит внутреннюю логику функционирования в прикладном плане, программную составляющую кроссплатформенных библиотек абстракции и преобразования геопространственных данных и формирования результата обработки. Слой также реализует функции редактора пользовательских скриптов обработки, анализа, используя средства клиентских библиотек и инструментов (GDAL, GeoTools, PostGIS и др.) и API (REST), обеспечивая гибкий характер одного или нескольких сервисов под вариабельные требования пользователей. Слои сервиса и бизнес-логики охватывают клиентскую сторону облачной платформы (front-end), обращенную к пользователю;

– слой вычислительной среды содержит программно определяемые виртуальные кластеры (система управления кластерами, распределенные базы данных, файловая система и др.), которые управляют выделением и распределением вычислительных мощностей для выполнения процессов в слое бизнес-логики, обеспечивая возможность их мониторинга и балансировки вычислительной нагрузки (средства VMware, RHV, Docker, GlusterFS, Ceph и др.);

– слой облачной инфраструктуры обеспечивает сетевой доступ к общему фонду конфигурируемых вычислительных ресурсов, которые могут быть оперативно предоставлены и освобождены с минимальными эксплуатационными затратами (средства: VMware, OpenStack и др.; решения: AWS, Google Cloud Platform, Azure и др.);

– слой вычислительных ресурсов отражает аппаратно-определяемую инфраструктуру, состоящую из физических элементов аппаратной части облачной платформы, то есть мультипроцессорные кластеры, системы хранения данных и сетевые ресурсы. Три нижние слоя платформы относятся к программно-аппаратной части (back-end).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Многослойное представление типовой структуры облачных платформ обладает рядом достоинств: создаются условия автономной разработки и горизонтальной масштабируемости отдельных слоев. Разделение на слои позволяет снизить системную сложность разработки и обслуживания, повысить надежность и гибкость облачных платформ, обеспечить возможность их повторного использования и модернизации. Проблемы интеграции между слоями решаются путем разработки и настройки интерфейсов. Также в рамках типовой структуры возможно создание нескольких сервисов в соответствии с матрицей целевых задач ДЗЗ (Борисов и др., 2013) на основе единой платформы.

К преимуществам облачных платформ, определяющим перспективы их дальнейшего использования, можно отнести:

– работу с “кубами данных” (сверхбольшие объемы данных в пространственной, временной и спектральной гранях представления) от различных поставщиков и операторов данных ДЗЗ;

– освобождение пользователей от необходимости вложений в инфраструктуру и применения специальных знаний по разработке ИТ-решений, не относящихся к основной деятельности пользователей;

– возможность применения единых стандартов обработки данных ДЗЗ и поддержания уровня достоверности предоставляемых информационных продуктов за счет аккумуляции этих процессов в инфраструктуре платформы;

– рост числа пользователей за счет простоты использования в едином интерфейсе открытых данных ДЗЗ, их продуктов и аналитики, готовой к использованию;

– возможность интеграции ГИС-сервисами (например ArcGIS, QGIS);

– универсальность и гибкость технологий, возможность быстрого масштабирования.

Реализация интеграции облачных платформ с такими распространенными ГИС-средствами, как ArcGIS, QGIS и др., возможна путем внесения изменений в слое бизнес-логики.

В сформированной типовой структуре не отражается разнообразие технических решений при разработке и сложность разработки интерфейсов между слоями структуры (отсутствие принятых стандартов). Чем больше степень абстракции слоев (функциональных возможностей) предоставляется пользователю, тем труднее обеспечивается формализация подходов к хранению, обработке и аналитике данных.

К сдерживающим факторам развития облачных платформ можно отнести такие системные проблемы, как малое количество разработчиков, обладающих междисциплинарным опытом разработки систем, и их слабая вовлеченность в проекты, а также трудность продвижения платформ на рынок. Решение данной проблемы просматривается в создании профессионального сообщества путем проведения специальных мероприятий (конкурсов и “хакатонов”) с целью выявления потенциальных разработчиков и их набора в проекты облачных платформ. Представляется целесообразным расширенное взаимодействие с пользователями по адаптации и автоматизации создаваемых сервисов для обеспечения достоверности и оперативности процедур обработки, эргономике пользовательского интерфейса.

Существенным барьером является слабое взаимодействие с производителями космических аппаратов. В части целевой аппаратуры имеет место отсутствие информации об ее дефектах и состоянии, отклонениях целевых характеристик оптико-электронного комплекса в процессе эксплуатации, что очень важно для формирования информационных продуктов с достаточной степенью достоверности измеряемых физических параметров. Выход из данного положения возможен при сближении участников в сфере ДЗЗ (разработчики космических аппаратов, операторы по предоставлению данных ДЗЗ и пользователи), когда в ходе открытого обсуждения формируется консенсус по вопросам системы генерации данных и информационных продуктов.

Современные технические решения (облачные технологии и виртуализация) в рамках платформ являются эффективным способом перехода к новому технологическому укладу, который снимает необходимость масштабных капитальных вложений в разработку программных и инфраструктурных компонентов за счет динамического масштабирования нагрузки (сервисная модель предоставления услуг “по требованию”). Следствием этого является интенсификация использования доступных ресурсов наземной космической инфраструктуры ДЗЗ и росту эффективности ее использования.

Таким образом, в облачной платформе могут быть реализованы следующие возможности, недоступные в настольном программном обеспечении:

– гибкое использование технологий облачных вычислений на основе масштабируемости и распределения вычислительных ресурсов;

– консолидация хранения сверхбольших массивов данных ДЗЗ, результатов их обработки и единый доступ к ним;

– минимальный уровень вовлечения пользователя во внутренние процессы, не связанные с предоставлением услуг (инсталляция, настройка и т.д.);

– централизованное обслуживание и проведение регламентных работ;

– снижение накладных расходов, как и со стороны разработчиков, так и со стороны пользователей.

ЗАКЛЮЧЕНИЕ

По итогам проведенного обзора 25 облачных платформ можно сделать вывод о том, что на фоне смещения потребительского интереса от получения данных ДЗЗ первичных (стандартных) уровней обработки к использованию виртуальной среды применения данных и продуктов ДЗЗ, подобные платформы становятся наиболее перспективным и востребованным форматом взаимодействия дистрибьюторов данных ДЗЗ с различными категориями пользователей.

Системная сложность технической реализации облачных платформ привела к необходимости декомпозиции их структуры с выделением функциональных слоев. В ходе исследования предложена типовая структура облачной платформы, в которой каждый слой может развиваться самостоятельным образом и интегрироваться через универсальные веб-интерфейсы OGC. Наиболее важными слоями для развития конкурентоспособности платформ являются слой сервиса и слой бизнес-логики.

К достоинствам многослойной реализации облачных платформ можно отнести создание условий автономной разработки, стандартизации и горизонтальной масштабируемости отдельных слоев. Недостатком является зависимость от многовариантности технических решений при их разработке. К основным системным проблемам развития облачных платформ можно отнести трудности продвижения платформ на рынке, а также малое количество разработчиков, обладающих необходимым опытом разработки систем такого класса.

Облачные технологии в ДЗЗ являются основным способом перехода к новому технологическому укладу, что потенциально за счет реализации сервисной модели предоставления услуг “по требованию” может способствовать значительному расширению круга потребителей и решаемых прикладных задач на основе данных и продуктов ДЗЗ.

Список литературы

  1. Борисов А.В., Емельянов А.А., Емельянова В.Г. Матрица целевых задач как информационная основа для определения перспективных направлений развития индустрии дистанционного зондирования Земли // Космонавтика и ракетостроение. 2013. Вып. 4(73). С. 61–68.

  2. Васильев А.И., Коршунов А.А., Ольшевский Н.А., Стремов А.С. Программные технологии создания и распространения базовых продуктов дистанционного зондирования Земли // Ракетно-космическое приборостроение и информационные системы. 2015. Т. 2. № 3. С. 23–32.

  3. Емельянов А.А., Сизов О.С., Цымбарович П.Р., Ерешко М.В. Предпосылки, задачи и преимущества перехода к цифровой экосистеме дистанционного зондирования Земли // Материалы 18-й Всероссийской открытой конференции “Современные проблемы дистанционного зондирования Земли из космоса”. Москва: ИКИ РАН, 2020. С. 433. https://doi.org/10.21046/18DZZconf-2020a

  4. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП “ИКИ-Мониторинг”) // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151–170. https://doi.org/10.21046/2070-7401-2019-16-3-151-170

  5. Марков А.Н., Васильев А.И. Ольшевский Н.А., Коршунов А.П., Михаленков Р.А., Салимонов Б.Б., Стремов А.С. Архитектура геоинформационного сервиса “Банк базовых продуктов” // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 5. С. 39–51.

  6. Мышляков С.Г., Глотов А.А. “Геоаналитика.Агро” – инновационное решение для сельскохозяйственного мониторинга // Геоматика. 2015. № 2. С. 58–62.

  7. Райзман Ю.Г. Geocloud – облачное решение для работы с геоинформацией // Геопрофи. 2019. № 5. С. 38–41.

  8. Серебряков В.Б.; заявитель и правообладатель АО “Российские космические системы”. – № 2018664897; заявл. 21.12.2018; опубл. 10.01.2019. – 1 с. / Свидетельство о государственной регистрации программы для ЭВМ 2019610273 Российская Федерация. Геоинтеграционная платформа “Геотрон”.

  9. Тюлин А.Е., Чурсин А.А., Элердова М.А., Юдин А.В. Создание радикально новой продукции и ее коммерциализация // Креативная экономика. 2020. Т. 14. № 7. С. 1257–1278. https://doi.org/10.18334/ce.14.7.110697

  10. Хайлов М.Н., Заичко В.А. Направления и пути развития Российской системы ДЗЗ из космоса в современных условиях (развитие орбитальной группировки и наземной инфраструктуры) // Современные проблемы дистанционного зондирования Земли из космоса: материалы XVI Всероссийской открытой конференции, Москва, ИКИ РАН, 12–16 ноября 2018 г. / ИКИ РАН. Москва, 2018. С. 9.

  11. Jeff de La Beaujardiere. A Geodata Fabric for the 21st Century. 2019. [Электронный ресурс] URL: https://doi.org/10.1029/2019EO136386 (дата обращения: 16.01.2021).

  12. Edsger W. Dijkstra. Selected Writings on Computing: A Personal Perspective // Springer-Verlag. New York. 1982. P. 60–66.

  13. Evangelidis K., Ntouros K., Makridis S., and Papatheodorou C. Geospatial services in the Cloud // Computers & Geosciences. 2014. V. 63. P. 116–122.

  14. Gregory Giuliani, Gilberto Camara, Brian Killough and Stuart Minchin. Earth Observation Open Science: Enhancing Reproducible Science Using Data Cubes // 2019. V. 4. P. 1–6. [Электронный ресурс] URL: https://doi.org/10.3390/data4040147 (дата обращения: 16.01.2021).

  15. Vitor C. F. Gomes, Gilberto R. Queiroz, and Karine R. Ferreira. An Overview of Platforms for Big Earth Observation Data Management and Analysis. Remote Sens. 2020. 12(8). 1253; https://doi.org/10.3390/rs12081253

  16. Noel Gorelick, Matt Hancher, Mike Dixon, Simon Ilyushchenko, David Thau and Rebecca Moore. Google Earth Engine: Planetary-scale geospatial analysis for everyone // Remote Sensing of Environment. 2017. V. 202. P. 18–27.

  17. Grossner K.E., Goodchild M.F., Clarke K.C. Defining a Digital Earth System // Transactions in GIS. 2008. V. 12. Iss. 1. P. 145–160.

  18. Manfred Krischke, Ursula Benz. The Emergence of the GeoSharing Economy // Earth Observation Open Science and Innovation. 2018. P. 255–260.

  19. Lü XueFeng, ChengQi Cheng, JainYa Gong and Li Guan. Review of data storage and management technologies for massive remote sensing data // Sci. China Technol. Sci. 2011. V. 54. № 12. P. 3220–3232.

  20. Mell P., Grance T. The NIST definition of cloud computing: Recommendations of the National Institute of Standards and Technology // Public Cloud Comput. Secur. Priv. Guidel. 2012. P. 97–101.

  21. Chris Reade. Elements of Functional Programming // Addison-Wesley. 1989. 600 p.

  22. Michael Schmidt. The German Copernicus Data and Exploitation platform “CODE-DE” as part of the Collaborative Ground Segment. [Электронный ресурс] URL: https://sentinel.esa.int/documents/247904/3962826/Germany-CollGS-October-2019.pdf (дата обращения: 16.01.2021).

  23. Tobias Storch, Christoph Reck, Stefanie Holzwarth, Bert Wiegers, Nico Mandery, Ulrich Raape, Christian Strobl, Rouven Volkmann, Martin Böttcher, Andreas Hirner, Johanna Senft, Nicolae Plesia, Thomas Kukuk, Stephan Meissl, Jens-Rainer Felske, Thomas Heege, Vanessa Keuck, Michael Schmidt and Helmut Staudenrausch. Insights into CODE-DE – Germany’s Copernicus data and exploitation platform // Big Earth Data. 2019. V. 3. Iss. 4. P. 338–361.

  24. OGC, ISO I. A Guide to the Role of Standards in Geospatial Information Management // 2014. № August. P. 1–27.

Дополнительные материалы отсутствуют.