Исследование Земли из Космоса, 2023, № 6, стр. 98-105

ВВЕДЕНИЕ

Современные геоинформационные системы (ГИС) в настоящее время являются цифровой основой для бизнеса и научных исследований, в том числе в области с/х (Шокин, Потапов, 2015; Линков и др., 2018; Ведешин, Шаповалов, 2022). Базой для построения ГИС любого уровня являются геопространственные данные, которые с технической точки зрения представляют собой векторные и растровые изображения, включающие в себя информацию о географической привязке и свойствах объекта, которые они характеризуют. Недостаток актуальных геопростанственных данных в области с/х является ограничением для исследователей, производителей и органов государственного управления. Пространственные данные необходимы для решения практических и научных задач, таких как инвентаризация земель, кадастр, учет разных технологий обработки почвы, оптимизация севооборотов, мониторинг состояния почв и растительности анализ и прогнозирование урожайности. Распространенным подходом к получению такой информации, является ручная векторизация объектов непосредственно путем анализа космических или аэрофотоснимков. Такой метод не требует от оператора больших знаний, связанных с ГИС и геоинформатикой, однако при необходимости оцифровки значительных территорий он является малопродуктивным.

Оптимальным методом получения векторных геопространственных данных является использование методов машинного обучения и обработки (Upreti, 2022), которые позволяют автоматизировать рутинную задачу оцифровки. На данный момент разработаны подходы и технологические решения для получения геопространственных данных с помощью имеющейся аэрокосмической информации. В основе этих методов лежит использование отражательных свойств поверхности объекта в разных диапазонах электромагнитного спектра (ЭМС), однако классическое машинное обучение и обработка не позволяют учитывать геометрию объектов при проведении подобных работ. Для решения этой задачи могут применяться сверточные нейронные сети (convolution neural networks - CNN). Использование нейронных сетей или методов глубокого обучения является трендом в науке и производстве, о чем свидетельствует большое количество публикаций на эту тему и широкий спектр их использования в различных областях, в том числе и в с/х (Токарев и др., 2021; Скворцов и др., 2019; Куссуль и др., 2008). Исследований, связанных с применением глубокого обучения для задач выделения объектов (сегментации) на изображениях достаточно много, однако русскоязычных методик пока не много. Публикации, посвященные данной тематике, как правило, отражают процесс подбора наиболее оптимальных архитектур нейросетей и тонкую настройку их гиперпараметров, а процедуры, связанные с предварительной подготовкой данных ДЗЗ для использования в нейронных сетях не всегда раскрыты (Павлов и др., 2019; Zhang et al., 2021; Bagaev, Medvedeva, 2021).

Одним из недостатков нейросетей является необходимость использования больших вычислительных ресурсов. В настоящее время используются мощные графические процессоры (GPU) или тензорные процессоры (TPU), которые являются пока мало доступными для пользователей в силу высокой стоимости (Sengupta et. al., 2020). Работа с большим объемом данных ДЗЗ так же является ресурсоемкой задачей, так как подготовка исходных данных является многоуровневой процедурой, включающей большое количество последовательных и параллельных вычислений. Эту проблему позволяют решать облачные сервисы, предоставляющие доступ к своим вычислительным мощностям. На данный момент бесплатный доступ к GPU и TPU предоставляют такие сервисы как Kaggle, Google colaboratory, Amazon Web Services. Корпорация Google также разработала специализированный облачный сервис для обработки космических снимков Google earth engine (GEE). Использование представленных сервисов позволяет оптимизировать работу с большим объемом данных ДЗЗ, и обучением нейронных сетей при помощи больших вычислительных мощностей.

ОБЪЕКТЫ И МЕТОДЫ

В проведенном исследовании осуществлена оценка возможности использования сверточной нейронной сети архитектуры U-NET для выделения с/х полей с помощью облачных сервисов на основе спутниковых данных Ставропольского края. Выбор данного региона связан с тем , что около 87% от всей его территории заняты с/х объектами (Куприченков и др., 2002). Для Ставропольского края имеются оцифрованные геометрии полей, полученные вручную в ходе проведенных ранее исследований (Ермолаев и др., 2021). Процесс исследования по методике работы можно разделить три этапа – подготовка исходных данных, осуществляемая при помощи GEE, обучение сети в сервисе Kaggle, и локальное использование (рис. 1). Все операции, связанные с предварительной обработкой данных, осуществлялись для каждого района региона последовательно.

Рис. 1.

Общая схема проводимого исследования.

В качестве данных ДЗЗ использовались мультиспектральные данные Sentinel-2, получаемые и обрабатываемые при помощи сервиса Google Earth Engine (GEE). В GEE подбиралась коллекция снимков системы Sentinel-2 уровня коррекции 2A за срок с 1 мая по 1 октября. Сроки отбора данных обусловлены вегетационным сезоном в Ставропольском крае (Кулинцев, 2013). В работе использовались каналы RED, GREEN, BLUE, NIR, обладающие пространственным разрешением 10 м/пикс. Также обработке подверглись исходные векторные геометрии с/х полей Ставропольского края. Для этого они растеризовывались с пространственным разрешением, соответствующим разрешению полученных спутниковых данных. Нейронные сети работают с единообразными данными, в нашем случае с изображениями одного размера и разрешения. Для этого полученные космические данные и растеризованные геометрии необходимо было разделить на квадраты одного размера. Кроме этого, в итоговую выборку должны были попасть только размеченные данные в пределах одного квадрата. Все исходное изображение было точно разделено на пиксели, которые относятся к с/х полям, и те, которые ими не являются.

В изначальных векторных данных встречались не оцифрованные участки, которые необходимо было исключить из итоговой выборки, так как это могло привести к ошибкам. Для каждой исходной векторной геометрии с/х полей строился буфер размером 200 м. При пересечении буферов соседних объектов они объединялись в единый полигон, в пределах которого находились только размеченные данные. В пределах каждого района создавалась векторная сетка из квадратов. Квадраты, не лежащие в пределах полигонов, полученных в результате буферизации геометрий с/х полей, удалялись (рис. 2).

Рис. 2.

Получение геометрий для создания обучающей выборки.

В итоге обработки спутниковых изображений и векторных данных была сформирована обучающая выборка, состоящая из исходных данных Sentinel 2 в 4-х диапазонах и целевых данных, представляющих маски с/х полей, полученных из векторных представлений. Размер одного изображения составлял 256 на 256 пикселей (2560 на 2560 м). Общий объем выборки составил 3968 изображений с растровыми масками. Для повышения точности классификации учебная выборка была разбита на непосредственно тренировочную, на которой предполагалось обучать сеть, и тестовую на которой проверялось качество классификации. Разделение на тренировочную и тестовую выборки осуществлялось по соотношению 2 к 1 (2645 изображений в тренировочной выборке и 1323 в тестовой) (рис. 3).

Рис. 3.

Изображение в видимом спектре и маски сельскохозяйственных полей.

В качестве архитектуры нейронной сети была выбрана U-NET (Ronnenberg, Fisher, Brox, 2021). В качестве метрики оценки качества модели использовалась IoU (intersection over union) – данная метрика оценивает степень пересечения множеств, в нашем случае степень совпадения исходной маски с/х поля, и изображения, полученного в результате классификации.

Где $A \cap B$ – площадь пересечения двух объектов, а $A \cap B$ суммарная площадь объектов.

В качестве функции потерь использовалась функция BCElogloss. Полученная выборка загружалась на сервис Kaggle. Обучение осуществлялось на протяжении 40 эпох. Оптимальное количество эпох определялось эмпирически в процессе подготовки модели. Обученная сеть скачивалась на локальный компьютер.

Все полученные GEE не размеченные спутниковые изображения Sentinel-2 были обработаны схожим образом с тем, как составлялась учебная выборка. Спутниковые изображения в отличии от простых фотографий имеют географическую привязку, которая и дает возможность их дальнейшего использования в ГИС. Поскольку методы машинного обучения работают исключительно с цифровыми значениями, передаваемыми в них, при проходе данных через сеть метаданные теряются. Каждое изображение, полученное после разделения на квадраты, имело свои метаданные, которые необходимо было передать выходным из нейросети изображениям. Метаданные, содержащие ID – номер изображения, его данные географической привязки и системы координат сохранялись в отдельный файл расширения JSON. Сеть, обученная на сервисе Kaggle, запускалась локально. Работа нейросети осуществлялась на графическом процессоре Geforce 1050 объемом памяти 4 гигабайта. Все растровые изображения пропускались через обученную нейронную сеть. После прохождения через сеть изображениям записывались соответствующие метаданные. В конце все обработанные данные объединялись в единое растровое изображение, охватывающее весь Ставропольский край. Итоговое изображение векторизировалось и получались геометрии с/х полей.

В процессе исследования использовался язык программирования python в среде разработки visual studio code. Для работы с геопространственными данными использовались библиотеки Geopandas и Rasterio, для работы с нейронной сетью использовалась библиотека pyTorch.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Облачные сервисы, дающие доступ к серверным вычислительным мощностям, имеют ряд ограничений. Используемый в данном исследовании сервис Kaggle предоставляет доступ к 16 гигабайтам видео и оперативной памяти и лимитом использования 30 ч в неделю. В этой связи возникают некоторые обязательные требования к данным. Необходимо было определить размер квадрата на которые делились спутниковые изображения. С одной стороны, каждый квадрат обязательно должен был включать границы полей, то есть необходимо было избегать ситуации, когда квадрат попадал бы ровно на середину поля, с другой стороны необходимо было подобрать такой размер квадрата, чтобы доступных объемов вычислительных мощностей хватало для обучения нейронной сети. Были предварительно составлены три выборки по 200 квадратов размером 400 × 400 пикселей, 512 × 512 пикселей и 256 × 256 пикселей. Эти выборки были загружены на Kaggle и пропущены через не настроенную нейросеть. Размер растрового изображения 256 × 256 пикселей (2560 × 2560 м) оказался оптимальным. Размер батча составил 16 изображений.

В ходе обучения было достигнуто качество 97% правильных определений геометрий сельскохозяйственных полей на тестовой выборке. Важным этапом работы была бинаризация данных – приведение к формату 0 или 1, где 1 это сельскохозяйственное поле, а 0 остальные объекты. На выход нейронная сеть выдает значения в диапазоне от 0 до 1. При работе с бинарной классификацией необходимо подобрать значение, по которому произойдет разделение на классы. Принято, что все значения <0.5 относятся к классу 0, а остальные к классу 1. В данном случае при пороге 0.5 качество итоговых данных было невысоким. Был выбран порог 0.62. На рис. 4 приведен пример исходных изображений, сельскохозяйственных масок, полученных из векторных данных в процессе подготовки, и в результате работы обученной U-net.

Рис. 4.

Изображение в видимом спектре, маска сельскохозяйственных полей и результат работы нейронной сети.

Выбор основан на визуальной оценке результатов. Как видно из рисунка, итоговые маски сельскохозяйственных объектов в ряде случаев более точны, чем исходные маски, используемые для обучения. Одним из факторов который мог повлиять на результаты это изначальное качество векторных данных.

Площадь Ставропольского края составляет 66 500 км². Регион пересекает 4 агроклиматических зоны со своими особенностями рельефа, климата и почвенным покровом, и как следствие своими особенностями расположения и конфигурации полей. В учебную выборку входили данные, расположенные во всех зонах, однако в разном соотношении. Исходя из результатов классификации это не повлияло на работу сети, при подборе качественной обучающей выборки возможно использование одной нейронной сети для сегментации объектов на большем и неоднородном пространстве. Несмотря на высокое качество сегментации, в результате визуальной оценки некоторых геометрий, полученных в результате работы, были выявлены недостатки подхода. В некоторых случаях в качестве сельскохозяйственных объектов определены лесные массивы и целинные территории. Данную проблему можно решать использованием много классовой классификации с выделением классов 0- лесные массивы, 1-сельхоз угодья 2-другие объекты.

Итогом исследования является алгоритм, в результате работы которого на любую область Ставропольского края возможно получить геопространственную информацию о положении и конфигурации с/х полей.

Алгоритм работает следующим образом:

• на сервер GEE поступает запрос данных Sentinel-2 для интересуемой области;

• растровые данные Sentinel 2 скачиваются на локальный компьютер;

• локально растровые данные разрезаются на квадраты со стороной 256 пикселей, и формируется массив данных для использования с нейросетью;

• массив подготовленных данных поступает в нейросеть, происходит процесс сегментации;

• на основании результатов сегментации строятся векторные данные геометрий сельскохозяйственных полей.

Все приведенные этапы алгоритма автоматизированы.

В исследованиях связанных с сегментацией спутниковых изображений обычно используют единовременные изображения (Taravat et al., 2021). По нашему мнению, используя одномоментные снимки можно столкнуться с ситуацией, когда половина поля убрана, а половина еще нет, и одно поле будет определено как два разных. Использование усредненного или медианального изображения за сезон является оптимальным, так как минимизирует неоднородность в пределах одного отдельного поля, которая будет влиять на результат классификации. В исследованиях С.М. Багаева представлен опыт использования много классовой сегментации при помощи сети U-Net на основании данных WorldView-3 (Bagaev, Medvedeva, 2021). Коммерческие данные системы WorldView обладают большим набором спектральных диапозонов и более высоким пространственным разрешением, но в отличии от данных Sentinel-2 не имеют такого широкого временного и пространственного охвата. В рамках исследования использовались космические изображения за 2022 г. Однако принцип работы алгоритма позволяет использовать данные за любой доступный временной промежуток времени. Сравнение данных за несколько лет позволит оценить динамику изменений геометрий сельскохозяйственных полей. Таким образом применение предложенного алгоритма, основанного на нейронной сети U-net, позволит решать производственные и научные задачи на региональном, районном и локальном уровнях.

Итоговое качество бинарной классификации спутниковых снимков при использовании нейронной сети U-Net для выделения с/х полей составило 97%. Облачные сервисы такие как google earth engine и Kaggle являются мощным инструментом для решения проблемы нехватки вычислительной мощности при использовании локального компьютера. Пороговое значение для разделения результативных изображений на два класса составило 0.62. Приемы и алгоритмы, основанные на использовании нейронных сетей, позволяют автоматизировать процесс оцифровки сельскохозяйственных полей с высокой степенью точности.

ВЫВОДЫ

Разработанный в рамках исследования алгоритм позволяет оперативно и без использования большого объема вычислительных ресурсов получать геометрию с/х полей, которые могут быть использованы для:

• Оптимизации использования земли: наличие актуальных данных позволяет более точно оценивать площадь каждого поля и определять оптимальные места для посева различных культур, что может увеличить урожайность и экономическую эффективность.

• Мониторинга состояния посевов: полученные данные позволяют наблюдать за состоянием растительности в каждом сегменте, выявлять заболевания, а также контролировать использование удобрений и пестицидов.

• Планирования сельскохозяйственных работ: наличие информации о геометрии полей помогает оптимизировать планирование сельскохозяйственных работ, таких как обработка и уборка урожая, что может повысить производительность и снизить затраты на труд и ресурсы.

• Разработки программ поддержки и принятия решений и ряда цифровых продуктов в масштабе как отдельных фермерских хозяйств и агрохолдингов, так и на муниципальном и региональном уровне государственного управления.