Исследование Земли из Космоса, 2021, № 2, стр. 31-41

ВВЕДЕНИЕ

В настоящее время данные дистанционного зондирования Земли (ДЗЗ) из космоса играют важную роль в обеспечении различных сфер деятельности человека, в том числе на морских акваториях. Оперативный анализ ледовой обстановки замерзающих морей позволяет своевременно оценивать ледовую обстановку на судоходных трассах, планировать ледокольные операции, повышать безопасность навигации, рыболовства и выполнения работ на морском шельфе. Согласно морской доктрине Российской Федерации на период до 2020 г., роль морских перевозок для жизнеобеспечения районов Крайнего Севера и Дальнего Востока продолжает оставаться решающей в обеспечении внутригосударственной и внешнеэкономической деятельности.

Необходимость создания и поддержания отечественной группировки космических аппаратов гидрометеорологического, океанографического, геофизического назначения и мониторинга окружающей среды в соответствии с утвержденной Распоряжением Правительства РФ от 3 сентября 2010 г. № 1458-р “Стратегией деятельности в области гидрометеорологии и смежных с ней областях на период до 2030 года” предусматривает одновременное развитие технологий и методик обработки и представления данных российских спутниковых миссий.

Поэтапное увеличение полярно-орбитальной группировки космических аппаратов (КА) серии “Метеор-М” дает специалистам большой дополнительный объем исходной информации о состоянии окружающей среды, в том числе ледовой обстановки на морских акваториях, однако на текущий момент разработанных и внедренных в оперативную практику методик детектирования и картирования льда по данным прибора МСУ-МР КА этой серии нет.

Описанные выше государственные задачи определяют актуальность разработки технологий автоматического построения карт-схем ледовой обстановки с использованием данных российского КА “Метеор-М” № 2, а в дальнейшем и всей группировки КА этой серии. В настоящей статье представлены первые результаты работ по детектированию маски ледяного покрова по данным многозонального сканирующего устройства малого разрешения (МСУ-МР) (Акимов и др., 2015) КА “Метеор-М” № 2.

ОБЗОР ИССЛЕДОВАНИЙ

Лед является сложной структурой и обладает массой параметров, которые зависят от освещения, времени года, широты и других характеристик. Кроме этого, лед, в зависимости от своего состава, имеет разную отражательную способность, влияющую на его обнаружение со спутника. Доля солнечного излучения, отраженного льдом, снегом или водой, имеет резко выраженную спектральную зависимость, изученную во многих работах. В (Смирнов, 2011) показано, что на длинах волн до 0.9 мкм коэффициент спектральной яркости (КСЯ), характеризующий долю отраженного солнечного излучения (%), максимален, а после 0.9 мкм – в ближней ИК-области, уменьшается почти до нуля. КСЯ молодого морского льда зависит от его толщины (Jezek et al., 1998), и одновременно для толстого льда наблюдается зависимость КСЯ от сезона измерения. Пониженные значения КСЯ характерны для загрязненного льда, в то время как чистый лед обладает сравнительно высокой прозрачностью в видимом диапазоне спектра (Dorsey, 1940; Паундер, 1967).

В настоящее время известно множество исследований по оценке границ и характеристик ледяного покрова по спутниковым данным (Baker, 2011; Jin et al., 2020; Hall et al., 2017; Key et al., 2013; Meier et al., 2017). Анализ ряда таких исследований показывает, что существующие алгоритмы тематической интерпретации параметров ледяного покрова могут по-разному функционировать в различных географических и климатических условиях. Помимо этого, на детектирование льда влияет атмосферный пограничный слой, который имеет разные характеристики и параметры для различных широт (Minnett, 2007). Например, в полярных районах, где разность температур воздух − вода велика, воздух имеет низкую влажность, что оказывает значительное влияние на регистрируемые значения КСЯ в каналах спутникового прибора. Покажем это на примере прибора МСУ-МР КА “Метеор-М” № 2. Часть приходящей солнечной энергии рассеивается или поглощается атмосферой. Вследствие различной концентрации газов и аэрозолей искажения электромагнитного излучения неоднородны как в пространстве, так и на разных длинах волн. На рис. 1 показаны спектры солнечного излучения, приходящего на верхнюю границу атмосферы (ВГА) и на поверхность Земли, а также границы чувствительности 1, 2 и 3 каналов МСУ-МР.

Полосы поглощения водяного пара, представленные на рисунке штриховыми линиями, в основном оказывают влияние на 2 и 3 каналы МСУ-МР. Водяной пар напрямую коррелирует с влажностью воздуха, поэтому регистрируемые прибором значения КСЯ в этих каналах подвергаются изменению из-за его влияния. Помимо этого, большое значение имеют функция спектральной чувствительности и ширина каждого из каналов спутникового прибора, или иначе, спектральные характеристики, которые для каждого спутникового прибора уникальны. Для прибора МСУ-МР эти характеристики приведены на рис. 2. Остальные основные параметры прибора представлены в табл. 1.

Перечисленные факторы накладывают значительные ограничения на точность и достоверность глобального детектирования ледяного покрова, связанные как с состоянием самого льда, так и его географическим и сезонным распределением, что зачастую требует определения оптимальных пороговых значений для различных параметров атмосферы и водной поверхности, имеющих существенные пространственные и временные вариации. Помимо этого, как указано выше, пороговые значения подбираются к каждому спутниковому прибору в отдельности, поскольку их спектральные характеристики различаются. Другим подходом к задаче детектирования льда является применение алгоритмов машинного обучения, которые могут работать не только с каждым пикселем в отдельности, но и с текстурами, представляющими собой участки изображения (Бондур, Старченков, 2001). Такой подход наиболее эффективен на начальном этапе детектирования ледяного покрова, а именно построении маски льда.

Маска льда применяется не только для дальнейшего картирования характеристик ледяного покрова, таких как сплоченность, возрастные характеристики и т.д., но также и при вычислении метеорологических параметров облачности. Достоверная информация о наличии льда под тонкой (полупрозрачной) облачностью позволяет учесть влияние подстилающей поверхности на измерения в каналах инфракрасного диапазона и, как следствие, добиться большей точности при расчете параметров такой облачности на верхней границе облачности. Таким образом, маска льда служит не только заделом к возможности создания целого ряда продукции по ледовой обстановке по данным прибора МСУ-МР, но и к качественному улучшению уже имеющихся технологий получения параметров облачности, использующихся в прогнозировании.

Основываясь на анализе мирового опыта в области дистанционного зондирования Земли и обработки больших потоков спутниковых данных (Бондур, 2014; Бондур, Старченков, 2001), специалистами Дальневосточного центра НИЦ “Планета” ведутся активные работы по исследованию и реализации алгоритмов машинного обучения, в частности нейронных сетей, которые могут успешно применяться для задач классификации спутниковых изображений при решении различного рода тематических задач (Андреев и др., 2019; Блощинский и др., 2019; Крамарева и др., 2019а, б, в; Bloshchinskiy et al., 2020). В связи с этим для решения обозначенной проблемы будет применена методика контролируемого обучения нейронных сетей.

СОЗДАНИЕ ОБУЧАЮЩЕЙ ВЫБОРКИ

Для решения задачи детектирования ледяного покрова с помощью нейронных сетей по данным прибора МСУ-МР КА “Метеор-М” № 2 в работе рассматривается текстурный метод (Zang et al., 2016), где каждая текстура представляет собой сравнительно небольшой участок подстилающей поверхности и позволяет нейросети с достаточной точностью провести классификацию. Для реализации метода необходимо создать обучающую выборку (ОВ) на основе архивных спутниковых данных. В цифровом виде текстуры представляют собой трехмерные массивы, где третье измерение – это параметры, с использованием которых нейросеть сможет с достаточной точностью провести разделение по классам (Бондур, 2014). Такими параметрами могут быть КСЯ, яркостная температура каналов спутникового прибора, углы Солнца, время, широта или различные вегетационные индексы.

Создание ОВ для нейросетевых алгоритмов является одним из важнейших подготовительных этапов, поскольку от ее качества и размера напрямую зависит результат обучения нейронной сети. Проблема создания ОВ заключается в проведении точной классификации объектов на спутниковых изображениях, которая может проводиться двумя способами: вручную и автоматически. Существующие на данный момент средства автоматизации этого процесса уступают в точности ручному способу классификации и вносят погрешность в результат (Топоров и др., 2019). В Дальневосточном центре НИЦ “Планета” имеется положительный опыт решения задач формирования различных ОВ маркированных данных (Андреев и др., 2019; Блощинский и др., 2019; Крамарева и др., 2019а, б, в; Bloshchinskiy et al., 2020), текстуры которых относятся к классам: облако, лед, вода и т.д. Необходимо отметить, что для удобства ручного набора ОВ в Дальневосточном центре НИЦ “Планета” была разработана программа “PlanetaMeteorTexMaker” (Андреев и др., 2018), которая предоставляет инструментарий для формирования выборки шаблонов, текстур и точек, выделенных оператором на спутниковых изображениях. С использованием этой программы оператор выбирает текстуру и отмечает класс, к которому она должна относиться.

При маркировке данных для ОВ авторами настоящей работы допускалось присутствие на текстуре объектов другого класса, однако центральный пиксель должен был обязательно соответствовать присваиваемому классу. Каждой отобранной текстуре присваивался один из трех классов: лед, лед под полупрозрачной облачностью или дымкой, вода. Стоит отметить, что классом лед подразумеваются все виды и состояния морского льда. Текстуры набиралась с использованием данных прибора МСУ-МР КА “Метеор-М” № 2 с разрешением 1 км на пиксель за период с октября 2017 г. по апрель 2019 г. В рамках решения поставленной задачи было маркировано примерно 130 спутниковых изображений, на которых отмечено около 17 тыс. текстур.

Каждая помеченная текстура принадлежала к определенному классу и характеризовалась 11 параметрами, получаемыми с прибора МСУ-МР: измерения в шести каналах прибора МСУ-МР, зенитный солнечный и спутниковый углы, относительный азимутальный угол, а также индексы Normalized Difference Vegetation Index (NDVI) и Normalized Difference Snow Index (NDSI), которые рассчитывались по следующим формулам:

где RED, NIR и SWIR – 1-й, 2-й и 3-й каналы прибора МСУ-МР соответственно.

Такие характеристики необходимы для выбора в дальнейшем оптимального набора параметров при обучении нейросетевого алгоритма.

ВЫБОР АРХИТЕКТУРЫ И ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ

От выбора архитектуры сети зависит точность классификации, время обучения и время расчета, т.е. получения продукта. Поскольку разрабатываемый алгоритм будет использоваться в оперативной практике, то точность классификации и время расчета являются критичными параметрами ввиду того, что продукт, полученный не оперативно, теряет свою актуальность. В связи с этим была поставлена задача реализовать архитектуру, которая будет иметь минимальное время расчета без снижения точности.

Для создания и использования нейронной сети авторами работы использована библиотека keras, написанная на языке Python. При обучении нейронной сети и проведении всех расчетов использовался персональный компьютер с характеристиками: процессор Intel Core i7-6700K, ОЗУ 32 ГБ, графический процессор NVIDIA GeForce 1060 3GB.

Для создания архитектуры нейронной сети необходимо определить размер входных данных, текстур, от которого зависит глубина нейросети. С учетом опыта разработки нейросетевых алгоритмов (Андреев и др., 2019; Блощинский и др., 2019; Крамарева и др., 2019а, б, в; Bloshchinskiy et al., 2020) специалистами Центра был определен предполагаемый размер текстур 11 × 11 пикселей. Далее было реализовано несколько тестовых архитектур (рис. 3). Архитектуры имеют одинаковые входы и выходы, поэтому для упрощения на рисунке пунктиром выделены отличительные элементы каждой модели.

На рис. 3 введены обозначения, которые будут описаны ниже. Input – входные данные размерностью 11 × 11 пикселей (dim), имеющие 11 параметров (ch). Для всех слоев: f – количество выходных блоков, k – высота и ширина окна двумерной свертки, s – шаг свертки по высоте и ширине. Conv – сверточный двумерный слой “Conv2d” (Jay, 2016). ReLU – слой активации “Rectified lin-ear unit” (ReLU), который имеет сходство с работой диода: значения меньше нуля принимаются за ноль, а значения больше нуля имеют линейную зависимость. BN – слой “BatchNormalization” (Ioffe, Szegedy, 2015), который нормализует слои активации предыдущего уровня в каждом блоке, то есть преобразовывает среднее значение активации, делая его близким к 0, а стандартное отклонение активации – близким к 1. MaxPool – слой “MaxPool2D” (Boureau, 2010), который уменьшает входной слой, выбирая максимальное значение пикселя в скользящем окне. Concat – слой “Concatenation”, который объединяет входные слои в один. Dense – полносвязный слой нейронов. Dropout – слой “Dropout” (Srivastava, 2014), который случайным образом устанавливает значения нейронных связей в 0 с заданной частотой на каждом шаге во время обучения нейронной сети, что помогает предотвратить переобучение. SoftMax – функция активации “Softmax”, которая часто используется в качестве активации для последнего слоя нейросети с задачей классификации.

Для обучения нейронной сети в качестве функции потерь (loss) использовалась “categorical crossentropy” – категориальная кросс-энтропия, поскольку она наиболее эффективна, когда на выходе имеется более 2-х классов (Mueller, Guido, 2017). В качестве метрики использовалась “accuracy”, в качестве оптимизатора – “Adam” (Kingma, Ba, 2015), который часто используется в подобных задачах. Результаты тестирования архитектур, представленных на рис. 3, с размером текстур 11 × 11 пикселей и полным набором параметров представлены в табл. 2.

Анализируя результаты тестирования, можно сделать вывод, что архитектура № 3, представленная на рис. 3, имеет наибольшую точность, соответствующую в первом приближении задаче определения маски льда. Эта архитектура была выбрана для дальнейших экспериментов.

После выбора архитектуры необходимо определиться с набором входных параметров. Чем меньше параметров подается на вход, тем быстрее работает в конечном итоге нейросеть. Для обнаружения снежного и ледяного покрова используются коротковолновые инфракрасные каналы в диапазоне длин волн от 1.4 до 1.8 мкм (Crane, Anderson, 1984; Salomonson, Appel, 2004). На приборе МСУ-МР таким является 3 канал (табл. 1), поэтому его использование является необходимым для правильной работы нейронной сети.

Тестирование нейронной сети, при котором в качестве входных параметров подавался 3 канал с одним из других параметров, показало, что комбинация 2 и 3 каналов прибора МСУ-МР дает лучшую точность.

В дальнейшем было решено обучить нейронную сеть на комбинациях 2 и 3 каналов прибора МСУ-МР с различными вариантами комбинаций остальных параметров. Стоит отметить, что просто перестановка местами параметров не является новой комбинацией. В результате был произведен расчет около 500 различных моделей, проведено их сравнение с карт-схемами ледовой обстановки в акваториях морей, составленными в Дальневосточном центре НИЦ “Планета” в соответствии с международной номенклатурой ВМО по морскому льду (далее – эталонные карты).

Такое сопоставление было применено, поскольку оценка метриками машинного обучения иногда показывала высокую точность – более 90%, однако оказывалось, что из-за превалирующего влияния одного из параметров часть льда распознавалась как вода или наоборот. В результате была выбрана модель, которая обеспечивала наибольшее соответствие. Таким образом, был определен набор входных параметров: 2 и 3 каналы прибора МСУ-МР, зенитный угол спутника и Солнца, индекс NDVI.

Следующим шагом необходимо было определить оптимальный размер текстур. С этой целью были обучены нейронные сети с разными размерами текстур: 17 × 17, 15 × 15, 13 × 13, 11 × 11, 9 × 9, 7 × 7, 5 × 5 и 3 × 3 пикселей. Анализ метрик машинного обучения не дал достаточной информации о подходящем размере текстур, поскольку точность у всех тестируемых моделей была практически одинакова. В результате опять был применен метод сопоставления с эталонными картами и определен размер текстур – 13 × 13 пикселей, с применением которого рассчитанная маска льда имела максимальную точность. Значения loss и accuracy для такого размера текстур и определенного выше набора параметров составили 0.13 и 0.96 соответственно.

ВАЛИДАЦИЯ

Для валидации работы полученного классификатора использовались данные прибора MODIS – продукта MOD10 (Hall et al., 2001). Для расчета маски льда в этом алгоритме используются эмпирические пороговые значения для параметров температуры поверхности льда и индекса NDSI. Для корректного сравнения были подобраны данные КА Метеор-М № 2 и КА Aqua/Terra, близкие по времени пролета, с разницей не более 15 мин, расхождение по широте и долготе которых составляло не более 5 градусов. Всего было отобрано 11 снимков за 2017–2019 гг., которые удовлетворяли этим условиям. Поскольку в данных MOD10 есть только один класс льда, то класс “лед под дымкой” разработанного классификатора принимался как “лед”.

Для численной оценки рассчитывались коэффициенты, позволяющие оценить точность, вероятность ложного определения и т.д. При их расчете используется матрица ошибок (confusion matrix), представленная в табл. 3.

Формулы, по которым рассчитываются коэффициенты, представлены ниже:

здесь Precision – точность, POD – вероятность правильного определения события, POFD – вероятность неправильного определения события, F-measure – f-мера, или параметр, отражающий соотношение рассчитанных и эталонных данных.

Необходимо отметить, что для построения карт с использованием обученного нейросетевого классификатора по данным МСУ-МР используется маска облачного покрова (Андреев и др., 2014), разработанная ранее в Дальневосточном центре НИЦ “Планета”, а в продукте MOD10 используется свой алгоритм по детектированию облачности. Поэтому сравнение полученных карт проводилось по двум вариантам: в первом использовались пиксели, в которых нет облачности как на MODIS, так и на МСУ-МР, во втором – в которых нет облачности только на МСУ-МР. Второй вариант использовался для оценки точности детектирования ледяного покрова по данным МСУ-МР на границах льда с водой и с облачностью, поскольку маски облачности MODIS и МСУ-МР отличаются. Результаты отражены в табл. 4.

Проводя анализ результатов из табл. 4, можно отметить, что если брать безоблачные пиксели на обоих приборах, то имеет место высокая точность 94.8%, а также низкая вероятность ложного детектирования 13.1%. Однако, если учитывать безоблачные пиксели только по МСУ-МР, то точность становится ниже, а вероятность ошибки выше. Для выяснения причин этого было проведено сравнение и подробный анализ валидации с эталонными картами.

Валидация с эталоном проводилась как для карт по данным МСУ-МР, так и для карт по данным MODIS. Результат показан в табл. 5.

Примеры эталонных карт и карт по данным МСУ-МР, MODIS показаны на рис. 4.

Анализируя информацию, полученную из табл. 5 и рис. 4, можно сделать вывод, что разработанный классификатор обладает высокой точностью – 96.7%, имеет вероятность определения 97.1% и с вероятностью 11.1% классифицирует пиксели маски ледяного покрова ошибочно. Это означает, что из всех дешифрированных пикселей эталонных карт только 2.9% не были обнаружены, а 11.1% всех пикселей были ложно классифицированы. Карты MODIS хоть и имеют большую точность – 97.9%, но только 69.4% всех эталонных пикселей ледяного покрова было обнаружено, то есть продукт MOD10 имеет недобор в детектировании льда.

Анализируя информацию фрагмента 3 на рис. 4, видно, что маска льда по данным MODIS в некоторых местах имеет прямоугольную форму. В описании алгоритма MOD10 указано, что по краям ледяного покрова пиксели часто идентифицируются как облачные. Эти проблемные пиксели иногда занимают большие площади, в границах которых находится редкий или тонкий лед на краю ледяного массива. Эта проблема связана с пороговой методикой детектирования облачности по MODIS.

Стоит отметить, что кроме более высокой вероятности детектирования льда, разработанный классификатор с достаточной точностью выделяет границы ниласовых форм льда, которые не выделяются в продукте MOD10 (рис. 4). Также, сравнивая фрагменты 3 и 4 на рис. 4, можно заметить, что область у правого берега о. Сахалин, где находится лед, имеющий более темные тона, на картах MODIS детектируется как облачность, а на картах МСУ-МР – как лед, что соответствует факту. Таким образом, разработанный нейросетевой классификатор оказался более чувствительным к распознаванию льда с наличием на нем подтаявшего снега, перемешанного с соленой морской водой, что является весомым фактором в пользу его применения в оперативной практике.

ЗАКЛЮЧЕНИЕ

В работе описан процесс получения рабочей методики определения маски льда по данным прибора МСУ-МР с использованием технологии сверточных нейронных сетей. Для обучения нейросети была создана выборка из 17 тысяч текстур, в которую входили данные МСУ-МР за период с 2017 по 2019 гг. Эмпирическим путем были выбраны оптимальные: архитектура сети, размер текстур и входные параметры.

Валидация по картам, полученным по данным прибора MODIS, показала точность 94.9% и вероятность ложного обнаружения 13.1%. Валидация по эталонным картам показала точность 96.7% и вероятность ложного обнаружения 11.1%. Полученный нейросетевой классификатор может быть внедрен в оперативную работу специалистов для автоматизации начального этапа детектирования ледяного покрова, связанного с выделением кромки льда.

Проведенная работа является заделом для дальнейших работ по созданию тематических продуктов: возрастные характеристики, сплоченность и толщина льда.