Исследование Земли из Космоса, 2021, № 2, стр. 42-52

ВВЕДЕНИЕ

Оперативность получения информации и относительно высокое пространственное разрешение позволяют рассматривать геостационарные спутники в качестве основного инструмента глобального мониторинга состояния окружающей среды, климата и атмосферы. Приборы, устанавливаемые на геостационарные космические аппараты (КА), позволяют производить съемку в широком диапазоне длин волн от видимого до длинноволнового инфракрасного излучения, что позволяет решать с их помощью широкий круг задач, связанных с определением опасных метеорологических явлений, мониторингом вулканической активности, обнаружением очагов возгораний и др. Эти и многие другие задачи подразумевают использование маски облачности, к которой выдвигается ряд требований. Расчет маски должен выполняться за время, достаточное для работы в оперативном режиме с учетом высокой частоты съемки; маска должна рассчитываться для различных климатических условий. Кроме того, некоторые задачи, например мониторинг лесных пожаров или анализ облачных образований, предполагают расчет маски не только в дневное, но и в ночное время суток.

Исходя из решаемых в настоящее время в Дальневосточном центре НИЦ “Планета” задач, возникает потребность в создании маски облачности, учитывающей выше обозначенные требования. В данной работе предлагается реализация алгоритма детектирования облачности в дневное и ночное время суток, специально разработанного для его применения к данным геостационарных КА на примере спутника Himawari-8. Используемый в работе подход основан на применении текстурного нейросетевого классификатора сверточного типа (LeCun, Bengio, 1995). Классификатор использует спектральные и пространственные (текстурные) признаки, что позволяет извлечь практически максимальный объем полезной для детектирования облачности информации из спутниковых изображений. Метод классификации основывается на опыте ранее проведенных исследований в данной области (Ganci et al., 2011; Drönner et al., 2018; Mahajan, Fataniya, 2019; Андреев и др., 2019) и оптимизирован для более высокой скорости обработки данных при минимальных потерях в качестве классификации, что позволяет использовать его в оперативной работе для геостационарных КА с высокой частотой съемки.

МЕТОДЫ ДЕТЕКТИРОВАНИЯ ОБЛАЧНОСТИ

Быстрое и точное детектирование облачности при всем разнообразии внешних факторов представляет собой непростую задачу, и несмотря на то, что за последние несколько десятков лет были представлены различные методики для ее обнаружения, разработка более сложных и точных методов продолжается и в настоящее время (Mahajan, Fataniya, 2019). На сегодняшний день можно условно выделить несколько подходов: методы на основе пороговых значений, статистические методы, а также подходы на основе машинного обучения и нейронных сетей (Sun et al., 2016).

Подход на основе пороговых значений является наиболее распространенным, в его основе лежит спектральный анализ подстилающей поверхности и облачности в каждом пикселе изображения. Пороговые алгоритмы отличаются простотой реализации и небольшой вычислительной сложностью, а результаты классификации легко поддаются физическому обоснованию. Тем не менее, качество работы данных алгоритмов в значительной степени зависит от точности подбора пороговых коэффициентов. Процесс подбора этих коэффициентов является весьма трудоемким для территорий с различными климатическими условиями. Кроме того, в сложных сценах, где присутствует снег или оптически тонкая перистая облачность, качество классификации значительно снижается из-за схожести спектральных характеристик снега и облачности, содержащей кристаллы льда (Chen et al., 2018; Stillinger et al., 2019), а также из-за спектральных искажений, возникающих при прохождении излучения сквозь облачность.

Применение моделей переноса излучения (Radiative Transfer Model) позволило усовершенствовать пороговые алгоритмы. Моделирование всевозможных коэффициентов спектральной яркости при самых различных комбинациях параметров, таких как зенитные углы Солнца и спутника, содержание аэрозолей в атмосфере и др., позволяет существенно повысить точность подбора пороговых значений (Imai, Yoshida, 2016). Метод является высокоэффективным, особенно при его комбинировании с нейросетевыми алгоритмами (Chen et al., 2018), однако на данный момент обладает существенным ограничением – симуляция значений отражающей способности на верхней границе атмосферы производится только для пикселей, но не для текстур. Вследствие этого текстурная информация о подстилающей поверхности и облачности становится недоступной.

Статистические методы детектирования облачности базируются на уравнениях регрессии, полученных с использованием статистического анализа значений спектральных характеристик отражающей способности и яркостной температуры среди облачных и безоблачных пикселей. На практике данные методы чаще всего используются для предварительного анализа данных и обладают теми же недостатками, которые свойственны пороговым методикам – низкая эффективность разделения снега и облачности, а также ошибки при детектировании оптически тонкой облачности. Несмотря на это, данный подход может выступать в качестве основы для построения классификатора облачности (Amato et al., 2008).

Построение классификаторов на основе алгоритмов машинного обучения также является распространенным подходом в задаче детектирования облачности. Данный подход представляет собой автоматизированный подбор пороговых значений на основе статистических данных с использованием наборов признаков каждого классифицируемого объекта, что позволяет сочетать достоинства вышеописанных методик. Частным случаем алгоритмов машинного обучения являются нейронные сети. Практика показывает, что нейросетевой подход в сочетании с текстурными и спектральными признаками показывает наибольшую точность в задаче детектирования облачности (Drönner et al., 2018; Mahajan, Fataniya, 2019).

Предлагаемый в данной работе метод детектирования облачности основан на применении нейронной сети сверточного типа, архитектура которой оптимизирована для быстрой обработки спутниковых изображений геостационарных КА. В общем случае метод является универсальным для спутниковых приборов малого разрешения и может быть применен как к геостационарным, так и к полярно орбитальным КА. Как и любой другой метод, базирующийся на алгоритмах машинного обучения, модель классификатора на основе сверточной нейронной сети необходимо обучить на предварительно сформированных данных.

ФОРМИРОВАНИЕ НАБОРОВ ДАННЫХ

Первоочередным этапом в разработке алгоритма классификации является сбор, маркировка в соответствии с принадлежностью к одному из классов и предварительная обработка обучающих и тестовых данных необходимого объема. Необходимым будем считать объем выборки такой, что при его увеличении в 2 раза, общий уровень точности классификации меняется незначительно (менее 1%) при соблюдении условия пропорциональности объемов тестовой и обучающей выборки (в работе принято приблизительное соотношение объемов 1 : 4 соответственно). Отметим также, что обучающая выборка не может содержать образцы из тестовой выборки за одинаковое время съемки спутниковым прибором. В работе использовались мультиспектральные изображения по данным прибора AHI (Advanced Himawari Imager), установленного на геостационарный КА Himawari-8 (Da, 2015). Данные охватывают временной промежуток с января 2016 г. по июль 2019 г. в количестве 302 изображений по территории Азиатско-Тихоокеанского региона (30°–65° с.ш и 105°–180° в.д.).

Для решения задачи детектирования облачности используются спектральные каналы, ранее успешно применявшиеся в работах других авторов (Wang et al., 2019; Afzali Gorooh et al., 2020) и показавшие свою эффективность в аналогичных задачах. В их число входят каналы видимого и ИК диапазонов длин волн, приведенные к пространственному разрешению 2 км: 0.64, 0.86, 1.6, 2.3, 3.9, 6.9, 7.3, 8.6, 11.2 и 12.4 мкм, из которых в дальнейшем формировалась обучающая выборка.

Каждый образец из выборки представляет собой тензор третьего порядка X_i,j,k, где индексы i и j соответствуют строке и столбцу изображения, k – номеру спектрального канала прибора. Каждому образцу была поставлена в соответствие метка класса {0, 1} в зависимости от принадлежности центрального пикселя p(i_c, j_c) (i_c = T/2, j_c = T/2, k = 1…C) к облачности или безоблачной подстилающей поверхности соответственно, где T – размер текстуры, C – количество спектральных каналов, i_c и j_c – координаты центра текстуры. Центральный пиксель может находиться не только в центре рассматриваемого объекта, но и на границе двух и более классов (при условии, что эта граница визуально хорошо различима).

Скорость работы алгоритма классификации в значительной степени зависит от размера текстур, поэтому для наиболее оптимального использования вычислительных ресурсов в данной работе размер текстур T был принят равным 5 пикселям. В работе (Ganci et al., 2011) данный размер ранее успешно применялся для задачи детектирования облачности по данным прибора SEVIRI. Кроме того, как выяснится в дальнейшем, меньший размер текстур способствует повышению детализации результирующей маски облачности в сравнении с результатами предыдущего исследования (Андреев и др., 2019), где использовался размер, равный 32 пикселям.

Формирование обучающих наборов данных происходило последовательным образом. На первом этапе формирования обучающей выборки производилась ручная классификация точек на спутниковых изображениях опытными специалистами-дешифровщиками с использованием RGB синтеза спектральных каналов 0.64, 0.86 и 1.6 мкм для дневного времени суток и 3.9, 11 и 12 мкм для ночного. Классифицируемые точки общим количеством 5 тыс. примеров включали образцы снега, льда, водной поверхности, почвы и различных типов облачности. В дальнейшем эти точки становились центрами текстур, которые использовались для обучения алгоритма. После предварительного обучения происходила пробная классификация на новых тестовых изображениях, ранее не встречавшихся в обучающей или тестовой выборке. Результаты классификации подвергались анализу, в процессе которого выявлялись ошибки. Затем для этих тестовых изображений производилась повторная разметка данных в областях присутствия ошибок, и новые размеченные данные добавлялись в обучающую и тестовую выборки, после чего происходило повторное обучение алгоритма. Этот рекурсивный процесс продолжался до тех пор, пока количество ошибок классификации не было сведено до минимального значения (в данной работе эта процедура повторялась до 10 раз). Данный подход позволяет снизить объем используемых в обучении данных и сосредоточить внимание на проблемных случаях классификации, внося коррективы в процесс сбора данных. По итогам этой работы общий объем данных составил приблизительно 62 тыс. образцов текстур.

Для увеличения количества обучающих текстур производилась их аугментация за счет поворотов вокруг центра каждые 90 градусов и отражений по горизонтали, что позволило увеличить объем исходной выборки до 495 тыс.

Текстурные данные, полученные в дневное и ночное время, объединялись в одну выборку и подвергались предварительной обработке. Значения отражающей способности на верхней границе атмосферы нормализовались по зенитному углу Солнца:

где Ref_corr – скорректированное значение отражающей способности, Ref – исходное значение отражающей способности, SZA – значение зенитного угла Солнца в пикселе. Затем каждый спектральный канал нормализовался в интервале от 0 до 1. Значения отражающей способности при зенитных углах Солнца более 85° приравнивались к нулю. Данное значение зенитного угла было выбрано, исходя из результатов работы (Godin, 2014), где также решалась проблема совмещения “дневной” и “ночной” маски облачности. Сформированные таким образом данные в дальнейшем использовались для обучения и тестирования алгоритма классификации.

АЛГОРИТМ КЛАССИФИКАЦИИ

Основу алгоритма классификации составляет нейронная сеть сверточного типа, ранее успешно применявшаяся для задачи распознавания объектов на спутниковых изображениях (Francis et al., 2019). Алгоритм работы сверточных нейронных сетей в задаче классификации заключается в последовательном преобразовании тензора исходного изображения (текстуры) при помощи операции свертки матричными ядрами к выходному вектору, в котором закодирован один из возможных классов. Коэффициенты матричных ядер подбираются автоматически в процессе обучения, кодируя определенные признаки изображения (прямые линии, сетки, углы и др.). При прохождении скользящего окна над определенной областью изображения и применении операции свертки формируется отклик в форме значения вероятности того, что определенный признак присутствует в этой области. Комбинация таких признаков служит индикатором для определенного класса текстуры (например, снег в горах). Кроме того, значительную долю информации также несут значения используемых признаков (яркостная температура, коэффициенты спектральной яркости).

Разработанная в данной работе модель нейронной сети MetNet3 является дальнейшим развитием архитектуры, представленной в работах (Kramareva et al., 2019) и (Андреев и др., 2019). Для указанной архитектуры был сделан ряд улучшений, направленных на снижение ее вычислительной сложности при незначительном ухудшении точности классификации (не более 1.5%) с учетом результатов недавних исследований в данной области (Szegedy et al., 2016). Одним из таких улучшений является переход к полносверточной архитектуре путем замены полносвязных выходных нейронных слоев на комбинацию сверточных слоев, что позволило снизить вычислительную сложность. Другим архитектурным решением является внедрение промежуточных связей между слоями с целью извлечения текстурных признаков на различных масштабах и снижения явления переобучения модели. В дальнейшем две ветви архитектуры, имеющие выходные тензоры A и B, объединяются в единый тензор C за счет операции конкатенации $ \oplus $ (поочередного добавления элементов тензора B в конец тензора A):

где i, j, k, m, n – индексы тензоров, k = m + n. Подобный подход в архитектуре был успешно опробован в работах (Drönner et al., 2018; Mateo-García et al., 2019) по детектированию облачности методом сегментации всего мультиспектрального изображения по данным геостационарных спутников, что в общем случае схоже с подходом, применяемым в настоящей работе, где классификация выполняется по методу скользящего окна для каждого пикселя отдельно.

Перед началом процесса обучения из обучающего набора данных выделялась небольшая (размером 15% от исходного набора данных) валидационная выборка, предназначенная для оценки алгоритма в процессе обучения и корректировки его параметров. В итоговой оценке результатов классификации данный набор впоследствии не использовался.

Процедура обучения нейронной сети осуществлялась с использованием алгоритма “Adam” (Kingma, Ba, 2014), для которого был установлен стандартный коэффициент скорости обучения (learning rate), равный 10^–4. В качестве целевой функции потерь использовалась формула кросс-энтропии для случая бинарной классификации (Sadowski, 2016). В рассматриваемой задаче при указанных параметрах обучения модель классификации сходится спустя приблизительно 400 итераций обучающего алгоритма (характер сходимости экспоненциальный).

Алгоритм реализации модели классификатора разрабатывался на языке программирования Python 3.7 с использованием модулей для работы с нейронными сетями TensorFlow 1.14 и Keras 2.2.4. Максимальное время расчета маски облачности размером 2300 × 7500 пикселей (регион с 30° с.ш. 65° в.д. по 75° с.ш. 200° в.д.) занимает до четырех минут на следующей аппаратной конфигурации: центральный процессор Intel Core i7-5820K, графический процессор NVIDIA GTX 1060, оперативная память процессора и видеокарты – 16 и 3 Гб соответственно. Таким образом, указанное время расчета позволяет применять данный классификатор в оперативном режиме на данном оборудовании.

АНАЛИЗ РЕЗУЛЬТАТОВ

Оценка качества масок облачности, полученных представленным в данной работе классификатором, выполнялась с использованием валидационного набора данных, как это принято в задачах машинного обучения, а также путем сравнения с результатами работы алгоритмов для детектирования облачности, применяемых в мировой оперативной практике. В качестве оценочных метрик использовались точность (Precison), полнота (Recall), а также показатель F1-меры, являющийся гармоническим средним точности и полноты (Friedman et al., 2001):

где:

• TP (True Positive) – количество примеров, где облачность присутствует на рассматриваемом примере и на эталоне;

• FP (False Positive) – количество примеров, где облачность присутствует на рассматриваемом примере, но отсутствует на эталоне;

• FN (False Negative) – количество примеров, где облачность отсутствует на рассматриваемом примере, но присутствует на эталоне.

Валидационная выборка для дневного и ночного времени суток включала в себя около 14 тыс. примеров облачных и безоблачных текстур. В процессе формирования этой выборки использовались 76 сроков наблюдений с января 2016 г. по июль 2019 г. Следуя формулам (1), (2) и (3), для валидационной выборки были получены результаты, представленные в табл. 1.

Указанные в табл. 1 результаты свидетельствуют о высокой обобщающей способности рассматриваемого классификатора, поскольку данные валидационной выборки не содержатся в данных обучающей выборки. Чуть более высокая точность классификации в ночное время суток обусловлена несколько менее репрезентативной выборкой текстур. Это вызвано тем, что ручная классификация только по данным ИК каналов является значительно более трудоемким процессом, так как зачастую встречаются ситуации, в которых проблематично однозначно выделить наличие или отсутствие облачности в рассматриваемом пикселе. При недоступности вспомогательной информации, например данных наземных станций, подобные случаи не включались в обучающие и тестовые наборы данных.

Для более комплексной оценки классификатора был также рассмотрен другой подход. Основная идея этого подхода заключается в попиксельном сравнении масок облачности с “эталонными”, получаемыми с использованием известных действующих алгоритмов. В данной работе в качестве “эталона” был выбран продукт NOAA JPSS_GRAN, содержащий бинарную маску облачности по данным прибора VIIRS КА NOAA-20 (https://www.bou.class.noaa.gov). Данная маска облачности формируется алгоритмом, основанным на серии пороговых тестов, подробно описанных в работе (Godin, 2014). Данный алгоритм учитывает тип подстилающей поверхности, данные о скорости и направлении ветра вблизи морской поверхности, содержание воды в столбе атмосферы и температуру воздуха в приземном слое.

Из-за наличия ошибок, наблюдаемых в масках облачности по данным прибора VIIRS, в зимнее время года в качестве эталона использована маска облачности из продукта 2B-CLDCLASS-LIDAR (http://www.cloudsat.cira.colostate.edu), формируемого по данным КА CloudSat и CALIPSO. Данная маска облачности представляет собой трек шириной в 1 пиксель (приблизительно 1.4 км) (Sassen, 2008), вдоль которого производится вертикальное зондирование атмосферы с целью обнаружения облачности и ее последующей классификации. Применяемый для обработки этих данных пороговый алгоритм использует данные о высоте, температуре, отражающей способности и оптической толщине облачности.

В сравнении масок использовались данные прибора VIIRS с 1 по 5 августа 2019 г. и с 1 по 5 февраля 2020 г., данные CloudSat и CALIPSO с 1 по 8 февраля 2017 г. Максимальная разность по времени съемки между “эталонными” приборами (VIIRS, CloudSat, CALIPSO) и AHI составляет не более 5 мин. На масках облачности в местах их пересечений вырезались полигоны общим количеством 32 шт., примеры которых изображены на рис. 4–8 . Полигоны распределены по всей территории Азиатско-Тихоокеанского региона. В табл. 2 приведены усредненные результаты валидации для различных сценариев.

Результаты оценки точности показали несколько более высокий результат по данным CloudSat в сравнении с VIIRS. Данный факт объясняется тем, что CloudSat производит измерения вдоль трека, и, следовательно, количество точек, относящихся к границам облаков, мало. В случае оценки по маскам облачности VIIRS в виде изображений вклад граничных значений учитывается в большей степени, что и приводит к небольшому снижению точности при сравнении с этими масками.

ЗАКЛЮЧЕНИЕ

В работе рассмотрен один из наиболее перспективных подходов для решения задачи детектирования облачности применительно к данным геостационарных КА на примере Himawari-8, основанный на применении нейронной сети сверточного типа с учетом спектральных и текстурных характеристик облачности и подстилающей поверхности.

Оценка качества масок облачности, получаемых с использованием предложенного в работе классификатора, проведена с использованием валидационного набора текстур, а также методом попиксельного сопоставления с масками облачности по данным КА NOAA-20, CloudSat и CALI-PSO. Процесс валидации включал в себя комплексную оценку качества с использованием метрик точности (Precision), полноты (Recall) и f1-меры в различных сценариях, включая зимний и летний сезоны, ночное и дневное время суток, а также переходный процесс (сумерки/рассвет). Ввиду трудоемкости процесса валидации, ее результаты не претендуют на абсолютную полноту, тем не менее, по имеющимся данным можно сделать вывод о высоком качестве полученного классификатора, результаты которого могут использоваться в практических целях.

Несомненными преимуществами используемого в данной работе подхода являются высокая точность детектирования снега и льда, отсутствие необходимости использования сторонних данных, кроме изображений спутникового прибора, универсальность применения алгоритма по отношению к различным климатическим и географическим условиям. Последнее достигается за счет дополнения обучающей выборки данными, полученными для других территорий, методом дообучения существующей модели. В пороговых же алгоритмах в этом случае требуется ручной подбор используемых коэффициентов и учет территориальной и временной зависимостей в аналитической форме. В то же время рассматриваемый в работе подход позволяет учитывать более сложные зависимости, чем в пороговых алгоритмах.

К недостаткам разработанной модели классификатора можно отнести неполное выделение облачности слоистых и кучевых форм (особенно в ночное время суток), а также небольшое “сглаживание” маски (следствие применения текстурного метода для классификации), что приводит к ее меньшей детализации. В общем случае к недостаткам используемого в работе подхода также можно отнести трудоемкость формирования обучающей выборки, поскольку на данном этапе требуется ручная разметка данных больших объемов (десятки тысяч для наиболее точной классификации) с привлечением опытных специалистов по дешифровке спутниковых изображений. Отметим, что отчасти доля ручного труда может быть уменьшена путем применения уже существующих масок облачности при формировании новой обучающей выборки. Кроме того, в настоящее время исследуются возможности для максимальной автоматизации формирования наборов обучающих текстур.

Одним из дальнейших направлений для улучшения классификатора, по мнению авторов, помимо спектральной и пространственной (текстурной) компонент является учет временной зависимости, для чего требуется рассмотрение последовательности спутниковых изображений. Поскольку облако представляют собой динамическую систему, анализ временной компоненты в каждом пикселе изображения может повысить точность определения облачности на фоне статичной подстилающей поверхности. Перспективным направлением для дальнейших исследований также является повышение точности детектирования облачности нижнего яруса слоистых и кучевых форм в ночное время суток.

По результатам данной работы модель классификатора была внедрена в оперативную работу Дальневосточного центра НИЦ “Планета” в состав программного комплекса для расчета параметров облачности.