Фильтрация и классификация в Earth Engine

В статье есть два любопытных примера использования Google Earth Engine:

➊ Сглаживание временных рядов NDVI с помощью фильтра Савицкого-Голая (Savitzky–Golay)
➋ Классификация полей сельскохозяйственных культур (попиксельная) методом “случайного леса” (random forest)

Фильтр Савицкого-Голая реализован в виде функции библиотеки OpenEarthEngineLibrary, о которой мы еще поговорим.

Мы обычно не используем классификацию в Earth Engine, предпочитая выполнять ее в R по полученным из EE снимкам. Но кому-то приведенный пример может пригодиться.

📸 Исходный временной ряд NDVI (ndvi) и ряд, сглаженный фильтром Савицкого-Голая (ndvi_sg).

#GEE

Open Earth Engine Library (OEEL) — коллекция полезных функций для Google Earth Engine (GEE).

Для использования OEEL с GEE JavaScript API достаточно импортировать ее код

var oeel=require('users/OEEL/lib:loadAll')

а затем использовать нужные функции.

По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой

var oeel=require('users/OEEL/lib:loadAllSF')

Отметим, что эта версия не должна использоваться для отладки.

Чтобы получить информацию о функциях, добавьте в конец кода следующую строку

print('List of functions used',oeel.refs())

Вы получите список всех использованных функций и другую связанную с ними информацию.

OEEL существует в виде Python-пакета.

Установка:

pip install oeel

Импорт:

from oeel import oeel

🖥 Репозиторий кода OEEL
🖥 Код примеров

#GEE #python

Open Earth Engine Library (продолжение)

OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:

🌍 Image

• arrayDTW — возвращает DTW (dynamic time warping) bмежду двумя изображениями, для каждого пикселя
• inverseDistanceInterpolation — пространственная интерполяция методом IDW (inverse distance weighting)
• kriging — пространственная интерполяция с помощью кригинга
• propertyAsBand — создает новый слой (канал) изображения из свойств этого изображения
• semivariogram — вычисляет семивариограмму

🌍 ImageCollection

• OtsuThreshold — рассчитывает порог Оцу (Otsu) для коллекции
• SavatskyGolayFilter — фильтрация снимков коллекции фильтром Савицкого-Голая (Savitsky-Golay). В названии функции содержится ошибка)
• enhancingCollection — алгоритм, расширяющий коллекцию, добавляя к ней новую коллекцию. Каждое изображение первой коллекции сливается с изображением второй коллекции
• fromSingleImage —  загрузка изображения как коллекции
• medoid — вычисляет медоид коллекции
• movingWindow — фильтрация коллекции методом “скользящего окна”

🌍 Feature

• asLabel — генерирует функцию, преобразующую Feature в аннотацию на изображении

🌍 FeatureCollection

• fromList — преобразует List в FeatureCollection

#GEE #python

Фильтр Савицкого-Голая для коллекции MODIS

Фильтр Савицкого-Голая (Savitzky-Golay) без использования внешних библиотек в Google Earth Engine, реализованный Гвидо Лемуаном (Guido Lemoine). Код можно взять здесь или здесь.

#GEE

Данные ALOS-2 PALSAR-2 ScanSAR Level 2.2

Данные японского спутникового радара PALSAR-2 ScanSAR Level 2.2 находятся в открытом доступе с ноября 2022 года. Тем не менее, доступных данных было довольно мало, и лишь в последнее время в этом деле наметился некоторый прогресс.

РALSAR-2 (Phased Array type L-band Synthetic Aperture Radar-2) — радар L-диапазона (1257,5 МГц), работающий на спутнике ALOS-2. Режим ScanSAR (обзорный) обеспечивает пространственное разрешение 60 м и 100 м для полос обзора 490 км и 350 км соответственно. Режим Stripmap (непрерывный) имеет разрешение 10 м, 6 м и 3 м с полосами обзора 70 км, 70 км и 50 км соответственно. Режим Spotlight (прожекторный) обеспечивает разрешение 1 м x 3 м для участка 25 км x 25 км.

Спутник ALOS-2 находится на солнечно-синхронной орбите с наклонением 97,9° на высоте 628 км с периодом 97 минут. Периодичность данных ALOS-2 составляет 14 суток.

В настоящее время продукты ScanSAR Level 2.2 постепенно выкладываются на платформах:

* JAXA G-Portal
* Google Earth Engine
* Amazon Web Service (AWS)
* NASA Alaska Satellite Facility Data Search (обещают к концу 2024 года)
* Tellus (в будущем)

Доступны данные с августа 2014 года по настоящее время. Данные обновляются ежемесячно. Самые свежие снимки — примерно месячной давности.

Данные PALSAR-2 ScanSAR Level 2.2 представляют собой нормализованные данные обратного рассеяния обзорного режима наблюдения с шириной полосы обзора 350 км. Снимки прошли ортокоррекцию и коррекцию рельефа с использованием цифровой модели поверхности ALOS World 3D (AW3D30).

Данные хранятся в виде 16-битных цифровых чисел (digital numbers, DN). DN можно преобразовать в нормализованное обратное рассеяния в децибелах (γ0) по формуле: γ0 = 10*log10(DN2) - 83,0 дБ

📸 Художественное изображение спутника ALOS-2 (источник)

#данные #SAR #GEE

Покрытие данными ALOS-2 PALSAR-2 ScanSAR Level 2.2

Рассмотрим покрытие данными на примере территории Китая и его окрестностей в 2024 году:

🌍 Код в GEE

Данных пока довольно мало: за 11 месяцев 2024 года набралось 718 снимков. Большая часть территории Китая снята всего 2–3 раза, но есть два исключения. Одно из них — Тайвань, второе предлагаем угадать самостоятельно. Район этот в нынешнем году снимали более 100 раз.

С данными 2021–2023 гг. ситуация примерно такая же, даже немного хуже. Впрочем, раньше не было и этого.

#GEE #SAR

GEE-46. Категоризация NDVI

Допустим, нам нужно разделить значения NDVI на несколько категорий или классов. Пусть, для определенности, категорий будет пять: 1 – [-1; 0.2), 2 – [0.2; 0.4), 3 – [0.4; 0.6), 4 – [0.6; 0.8), 5 – [0.8; 1].

Создадим изображение, состоящее из 5 слоев. Значение каждого слоя равно верхнему порогу категории: 0.2, 0.4, 0.6, 0.8, 1.

var thresholds = [0.2, 0.4, 0.6, 0.8, 1];
var image = ee.Image(thresholds);

Выполним проверку условия ndvi.lt(image) и получим на выходе изображение из пяти бинарных слоев. Каждый слой будет равен 0 или 1, в зависимости от того, выполнено ли условие — попало ли значение NDVI в ту или иную категорию.

Номер категории будет равен сумме единиц

var zones = ndvi.lt(image).reduce('sum');

Но при этом нумерация категорий будет идти сверху вниз: 1 – [0.8; 1], 2 – [0.6; 0.8), …

Перевернем ее, вычитая номер категории из числа категорий

var zones = ee.Image(thresholds.length + 1).subtract(ndvi.lt(image).reduce('sum')).rename('zone');

В конце мы переименовали полученный слой в zone.

Рассмотренный прием подойдет для категоризации любого однослойного изображения, а не только NDVI.

🌍 Код примера

В GEE есть и другие способы категоризации изображений — при помощи CART и where.

#GEE

Global Natural and Planted Forests

Глобальные данные Global Natural and Planted Forests представляют собой карту естественных и посаженных лесов по состоянию на 2021 год с пространственным разрешением 30 метров.

Карта создана на основе более 70 миллионов образцов обучающих данных, полученных из снимков Landsat (1985–2021 гг.). Используется метод обнаружения изменений во временных рядах, примененный к снимкам Landsat и позволяющий отличать посаженные леса от естественных лесов на основе частоты нарушений. Локально-адаптивная классификация методом “случайного леса” обеспечила общую точность 85%, что позволяет использовать данные для глобальной оценки лесных ресурсов.

Данные отображаются в виде карты, на которой:

🟢 Зеленые пиксели обозначают естественные леса,
🟡 Желтые пиксели обозначают посаженные (искусственные) леса,
⚪️ Другие цвета обозначают безлесные территории.

Данные на:

🛢 Zenodo
🌍 Google Earth Engine

📖 Xiao, Yuelong, Qunming Wang, and Hankui K. Zhang. Global Natural and Planted Forests Mapping at Fine Spatial Resolution of 30 m. Journal of Remote Sensing 4 (2024): 0204. https://doi.org/10.34133/remotesensing.0204

#лес #данные #GEE

Earth Engine Task Manager — запуск скрипта Goggle Eearth Engine из VS Code

Запустить скрипт Goggle Eearth Engine из VS Code можно с помощью расширения Earth Engine Task Manager (eetasks), созданного Оливером Лопесом (Oliver Lopez). Расширение полезно для 1) отправки задач на экспорт, 2) мониторинга их выполнения, а также для (3) использования интерактивной карты (в новой версии добавлена поддержка функции Map.addLayer).

🖥 Репозиторий eetasks
🔗 eetasks в маркетплейсе vscode

#софт #GEE

Мониторинг нефтяного загрязнения, возникшего в результате аварий танкеров “Волго-нефть 212” и “Волго-нефть 239”

15 декабря в Керченском проливе произошло крушение танкеров “Волго-нефть 212” и “Волго-нефть 239”. Первый танкер затонул, а кормовая часть судна “Волго-нефть 239” села на мель в 82 м от берега в районе п. Волна.

Количество нефтепродуктов на судне “Волго-нефть 212” по данным МЧС составляла 4251 тонн мазута, а на судне “Волго-нефть 239” — 4300 тонн мазута. Значительная часть мазута вытекла в море.

Через некоторое время в сети появились радарные снимки Sentinel-1, сделанные 18 и 19 декабря. На последнем из них хорошо видно нефтяное пятно, вытянувшееся вдоль побережья по направлению к Анапе и, вероятно, вызванное утечкой мазута с танкера “Волго-нефть 239”. Продолжается утечка мазута с затонувшего танкера “Волго-нефть 212”.

Заметим, что при высоких скоростях ветра (свыше 9 м/с) тонкие нефтяные пленки на морской поверхности перестают быть видны на радарных снимках. Остаются только толстые пленки нефти или тяжелых нефтепродуктов, вроде мазута. 18 и 19 декабря скорость ветра у поверхности превышала 9 м/с, так что оценить площадь загрязнения по данным космических радаров в штормовую погоду весьма затруднительно.

К сожалению, открытых данных ДЗЗ из космоса недостаточно для мониторинга данной аварии. Оптические снимки почти недоступны из-за облачности. Радарные, кроме сказанного выше, имеют низкую периодичность. В основном, наблюдение ведется наземными (водными) и воздушными средствами.

Следить за оперативной информацией МЧС можно на 🔗 сайте ГУ МЧС России по Краснодарскому краю.

Помимо сотрудников МЧС, на земле ликвидацией последствий аварии занимаются десятки добровольцев. Как это происходит, можно увидеть 🔗 здесь.

📖 Для интересующихся вопросами мониторинга нефтяных загрязнений рекомендуем обзорную статью А. Ю. Иванова.

🗺 В заключение, вот небольшой скрипт GEE, где есть оба радарных снимка Sentinel-1, оптический снимок Sentinel-2, результаты прогноза скорости ветра, а также расположение танкеров (“Волго-нефть 239” хорошо заметен у берега, а координаты “Волго-нефть 212” взяты из сообщения МЧС). Можете все сами посмотреть.

📸 Кормовая часть судна “Волго-нефть 239” у побережья в районе поселка Волна (источник)

#нефть #GEE #SAR

Извержение Килауэа

23 декабря 2024 года Килауэа, самый молодой и самый активный вулкан на Гавайях (США), после трех месяцев затишья вновь начал извергать фонтаны лавы. Лава изливалась из цепочки трещин у юго-западной стены кратера Халемаумау, который находится внутри Калуапеле — вершинной кальдеры гавайского вулкана. Нынешнее извержение — шестое по счету, произошедшее в этой кальдере с 2020 года.

Гавайская вулканическая обсерватория Геологической службы США (Hawaiian Volcano Observatory) зафиксировала начало извержения в 2:20 утра по местному времени 23 декабря. Фонтаны лавы достигали 80 метров в высоту. К 9:30 утра измерения с борта вертолета вулканической обсерватории показали, что лава распространилась по дну кратера на площади 265 гектаров со средней глубиной около 3 метров.

Снимок кальдеры Килауэа сделан 24 декабря 2024 года спутником Landsat 8 и представлен в ложных цветах (каналы 7, 6 и 8 — SWIR2, SWIR1 и панхроматический), чтобы наглядно показать инфракрасное излучение новой лавы (оттенки красного и желтого цвета).

Шлейф вулканического газа, состоящий в основном из водяного пара, углекислого газа и диоксида серы, тянется к юго-западу от кальдеры и показан на снимке синим цветом. Вулканический газ представлял собой главную проблему извержения, поскольку входящий в его состав диоксид серы может создавать вредную для здоровья дымку — вулканический смог (vog). К счастью, ветер направил шлейф газа в сторону океана.

🌍 Скрипт GEE

#снимки #вулкан #комбинация #GEE

Forest Data Partnership опубликовал карту ненарушенных лесов, а также карты распространения какао, масличной пальмы и каучукового дерева

Forest Data Partnership (FDP) — консорциум, объединяющий промышленников, правительственные и некоммерческие организации, заявленная цель которого: остановить и обратить вспять потерю лесов в результате производства сырьевых товаров.

FDP опубликовал на Google Earth Engine карту ненарушенных лесов, а также карты распространения какао, масличной пальмы и каучукового дерева:

🌲 Forest Persistence — карта ненарушенных лесов мира по состоянию на 2020 год. Дает оценку (в диапазоне [0, 1]), которая показывает, занята ли площадь пикселя ненарушенным лесом. Пространственное разрешение — 30 м.
🌴 Palm Probability model 2024a — ежегодные карты распространения масличной пальмы с 2020 по 2023 год. Данные представлены в виде вероятности наличия пальмы в пикселе карты. Модель обеспечивает глобальную точность 92% (при пороге вероятности 0,5). Пространственное разрешение — 10 м. Следующие карты построены по той же методике и с тем же разрешением.
🍃 Cocoa Probability model 2024a — ежегодные карты распространения какао 2020–2023 гг.
🌳 Rubber Tree Probability model 2024a — ежегодные карты распространения каучукового дерева 2020–2023 гг.

🌍 Скрипт GEE

В качестве исходных данных для моделей использованы годовые композиты снимков Sentinel-1, Sentinel-2, ALOS PALSAR-2, а также данные цифровых моделей рельефа Jaxa (AW3D30) и Copernicus (GLO-30).

🖥 Модели реализованы в TensorFlow и находятся в открытом доступе на GitHub.

🔗 Популярное описание результатов на Medium

📖 Описание методики построения карт: https://arxiv.org/pdf/2405.09530

#данные #GEE #лес #сельхоз

Карты лугов мира 2000–2022 гг.

Лаборатория Land & Carbon Lab создала исследовательский консорциум Global Pasture Watch для подготовки данных, которые помогут в мониторинге лугов и пастбищ.

Уже доступны 📸 карты лугов мира с 2000 г. по 2022 г. — 🗺 Annual 30-m maps of global grassland class and extent (2000–2022). В будущем планируется ежегодно пополнять эти данные.

🌍 Данные на Google Earth Engine
🖥 Исходный код для создания карт на GitHub
📖 Статья с описанием методики

Land & Carbon Lab собирается создать еще три набора данных:

• GLD-1km: Глобальные карты плотности поголовья скота c разрешением 1 км
• GSVH-30m: Глобальные карты высоты короткой растительности (разрешение 30 м)
• GGPP-30m: Глобальные карты валовой первичной продуктивности (30 м).

#данные #луга #растительность #GEE

Свертка или пространственная фильтрация изображений в GEE

Линейная свертка изображения 📸 — это обработка изображения с помощью скользящей маски, которая представляет собой заданную квадратную матрицу. После свертки, каждый пиксель изображения представляет собой линейную комбинацию значений маски и пикселей исходного изображения, покрытых маской. Матрицу-маску называют также фильтром, ядром, окном или шаблоном. Элементы маски принято называть коэффициентами. Операцию свертки называют также пространственной фильтрацией изображения.

“Пространственная фильтрация” и “фильтр”, на наш взгляд, самые удачные термины. Но в Google Eearth Engine вместо них приняты “свертка” и “ядро”. Термины эти используются в названиях функций GEE, так что вместо сглаживающего фильтра будет сглаживающее ядро, а вместо фильтрации — свертка.

Теорию можно найти в 📖 Гонсалес Р., Вудс Р. Цифровая обработка изображений (любое издание, раздел 3.4. “Основы пространственной фильтрации”).

А мы продолжим так как будто всем все известно.

#GEE

GEE-47. Свертка (пространственная фильтрация)

Линейная свертка изображений выполняется функцией image.convolve(). Единственным аргументом convolve является ядро свертки ee.Kernel, которое задается 1) формой и 2) коэффициентами (весами).

Ядра применяются по отдельности к каждому слою изображения.

Применим сглаживающее (низкочастотное) ядро 15x15 для удаления высокочастотной информации со снимка Landsat 8:

// Загружаем снимок.
var image = ee.Image('LANDSAT/LC08/C01/T1_TOA/LC08_044034_20140318');
Map.setCenter(-121.9785, 37.8694, 11);
Map.addLayer(image, {bands: ['B5', 'B4', 'B3'], max: 0.5}, 'input image');

// Задаем ядро (фильтр) - boxcar.
var boxcar = ee.Kernel.square({
radius: 7, units: 'pixels', normalize: true
});

// Выполняем свертку (фильтрацию).
var smooth = image.convolve(boxcar);
Map.addLayer(smooth, {bands: ['B5', 'B4', 'B3'], max: 0.5}, 'smoothed');

📸 Снимок Landsat 8 (ложноцветовой композит) после свертки со сглаживающим ядром. Бухта Сан-Франциско, шт. Калифорния (США).

Аргументы ядра определяют его размер и коэффициенты. В частности, если параметр units установлен в pixels, то radius задает количество пикселей от центра, которое будет покрыто ядром. Если параметр normalize имеет значение true, то коэффициенты ядра будут равны единице. Если задан параметр magnitude, то коэффициенты ядра будут умножены на значение этого параметра (если при этом normalize равен true, то коэффициенты ядра будут равны magnitude). Если в каком-либо из коэффициентов ядра есть отрицательное значение, то установка normalize в true приведет к тому, что коэффициенты будут равны нулю.

#GEE

GEE-47. Свертка (продолжение)

Чтобы достичь нужного эффекта для обработки изображений используют разные ядра. Так, оператор Лапласа (ee.Kernel.laplacian8) применяется для обнаружения изотропных краев:

// Задаем ядро для детектирования краев изрображения.
var laplacian = ee.Kernel.laplacian8({ normalize: false });

// Применяем свертку.
var edgy = image.convolve(laplacian);
Map.addLayer(edgy,
             {bands: ['B5', 'B4', 'B3'], max: 0.5, format: 'png'},
             'edges');

📸 Снимок Landsat 8 после свертки с ядром обнаружения краев.

Обратите внимание на спецификатор формата в параметрах визуализации. GEE отправляет тайлы для отображения в Code Editor в формате JPEG. Однако краевые тайлы отправляются в формате PNG, для обработки прозрачности пикселей за границами изображения. Установка формата в PNG позволит сгладить “швы” на границах тайлов.

Существуют анизотропные ядра для обнаружения краев, направление которых можно изменить с помощью функции kernel.rotate(). Низкочастотные ядра включают гауссово ядро и ядра различной формы с равномерными весами.

Чтобы создать ядро с произвольно заданными весами и формой, используйте ee.Kernel.fixed(). Следующий код создает ядро 9x9 из единиц с нулем в центре:

// Список весов для ядра 9x9.
var row = [1, 1, 1, 1, 1, 1, 1, 1, 1];
// В центре ядра - 0.
var centerRow = [1, 1, 1, 1, 0, 1, 1, 1, 1];
// Создаем список списков - матрицу ядра 9x9.
var rows = [row, row, row, row, centerRow, row, row, row, row];
// Создаем ядро по готовым весам.
var kernel = ee.Kernel.fixed(9, 9, rows, -4, -4, false);
print(kernel);

#GEE

Открытые гиперспектральные данные Wyvern

Wyvern Open Data (https://opendata.wyvern.space) предоставляет бесплатные гиперспектральные снимки, сделанные спутниковой группировкой канадской компании Wyvern. Данные предоставляются на условиях лицензии Creative Commons (CC BY 4.0), что обеспечивает неограниченный доступ к ним при надлежащем указании авторства.

В настоящее время доступны избранные снимки спутника Dragonette-001 — 23 канала в видимом и ближнем инфракрасном диапазоне. Уровень обработки данных: L1B.

В Центре знаний Wyvern (https://knowledge.wyvern.space/) опубликованы учебные пособия по работе с данными Wyvern в ENVI, QGIS и ArcGIS, а также на языке Python.

🌍 Данные Wyvern на Google Earth Engine
🌍 Wyvern Open Data Explorer — приложение Google Earth Engine. Можно посмотреть разные комбинации каналов и спектральные сигнатуры классов земной поверхности.

📝Awesome Hyperspectral (https://github.com/Nrevyw/awesome-hyperspectral) — коллекция программ, статей, источников данных и учебных пособий для работы с гиперспектральными снимками.

#гиперспектр #данные #GEE

ESA CCI Global Forest Above Ground Biomass v5.01

Обновились открытые данные о надземной биомассе лесов — ESA CCI Global Forest Above Ground Biomass. Добавлены оценки биомассы (AGB) за 2015, 2016 и 2021 годы, соответствующие им карты стандартных отклонений AGB, а также карты изменений AGB между двумя последовательными годами.

Данные находятся:

🛢 в архиве CEDA
🌍 на Google Earth Engine: ESA CCI Global Forest Above Ground Biomass v5.01

📖 Santoro, M.; Cartus, O. (2024): ESA Biomass Climate Change Initiative (Biomass_cci): Global datasets of forest above-ground biomass for the years 2010, 2015, 2016, 2017, 2018,
2019, 2020 and 2021, v5.01. NERC EDS Centre for Environmental Data Analysis, 22 August 2024. doi:10.5285/bf535053562141c6bb7ad831f5998d77.

#AGB #лес #данные #GEE

Открытые данные тепловой стратосферной съемки Urban Sky

Компания Urban Sky предоставила свободный доступ к избранным данным тепловой инфракрасной съемки высокого разрешения, полученным со стратосферной платформы Microballoon во время пожаров в Лос-Анджелесе.

Платформа Microballoon работает на высоте 15–21 км. Данные содержат RGB-снимки в видимом диапазоне с пространственным разрешением 10 см и снимки в длинноволновом инфракрасном диапазоне (LWIR) с разрешением 3 м.

🌍 Данные Urban Sky на Google Earth Engine

#данные #LST #пожары #GEE #псевдоспутник