Лекции по Google Earth Engine с “Geo for Good Summit 2023”

Вводные курсы по GEE: 📹 JavaScript, 📹 Python (лектор: Qiusheng Wu).

📹 Все лекции основной программы, Под видео приведены ссылки на презентации.

Избранные лекции:

📹Noel Gorelick. Earth Engine Scaling and Debugging
Советы и рекомендации по отладке и масштабированию GEE-скриптов.

📹Mike Dixon. Using Earth Engine for very large computations
GEE обладает огромными вычислительными возможностями, но не все скрипты позволяют эти возможности использовать. Понимание того, как работает GEE, позволит писать скрипты, максимально использующие мощности вычислительной платформы.

📹 Stories of Dynamic World Land Cover & Probabilities
Применение глобальных данных Dynamic World (DW) позволяет быстрее создавать локальные продукты, используя меньший объем наземных данных.
Отнеситесь к DW не как к готовой карте земного покрова, а как к девяти дополнительным спектральным каналам, которые можно вместе со спутниковыми снимками Sentinel-2 использовать для получения дополнительной информации о том, что происходит в районе исследований.

🔗 Сайт “Geo for Good Summit 2023”

#обучение #GEE

USDA Crop Sequence Boundaries

Набор данных Crop Sequence Boundaries (CSB) создан Национальной службой сельскохозяйственной статистики (National Agriculture Statistics Service, NASS) и Службой экономических исследований Министерства сельского хозяйства США (USDA). Он содержат неконфиденциальные границы полей одной культуры за восьмилетний период. Поле одной культуры означает, что каждый год на этом поле выращивалась какая-то одна культура, название которой указано. Зафиксированные границы полей относятся только к выращиваемым культурам, а не к границам владения. Данные получены из спутниковых снимков и других общедоступных данных (в частности, Cropland Data Layer), и сами являются общедоступными.

Данные CSB позволяют анализировать севообороты на территории 48 смежных Соединённых Штатов (CONUS), а также могут быть использованы в качестве обучающих данных для классификации культур и определения границ полей.

📖 Методика создания набора данных: Hunt K.A., Abernethy J., Beeson P., Bowman M., Wallander S., Williams R. (2023) Crop Sequence Boundaries (CSB): Delineated Fields Using Remotely Sensed Crop Rotations.
🛢 CSB на сайте NASS, начиная с 2008 года
🗺 CSB на GEE, 2016–2023 годы
🖥 Код проекта CSB на GitHub

#данные #сельхоз #GEE

Global Oil Palm Dataset 1990–2021

Набор данных содержит:

1️⃣ GlobalOilPalm_OP-extent — глобальную карту распространения плантаций масличной пальмы, включающую как промышленные, так и мелкие фермерские поля, с пространственным разрешением 10 метров, построенную на основе данных Sentinel-1 за период с 2016 по 2021 год. Формат: Geotiff.

2️⃣ GlobalOilPalm_YoP — оценки года посадки плантации с 1990 по 2021 год с пространственным разрешением 30 метров, полученные на основе снимков Landsat-5, -7 и -8. Формат: Geotiff.

3️⃣ Grid_OilPalm2016-2021 — Сетка, состоящая из 609 ячеек размером 100 x 100 км, в которых были обнаружены плантации масличной пальмы. Формат: шейпфайл.

4️⃣ Validation_points_GlobalOP2016-2021 — 17812 точек, используемых для проверки глобальных карт 1️⃣ и 2️⃣. Формат: шейпфайл.

📖 Методика создания набора данных: Descals, A., Gaveau, D. L. A., Wich, S., Szantoi, Z., and Meijaard, E. Global mapping of oil palm planting year from 1990 to 2021. Earth Syst. Sci Data Discuss. [preprint], https://doi.org/10.5194/essd-2024-157, in review, 2024.
🛢 Данные на Zenodo
🌍 Данные на GEE

Анализ данных показал, что общая площадь плантаций масличной пальмы составляет 23,98 млн га, из которых 16,66 ± 0,25 млн га занимают промышленные плантации и 7,59 ± 0,29 млн га — мелкие. Точность данных довольно высока: producers' accuracy составляет 91,9 ± 3,4 %, а users' accuracy — 91,8 ± 1,0 % для промышленных плантаций, а для мелких фермеров — 72,7 ± 1,3 % и 75,7 ± 2,5 % соответственно. Средний возраст насаждений составляет 14,1 года, а возраст плантаций на площади 6,28 млн га превышает 20 лет, что указывает на значительную потребность в пересадке деревьев в ближайшее десятилетие.

#GEE #датасет #данные #сельхоз

Глобальные данные о методах обработки почв в растениеводстве

Метод обработки почвы no-till (NT) часто представляют как средство выращивания культур с положительными экологическими эффектами, такими как увеличение секвестрации углерода, улучшение качества почвы, снижение эрозии почвы и увеличение биоразнообразия. Однако вопрос о возможных преимуществах NT по сравнению с традиционной обработкой почвы (conventional tillage, CT), является дискуссионным и характеризуется высокой вариативностью результатов наблюдений во времени и пространстве.

Чтобы сравнить результаты обоих методов был создан набор данных Global crop production tillage practices. В нём содержатся сведения об урожайности культур, полученной при использовании CT и NT, а также информация о вегетационном периоде, методах управления, характеристиках почвы и ключевых климатических параметрах в течение экспериментального года.

Набор данных содержит 4403 парных наблюдений за урожайностью в период с 1980 по 2017 год для восьми основных сельскохозяйственных культур в 50 странах. Он поможет получить представление об основных факторах, объясняющих изменчивость продуктивности NT и влияние внедрения этого метода на урожайность.

📖 Su, Y., Gabrielle, B., & Makowski, D. (2021). A global dataset for crop production under conventional tillage and no tillage systems. Scientific Data, 8(1). https://doi.org/10.1038/s41597-021-00817-x

🛢 figshare

🗺 Google Earth Engine

#сельхоз #данные #GEE

Обновление глобальных данных ESRI 10m Annual Land Cover

ESRI 10m Annual Land Use Land Cover (2017–2023) — ежегодные глобальные карты классов землепользования и земного покрова (Land Use/Land Cover, LULC) обновлены до v3, и теперь охватывают период 2017–2023 гг. Процесс обновления затронул карты прошлых лет, так что все они построены по единой методике.

Карты основаны на снимках Sentinel-2 и имеют пространственное разрешение 10 метров. Каждая карта содержит 9 классов LULC: Water, Trees, Flooded vegetation, Crops, Built Area, Bare ground, Snow/Ice, Clouds, Rangeland (описание классов). Средняя точность каждой карты составляет более 75%, что для глобальных данных неплохо.

🌍 Код примера GEE

🗺 Карта LULC окрестностей Варны (Болгария) за 2023 год.

#GEE #LULC #данные

Глобальные карты потоков углерода лесов (2001–2023)

Недавнее обновление данных Global Forest Carbon Fluxes (GFCF) позволяет изучать глобальные потоки углерода лесов в период с 2001 по 2023 год. Данные разделены на чистый поток (баланс между выбросами и поглощением), поглощение (количество углерода, поглощенного лесами) и выбросы (количество углерода, высвобожденные в результате нарушений лесного покрова).

GFCF соответствуют рекомендациям МГЭИК и дают представление о том, сколько углерода хранят или высвобождают леса с течением времени.

Данные можно также найти на сайте Global Forest Watch. Информация об обновлениях доступна в блоге.

🌍 Код примера в GEE

#лес #данные #GEE #GHG

Предварительный анализ возможности использования данных космического лидара GEDI для мониторинга уровня внутренних водоёмов

📖 Hamoudzadeh, A., Ravanelli, R., & Crespi, M. (2023). GEDI DATA WITHIN GOOGLE EARTH ENGINE: PRELIMINARY ANALYSIS OF A RESOURCE FOR INLAND SURFACE WATER MONITORING. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLVIII-M-1–2023, 131–136. https://doi.org/10.5194/isprs-archives-xlviii-m-1-2023-131-2023

Точность оценок уровня поверхностных вод выполнялась для четырёх озер на севере Италии путем сравнения с результатами наземных измерений.

Для оценки точности альтиметрических данных GEDI использован двухэтапный метод удаления выбросов. На первом этапе для отсеивания данных с низкой точностью использовались метаданные GEDI. На втором применялся тест 3NMAD (нормализованное медианное абсолютное отклонение). Удаление выбросов привело к удалению от 80–87% данных.

После удаления выбросов, среднее стандартное отклонение составило 0,36 м, среднее значение NMAD — 0,38 м. Это, по мнению авторов, подтверждает перспективность использования альтиметрических данных GEDI L2A для мониторинга внутренних водоёмов.

Данные GEDI L2A на Google Earth Engine:

* GEDI L2A Vector Canopy Top Height (Version 2)
* GEDI L2A Table Index
* GEDI L2A Raster Canopy Top Height (Version 2)

Идея интересная. Смущает, правда, что удалённые 80–87% данных названы “выбросами” (outliers).

#лидар #альтиметр #GEE #вода

Границы сельскохозяйственных полей Великобритании

Набор данных UK Fields включает в себя автоматически очерченные границы полей в Англии, Уэльсе, Шотландии и Северной Ирландии. Этот набор данных предоставляет полную информацию о границах полей на территории Великобритании, полученную на основе композитов снимков Sentinel 2, сделанных в 2021 году.

Для построения границ полей использовалась модель Segment Anything Model, разработанная компанией Meta. Сегментированные поля были отмаскированы по годовому композиту данных Dynamic World за 2021 год (класс “crops”).

🛢 Bancroft, S., & Wilkins, J. (2024). UKFields (1.0.0) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.11110206
🗺 UK Fields на GEE

#данные #сельхоз #UK #GEE

GlobalDamWatch.org — глобальные данные о расположении плотин.

GDW содержит три основных набора данных:

1️⃣ Global Geo-referenced Database of Dams (GOODD) отображает плотины, обнаруженные на спутниковых снимках Google. В базе находятся координаты 38 660 плотин. GOODD на GEE.

2️⃣ Global Reservoir and Dam Database (GRanD) отображает местоположение и атрибутивные данные 7320 плотин высотой более 15 м или с объемом водохранилища более 0,1 куб. км.

3️⃣ Future Hydropower Reservoirs and Dams (FHReD) содержит 3700 плотин, которые находятся в стадии строительства или на продвинутых этапах планирования.

Вместе эти три набора данных представляют собой наиболее подробную глобальную общедоступную базу данных о плотинах с географической привязкой.

🛢Скачать базу данных плотин

#данные #GEE

Глобальные данные PM2.5 по результатам наблюдений из космоса

В данных Global Monthly Satellite-derived PM2.5 (V6.GL.02) представлены ежегодные и ежемесячные оценки содержания в воздухе на уровне земли мелкодисперсных твёрдых частиц PM2.5 за период с 2000 по 2022 год. Пространственное разрешение данных: 0,01° × 0,01° (≈ 1 км × 1 км).

Данные получены путем интеграции измерений оптической толщины аэрозоля (Aerosol Optical Depth, AOD), полученных с помощью спутниковых приборов NASA — MODIS, MISR, SeaWIFS и VIIRS, и модели химического переноса GEOS-Chem. После чего оценки PM2.5 откалиброваны с помощью остаточной свёрточной нейронной сети по глобальным наземным наблюдениям.

PM2.5 — это мельчайшие частицы, размером от 0,001 до 2,5 микрометра (мкм), находящиеся в воздухе. PM — сокращённое английское Particulate Matter — твёрдые частицы. Значение PM2.5 определяется в весе — количестве микрограмм на кубический метр (мкг/м³).

📖 Shen, S. Li, C. van Donkelaar, A. Jacobs, N. Wang, C. Martin, R. V. Enhancing Global Estimation of Fine Particulate Matter Concentrations by Including Geophysical a Priori Information in Deep Learning. (2024) ACS ES&T Air. https://doi.org/10.1021/acsestair.3c00054

🛢 Данные в формате NetCDF
🌍 Данные на GEE

#атмосфера #данные #GEE

Сервис NASA Fire Information for Resource Management System (FIRMS) распространяет данные об очагах возгораний и тепловых аномалиях в режиме, близком к реальному времени (Near Real-Time, NRT). Данные FIRMS получены с помощью спектрорадиометров MODIS на спутниках Aqua и Terra, а также приборов VIIRS на спутниках S-NPP, NOAA 20 и NOAA 21. По всему миру эти данные доступны в течение 3 часов после наблюдения со спутника, а в США и Канаде они доступны в режиме реального времени*.

Данные FIRMS изначально предназначались для выявления и ликвидации пожаров в лесных и сельскохозяйственных угодьях. Cегодня сервис FIRMS используется также для определения мест активных боевых действий.

🗺 Интерактивная карта FIRMS

📖 Подробнее о продуктах FIRMS NRT, в том числе — об алгоритмах расчёта.
🛢 Скачать данные FIRMS в виде файлов
🛢 FIRMS на NASA Earthdata Search
🖥 FIRMS API

🌍 FIRMS на GEE с запаздыванием на 2–3 суток

*NASA EOSDIS определяет данные реального времени (Real-Time, RT) как данные, которые становятся доступны в течение 60 минут после пролёта спутника. Данные FIRMS для США и Канады распространяются в режиме Ultra Real-Time (URT) и становятся доступны менее чем через 60 секунд после пролёта спутника над большей части территории этих стран.

#пожары #данные #GEE #основы

Гармонизация данных Landsat и Sentinel-2 с помощью Google Earth Engine

Непрерывные и плотные временные ряды данных дистанционного зондирования необходимы для решения ряда многих задач. Но недостаточная частота съёмки, а также облачность и тени не позволяют построить подобные ряды для данных оптических сенсоров.

Одним из способов создания плотных и непрерывных временных рядов является гармонизация (согласование) данных нескольких оптических сенсоров. Мы уже рассматривали подобные подходы здесь и вот появился ещё один.

В 📖 работе весь процесс гармонизации данных Landsat-7 ETM+, Landsat-8 OLI и Sentinel-2 MSI первого уровня реализован в Google Earth Engine (GEE). Предложены и описаны шесть основных этапов обработки данных для создания гармонизированного временного ряда Landsat и Sentinel с пространственным разрешением 30 м:

* корректировка диапазонов
* атмосферная коррекция
* маскировка облаков и теней облаков
* корректировка угла обзора и освещённости
* корегистрация
* перепроецирование и передискретизация (resampling).

🌍 Код JavaScript-реализации на GEE
🖥 Github

Сразу предупредим горячие головы: идеального решения у этой задачи нет (подробности — в разделе Discussion статьи). Но хорошо, что появился ещё один подход, к тому же реализованный в GEE.

#GEE

Новые возможности geemap

Д-р. Qiusheng Wu, автор питоновского пакета geemap (https://geemap.org) для работы с Google Earth Engine (GEE) через Python API, сообщил об обновлении пакета.

Теперь с помощью geemap можно создавать интерактивные графики для различных типов данных GEE: feature, image, array, list и table.

#GEE #python

Глобальный набор данных интенсивности городских островов тепла (2001–2020)

Эффект городского острова тепла (Urban Heat Island, UHI), характеризующийся локальным потеплением над городскими территориями, является одним из самых известных последствий урбанизации для климата. Традиционные оценки интенсивности UHI разнятся из-за фокусировки исследований на “обычном” UHI (или canopy UHI), присутствие которого оценивается по приземной температуре воздуха, или на “поверхностном” UHI (surface UHI), который оценивается по температуре земной поверхности, а также из-за рассмотрения случаев безоблачного неба (clear-sky) и присутствия облаков (all-sky).

В 📖 работе рассматриваются оба вида городских островов тепла как при наличии, так и в отсутствие облачности. Для приведения данных “к общему знаменателю” предлагается метод динамической равной площади (dynamic equal-area, DEA).

Применяя метод DEA и интегрируя данные о температуре по сетке, был получен глобальный набор данных интенсивности UHI, охватывающий более 10000 городов за период более 20 лет с ежемесячным временным разрешением. Этот набор данных предлагает многосторонние оценки интенсивности UHI. Значения температуры земной поверхности получены из наблюдений приборов MODIS спутников Terra и Aqua.

Исследования показали, что интенсивность UHI больше нуля в более чем 80% исследованных городов, со среднегодовым глобальным значением около 1,0°C (днем) и 0,8°C (ночью) для поверхностного UHI, и около 0,5°C для обычного UHI.

В более чем 60% городов отмечается межгодовая тенденция к увеличению интенсивности UHI. При этом глобальные средние тенденции превышают 0,1°C за десятилетие (день) и 0,06°C за десятилетие (ночь) для поверхностного UHI, и чуть более 0,03°C за десятилетие для обычного UHI.

Выявлена положительная корреляция между величиной и тенденцией интенсивности UHI, указывающая на то, что в городах с более интенсивным UHI наблюдается и более быстрый рост интенсивности UHI с течением времени.

Набор данных находится в открытом доступе:

🛢 Global Urban Heat Island Intensity Dataset
🌍 Urban Heat Island Intensity (UHII) на GEE

#LST #климат #данные #GEE

Пожар на острове Мадейра

На видео показана работа приложения, созданного для идентификации зданий в районах, пострадавших от пожаров 🔥. Приложение создано с помощью Google Earth Engine и OpenStreetMap.

В случае острова Мадейра (Португалия), в радиусе 6,5 км от центра пожара находится около 6 тысяч зданий 🏠. Если изменить методику и считать только ближайшие окрестности, то получится более 1,5 тысяч зданий.

Использован снимок спутника 🛰 Sentinel-2 за 20 августа 2024 года.

#GEE #пожары

Сенсорно-независимые данные MODIS & VIIRS LAI/FPAR (2000–2022)

Набор пространственных данных Sensor-Independent MODIS & VIIRS LAI/FPAR CDR (2000–2022) охватывает важнейшие биофизические параметры: индекс листовой поверхности (Leaf Area Index, LAI) и долю фотосинтетически активной радиации (Fraction of Photosynthetically Active Radiation, FPAR или FAPAR*), необходимые для характеристики наземных экосистем.

При подготовке данных особое внимание уделялось ограничениям, имевшимся в существующих глобальных продуктах LAI/FPAR, в том числе, проблемам пространственно-временной согласованности и точности. Методика создания набора данных описана в:

📖 Pu, J., Yan, K., Roy, S., Zhu, Z., Rautiainen, M., Knyazikhin, Y., & Myneni, R. B. (2024). Sensor-independent LAI/FPAR CDR: reconstructing a global sensor-independent climate data record of MODIS and VIIRS LAI/FPAR from 2000 to 2022. Earth System Science Data, 16(1), 15–34. https://doi.org/10.5194/essd-16-15-2024

Данные создавались как сенсорно-независимые на основе стандартных продуктов LAI/FPAR Terra MODIS, Aqua MODIS и VIIRS. Они охватывают временной интервал с 2000 по 2022 год и содержат данные LAI/FPAR в различных пространственных разрешениях: 500 м, 5 км и 0,05° с шагами по времени 8 суток и два месяца. Набор данных доступен в синусоидальной проекции, а также в WGS 1984.

Доступ к данным:

🛢 Zenodo
🌍 Google Earth Engine

📊 Схема создания данных.


*FPAR или FAPAR (Fraction of Absorbed Photosynthetically Active Radiation) — доля падающей фотосинтетически активной радиации (400–700 нм), поглощаемой растительностью.

#данные #климат #GEE

Глобальные карты торфяных болот

🗺 Global Peatland Map 2.0 создана на основе данных Грейфсвальдского центра болот (Greifswald Mire Centre) за 2022 год. Данные имеют пространственное разрешение 1 км.

🛢 Скачать данные (GeoTIFF)
🌍 Global Peatland Map 2.0 на Google Earth Engine

🗺 Карта Global Peatland Fractional Coverage показывает долю площади пикселя, занятую торфяными болотами (2021 год). Карта построена с помощью методов машинного обучения и имеет пространственное разрешение 5’ (≈9.26 км на экваторе).

🛢 Скачать Peat-ML Dataset (NetCDF)
🌍 Global Peatland Fractional Coverage на GEE

📖 Методика

#данные #болота #GEE

Границы проектов углеродных компенсаций

Углеродные компенсации (сarbon offsets) являются одним из инструментов, позволяющих смягчить последствия антропогенных выбросов парниковых газов. Проекты углеродных компенсаций иногда подвергаются критике за преувеличение компенсационных показателей. Проверка эффективности проектов осложняется отсутствием общедоступных пространственных данных об их границах.

В 📖 работе описаны методы создания базы данных о границах проектов по углеродной компенсации выбросов. В базе содержится информация о местоположении 575 проектов углеродной компенсации в 55 странах. Данные были собраны с помощью скрапинга из реестров углеродных проектов (75,3% данных), а также ручной привязки и оцифровки (22,1%). Использовались данные из реестров Verra Registry, American Carbon Registry, Climate Action Reserve, Gold Standard, EcoRegistry и BioCarbon Standard. Записи в базе данных включают проекты предотвращения обезлесения, лесовосстановления и лесоразведения, а также улучшения управления лесами. Оценка качества процесса геопривязки и оцифровки показала высокую степень точности (метрика intersection over union составила 0,98 ± 0,015).

🛢 Данные Carbon Offset Project Boundaries на Zenodo.
🌍 Carbon Offset Project Boundaries на GEE

#GHG #данные #GEE

Popcorn (POPulation from COaRrse census Numbers) — метод картографирования населения в регионах с дефицитом данных. Он использует для прогноза распределения населения методы машинного обучения, опирающиеся на открытые спутниковые данные Sentinel-1 и Sentinel-2, а также на небольшое количество местных переписей населения.

Метод Popcorn извлекает карты застроенных территорий и коэффициенты заполненности местных зданий, что позволяет получить дополнительные сведения о распределении незаселенных застроенных территорий, например, промышленных складов. Это делает метод интерпретируемым и практичным для городского планирования и гуманитарной деятельности.

📖 Статья, с изложением метода Popcorn.

🌍 Карты Popcorn на GEE

Дополнительную информацию о модели можно получить на странице проекта 🔗 Popcorn Population Mapping Project.

🗺 Карта плотности населения Руанды, построенная с помощью Popcorn.

#данные #GEE

Карта типов сельскохозяйственных культур стран ЕС на 2022 год

В 📖 работе представлена карта типов сельскохозяйственных культур на территории Европейского союза (ЕС) на 2022 год с разрешением 10 метров.

Для обучения модели использованы данные наблюдения Земли и данные натурных наблюдений, полученные в рамках проекта Евростата Land Use and Coverage Area Frame Survey (LUCAS) 2022 года. Данные включали 134 684 полигона LUCAS Copernicus, спутниковые снимки Sentinel-1 и Sentinel-2, температуру поверхности земли и цифровую модель рельефа.

На основе этих данных с помощью метода машинного обучения Random Forest были разработаны два классификационных слоя: основная карта и карта заполнения пробелов для устранения пробелов, связанных с облачным покровом. Отметим, что отдельной задачей исследования являлось изучение оптимального набора входных признаков с учетом различных вариантов временного агрегирований спутниковых и климатических данных для получения карты без пространственных разрывов и с максимально возможной тематической точностью.

Объединенные карты, охватывающие 27 стран ЕС, показали общую точность 79,3% для семи основных классов растительного покрова и 70,6% — для всех 19 типов культур.

Обученная модель была использована для создания карты сельскохозяйственных культур Украины за 2022 год и показала свою устойчивость в регионах, не имеющих размеченных образцов для обучения модели.

Для создания карты использовалась платформа Google Earth Engine (GEE):

👨🏻‍💻 Скрипты GEE для создания карт типов сельскохозяйственных культур для 27 стран ЕС и Украины на 2022 год.

📖 Ghassemi, B., Izquierdo-Verdiguier, E., Verhegghen, A., Yordanov, M., Lemoine, G., Moreno Martínez, Á., De Marchi, D., van der Velde, M., Vuolo, F., & d’Andrimont, R. (2024). European Union crop map 2022: Earth observation’s 10-meter dive into Europe’s crop tapestry. Scientific Data, 11(1). https://doi.org/10.1038/s41597-024-03884-y

#данные #сельхоз #LULC #GEE