HyP3: бесплатная обработка радарных данных
Alaska Satellite Facility (ASF) предлагает бесплатный сервис по обработке радарных данных — Hybrid Pluggable Processing Pipeline (HyP3). HyP3 предоставляет данные двух видов:
* Radiometrically Terrain Corrected (RTC) Sentinel-1 — это обработанные до готовности данные GRD;
* Interferometric SAR (InSAR) Sentinel-1 — содержат интерферограмму, карту когерентности и карту смещений.
Последнее особенно полезно, потому что построение и развертывание интерферограмм на локальном компьютере отнимает кучу времени. Пространственное разрешение готовых продуктов InSAR составляет 80 м (number of looks = 10х2). Разработчики обещают со временем его повысить. Так, пространственное разрешение продуктов RTC сейчас составляет 10 м, а было 30 м.
Доступ к данным можно получить на портале Vertex, с помощью HyP3 Python SDK (conda-forge, PyPI) или через API.
* Sentinel-1 RTC Product Guide
* Sentinel-1 InSAR Product Guide
Квота составляет 1000 задач в месяц на одного пользователя.
Get HyP3! в Twitter: https://twitter.com/ASFHyP3
#sentinel1 #SAR #InSAR #данные
Alaska Satellite Facility (ASF) предлагает бесплатный сервис по обработке радарных данных — Hybrid Pluggable Processing Pipeline (HyP3). HyP3 предоставляет данные двух видов:
* Radiometrically Terrain Corrected (RTC) Sentinel-1 — это обработанные до готовности данные GRD;
* Interferometric SAR (InSAR) Sentinel-1 — содержат интерферограмму, карту когерентности и карту смещений.
Последнее особенно полезно, потому что построение и развертывание интерферограмм на локальном компьютере отнимает кучу времени. Пространственное разрешение готовых продуктов InSAR составляет 80 м (number of looks = 10х2). Разработчики обещают со временем его повысить. Так, пространственное разрешение продуктов RTC сейчас составляет 10 м, а было 30 м.
Доступ к данным можно получить на портале Vertex, с помощью HyP3 Python SDK (conda-forge, PyPI) или через API.
* Sentinel-1 RTC Product Guide
* Sentinel-1 InSAR Product Guide
Квота составляет 1000 задач в месяц на одного пользователя.
Get HyP3! в Twitter: https://twitter.com/ASFHyP3
#sentinel1 #SAR #InSAR #данные
Съемка территории России радаром Sentinel-1
Подсчитали общее число снимков Sentinel-1 IW GRD за год и построили покрытие территории.
Вверху покрытие территории России данными Sentinel-1 в 2022 году, внизу — в 2021 году (покрытия 2019-2021 гг. друг от друга отличаются мало). Желтый цвет — много снимков (точнее: кадров, относящихся к разным относительным орбитам), фиолетовый — мало.
Число снимков по годам:
* 2019 год – 26167
* 2020 год – 27915
* 2021 год – 28492
* 2022 год – 9713
Google Earth Engine не является зеркалом Copernicus Open Access Hub, но пропусков данных Sentinel-1 в GEE обычно мало.
Код: https://code.earthengine.google.com/168e7dc494cc21f907a0455704891709
#GEE #sentinel1
Подсчитали общее число снимков Sentinel-1 IW GRD за год и построили покрытие территории.
Вверху покрытие территории России данными Sentinel-1 в 2022 году, внизу — в 2021 году (покрытия 2019-2021 гг. друг от друга отличаются мало). Желтый цвет — много снимков (точнее: кадров, относящихся к разным относительным орбитам), фиолетовый — мало.
Число снимков по годам:
* 2019 год – 26167
* 2020 год – 27915
* 2021 год – 28492
* 2022 год – 9713
Google Earth Engine не является зеркалом Copernicus Open Access Hub, но пропусков данных Sentinel-1 в GEE обычно мало.
Код: https://code.earthengine.google.com/168e7dc494cc21f907a0455704891709
#GEE #sentinel1
Разновременные данные Sentinel-1 и Sentinel-2 улучшают обнаружение оползней в GEE
Региональные системы раннего предупреждения об оползнях опираются на исторические данные для прогнозирования будущих событий. Однако базы данных об оползнях содержат гораздо больше сведений о событиях, происходивших вблизи дорог и других объектов инфраструктуры, где оползни легко наблюдать, чем о событиях в отдаленных районах. В такой ситуации помогают спутниковые данные.
Оползни детектируются по оптическим и радарным данным, как события, связанные с резкой потерей растительного покрова. Для оптических снимков используется разность вегетационного индекса (NDVI) до и после оползня — dNDVI (после оползня NDVI уменьшается). Для радарных снимков оценивается разность коэффициентов обратного рассеяния до и после события. Используется сигналы в ко- (VV) и кросс-поляризации (VH).
Lindsay E. et al. Multi-Temporal Satellite Image Composites in Google Earth Engine for Improved Landslide Visibility: A Case Study of a Glacial Landscape (2022) занялись вопросом: улучшит ли использование разновременных данных обнаружение оползней? Ответ на вопрос дан в заголовке. Кроме того, было обнаружено большое число ранее неизвестных оползней (на территории Норвегии).
Вместо единственного снимка (до или после события) используют стек снимков, из которого создают композитный снимок. Этот композит создается так, чтобы решать какую-то проблему, существовавшую у одиночных снимков.
Для оптических данных, вместо NDVI за одну дату используют композит, составленный из максимальных значений NDVI в каждом пикселе стека снимков. Это позволяет снизить помехи от облаков и теней. Для радарных данных композит строится на основе среднего значения обратного рассеяния в каждом пикселе стека (отдельно для VV- и VH-поляризаций). Здесь разновременные данные используются для фильтрации спекл-шума и снижают помехи, связанные с выпавшими осадками (отражение радарного сигнала от влажной поверхности больше, чем от такой же, но сухой поверхности).
Композиты данных Sentinel-1 и Sentinel-2 создаются при помощи GEE.
Код: https://github.com/erin-ntnu/Change-detection-images-GEE
Исследователи использовали опыт HazMapper — GEE-приложения, разработанного для картирования последствий стихийных бедствий. В HazMapper для картирования оползней использовалась относительная разница NDVI до и после события, рассчитанная по безоблачным композитам, составленным из снимков Sentinel-2 или Landsat.
В статье изложен самый простой подход, который не решает массы проблем детектирования оползней. Например, некоторые агротехнические операции, да и просто сезонные изменения состояния растений (осень), могут приводить к значительному снижению NDVI. Разные результаты будут наблюдаться для разных поляризаций радарного сигнала, в зависимости от направления движения оползня относительно трассы спутникового радара. Но: 1) это простой и ясный пример использования спутниковых данных для выявления оползней; 2) применение GEE снимает множество технических проблем; 2) авторам, судя по всему, важнее обнаружить оползень, а его картирование можно выполнять вручную.
#GEE #оползни #SAR #sentinel1 #sentinel2
Региональные системы раннего предупреждения об оползнях опираются на исторические данные для прогнозирования будущих событий. Однако базы данных об оползнях содержат гораздо больше сведений о событиях, происходивших вблизи дорог и других объектов инфраструктуры, где оползни легко наблюдать, чем о событиях в отдаленных районах. В такой ситуации помогают спутниковые данные.
Оползни детектируются по оптическим и радарным данным, как события, связанные с резкой потерей растительного покрова. Для оптических снимков используется разность вегетационного индекса (NDVI) до и после оползня — dNDVI (после оползня NDVI уменьшается). Для радарных снимков оценивается разность коэффициентов обратного рассеяния до и после события. Используется сигналы в ко- (VV) и кросс-поляризации (VH).
Lindsay E. et al. Multi-Temporal Satellite Image Composites in Google Earth Engine for Improved Landslide Visibility: A Case Study of a Glacial Landscape (2022) занялись вопросом: улучшит ли использование разновременных данных обнаружение оползней? Ответ на вопрос дан в заголовке. Кроме того, было обнаружено большое число ранее неизвестных оползней (на территории Норвегии).
Вместо единственного снимка (до или после события) используют стек снимков, из которого создают композитный снимок. Этот композит создается так, чтобы решать какую-то проблему, существовавшую у одиночных снимков.
Для оптических данных, вместо NDVI за одну дату используют композит, составленный из максимальных значений NDVI в каждом пикселе стека снимков. Это позволяет снизить помехи от облаков и теней. Для радарных данных композит строится на основе среднего значения обратного рассеяния в каждом пикселе стека (отдельно для VV- и VH-поляризаций). Здесь разновременные данные используются для фильтрации спекл-шума и снижают помехи, связанные с выпавшими осадками (отражение радарного сигнала от влажной поверхности больше, чем от такой же, но сухой поверхности).
Композиты данных Sentinel-1 и Sentinel-2 создаются при помощи GEE.
Код: https://github.com/erin-ntnu/Change-detection-images-GEE
Исследователи использовали опыт HazMapper — GEE-приложения, разработанного для картирования последствий стихийных бедствий. В HazMapper для картирования оползней использовалась относительная разница NDVI до и после события, рассчитанная по безоблачным композитам, составленным из снимков Sentinel-2 или Landsat.
В статье изложен самый простой подход, который не решает массы проблем детектирования оползней. Например, некоторые агротехнические операции, да и просто сезонные изменения состояния растений (осень), могут приводить к значительному снижению NDVI. Разные результаты будут наблюдаться для разных поляризаций радарного сигнала, в зависимости от направления движения оползня относительно трассы спутникового радара. Но: 1) это простой и ясный пример использования спутниковых данных для выявления оползней; 2) применение GEE снимает множество технических проблем; 2) авторам, судя по всему, важнее обнаружить оползень, а его картирование можно выполнять вручную.
#GEE #оползни #SAR #sentinel1 #sentinel2
MDPI
Multi-Temporal Satellite Image Composites in Google Earth Engine for Improved Landslide Visibility: A Case Study of a Glacial Landscape
Regional early warning systems for landslides rely on historic data to forecast future events and to verify and improve alarms. However, databases of landslide events are often spatially biased towards roads or other infrastructure, with few reported in remote…
Оценка плотности надземной биомассы по данным GEDI и другим
Недавно мы искали готовый продукт для оценки надземной биомассы леса, достаточно свежий и глобальный (или около того). На эту роль претендовал GEDI L4B Gridded Aboveground Biomass Density, Version 2 (есть он и на GEE).
GEDI — это лидар, расположенный на МКС. Из-за орбиты МКС, он обеспечивает съемку земной поверхности в полосе широт между 51.6° с.ш. и 51.6° ю.ш. Продукт GEDI L4B — результат модельной оценки плотности надземной биомассы. Это не наблюдения, а результат моделирования по ним. Популярный рассказ о данных GEDI L4B: ORNL DAAC Releases GEDI Level 4B Dataset Offering Gridded Estimates of Aboveground Biomass Density.
Оказалось, что GEDI 4B не обеспечивает сплошного покрытия данными даже в заявленной полосе широт. На рисунке ниже размер пикселя составляет 1 км х 1 км, площадь участка — около 10 000 га.
Что делать? 1) Искать другой готовый продукт. 2) Натягивать сову на глобус, то есть заполнять пробелы в имеющемся продукте. О других продуктах поговорим позже, сначала — о заполнении пробелов.
Есть подход Shendryk Y. The latest dataset from the GEDI mission provides gridded estimates of aboveground biomass density at greater accuracy and resolution than previously available (2022), который состоит в следующем.
Берутся данные GEDI уровня 4A, а также снимки Sentinel-1 GRD (радар) и Sentinel-2 уровня 2A (оптика), цифровая модель рельефа (GLO-30) и карта классов земной поверхности ESA WorldCover. Все это есть в Google Earth Engine. Из всего этого формируется набор обучающих и тестовых данных. На них будут учить и тестировать модель машинного обучения (LightGBM).
GEDI L4A Raster Aboveground Biomass Density, как и L4B, — это результат моделирования надземной биомассы. В отличие от L4B, продукт L4A дает не пиксели размером 1 км х 1 км, а 25-метровые “пятна” (footprint — след сигнала лидара на поверхности Земли). Кроме того, L4A чаще обновляется: есть данные до конца 2022 года, указан момент съемки каждого “пятна”. В результате есть возможность привязать каждое “пятно” к определенному участку данных Sentinel-1 и Sentinel-2.
Данные GEDI L4A используются вместо “наземки” (ground truth), как будто они дают реальную, а не модельную биомассу, а также служат откликом будущей модели. Все остальные данные и их производные служат предикторами. Дальше следует машинное обучение, игры с выбором предикторов, и в итоге получается оценка надземной биомассы с R^2 = 0,66–0,74 (коэффициент детерминации), RMSE = 55–81 Мг/га (Мг = 10^6 грамм, то есть 1 тонна), или в процентах — RMSE = 41–77%. Да, среднеквадратичная ошибка (RMSE) больше 40%, но таков современный уровень моделирования в данной задаче. Авторы справедливо отмечают, что созданные ими прогнозные карты надземной биомассы (с разрешением 100 м), могут служить в качестве ориентира для определения текущих запасов надземной биомассы. В целом, данное исследование показывает возможность применения открытых данных ДЗЗ для получения глобальных карт надземной биомассы путем слияния различных видов данных (радаров, оптики, ЦМР и т.п.).
Лучше бы, конечно, найти более точные данные для обучения моделей (вместо модельных!) и попробовать использовать в качестве предикторов данные вертикального профиля высот от того же GEDI (GEDI L2B Raster Canopy Cover Vertical Profile Metrics). Но это все надо пробовать…
Сравните, как выглядят данные GEDI L4B и L4A: https://code.earthengine.google.com/c494ff396398ee2629b67eb4778db468
#лидар #sentinel1 #sentinel2 #LULC #GEE #AGB
Недавно мы искали готовый продукт для оценки надземной биомассы леса, достаточно свежий и глобальный (или около того). На эту роль претендовал GEDI L4B Gridded Aboveground Biomass Density, Version 2 (есть он и на GEE).
GEDI — это лидар, расположенный на МКС. Из-за орбиты МКС, он обеспечивает съемку земной поверхности в полосе широт между 51.6° с.ш. и 51.6° ю.ш. Продукт GEDI L4B — результат модельной оценки плотности надземной биомассы. Это не наблюдения, а результат моделирования по ним. Популярный рассказ о данных GEDI L4B: ORNL DAAC Releases GEDI Level 4B Dataset Offering Gridded Estimates of Aboveground Biomass Density.
Оказалось, что GEDI 4B не обеспечивает сплошного покрытия данными даже в заявленной полосе широт. На рисунке ниже размер пикселя составляет 1 км х 1 км, площадь участка — около 10 000 га.
Что делать? 1) Искать другой готовый продукт. 2) Натягивать сову на глобус, то есть заполнять пробелы в имеющемся продукте. О других продуктах поговорим позже, сначала — о заполнении пробелов.
Есть подход Shendryk Y. The latest dataset from the GEDI mission provides gridded estimates of aboveground biomass density at greater accuracy and resolution than previously available (2022), который состоит в следующем.
Берутся данные GEDI уровня 4A, а также снимки Sentinel-1 GRD (радар) и Sentinel-2 уровня 2A (оптика), цифровая модель рельефа (GLO-30) и карта классов земной поверхности ESA WorldCover. Все это есть в Google Earth Engine. Из всего этого формируется набор обучающих и тестовых данных. На них будут учить и тестировать модель машинного обучения (LightGBM).
GEDI L4A Raster Aboveground Biomass Density, как и L4B, — это результат моделирования надземной биомассы. В отличие от L4B, продукт L4A дает не пиксели размером 1 км х 1 км, а 25-метровые “пятна” (footprint — след сигнала лидара на поверхности Земли). Кроме того, L4A чаще обновляется: есть данные до конца 2022 года, указан момент съемки каждого “пятна”. В результате есть возможность привязать каждое “пятно” к определенному участку данных Sentinel-1 и Sentinel-2.
Данные GEDI L4A используются вместо “наземки” (ground truth), как будто они дают реальную, а не модельную биомассу, а также служат откликом будущей модели. Все остальные данные и их производные служат предикторами. Дальше следует машинное обучение, игры с выбором предикторов, и в итоге получается оценка надземной биомассы с R^2 = 0,66–0,74 (коэффициент детерминации), RMSE = 55–81 Мг/га (Мг = 10^6 грамм, то есть 1 тонна), или в процентах — RMSE = 41–77%. Да, среднеквадратичная ошибка (RMSE) больше 40%, но таков современный уровень моделирования в данной задаче. Авторы справедливо отмечают, что созданные ими прогнозные карты надземной биомассы (с разрешением 100 м), могут служить в качестве ориентира для определения текущих запасов надземной биомассы. В целом, данное исследование показывает возможность применения открытых данных ДЗЗ для получения глобальных карт надземной биомассы путем слияния различных видов данных (радаров, оптики, ЦМР и т.п.).
Лучше бы, конечно, найти более точные данные для обучения моделей (вместо модельных!) и попробовать использовать в качестве предикторов данные вертикального профиля высот от того же GEDI (GEDI L2B Raster Canopy Cover Vertical Profile Metrics). Но это все надо пробовать…
Сравните, как выглядят данные GEDI L4B и L4A: https://code.earthengine.google.com/c494ff396398ee2629b67eb4778db468
#лидар #sentinel1 #sentinel2 #LULC #GEE #AGB
⭐️ СТРАНЫ / КОМПАНИИ / СПУТНИКИ
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
Аномалия работы двигателя повлияла на управление орбитой Sentinel-1 [ссылка]
Аномалия в работе двигателя, используемого для управления позиционированием орбиты Sentinel-1, привела к увеличению диаметра "трубки", в которой расположена орбита спутника, со 100 до 200 метров. Согласно предварительным выводам, перпендикулярная базовая линия, ключевой показатель эффективности InSAR, останется в приемлемых пределах, то есть возможность создания интерферограмм по данным Sentinel-1 сохраняется.
Новости о работе космических аппаратов Sentinel можно узнать здесь.
#InSAR #sentinel1
Аномалия в работе двигателя, используемого для управления позиционированием орбиты Sentinel-1, привела к увеличению диаметра "трубки", в которой расположена орбита спутника, со 100 до 200 метров. Согласно предварительным выводам, перпендикулярная базовая линия, ключевой показатель эффективности InSAR, останется в приемлемых пределах, то есть возможность создания интерферограмм по данным Sentinel-1 сохраняется.
Новости о работе космических аппаратов Sentinel можно узнать здесь.
#InSAR #sentinel1
Alaska Satellite Facility
Thruster anomaly affects Sentinel-1 orbit control
An anomaly in a thruster used for Sentinel-1 orbit positioning control has resulted in the “orbit tube” diameter increasing from 100 meters to 200 meters maximum. The effect of this action on interferometric baselines has been predicted: “The preliminary…