Карта типов сельскохозяйственных культур стран ЕС на 2022 год
В 📖 работе представлена карта типов сельскохозяйственных культур на территории Европейского союза (ЕС) на 2022 год с разрешением 10 метров.
Для обучения модели использованы данные наблюдения Земли и данные натурных наблюдений, полученные в рамках проекта Евростата Land Use and Coverage Area Frame Survey (LUCAS) 2022 года. Данные включали 134 684 полигона LUCAS Copernicus, спутниковые снимки Sentinel-1 и Sentinel-2, температуру поверхности земли и цифровую модель рельефа.
На основе этих данных с помощью метода машинного обучения Random Forest были разработаны два классификационных слоя: основная карта и карта заполнения пробелов для устранения пробелов, связанных с облачным покровом. Отметим, что отдельной задачей исследования являлось изучение оптимального набора входных признаков с учетом различных вариантов временного агрегирований спутниковых и климатических данных для получения карты без пространственных разрывов и с максимально возможной тематической точностью.
Объединенные карты, охватывающие 27 стран ЕС, показали общую точность 79,3% для семи основных классов растительного покрова и 70,6% — для всех 19 типов культур.
Обученная модель была использована для создания карты сельскохозяйственных культур Украины за 2022 год и показала свою устойчивость в регионах, не имеющих размеченных образцов для обучения модели.
Для создания карты использовалась платформа Google Earth Engine (GEE):
👨🏻💻 Скрипты GEE для создания карт типов сельскохозяйственных культур для 27 стран ЕС и Украины на 2022 год.
📖 Ghassemi, B., Izquierdo-Verdiguier, E., Verhegghen, A., Yordanov, M., Lemoine, G., Moreno Martínez, Á., De Marchi, D., van der Velde, M., Vuolo, F., & d’Andrimont, R. (2024). European Union crop map 2022: Earth observation’s 10-meter dive into Europe’s crop tapestry. Scientific Data, 11(1). https://doi.org/10.1038/s41597-024-03884-y
#данные #сельхоз #LULC #GEE
В 📖 работе представлена карта типов сельскохозяйственных культур на территории Европейского союза (ЕС) на 2022 год с разрешением 10 метров.
Для обучения модели использованы данные наблюдения Земли и данные натурных наблюдений, полученные в рамках проекта Евростата Land Use and Coverage Area Frame Survey (LUCAS) 2022 года. Данные включали 134 684 полигона LUCAS Copernicus, спутниковые снимки Sentinel-1 и Sentinel-2, температуру поверхности земли и цифровую модель рельефа.
На основе этих данных с помощью метода машинного обучения Random Forest были разработаны два классификационных слоя: основная карта и карта заполнения пробелов для устранения пробелов, связанных с облачным покровом. Отметим, что отдельной задачей исследования являлось изучение оптимального набора входных признаков с учетом различных вариантов временного агрегирований спутниковых и климатических данных для получения карты без пространственных разрывов и с максимально возможной тематической точностью.
Объединенные карты, охватывающие 27 стран ЕС, показали общую точность 79,3% для семи основных классов растительного покрова и 70,6% — для всех 19 типов культур.
Обученная модель была использована для создания карты сельскохозяйственных культур Украины за 2022 год и показала свою устойчивость в регионах, не имеющих размеченных образцов для обучения модели.
Для создания карты использовалась платформа Google Earth Engine (GEE):
👨🏻💻 Скрипты GEE для создания карт типов сельскохозяйственных культур для 27 стран ЕС и Украины на 2022 год.
📖 Ghassemi, B., Izquierdo-Verdiguier, E., Verhegghen, A., Yordanov, M., Lemoine, G., Moreno Martínez, Á., De Marchi, D., van der Velde, M., Vuolo, F., & d’Andrimont, R. (2024). European Union crop map 2022: Earth observation’s 10-meter dive into Europe’s crop tapestry. Scientific Data, 11(1). https://doi.org/10.1038/s41597-024-03884-y
#данные #сельхоз #LULC #GEE
This media is not supported in your browser
VIEW IN TELEGRAM
QDANN — карты урожайности кукурузы, сои и озимой пшеницы на внутриполевом уровне
В 🛢 наборе данных QDANN 30m Yield Map for Corn, Soy, and Winter Wheat in the U.S представлены общедоступные 30-метровые годовые карты урожайности кукурузы, сои и озимой пшеницы для основных растениеводческих штатов США, начиная с 2008 года. В отличие от других подобных данных, эти карты показывают урожайность на каждом пикселе поля.
Набор данных основан на снимках Landsat и погодных данных Gridmet. Он проверен с помощью записей мониторов урожайности, содержащих около миллиона полевых наблюдений за год.
Карты созданы по методике Quantile Loss Domain Adversarial Neural Networks (QDANN), которая для нас может оказаться гораздо интереснее, чем готовые карты. QDANN использует информацию из наборов данных на уровне округов (county) для картографирования урожайности в более тонком пространственном разрешении, и призвана устранить ограничения, связанные с нехваткой наземных данных для обучения и оценки моделей. QDANN использует стратегию адаптации домена без обучения (unsupervised domain adaptation strategy), обучаясь на маркированных данных уровня округа и используя при этом немаркированные данные подполей, что устраняет необходимость в информации об урожайности на уровне подполей.
Данные объединены в две коллекции — для кукурузы-сои и озимой пшеницы. По сравнению с оригинальной статьей, к данным на GEE добавлены аббревиатуры штатов (свойство ‘state_abbv’) и календарные даты. Это позволяет легко фильтровать по штатам и датам коллекции:
🔹 Corn & Soybean. Слои: b1 – corn, kg/ha; b2 – soybean, kg/ha
🔹 Winter Wheat. Слои: b1 – winter wheat, kg/ha
📖 Ma, Y., Liang, S.-Z., Myers, D. B., Swatantran, A., & Lobell, D. B. (2024). Subfield-level crop yield mapping without ground truth data: A scale transfer framework. Remote Sensing of Environment, 315, 114427. https://doi.org/10.1016/j.rse.2024.114427
#данные #GEE #сельхоз #GAN
В 🛢 наборе данных QDANN 30m Yield Map for Corn, Soy, and Winter Wheat in the U.S представлены общедоступные 30-метровые годовые карты урожайности кукурузы, сои и озимой пшеницы для основных растениеводческих штатов США, начиная с 2008 года. В отличие от других подобных данных, эти карты показывают урожайность на каждом пикселе поля.
Набор данных основан на снимках Landsat и погодных данных Gridmet. Он проверен с помощью записей мониторов урожайности, содержащих около миллиона полевых наблюдений за год.
Карты созданы по методике Quantile Loss Domain Adversarial Neural Networks (QDANN), которая для нас может оказаться гораздо интереснее, чем готовые карты. QDANN использует информацию из наборов данных на уровне округов (county) для картографирования урожайности в более тонком пространственном разрешении, и призвана устранить ограничения, связанные с нехваткой наземных данных для обучения и оценки моделей. QDANN использует стратегию адаптации домена без обучения (unsupervised domain adaptation strategy), обучаясь на маркированных данных уровня округа и используя при этом немаркированные данные подполей, что устраняет необходимость в информации об урожайности на уровне подполей.
Данные объединены в две коллекции — для кукурузы-сои и озимой пшеницы. По сравнению с оригинальной статьей, к данным на GEE добавлены аббревиатуры штатов (свойство ‘state_abbv’) и календарные даты. Это позволяет легко фильтровать по штатам и датам коллекции:
🔹 Corn & Soybean. Слои: b1 – corn, kg/ha; b2 – soybean, kg/ha
🔹 Winter Wheat. Слои: b1 – winter wheat, kg/ha
📖 Ma, Y., Liang, S.-Z., Myers, D. B., Swatantran, A., & Lobell, D. B. (2024). Subfield-level crop yield mapping without ground truth data: A scale transfer framework. Remote Sensing of Environment, 315, 114427. https://doi.org/10.1016/j.rse.2024.114427
#данные #GEE #сельхоз #GAN
GEE-44. qualityMosaic или самый зелёный пиксель Беларуси
Самым зелёным будем считать пиксель с максимальным значением вегетационного индекса NDVI, который используется как показатель количества зелёной растительности. Необходимо найти максимальное значение NDVI в заданной области в течение календарного года, установить день года, в который оно достигается, и, наконец, построить карту.
Областью исследований стала Республика Беларусь. Выбор спутниковых данных в задаче не важен. Мы используем снимки Landsat 8.
Основная работа заключается в: 1) создании коллекции изображений
Функция
При этом
1️⃣ RGB-мозаика в естественных цветах, 2️⃣ Максимумы NDVI, 3️⃣ Дни года, когда достигается максимум NDVI.
🌍Код скрипта GEE
Мы уже рассказывали о создании мозаик здесь и здесь. Вот ещё немного полезной информации:
🔗 Создание мозаики из коллекции изображений Sentinel-2, где качество пикселя основано на оценке вероятности облаков
🔗 Пример использования qualityMosaic для PythonAPI от Q. Wu
#GEE #индексы
Самым зелёным будем считать пиксель с максимальным значением вегетационного индекса NDVI, который используется как показатель количества зелёной растительности. Необходимо найти максимальное значение NDVI в заданной области в течение календарного года, установить день года, в который оно достигается, и, наконец, построить карту.
Областью исследований стала Республика Беларусь. Выбор спутниковых данных в задаче не важен. Мы используем снимки Landsat 8.
Основная работа заключается в: 1) создании коллекции изображений
l8, 2) добавлении к снимкам коллекции слоя NDVI, а также слоя, содержащего номер дня года (doy), в который получен снимок. Самую важную работу выполняет функция qualityMosaic:var l8 = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
.filterBounds(AOI)
.filterDate(start_date, end_date);
function addNDVI(image) {
var ndvi = image.normalizedDifference(['SR_B5', 'SR_B4']).rename('NDVI');
return image.addBands(ndvi);
}
function addDOY(image) {
var img_date = ee.Date(image.date());
var img_doy = ee.Number.parse(img_date.format('D'));
return image.addBands(ee.Image(img_doy).rename('doy').toInt());
}
var greenest = l8.map(addNDVI).map(addDOY).qualityMosaic('NDVI');Функция
ImageCollection.qualityMosaic(qualityBand) формирует из коллекции изображений мозаику (итоговое изображение), состоящую из пикселей с наивысшей оценкой качества, то есть с максимальными значениями слоя qualityBand. У нас в качестве такого слоя выступает 'NDVI', а значит мозаика будет состоять из максимальных (за год) значений NDVI в данном пикселе.При этом
qualityMosaic включает в мозаику не только значения канала qualityBand, но и значения всех остальных каналов снимка с наивысшей оценкой качества. Таким образом, в итоговое изображение попадет и канал 'doy' — день года, в который достигается максимум NDVI.1️⃣ RGB-мозаика в естественных цветах, 2️⃣ Максимумы NDVI, 3️⃣ Дни года, когда достигается максимум NDVI.
🌍Код скрипта GEE
Мы уже рассказывали о создании мозаик здесь и здесь. Вот ещё немного полезной информации:
🔗 Создание мозаики из коллекции изображений Sentinel-2, где качество пикселя основано на оценке вероятности облаков
🔗 Пример использования qualityMosaic для PythonAPI от Q. Wu
#GEE #индексы
GEE-45. Комбинация редьюсеров
В продолжение темы "самого зелёного пикселя". Сравним распределение пикселей с максимальным NDVI для двух спутниковых сенсоров с существенно различающимся пространственным разрешением — MODIS (500 метров) и Landsat 8 OLI (30 метров).
Для каждого сенсора построим годовую мозаику, состоящую из пикселей с максимальным NDVI.
Построим гистограмму и вычислим статистики полученных значений вегетационного индекса (
🌍 Код скрипта GEE
Подробнее о комбинации редьюсеров можно посмотреть в статье Image Statistics with Google Earth Engine: A Step-by-Step Guide.
Про анализ возможности использования данных различного пространственного разрешения для мониторинга сельскохозяйственных полей можно прочитать в 📖статье. Рассматривались данные приборов MODIS, КМСС и MSI с пространственным разрешением 250, 60 и 10 м/пиксель соответственно.
#GEE
В продолжение темы "самого зелёного пикселя". Сравним распределение пикселей с максимальным NDVI для двух спутниковых сенсоров с существенно различающимся пространственным разрешением — MODIS (500 метров) и Landsat 8 OLI (30 метров).
Для каждого сенсора построим годовую мозаику, состоящую из пикселей с максимальным NDVI.
Построим гистограмму и вычислим статистики полученных значений вегетационного индекса (
ndviMCD). Вот пример для MODIS, для L8 все будет аналогично:var chartMCD =
ui.Chart.image.histogram({image: ndviMCD, region: AOI, scale: 500, maxPixels: 1e13})
.setSeriesNames(['NDVI'])
.setOptions({
title: 'MODIS NDVI Histogram',
hAxis: {
title: 'NDVI',
titleTextStyle: {italic: false, bold: true},
},
vAxis:
{title: 'Count', titleTextStyle: {italic: false, bold: true}},
colors: ['cf513e']
});
print(chartMCD);
var ndviStatsMCD = ndviMCD.reduceRegion({
reducer: ee.Reducer.mean()
.combine(ee.Reducer.median(), null, true)
.combine(ee.Reducer.mode(), null, true)
.combine(ee.Reducer.stdDev(), null, true)
.combine(ee.Reducer.percentile([25, 75]), null, true),
geometry: AOI,
scale: 500,
maxPixels: 1e13
});
print('MODIS',ndviStatsMCD);
ndviStatsMCD возвращает среднее, медиану, моду, стандартное отклонение, а также 25-й и 75-й перцентили значений вегетационного индекса. Результаты показаны на рисунках.🌍 Код скрипта GEE
Подробнее о комбинации редьюсеров можно посмотреть в статье Image Statistics with Google Earth Engine: A Step-by-Step Guide.
Про анализ возможности использования данных различного пространственного разрешения для мониторинга сельскохозяйственных полей можно прочитать в 📖статье. Рассматривались данные приборов MODIS, КМСС и MSI с пространственным разрешением 250, 60 и 10 м/пиксель соответственно.
#GEE
This media is not supported in your browser
VIEW IN TELEGRAM
Данные Global Land Cover Estimation (GLanCE) v1
Global Land Cover Estimation (GLanCE) — ежегодные глобальные данные о растительном покрове и его изменениях с 2001 по 2019 год, полученные с помощью снимков Landsat с пространственным разрешением 30 метров. Данные охватывают весь земной шар, кроме Антарктиды и включает 10 наборов научных данных (Science Data Sets, SDS). Для определения почвенно-растительного покрова и его изменений используется алгоритм Continuous Change Detection and Classification (CCDC).
SDS GLanCE разделены на три категории:
1️⃣ Почвенно-растительный покров и его изменения. Четыре набора данных содержат (1) класс почвенно-растительного покрова, (2) оценку качества классификации почвенно-растительного покрова, (3) предыдущий почвенно-растительный покров для тех мест, где произошли изменения и (4) приблизительный день года, когда произошли изменения (DOY).
2️⃣ Динамика озеленения (Greenness Dynamics). Четыре набора данных характеризуют годовую “озелененность” (greenness) с помощью Enhanced Vegetation Index (EVI2), включая (1) медиану, (2) амплитуду, (3) скорость изменения (если присутствует) и (4) величину изменения медианы EVI2 для тех пикселей, где произошли изменения.
3️⃣ Тип листьев и фенология. Два набора данных определяют тип листьев и фенологию для пикселей, покрытых деревьями.
🌍 GLanCE на GEE
Руководство пользователя с подробной информацией о каждом слое данных: 🔗 ссылка.
❗️В первой версии GLanCE есть 7 из 10 обещанных SDS. Оценка качества классификации почвенно-растительного покрова, а также данные о типах листьях и фенологии будут добавлены в следующих версиях. Кроме того, текущий набор данных включает данные по Северной и Южной Америке, Европе и Океании, а Африка и Азия будут добавлены в начале 2025 года.
Описание методики создания данных:
📖 Friedl M.A. et al. 2022. Medium Spatial Resolution Mapping of Global Land Cover and Land Cover Change Across Multiple Decades From Landsat. Frontiers in Remote Sensing 3. https://doi.org/10.3389/frsen.2022.894571
#данные #GEE #LULC
Global Land Cover Estimation (GLanCE) — ежегодные глобальные данные о растительном покрове и его изменениях с 2001 по 2019 год, полученные с помощью снимков Landsat с пространственным разрешением 30 метров. Данные охватывают весь земной шар, кроме Антарктиды и включает 10 наборов научных данных (Science Data Sets, SDS). Для определения почвенно-растительного покрова и его изменений используется алгоритм Continuous Change Detection and Classification (CCDC).
SDS GLanCE разделены на три категории:
1️⃣ Почвенно-растительный покров и его изменения. Четыре набора данных содержат (1) класс почвенно-растительного покрова, (2) оценку качества классификации почвенно-растительного покрова, (3) предыдущий почвенно-растительный покров для тех мест, где произошли изменения и (4) приблизительный день года, когда произошли изменения (DOY).
2️⃣ Динамика озеленения (Greenness Dynamics). Четыре набора данных характеризуют годовую “озелененность” (greenness) с помощью Enhanced Vegetation Index (EVI2), включая (1) медиану, (2) амплитуду, (3) скорость изменения (если присутствует) и (4) величину изменения медианы EVI2 для тех пикселей, где произошли изменения.
3️⃣ Тип листьев и фенология. Два набора данных определяют тип листьев и фенологию для пикселей, покрытых деревьями.
🌍 GLanCE на GEE
Руководство пользователя с подробной информацией о каждом слое данных: 🔗 ссылка.
❗️В первой версии GLanCE есть 7 из 10 обещанных SDS. Оценка качества классификации почвенно-растительного покрова, а также данные о типах листьях и фенологии будут добавлены в следующих версиях. Кроме того, текущий набор данных включает данные по Северной и Южной Америке, Европе и Океании, а Африка и Азия будут добавлены в начале 2025 года.
Описание методики создания данных:
📖 Friedl M.A. et al. 2022. Medium Spatial Resolution Mapping of Global Land Cover and Land Cover Change Across Multiple Decades From Landsat. Frontiers in Remote Sensing 3. https://doi.org/10.3389/frsen.2022.894571
#данные #GEE #LULC
На Камчатке продолжается извержение вулкана Шивелуч
Пароксизмальное извержение вулкана произошло 7 ноября 2024 года в 9:00–9:30 всемирного времени. Максимальная высота пепловых выбросов составила около 15 км над уровнем моря.
Роскосмос показал замечательные снимки, сделанные 7 ноября спутниками “Арктика-М” и “Метеор-М”.
📸 На снимке, сделанном 7 ноября прибором OLCI спутника Sentinel-3 (естественные цвета), облако пепла относит к востоку.
🖥 Код примера
Следить за извержением вулкана удобно на тг-канале Камчатский филиал ФИЦ ЕГС РАН, а также на NASA Worldview.
#снимки #вулкан #sentinel3 #GEE
Пароксизмальное извержение вулкана произошло 7 ноября 2024 года в 9:00–9:30 всемирного времени. Максимальная высота пепловых выбросов составила около 15 км над уровнем моря.
Роскосмос показал замечательные снимки, сделанные 7 ноября спутниками “Арктика-М” и “Метеор-М”.
📸 На снимке, сделанном 7 ноября прибором OLCI спутника Sentinel-3 (естественные цвета), облако пепла относит к востоку.
🖥 Код примера
Следить за извержением вулкана удобно на тг-канале Камчатский филиал ФИЦ ЕГС РАН, а также на NASA Worldview.
#снимки #вулкан #sentinel3 #GEE
This media is not supported in your browser
VIEW IN TELEGRAM
Дамбы возвращаются
1️⃣ О GlobalDamWatch.org — глобальных данных о расположении плотин написано 🔗здесь. Теперь эти данные появились на Google Earth Engine.
🌍 Данные Global Dam Watch (GDW) v1.0 — это глобальные данные о расположении речных плотин и соответствующих водохранилищ. Данные состоят из двух слоев: 1) координат плотин и 2) полигонов границ водохранилищ. Каждый слой имеет атрибуты, среди которых есть идентификатор пары плотина-водохранилище. Кроме того, координаты дамбы находятся внутри полигона “своего” водохранилища.
Версия 1.0 включает 41 145 точек расположения плотин и 35 295 полигонов водохранилищ. 5 850 плотин не связано с водохранилищами. К ним относятся навигационные шлюзы, отводные заграждения, противопаводковые накопительные плотины, строящиеся плотины без заполненных водохранилищ и т. п.
📖 О методике создания базы данных GDW v1.0
2️⃣ Global Dam Tracker (GDAT) — одна из наиболее полных баз данных по плотинам с географической привязкой, включающая более 35 000 плотин по всему миру. Она содержит координаты, спутниковые данные о водосборных площадях и подробную информацию о таких атрибутах, как год завершения строительства, высота, длина, назначение и установленная мощность (capacity) плотины.
GDAT создана на основе существующих глобальных наборов данных и дополнена региональными данными от правительств, некоммерческих организаций и академических источников, особенно в странах Глобального Юга, где детальные данные часто отсутствуют. Данные охватывают плотины, построенные за последние три десятилетия.
📖 Статья с описанием
🛢 Репозиторий на Zenodo
🌍 GDAT на GEE
#данные #GEE
1️⃣ О GlobalDamWatch.org — глобальных данных о расположении плотин написано 🔗здесь. Теперь эти данные появились на Google Earth Engine.
🌍 Данные Global Dam Watch (GDW) v1.0 — это глобальные данные о расположении речных плотин и соответствующих водохранилищ. Данные состоят из двух слоев: 1) координат плотин и 2) полигонов границ водохранилищ. Каждый слой имеет атрибуты, среди которых есть идентификатор пары плотина-водохранилище. Кроме того, координаты дамбы находятся внутри полигона “своего” водохранилища.
Версия 1.0 включает 41 145 точек расположения плотин и 35 295 полигонов водохранилищ. 5 850 плотин не связано с водохранилищами. К ним относятся навигационные шлюзы, отводные заграждения, противопаводковые накопительные плотины, строящиеся плотины без заполненных водохранилищ и т. п.
📖 О методике создания базы данных GDW v1.0
2️⃣ Global Dam Tracker (GDAT) — одна из наиболее полных баз данных по плотинам с географической привязкой, включающая более 35 000 плотин по всему миру. Она содержит координаты, спутниковые данные о водосборных площадях и подробную информацию о таких атрибутах, как год завершения строительства, высота, длина, назначение и установленная мощность (capacity) плотины.
GDAT создана на основе существующих глобальных наборов данных и дополнена региональными данными от правительств, некоммерческих организаций и академических источников, особенно в странах Глобального Юга, где детальные данные часто отсутствуют. Данные охватывают плотины, построенные за последние три десятилетия.
📖 Статья с описанием
🛢 Репозиторий на Zenodo
🌍 GDAT на GEE
#данные #GEE
This media is not supported in your browser
VIEW IN TELEGRAM
Ежегодная национальная база данных почвенно-растительного покрова США (Annual National Land Cover Dataset) появилась на Earth Engine:
🗺 Annual NLCD Land Cover Dataset
В GEE сохранена исходная структура данных: шесть слоев ежегодных растровых данных о почвенно-растительном покрове и его изменениях для континентальной части США за 1985–2023 гг. с пространственным разрешением 30 м.
Слои данных:
🔹 Land Cover
🔹 Land Cover Change
🔹 Land Cover Confidence
🔹 Fractional Impervious Surface: доля непроницаемых поверхностей (0–100%) в 30-метровом пикселе. Позволяет классифицировать городскую застройку и пригороды на основе заданных пороговых значений.
🔹 Impervious Descriptor: различает городские, негородские и дорожные покрытия на застроенных территориях.
🔹 Spectral Change Day of Year: определяют сутки, когда происходят значительные спектральные изменения (значения 1–366), что позволяет выявить нарушения (например, пожары), выходящие за рамки сезонных колебаний.
#GEE #данные #США
🗺 Annual NLCD Land Cover Dataset
В GEE сохранена исходная структура данных: шесть слоев ежегодных растровых данных о почвенно-растительном покрове и его изменениях для континентальной части США за 1985–2023 гг. с пространственным разрешением 30 м.
Слои данных:
🔹 Land Cover
🔹 Land Cover Change
🔹 Land Cover Confidence
🔹 Fractional Impervious Surface: доля непроницаемых поверхностей (0–100%) в 30-метровом пикселе. Позволяет классифицировать городскую застройку и пригороды на основе заданных пороговых значений.
🔹 Impervious Descriptor: различает городские, негородские и дорожные покрытия на застроенных территориях.
🔹 Spectral Change Day of Year: определяют сутки, когда происходят значительные спектральные изменения (значения 1–366), что позволяет выявить нарушения (например, пожары), выходящие за рамки сезонных колебаний.
#GEE #данные #США
Классификация сельскохозяйственных культур Канады: карты и набор данных
Canada AAFC* Annual Crop Inventory (2009–2023) — ежегодные карты классификации сельскохозяйственных культур (и не только) Канады с общей точностью не менее 85% и пространственным разрешением 30 м (в 2009 и 2010 годах — 56 м).
🌍 Данные на Earth Engine
🔗 Код примера
*AAFC — Agriculture and Agri-Food Canada
Набор данных о пахотных землях Канады с метками, полученными из Canadian Annual Crop Inventory. Данные содержат 78 536 вручную проверенных изображений высокого разрешения (10 м/пиксель, 640 x 640 м) с географической привязкой из 10 классов сельскохозяйственных культур, собранных за четыре года производства (2017–2020) и пять месяцев (июнь-октябрь). Каждый экземпляр содержит 12 спектральных каналов, RGB-изображение и дополнительные каналы вегетационных индексов. По отдельности каждая категория содержит не менее 4 800 изображений. Открыт доступ к модели и исходному коду, которые дают возможность пользователю предсказать класс культуры по одному изображению (ResNet, DenseNet, EfficientNet) или по последовательности изображений (LRCN, 3D-CNN).
📖 Описание методики
🖥 Репозиторий проекта
#данные #датасет #GEE #сельхоз #нейронки
Canada AAFC* Annual Crop Inventory (2009–2023) — ежегодные карты классификации сельскохозяйственных культур (и не только) Канады с общей точностью не менее 85% и пространственным разрешением 30 м (в 2009 и 2010 годах — 56 м).
🌍 Данные на Earth Engine
🔗 Код примера
*AAFC — Agriculture and Agri-Food Canada
Набор данных о пахотных землях Канады с метками, полученными из Canadian Annual Crop Inventory. Данные содержат 78 536 вручную проверенных изображений высокого разрешения (10 м/пиксель, 640 x 640 м) с географической привязкой из 10 классов сельскохозяйственных культур, собранных за четыре года производства (2017–2020) и пять месяцев (июнь-октябрь). Каждый экземпляр содержит 12 спектральных каналов, RGB-изображение и дополнительные каналы вегетационных индексов. По отдельности каждая категория содержит не менее 4 800 изображений. Открыт доступ к модели и исходному коду, которые дают возможность пользователю предсказать класс культуры по одному изображению (ResNet, DenseNet, EfficientNet) или по последовательности изображений (LRCN, 3D-CNN).
📖 Описание методики
🖥 Репозиторий проекта
#данные #датасет #GEE #сельхоз #нейронки
Список всех данных Google Earth Engine
🖥 В репозитории Earth-Engine-Catalog собран список всех пространственных данных, хранящихся Earth Engine. Список представлен в виде файлов TSV (значения, разделенные табуляцией) или JSON. Обновляется ежедневно.
Учитываются только данные из официального каталога Earth Engine:
📚 Каталог пространственных данных Google Earth Engine
Напомним, что существует еще 🖥 Awesome-gee-community-catalog (https://gee-community-catalog.org/), данные в который добавляются сообществом пользователей Earth Engine.
#данные #GEE
🖥 В репозитории Earth-Engine-Catalog собран список всех пространственных данных, хранящихся Earth Engine. Список представлен в виде файлов TSV (значения, разделенные табуляцией) или JSON. Обновляется ежедневно.
Учитываются только данные из официального каталога Earth Engine:
📚 Каталог пространственных данных Google Earth Engine
Напомним, что существует еще 🖥 Awesome-gee-community-catalog (https://gee-community-catalog.org/), данные в который добавляются сообществом пользователей Earth Engine.
#данные #GEE
GitHub
GitHub - opengeos/Earth-Engine-Catalog: The Google Earth Engine data catalog in CSV format
The Google Earth Engine data catalog in CSV format - opengeos/Earth-Engine-Catalog
Фильтрация и классификация в Earth Engine
В статье есть два любопытных примера использования Google Earth Engine:
➊ Сглаживание временных рядов NDVI с помощью фильтра Савицкого-Голая (Savitzky–Golay)
➋ Классификация полей сельскохозяйственных культур (попиксельная) методом “случайного леса” (random forest)
Фильтр Савицкого-Голая реализован в виде функции библиотеки OpenEarthEngineLibrary, о которой мы еще поговорим.
Мы обычно не используем классификацию в Earth Engine, предпочитая выполнять ее в R по полученным из EE снимкам. Но кому-то приведенный пример может пригодиться.
📸 Исходный временной ряд NDVI (ndvi) и ряд, сглаженный фильтром Савицкого-Голая (ndvi_sg).
#GEE
В статье есть два любопытных примера использования Google Earth Engine:
➊ Сглаживание временных рядов NDVI с помощью фильтра Савицкого-Голая (Savitzky–Golay)
➋ Классификация полей сельскохозяйственных культур (попиксельная) методом “случайного леса” (random forest)
Фильтр Савицкого-Голая реализован в виде функции библиотеки OpenEarthEngineLibrary, о которой мы еще поговорим.
Мы обычно не используем классификацию в Earth Engine, предпочитая выполнять ее в R по полученным из EE снимкам. Но кому-то приведенный пример может пригодиться.
📸 Исходный временной ряд NDVI (ndvi) и ряд, сглаженный фильтром Савицкого-Голая (ndvi_sg).
#GEE
Open Earth Engine Library (OEEL) — коллекция полезных функций для Google Earth Engine (GEE).
Для использования OEEL с GEE JavaScript API достаточно импортировать ее код
а затем использовать нужные функции.
По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой
Отметим, что эта версия не должна использоваться для отладки.
Чтобы получить информацию о функциях, добавьте в конец кода следующую строку
Вы получите список всех использованных функций и другую связанную с ними информацию.
OEEL существует в виде Python-пакета.
Установка:
Импорт:
🖥 Репозиторий кода OEEL
🖥 Код примеров
#GEE #python
Для использования OEEL с GEE JavaScript API достаточно импортировать ее код
var oeel=require('users/OEEL/lib:loadAll')а затем использовать нужные функции.
По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой
var oeel=require('users/OEEL/lib:loadAllSF')Отметим, что эта версия не должна использоваться для отладки.
Чтобы получить информацию о функциях, добавьте в конец кода следующую строку
print('List of functions used',oeel.refs())Вы получите список всех использованных функций и другую связанную с ними информацию.
OEEL существует в виде Python-пакета.
Установка:
pip install oeel
Импорт:
from oeel import oeel
🖥 Репозиторий кода OEEL
🖥 Код примеров
#GEE #python
Open Earth Engine Library (продолжение)
OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:
🌍 Image
•
•
•
•
•
🌍 ImageCollection
•
•
•
•
•
•
🌍 Feature
•
🌍 FeatureCollection
•
#GEE #python
OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:
🌍 Image
•
arrayDTW — возвращает DTW (dynamic time warping) bмежду двумя изображениями, для каждого пикселя•
inverseDistanceInterpolation — пространственная интерполяция методом IDW (inverse distance weighting)•
kriging — пространственная интерполяция с помощью кригинга•
propertyAsBand — создает новый слой (канал) изображения из свойств этого изображения•
semivariogram — вычисляет семивариограмму🌍 ImageCollection
•
OtsuThreshold — рассчитывает порог Оцу (Otsu) для коллекции•
SavatskyGolayFilter — фильтрация снимков коллекции фильтром Савицкого-Голая (Savitsky-Golay). В названии функции содержится ошибка)•
enhancingCollection — алгоритм, расширяющий коллекцию, добавляя к ней новую коллекцию. Каждое изображение первой коллекции сливается с изображением второй коллекции•
fromSingleImage — загрузка изображения как коллекции•
medoid — вычисляет медоид коллекции•
movingWindow — фильтрация коллекции методом “скользящего окна”🌍 Feature
•
asLabel — генерирует функцию, преобразующую Feature в аннотацию на изображении🌍 FeatureCollection
•
fromList — преобразует List в FeatureCollection#GEE #python
Фильтр Савицкого-Голая для коллекции MODIS
Фильтр Савицкого-Голая (Savitzky-Golay) без использования внешних библиотек в Google Earth Engine, реализованный Гвидо Лемуаном (Guido Lemoine). Код можно взять здесь или здесь.
#GEE
Фильтр Савицкого-Голая (Savitzky-Golay) без использования внешних библиотек в Google Earth Engine, реализованный Гвидо Лемуаном (Guido Lemoine). Код можно взять здесь или здесь.
#GEE
Данные ALOS-2 PALSAR-2 ScanSAR Level 2.2
Данные японского спутникового радара PALSAR-2 ScanSAR Level 2.2 находятся в открытом доступе с ноября 2022 года. Тем не менее, доступных данных было довольно мало, и лишь в последнее время в этом деле наметился некоторый прогресс.
РALSAR-2 (Phased Array type L-band Synthetic Aperture Radar-2) — радар L-диапазона (1257,5 МГц), работающий на спутнике ALOS-2. Режим ScanSAR (обзорный) обеспечивает пространственное разрешение 60 м и 100 м для полос обзора 490 км и 350 км соответственно. Режим Stripmap (непрерывный) имеет разрешение 10 м, 6 м и 3 м с полосами обзора 70 км, 70 км и 50 км соответственно. Режим Spotlight (прожекторный) обеспечивает разрешение 1 м x 3 м для участка 25 км x 25 км.
Спутник ALOS-2 находится на солнечно-синхронной орбите с наклонением 97,9° на высоте 628 км с периодом 97 минут. Периодичность данных ALOS-2 составляет 14 суток.
В настоящее время продукты ScanSAR Level 2.2 постепенно выкладываются на платформах:
* JAXA G-Portal
* Google Earth Engine
* Amazon Web Service (AWS)
* NASA Alaska Satellite Facility Data Search (обещают к концу 2024 года)
* Tellus (в будущем)
Доступны данные с августа 2014 года по настоящее время. Данные обновляются ежемесячно. Самые свежие снимки — примерно месячной давности.
Данные PALSAR-2 ScanSAR Level 2.2 представляют собой нормализованные данные обратного рассеяния обзорного режима наблюдения с шириной полосы обзора 350 км. Снимки прошли ортокоррекцию и коррекцию рельефа с использованием цифровой модели поверхности ALOS World 3D (AW3D30).
Данные хранятся в виде 16-битных цифровых чисел (digital numbers, DN). DN можно преобразовать в нормализованное обратное рассеяния в децибелах (γ0) по формуле: γ0 = 10*log10(DN2) - 83,0 дБ
📸 Художественное изображение спутника ALOS-2 (источник)
#данные #SAR #GEE
Данные японского спутникового радара PALSAR-2 ScanSAR Level 2.2 находятся в открытом доступе с ноября 2022 года. Тем не менее, доступных данных было довольно мало, и лишь в последнее время в этом деле наметился некоторый прогресс.
РALSAR-2 (Phased Array type L-band Synthetic Aperture Radar-2) — радар L-диапазона (1257,5 МГц), работающий на спутнике ALOS-2. Режим ScanSAR (обзорный) обеспечивает пространственное разрешение 60 м и 100 м для полос обзора 490 км и 350 км соответственно. Режим Stripmap (непрерывный) имеет разрешение 10 м, 6 м и 3 м с полосами обзора 70 км, 70 км и 50 км соответственно. Режим Spotlight (прожекторный) обеспечивает разрешение 1 м x 3 м для участка 25 км x 25 км.
Спутник ALOS-2 находится на солнечно-синхронной орбите с наклонением 97,9° на высоте 628 км с периодом 97 минут. Периодичность данных ALOS-2 составляет 14 суток.
В настоящее время продукты ScanSAR Level 2.2 постепенно выкладываются на платформах:
* JAXA G-Portal
* Google Earth Engine
* Amazon Web Service (AWS)
* NASA Alaska Satellite Facility Data Search (обещают к концу 2024 года)
* Tellus (в будущем)
Доступны данные с августа 2014 года по настоящее время. Данные обновляются ежемесячно. Самые свежие снимки — примерно месячной давности.
Данные PALSAR-2 ScanSAR Level 2.2 представляют собой нормализованные данные обратного рассеяния обзорного режима наблюдения с шириной полосы обзора 350 км. Снимки прошли ортокоррекцию и коррекцию рельефа с использованием цифровой модели поверхности ALOS World 3D (AW3D30).
Данные хранятся в виде 16-битных цифровых чисел (digital numbers, DN). DN можно преобразовать в нормализованное обратное рассеяния в децибелах (γ0) по формуле: γ0 = 10*log10(DN2) - 83,0 дБ
📸 Художественное изображение спутника ALOS-2 (источник)
#данные #SAR #GEE
Покрытие данными ALOS-2 PALSAR-2 ScanSAR Level 2.2
Рассмотрим покрытие данными на примере территории Китая и его окрестностей в 2024 году:
🌍 Код в GEE
Данных пока довольно мало: за 11 месяцев 2024 года набралось 718 снимков. Большая часть территории Китая снята всего 2–3 раза, но есть два исключения. Одно из них — Тайвань, второе предлагаем угадать самостоятельно. Район этот в нынешнем году снимали более 100 раз.
С данными 2021–2023 гг. ситуация примерно такая же, даже немного хуже. Впрочем, раньше не было и этого.
#GEE #SAR
Рассмотрим покрытие данными на примере территории Китая и его окрестностей в 2024 году:
🌍 Код в GEE
Данных пока довольно мало: за 11 месяцев 2024 года набралось 718 снимков. Большая часть территории Китая снята всего 2–3 раза, но есть два исключения. Одно из них — Тайвань, второе предлагаем угадать самостоятельно. Район этот в нынешнем году снимали более 100 раз.
С данными 2021–2023 гг. ситуация примерно такая же, даже немного хуже. Впрочем, раньше не было и этого.
#GEE #SAR
This media is not supported in your browser
VIEW IN TELEGRAM
GEE-46. Категоризация NDVI
Допустим, нам нужно разделить значения NDVI на несколько категорий или классов. Пусть, для определенности, категорий будет пять: 1 – [-1; 0.2), 2 – [0.2; 0.4), 3 – [0.4; 0.6), 4 – [0.6; 0.8), 5 – [0.8; 1].
Создадим изображение, состоящее из 5 слоев. Значение каждого слоя равно верхнему порогу категории: 0.2, 0.4, 0.6, 0.8, 1.
Выполним проверку условия
Номер категории будет равен сумме единиц
Но при этом нумерация категорий будет идти сверху вниз: 1 – [0.8; 1], 2 – [0.6; 0.8), …
Перевернем ее, вычитая номер категории из числа категорий
В конце мы переименовали полученный слой в
Рассмотренный прием подойдет для категоризации любого однослойного изображения, а не только NDVI.
🌍 Код примера
В GEE есть и другие способы категоризации изображений — при помощи CART и where.
#GEE
Допустим, нам нужно разделить значения NDVI на несколько категорий или классов. Пусть, для определенности, категорий будет пять: 1 – [-1; 0.2), 2 – [0.2; 0.4), 3 – [0.4; 0.6), 4 – [0.6; 0.8), 5 – [0.8; 1].
Создадим изображение, состоящее из 5 слоев. Значение каждого слоя равно верхнему порогу категории: 0.2, 0.4, 0.6, 0.8, 1.
var thresholds = [0.2, 0.4, 0.6, 0.8, 1];
var image = ee.Image(thresholds);
Выполним проверку условия
ndvi.lt(image) и получим на выходе изображение из пяти бинарных слоев. Каждый слой будет равен 0 или 1, в зависимости от того, выполнено ли условие — попало ли значение NDVI в ту или иную категорию.Номер категории будет равен сумме единиц
var zones = ndvi.lt(image).reduce('sum');Но при этом нумерация категорий будет идти сверху вниз: 1 – [0.8; 1], 2 – [0.6; 0.8), …
Перевернем ее, вычитая номер категории из числа категорий
var zones = ee.Image(thresholds.length + 1).subtract(ndvi.lt(image).reduce('sum')).rename('zone');В конце мы переименовали полученный слой в
zone.Рассмотренный прием подойдет для категоризации любого однослойного изображения, а не только NDVI.
🌍 Код примера
В GEE есть и другие способы категоризации изображений — при помощи CART и where.
#GEE
Open Geocomputing
Библиотека OEEL для работы с Google Earth Engine являются частью проекта Open Geocomputing (https://www.open-geocomputing.org). Цель проекта — создание бесплатных и открытых программных инструментов для использования в науках о Земле:
🖥 Программные инструменты, разработанные в рамках Open Geocomputing
Один из таких инструментов — расширение браузера Google Chrome Open Earth Engine extension. Оно добавляет ряд полезных функций в редактор кода Google Earth Engine:
* ночная тема
* добавление кэша для библиотеки OEEL
* открытие редактора кода при нажатии на иконку (или документации OEEL, если редактор кода уже открыт).
* кнопки (стрелки) для вставки сигнатуры функции из документации в редактор кода
* кнопка для загрузки изображений путем перетаскивания
* возможность автоматического экспорта.
* Изображения Planet Labs (поиск / заказ / передача в GEE) с помощью Planet API.
* проверка возможности совместного использования активов (assets) при получении ссылки.
* добавляет кнопку для запуска всех задач
* добавляет поддержку Plotly в редакторе кода и приложении EE App (включая события)
* открывает скрипт в новой вкладке при двойном клике на нем
* настройка шрифта редактора кода (в т.ч. размера)
* терминал для отладки
* копировать JSON при двойном щелчке на кнопке JSON
* консоль с красным заголовком при сбое
* добавлен интерфейс Python
* ссылка на внешнюю документацию
* возможность обмена кодом в реальном времени
#GEE #софт
Библиотека OEEL для работы с Google Earth Engine являются частью проекта Open Geocomputing (https://www.open-geocomputing.org). Цель проекта — создание бесплатных и открытых программных инструментов для использования в науках о Земле:
🖥 Программные инструменты, разработанные в рамках Open Geocomputing
Один из таких инструментов — расширение браузера Google Chrome Open Earth Engine extension. Оно добавляет ряд полезных функций в редактор кода Google Earth Engine:
* ночная тема
* добавление кэша для библиотеки OEEL
* открытие редактора кода при нажатии на иконку (или документации OEEL, если редактор кода уже открыт).
* кнопки (стрелки) для вставки сигнатуры функции из документации в редактор кода
* кнопка для загрузки изображений путем перетаскивания
* возможность автоматического экспорта.
* Изображения Planet Labs (поиск / заказ / передача в GEE) с помощью Planet API.
* проверка возможности совместного использования активов (assets) при получении ссылки.
* добавляет кнопку для запуска всех задач
* добавляет поддержку Plotly в редакторе кода и приложении EE App (включая события)
* открывает скрипт в новой вкладке при двойном клике на нем
* настройка шрифта редактора кода (в т.ч. размера)
* терминал для отладки
* копировать JSON при двойном щелчке на кнопке JSON
* консоль с красным заголовком при сбое
* добавлен интерфейс Python
* ссылка на внешнюю документацию
* возможность обмена кодом в реальном времени
#GEE #софт
This media is not supported in your browser
VIEW IN TELEGRAM
Global Natural and Planted Forests
Глобальные данные Global Natural and Planted Forests представляют собой карту естественных и посаженных лесов по состоянию на 2021 год с пространственным разрешением 30 метров.
Карта создана на основе более 70 миллионов образцов обучающих данных, полученных из снимков Landsat (1985–2021 гг.). Используется метод обнаружения изменений во временных рядах, примененный к снимкам Landsat и позволяющий отличать посаженные леса от естественных лесов на основе частоты нарушений. Локально-адаптивная классификация методом “случайного леса” обеспечила общую точность 85%, что позволяет использовать данные для глобальной оценки лесных ресурсов.
Данные отображаются в виде карты, на которой:
🟢 Зеленые пиксели обозначают естественные леса,
🟡 Желтые пиксели обозначают посаженные (искусственные) леса,
⚪️ Другие цвета обозначают безлесные территории.
Данные на:
🛢 Zenodo
🌍 Google Earth Engine
📖 Xiao, Yuelong, Qunming Wang, and Hankui K. Zhang. Global Natural and Planted Forests Mapping at Fine Spatial Resolution of 30 m. Journal of Remote Sensing 4 (2024): 0204. https://doi.org/10.34133/remotesensing.0204
#лес #данные #GEE
Глобальные данные Global Natural and Planted Forests представляют собой карту естественных и посаженных лесов по состоянию на 2021 год с пространственным разрешением 30 метров.
Карта создана на основе более 70 миллионов образцов обучающих данных, полученных из снимков Landsat (1985–2021 гг.). Используется метод обнаружения изменений во временных рядах, примененный к снимкам Landsat и позволяющий отличать посаженные леса от естественных лесов на основе частоты нарушений. Локально-адаптивная классификация методом “случайного леса” обеспечила общую точность 85%, что позволяет использовать данные для глобальной оценки лесных ресурсов.
Данные отображаются в виде карты, на которой:
🟢 Зеленые пиксели обозначают естественные леса,
🟡 Желтые пиксели обозначают посаженные (искусственные) леса,
⚪️ Другие цвета обозначают безлесные территории.
Данные на:
🛢 Zenodo
🌍 Google Earth Engine
📖 Xiao, Yuelong, Qunming Wang, and Hankui K. Zhang. Global Natural and Planted Forests Mapping at Fine Spatial Resolution of 30 m. Journal of Remote Sensing 4 (2024): 0204. https://doi.org/10.34133/remotesensing.0204
#лес #данные #GEE
Earth Engine Task Manager — запуск скрипта Goggle Eearth Engine из VS Code
Запустить скрипт Goggle Eearth Engine из VS Code можно с помощью расширения Earth Engine Task Manager (eetasks), созданного Оливером Лопесом (Oliver Lopez). Расширение полезно для 1) отправки задач на экспорт, 2) мониторинга их выполнения, а также для (3) использования интерактивной карты (в новой версии добавлена поддержка функции
🖥 Репозиторий eetasks
🔗 eetasks в маркетплейсе vscode
#софт #GEE
Запустить скрипт Goggle Eearth Engine из VS Code можно с помощью расширения Earth Engine Task Manager (eetasks), созданного Оливером Лопесом (Oliver Lopez). Расширение полезно для 1) отправки задач на экспорт, 2) мониторинга их выполнения, а также для (3) использования интерактивной карты (в новой версии добавлена поддержка функции
Map.addLayer). 🖥 Репозиторий eetasks
🔗 eetasks в маркетплейсе vscode
#софт #GEE