satellite-image-deep-learning — методы применения глубокого обучения к данным дистанционного зондирования
Глубокое обучение (Deep Learning) уже повлияло на методы анализа и интерпретации данных дистанционного зондирования, и со временем это влияние будет только усиливаться. Число ресурсов, посвященных применению глубокого обучения в ДЗЗ, постоянно растет. Чтобы разобраться в них, создан репозиторий satellite-image-deep-learning. Это каталог применений методов глубокого обучения для анализа данных ДЗЗ (архитектуры / модели /алгоритмы), в частности, для решения задач классификации, сегментации и обнаружения объектов на снимках. Сейчас satellite-image-deep-learning содержит около 40 разделов и регулярно обновляется.
#нейронки
Глубокое обучение (Deep Learning) уже повлияло на методы анализа и интерпретации данных дистанционного зондирования, и со временем это влияние будет только усиливаться. Число ресурсов, посвященных применению глубокого обучения в ДЗЗ, постоянно растет. Чтобы разобраться в них, создан репозиторий satellite-image-deep-learning. Это каталог применений методов глубокого обучения для анализа данных ДЗЗ (архитектуры / модели /алгоритмы), в частности, для решения задач классификации, сегментации и обнаружения объектов на снимках. Сейчас satellite-image-deep-learning содержит около 40 разделов и регулярно обновляется.
#нейронки
Выявление геоглифов Наска с помощью нейросети
Группа японских ученых из Университета Ямагата обучила нейросеть выявлять геоглифы на плато Наска. Нейросеть обнаружила на аэрофотоснимках четыре ранее неизвестные фигуры — изображения гуманоида, пары ног или рук, рыбы с широко открытым ртом и птицы. Статья опубликована в Journal of Archaeological Science.
Поиск новых геоглифов осложняли несколько проблем. Во-первых, использовать для обучения известные геоглифы целиком было нельзя, из-за риска, что обученная таким образом нейросеть будет искать только геоглифы, похожие на уже известные. Во-вторых, объем обучающих данных был мал: для решения подобных задач нужны наборы данных, состоящие из миллионов изображений, тогда как в распоряжении ученых был всего 21 геоглиф. В-третьих, геоглифы имеют размеры порядка десятков метров и не помещаются целиком на аэрофотоснимке.
Третья проблема подсказала путь решения задачи. Ученые разделили известные геоглифы на относительно простые изобразительные элементы и использовали их в качестве обучающих данных, предположив, что в новых геоглифах будут встречаться аналогичные элементы. Если несколько элементов будет найдено в одном месте, из них можно будет собрать целый геоглиф. Последний этап работы доверили человеку
На рисунках показаны три из четырех новых геоглифа (один авторы опубликовали раньше). Сначала идет аэрофотоснимок, затем контуры геоглифа, обнаруженные нейросетью.
#археология #нейронки
Группа японских ученых из Университета Ямагата обучила нейросеть выявлять геоглифы на плато Наска. Нейросеть обнаружила на аэрофотоснимках четыре ранее неизвестные фигуры — изображения гуманоида, пары ног или рук, рыбы с широко открытым ртом и птицы. Статья опубликована в Journal of Archaeological Science.
Поиск новых геоглифов осложняли несколько проблем. Во-первых, использовать для обучения известные геоглифы целиком было нельзя, из-за риска, что обученная таким образом нейросеть будет искать только геоглифы, похожие на уже известные. Во-вторых, объем обучающих данных был мал: для решения подобных задач нужны наборы данных, состоящие из миллионов изображений, тогда как в распоряжении ученых был всего 21 геоглиф. В-третьих, геоглифы имеют размеры порядка десятков метров и не помещаются целиком на аэрофотоснимке.
Третья проблема подсказала путь решения задачи. Ученые разделили известные геоглифы на относительно простые изобразительные элементы и использовали их в качестве обучающих данных, предположив, что в новых геоглифах будут встречаться аналогичные элементы. Если несколько элементов будет найдено в одном месте, из них можно будет собрать целый геоглиф. Последний этап работы доверили человеку
На рисунках показаны три из четырех новых геоглифа (один авторы опубликовали раньше). Сначала идет аэрофотоснимок, затем контуры геоглифа, обнаруженные нейросетью.
#археология #нейронки
⭐️ СТРАНЫ / КОМПАНИИ / СПУТНИКИ
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
#журнал — статьи по ДЗЗ, опубликованные в выпуске журнала
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python #ГИС
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
Страны: #австралия #германия #индия #иран #испания #канада #китай #португалия #россия #США #япония и т. п.
Но:
#корея обозначает Северную и Южную Кореи
#РБ — Республика Беларусь
#UK — Великобритания
Компании: #planet #maxar
Спутники: #landsat #sentinel1 #sentinel2
⭐️ ДЗЗ
Методы и приборы
#альтиметр
#гиперспектр — гиперспектральная оптическая съемка
#лидар
#оптика — мультиспектральная оптическая съемка
#радиометр — микроволновой радиометр
#dnb — ночная съёмка (day / night band)
#SIF — солнечно-индуцированная флуоресценция хлорофилла
#ro — радиозатменный метод
#SAR — радарная съемка
#InSAR — радарная интерферометрия
#LST — съемка в тепловом инфракрасном диапазоне
#GNSSR — ГНСС-рефлектометрия
#sigint — радиоэлектронная разведка
Виды орбит: #ГСО — геостационарная, #VLEO — сверхнизкая
#основы — обучающие материалы по ДЗЗ
#обучение курсы, обучающие сервисы и т. п.
#история — в основном, история ДЗЗ
#индексы — спектральные индексы
#комбинация — комбинации каналов
Данные
#данные — коллекции данных ДЗЗ, наземных данных, карты и т.п.
#датасет — набор данных для машинного обучения
Дополнительные хештеги, описывающие данные:
#LULC — Land Use & Land Cover
#осадки
#SST — Sea Surface Temperature
#nrt — (near real time) изображения, получаемые в режиме, близком к реальном времени
#debris — космический мусор
#границы — административные границы
#DEM — цифровая модель рельефа (ЦМР)
#keyhole — рассекреченные снимки разведспутников
Литература, справочная информация
#справка — спектральные каналы, орбиты спутников, поиск данных и т.п.
#обзор
#книга — текст книги прикреплён к сообщению.
#журнал — статьи по ДЗЗ, опубликованные в выпуске журнала
Дополнительные хештеги:
#наблюдение — ресурсы для наблюдения спутников и орбиты спутников
#космодромы
#конференции — анонс конференций/семинаров/школ, посвященных ДЗЗ и анализ их материалов.
#конкурсы — анонс конкурсов/чемпионатов/олимпиад.
#МВК — материалы заседаний Межведомственной комиссии (МВК) по использованию результатов космической деятельности.
#снимки — поучительные (хоть в чем-то интересные) снимки, первые снимки
Программные инструменты / Языки
#нейронки #софт #GEE #R #tool #python #ГИС
#ИИ #FM — Foundation Model (Remote Sensing Foundation Model)
⭐️ ОТРАСЛИ / ТЕМАТИЧЕСКИЕ ЗАДАЧИ
#археология #атмосфера #вода #война #засуха #климат #лед #лес #нефть #океан #оползни #наводнение #пожары #почва #растительность #севморпуть #сельхоз #снег
#AGB — надземная биомасса
#ЧС — мониторинг стихийных бедствий и катастроф
#GHG — парниковые газы
Отдельные газы: #CO2 #NO2
#энергетика — космическая энергетика
#SSA — Space Situational Awareness
Major TOM: расширяемая структура набора данных [ссылка]
Модели глубокого обучения, в том числе те, что используются в дистанционном зондировании Земли (ДЗЗ), требуют огромного количества данных. Существующие наборы данных различаются форматами и структурой данных, а также покрываемой территорией. Чтобы облегчить пользователям процесс расширения наборов данных, необходима общая структура, позволяющая дополнять эти наборы и объединять разные наборы между собой. В качестве такой расширяемой структуры предлагается Major TOM (Terrestrial Observation Metaset). Она состоит из системы географического индексирования, основанной на наборе точек сетки, и структуры метаданных, позволяющей объединять несколько наборов данных из разных источников.
Помимо спецификации Major TOM, в работе представлен набор данных MajorTOM-Core, который охватывает большую часть земной поверхности. Этот набор данных общедоступен, и пригодится как сам по себе, так и в качестве образца для будущих дополнений экосистемы Major TOM.
MajorTOM-Core состоит из 2 245 886 образцов снимков Sentinel-2 (разрешение 10 м) размером 1068 x 1068 пикселей, доступных на уровнях обработки L1C и L2A.
🛢 MajorTOM на HuggingFace и на GitHub.
💻 Пример в Colab
#датасет #sentinel2 #нейронки
Модели глубокого обучения, в том числе те, что используются в дистанционном зондировании Земли (ДЗЗ), требуют огромного количества данных. Существующие наборы данных различаются форматами и структурой данных, а также покрываемой территорией. Чтобы облегчить пользователям процесс расширения наборов данных, необходима общая структура, позволяющая дополнять эти наборы и объединять разные наборы между собой. В качестве такой расширяемой структуры предлагается Major TOM (Terrestrial Observation Metaset). Она состоит из системы географического индексирования, основанной на наборе точек сетки, и структуры метаданных, позволяющей объединять несколько наборов данных из разных источников.
Помимо спецификации Major TOM, в работе представлен набор данных MajorTOM-Core, который охватывает большую часть земной поверхности. Этот набор данных общедоступен, и пригодится как сам по себе, так и в качестве образца для будущих дополнений экосистемы Major TOM.
MajorTOM-Core состоит из 2 245 886 образцов снимков Sentinel-2 (разрешение 10 м) размером 1068 x 1068 пикселей, доступных на уровнях обработки L1C и L2A.
🛢 MajorTOM на HuggingFace и на GitHub.
💻 Пример в Colab
#датасет #sentinel2 #нейронки
Обзор применений глубокого обучения для обнаружения объектов на данных дистанционного зондирования
📖 Gui, S.; Song, S.; Qin, R.; Tang, Y. Remote Sensing Object Detection in the Deep Learning Era — A Review. Remote Sensing. 2024, 16, 327. https://doi.org/10.3390/rs16020327
Представлен современной обзор применений методов глубокого обучения для обнаружения объектов (object detection) в данных дистанционного зондирования Земли (ДЗЗ), а также для решения задач сегментации — instance segmentation и panoptic segmentation.
Анализ методов проводится по группам, в зависимости от типа данных (оптические радарные, цифровые модели поверхности) и их пространственного разрешения. Рассмотрены стратегии обучения для мультимодальных источников данных ДЗЗ, проблемы дисбаланса меток и категориальной несогласованности.
Обзор начинается с краткого представления типичных сенсоров и разрешений данных ДЗЗ. Затем рассматриваются основные подходы к обнаружению объектов и сегментации данных. Приведено краткое описание наиболее распространенных наборов данных в этой области ⬆️. Указаны основные задачи ДЗЗ, в которых достигнут наиболее значительный прогресс, pf счёт применения глубокого обучения. В завершение, авторы высказывают свои соображения о текущем положении дел в области обнаружения объектов и тенденциях её развития.
#нейронки
📖 Gui, S.; Song, S.; Qin, R.; Tang, Y. Remote Sensing Object Detection in the Deep Learning Era — A Review. Remote Sensing. 2024, 16, 327. https://doi.org/10.3390/rs16020327
Представлен современной обзор применений методов глубокого обучения для обнаружения объектов (object detection) в данных дистанционного зондирования Земли (ДЗЗ), а также для решения задач сегментации — instance segmentation и panoptic segmentation.
Анализ методов проводится по группам, в зависимости от типа данных (оптические радарные, цифровые модели поверхности) и их пространственного разрешения. Рассмотрены стратегии обучения для мультимодальных источников данных ДЗЗ, проблемы дисбаланса меток и категориальной несогласованности.
Обзор начинается с краткого представления типичных сенсоров и разрешений данных ДЗЗ. Затем рассматриваются основные подходы к обнаружению объектов и сегментации данных. Приведено краткое описание наиболее распространенных наборов данных в этой области ⬆️. Указаны основные задачи ДЗЗ, в которых достигнут наиболее значительный прогресс, pf счёт применения глубокого обучения. В завершение, авторы высказывают свои соображения о текущем положении дел в области обнаружения объектов и тенденциях её развития.
#нейронки
DeepForest (https://deepforest.readthedocs.io/en/latest/) — это пакет на языке Python для обнаружения и классификации объектов на RGB-снимках (сверх)высокого пространственного разрешения. Он использует сети глубокого обучения и построен на основе модуля обнаружения объектов из пакета torchvision.
DeepForest предназначен для упрощения обучения моделей обнаружения природных объектов, в частности, деревьев. Разработчики старались сделать его простым, настраиваемым и модульным, скрывая ненужные сложности от пользователя. Вот, например, как выглядит разметка снимка предобученной моделью:
DeepForest содержит две предобученные модели: Bird Detection и Tree Crown Detection.
Пакет неплохо документирован, снабжен примерами использования, а также советами по настройке, обучению и расширению возможностей.
🖥 Пример работы DeepForest в Google Colab (с инсталляцией пакетов)
В документах есть ссылки на публикации с описанием DeepForest, использованные для обучения снимки находятся в открытом доступе. Есть и “сторонние” примеры использования DeepForest:
🔗 Tree crown detection using DeepForest
#нейронки #python #лес
DeepForest предназначен для упрощения обучения моделей обнаружения природных объектов, в частности, деревьев. Разработчики старались сделать его простым, настраиваемым и модульным, скрывая ненужные сложности от пользователя. Вот, например, как выглядит разметка снимка предобученной моделью:
from deepforest import main
from deepforest import get_data
import matplotlib.pyplot as plt
model = main.deepforest()
model.use_release()
sample_image_path = get_data("OSBS_029.png")
img = model.predict_image(path=sample_image_path, return_plot=True)
plt.imshow(img[:,:,::-1])
DeepForest содержит две предобученные модели: Bird Detection и Tree Crown Detection.
Пакет неплохо документирован, снабжен примерами использования, а также советами по настройке, обучению и расширению возможностей.
🖥 Пример работы DeepForest в Google Colab (с инсталляцией пакетов)
В документах есть ссылки на публикации с описанием DeepForest, использованные для обучения снимки находятся в открытом доступе. Есть и “сторонние” примеры использования DeepForest:
🔗 Tree crown detection using DeepForest
#нейронки #python #лес
У репозитория методов применения глубокого обучения к данным дистанционного зондирования satellite-image-deep-learning есть свой сайт на Substack — https://www.satellite-image-deep-learning.com, на котором удобно следить за новостями применения глубокого обучения в ДЗЗ.
#нейронки
#нейронки
Croissant — новый формат описания наборов данных, используемых в машинном обучении [ссылка]. Он разработан, чтобы облегчить специалистам работу с наборами данных в различных платформах и репозиториях машинного обучения. Создание или изменение описаний наборов данных Croissant поддерживается с помощью визуального редактора и библиотеки Python.
Подробную информацию о запуске Croissant можно найти на сайте ML Commons и в блоге Google Research.
#нейронки
Подробную информацию о запуске Croissant можно найти на сайте ML Commons и в блоге Google Research.
#нейронки
The BioMassters — соревнование по оценке надземной биомассы леса методами машинного обучения [ссылка].
Задача BioMassters заключалась в оценке годовой биомассы участков леса размером 2560 х 2560 м, расположенных в Финляндии, с помощью ежемесячных снимков Sentinel-1 и Sentinel-2, полученных на тех же участках. В качестве исходных, использовались данные воздушного лидара и натурных измерений, ежегодно проводимых Финским лесным центром.
Соревнование состоялось в прошлом году, но его результаты находятся в открытом доступе.
🛢 Репозиторий моделей-победителей
#AGB #лес #нейронки
Задача BioMassters заключалась в оценке годовой биомассы участков леса размером 2560 х 2560 м, расположенных в Финляндии, с помощью ежемесячных снимков Sentinel-1 и Sentinel-2, полученных на тех же участках. В качестве исходных, использовались данные воздушного лидара и натурных измерений, ежегодно проводимых Финским лесным центром.
Соревнование состоялось в прошлом году, но его результаты находятся в открытом доступе.
🛢 Репозиторий моделей-победителей
#AGB #лес #нейронки
Компания Satellogic объявила о выпуске открытого набора данных снимков высокого разрешения для обучения моделей искусственного интеллекта [ссылка].
В наборе содержится около 3 млн снимков Satellogic с пространственным разрешением 1 м и размером 384 х 384 пикселя, собранных по всему миру (6 млн снимков, включая повторные посещения мест). Снимки охватывают различные типы землепользования, объекты, географические регионы и времена года. Данные Satellogic распространяются по лицензии Creative Commons CC-BY 4.0, что позволяет использовать их в коммерческих целях с указанием авторства.
Полный набор данных доступен на сайте Hugging Face как часть проекта EarthView. EarthView объединяет данные Satellogic с ранее выпущенными данными Neon, Sentinel-1 и Sentinel-2.
🛢 Данные Satellogic на Hugging Face. Для доступа к данным необходимо сообщить контактную информацию о себе.
📸 Пространственное покрытие данными EarthView
Satellogic обещает вскоре опубликовать статью с описанием данных EarthView и выпустить базовую модель, построенную на основе этих данных — автоэнкодер с маской (masked autoencoder). Ссылки на статью и модель будут помещены на странице набора данных.
#нейронки #данные
В наборе содержится около 3 млн снимков Satellogic с пространственным разрешением 1 м и размером 384 х 384 пикселя, собранных по всему миру (6 млн снимков, включая повторные посещения мест). Снимки охватывают различные типы землепользования, объекты, географические регионы и времена года. Данные Satellogic распространяются по лицензии Creative Commons CC-BY 4.0, что позволяет использовать их в коммерческих целях с указанием авторства.
Полный набор данных доступен на сайте Hugging Face как часть проекта EarthView. EarthView объединяет данные Satellogic с ранее выпущенными данными Neon, Sentinel-1 и Sentinel-2.
🛢 Данные Satellogic на Hugging Face. Для доступа к данным необходимо сообщить контактную информацию о себе.
📸 Пространственное покрытие данными EarthView
Satellogic обещает вскоре опубликовать статью с описанием данных EarthView и выпустить базовую модель, построенную на основе этих данных — автоэнкодер с маской (masked autoencoder). Ссылки на статью и модель будут помещены на странице набора данных.
#нейронки #данные