Scikit-eo

Python-библиотека Scikit-eo (https://github.com/yotarazona/scikit-eo) предоставляет универсальные инструменты для анализа данных дистанционного зондирования Земли 🛰.

Страница библиотеки содержит серию примеров и руководств в виде jupyter-ноутбуков.

#python

Прогнозирование погоды с помощью моделей ИИ на основе открытых данных ECMWF

Команда специалистов системы прогнозирования погоды AIFS (Artificial Intelligence/Integrated Forecasting System) в Европейском центре среднесрочных прогнозов погоды (ECMWF) объявила, что теперь пользователи могут самостоятельно запускать модели прогноза погоды, использующие методы искусственного интеллекта (ИИ) и опирающиеся на открытые данные ECMWF.

Это позволит генерировать прогнозы на собственном компьютере пользователя, изучать методы прогнозирования с помощью ансамблей моделей и проводить сравнительный анализ моделей.

Установка python-пакетов традиционна:

pip install ai-models 

pip install ai-models-panguweather # Or another model  

ai-models panguweather --input ecmwf-open-data

Поддерживаются следующие модели прогнозирования погоды, использующие методы ИИ: Pangu-Weather, FourCastNet (версия 2), GraphCast, FuXi и Aurora.

В будущем ожидается поддержка системы AIFS. Пока можно получить готовые прогнозы, сделанные с помощью AIFS.

#погода #ИИ #python

object-store-rs: интерфейс с сервисами хранения объектов и локальных файлов

Python-пакет object-store-rs (https://github.com/developmentseed/object-store-rs), разработанный компанией Development Seed, предоставляет унифицированный API для взаимодействия с сервисами хранения объектов и локальных файлов. Пакет обеспечивает простую и быструю интеграцию с такими сервисами хранения объектов, как Amazon S3, Google Cloud Storage, Azure Blob Storage, и S3-совместимыми API, например Cloudflare R2.

#python

Open Earth Engine Library (OEEL) — коллекция полезных функций для Google Earth Engine (GEE).

Для использования OEEL с GEE JavaScript API достаточно импортировать ее код

var oeel=require('users/OEEL/lib:loadAll')

а затем использовать нужные функции.

По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой

var oeel=require('users/OEEL/lib:loadAllSF')

Отметим, что эта версия не должна использоваться для отладки.

Чтобы получить информацию о функциях, добавьте в конец кода следующую строку

print('List of functions used',oeel.refs())

Вы получите список всех использованных функций и другую связанную с ними информацию.

OEEL существует в виде Python-пакета.

Установка:

pip install oeel

Импорт:

from oeel import oeel

🖥 Репозиторий кода OEEL
🖥 Код примеров

#GEE #python

Open Earth Engine Library (продолжение)

OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:

🌍 Image

• arrayDTW — возвращает DTW (dynamic time warping) bмежду двумя изображениями, для каждого пикселя
• inverseDistanceInterpolation — пространственная интерполяция методом IDW (inverse distance weighting)
• kriging — пространственная интерполяция с помощью кригинга
• propertyAsBand — создает новый слой (канал) изображения из свойств этого изображения
• semivariogram — вычисляет семивариограмму

🌍 ImageCollection

• OtsuThreshold — рассчитывает порог Оцу (Otsu) для коллекции
• SavatskyGolayFilter — фильтрация снимков коллекции фильтром Савицкого-Голая (Savitsky-Golay). В названии функции содержится ошибка)
• enhancingCollection — алгоритм, расширяющий коллекцию, добавляя к ней новую коллекцию. Каждое изображение первой коллекции сливается с изображением второй коллекции
• fromSingleImage —  загрузка изображения как коллекции
• medoid — вычисляет медоид коллекции
• movingWindow — фильтрация коллекции методом “скользящего окна”

🌍 Feature

• asLabel — генерирует функцию, преобразующую Feature в аннотацию на изображении

🌍 FeatureCollection

• fromList — преобразует List в FeatureCollection

#GEE #python

Introduction to Environmental Data Science

Книга Introduction to Environmental Data Science (https://bookdown.org/igisc/EnvDataSci/) Джерри Дэвиса (Jerry Davis) посвящена анализу пространственных данных, связанных с исследованиями окружающей среды, на языке программирования R.

В книге есть краткое введение в R, описана работа с векторными и растровыми данными, моделирование, анализ спутниковых снимков и временных рядов.

Environmental Data Science book (https://edsbook.org/welcome) — аналогичный ресурс на Python.

Спасибо коллегам за наводку!

#R #python

Курс “Spatial Data Management”

🔗 Сайт курса “Spatial Data Management” (https://geog-414.gishub.org/) (GEOG-414), который профессор Qiusheng Wu читает в Университете штата Теннесси, Ноксвилл.*

На курсе изучают основы Python для анализа пространственных данных, основы Google Earth Engine,** DuckDB и PostGIS.

Кроме полных материалов курса, на сайте есть лабораторные работы, а также идеи для итоговых проектов, защитой которых завершается освоение курса.

*Есть еще Университет штата Теннесси в Нашвилле — это совсем другой университет.

**Проф. Q. Wu известен как разработчик пакета geemap.

#python #wu

Сжатие спутниковых снимков

📝 Пост, в котором Марк Литвинчик (Mark Litwintschik) исследует сжатие WebP на примере снимка со спутника SkySat. Марку удалось сжать изображение с 877 МБ до 30 МБ.

📸 На снимке экрана показано окно QGIS для экспорта растрового слоя в файл GeoTIFF со сжатием WebP (ПКМ → Экспорт → Сохранить как).

❗️ WebP поддерживает как сжатие без потерь, так и сжатие с потерями. По умолчанию (а именно так работал Марк), осуществляется сжатие с потерями (качество 75 %). Подробнее о настройках драйвера GDAL для WebP читайте здесь.

💡 Марк обещает протестировать AVIF — алгоритм сжатия, конкурирующий с WebP — как только тот будет поддерживаться QGIS.

#python #софт

Новости R

🔹 Коллеги из канала Наука и данные рассказали о прогнозировании временных рядов с помощью пакета nixtlar (https://nixtla.github.io/nixtlar/index.html). В нем используется TimeGPT — базовая модель (foundation model) для прогнозирования временных рядов и обнаружения аномалий. Изначально TimeGPT был разработан на Python, но теперь, с помощью nixtlar, доступен пользователям R.

🔹 Нашли в открытом доступе новую книгу по R на русском языке:

📖 Поздняков И. Анализ данных и статистика в R (https://pozdniakov.github.io/tidy_stats/)

#R #python #FM #книга

Пример работы с открытыми спутниковыми данными Wyvern

В феврале канадская компания Wyvern запустила программу открытых данных своих гиперспектральных 🛰 спутников Dragonette. Эти спутники находятся на орбитах высотой 517–550 км над и имеют обеспечивают пространственное разрешение в надире (GSD) — 5,3 м.

Сейчас доступны данные Dragonette-1 в видимом и ближнем инфракрасном диапазонах — Standard VNIR (23 канала) и Extended VNIR (31 канал).

🔗 В этом посте Марк Литвинчик (Mark Litwintschik) экспериментирует с общедоступными данными Wyvern.

📸 Художественное изображение космического аппарата Dragonette.

#софт #python #гиперспектр

openEO

Сейчас для автоматизированного сбора данных с портала Copernicus Data Space Ecosystem используется API openEO (https://openeo.org).

Основные элементы этого API можно посмотреть здесь.

Для использования API openEO есть готовые клиентские библиотеки на JavaScript, Python и 📸 R (библиотека openeo).

Кроме того, для пользователей не знакомых с программированием есть веб-редактор для openEO. Он поддерживает визуальное моделирование ваших алгоритмов и упрощенный доступ к рабочим процессам и провайдерам openEO на основе JavaScript.

При работе необходимо учитывать ограничения бесплатного доступа к данным — не более двух одновременных запросов.

#R #python #js #софт

Обнаружение объектов на снимках Maxar в пакете GeoDeep

В этом посте Марк Литвинчик (Mark Litwintschik) запускает встроенные в GeoDeep модели искусственного интеллекта на снимках Мьянмы и Бангкока (Таиланд), сделанных спутниками компании Maxar.

GeoDeep — Python-пакет для обнаружения объектов на спутниковых снимках. Пакет насчитывает около 1000 строк кода и использует ONNX Runtime и Rasterio.

Ниже приведены готовые модели из состава GeoDeep. Назначение их ясно их названий:

• aerovision
• birds
• buildings
• cars
• planes
• roads
• trees
• trees_yolov9

Спойлер: сколько-нибудь вменяемые результаты показала только модель buildings.

#софт #python #ИИ

"Найди мне все лесопилки…"

Сэмюель Барретт (Samuel Barrett) показывает здесь и здесь как использовать предварительно вычисленные эмбеддинги ДЗЗ из базовой модели Клэя (Clay) на снимках NAIP для быстрой идентификации лесопилок в штатах Вашингтон и Орегон.

🛢 NAIP data embedded with Clay v1.5 (rev2)
🖥 Репозиторий кода на GitHub

Эксперимент показывает как эмбеддинги позволяют быстро отвечать на вопросы вроде "Что где находится?" в больших географических масштабах.

#ИИ #python

geocompx — ресурсы по геовычислениям на R, Python и Julia

Проект geocompx (https://geocompx.org) — это онлайн-площадка для сбора информации о методах анализа пространственных данных, моделирования и визуализации, а также о преподавании геовычислений с помощью программного обеспечения с открытым исходным кодом на нескольких языках программирования — R, Python, Julia и других.

Проект начался с онлайн-публикации книги “Geocomputation with R”, которая помогла создать сообщество студентов и специалистов. По мере роста интереса к другим языкам и кроссплатформенным подходам стала очевидной необходимость в более широком, не зависящем от языка подходе. Так и появился geocompx.

Среди участников сообщества — Robin Lovelace, Jakub Nowosad и Jannes Muenchow — все авторы “Geocomputation with R”

Благодарим за наводку Евгения Матерова, ведущего тг-канал “Наука и данные”.

#R #python #julia

GeoAI: Искусственный интеллект для пространственных данных

GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.

🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”

📖 Документация GeoAI

Среди возможностей GeoAI:

📊 Визуализация пространственных данных

● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных

🛠 Подготовка и обработка данных

● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки

🖼 Сегментация изображений

● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet

🔍 Классификация изображений

● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации

🌍 Дополнительные возможности

● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей

Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu

📹 Руководства по GeoAI на YouTube

#python #wu #софт #ИИ