В Alaska Satellite Facility завершено создание архива “импульсов” Sentinel-1 [ссылка]
Работа, проделанная Alaska Satellite Facility (ASF), позволяет существенно сэкономить время и вычислительные ресурсы, необходимые для анализа радарных данных Sentinel-1. Что же было сделало?
Типичный файл радарных данных Sentinel-1 Single-Look Complex (SLC) содержат три полосы (swath) данных по 8–10 импульсов (burst) в каждой. Такие файлы имеют довольно большой объем (4–5 Гб) и используются, в частности, для радарной интерферометрии.
Вырезать нужный фрагмент из данных Sentinel-1 SLC не так просто, как из оптического снимка. “Виноват” метод получения данных, TopSAR, при которым данные собираются импульсами путем циклического переключения луча антенны между несколькими соседними полосами. На рисунке 1️⃣ показана схема сканирования в трёх полосах (а) и сканирование импульсами в пределах одной полосы (b). Результат выглядит примерно так, как показано на рисунке 2️⃣ (источник).
Таким образом, импульс (burst) является атомарной единицей данных Sentinel-1 SLC. При изучении небольших объектов, таких как вулканы или оползни, достаточно взять из соседних по времени снимков только импульсы, покрывающие исследуемый объект, и построить по ним интерферограмму. Размер одного импульса составляет около 4% от общего размера файл данных.
До сих пор, прежде чем выбрать нужный импульс, мы должны были сначала скачать весь файл. Теперь этого делать не нужно, достаточно использовать новый продукт 🌍 Sentinel-1 Burst SLC 3️⃣.
Особенно приятно, что с импульсами уже работает HyP3: HyP3 Burst InSAR. С его помощью можно заказать генерацию InSAR-данных по одиночным импульсам.
Пакет burst2safe для 🐍 Python позволяет конвертировать данные импульсов в SAFE-файл, для использования в SAR-процессоре (например, в SNAP). В будущем SAFE станет для импульсов форматом по умолчанию.
#InSAR #python #данные
Работа, проделанная Alaska Satellite Facility (ASF), позволяет существенно сэкономить время и вычислительные ресурсы, необходимые для анализа радарных данных Sentinel-1. Что же было сделало?
Типичный файл радарных данных Sentinel-1 Single-Look Complex (SLC) содержат три полосы (swath) данных по 8–10 импульсов (burst) в каждой. Такие файлы имеют довольно большой объем (4–5 Гб) и используются, в частности, для радарной интерферометрии.
Вырезать нужный фрагмент из данных Sentinel-1 SLC не так просто, как из оптического снимка. “Виноват” метод получения данных, TopSAR, при которым данные собираются импульсами путем циклического переключения луча антенны между несколькими соседними полосами. На рисунке 1️⃣ показана схема сканирования в трёх полосах (а) и сканирование импульсами в пределах одной полосы (b). Результат выглядит примерно так, как показано на рисунке 2️⃣ (источник).
Таким образом, импульс (burst) является атомарной единицей данных Sentinel-1 SLC. При изучении небольших объектов, таких как вулканы или оползни, достаточно взять из соседних по времени снимков только импульсы, покрывающие исследуемый объект, и построить по ним интерферограмму. Размер одного импульса составляет около 4% от общего размера файл данных.
До сих пор, прежде чем выбрать нужный импульс, мы должны были сначала скачать весь файл. Теперь этого делать не нужно, достаточно использовать новый продукт 🌍 Sentinel-1 Burst SLC 3️⃣.
Особенно приятно, что с импульсами уже работает HyP3: HyP3 Burst InSAR. С его помощью можно заказать генерацию InSAR-данных по одиночным импульсам.
Пакет burst2safe для 🐍 Python позволяет конвертировать данные импульсов в SAFE-файл, для использования в SAR-процессоре (например, в SNAP). В будущем SAFE станет для импульсов форматом по умолчанию.
#InSAR #python #данные
September 12, 2024
Scikit-eo
Python-библиотека Scikit-eo (https://github.com/yotarazona/scikit-eo) предоставляет универсальные инструменты для анализа данных дистанционного зондирования Земли 🛰.
Страница библиотеки содержит серию примеров и руководств в виде jupyter-ноутбуков.
#python
Python-библиотека Scikit-eo (https://github.com/yotarazona/scikit-eo) предоставляет универсальные инструменты для анализа данных дистанционного зондирования Земли 🛰.
Страница библиотеки содержит серию примеров и руководств в виде jupyter-ноутбуков.
#python
October 6, 2024
Прогнозирование погоды с помощью моделей ИИ на основе открытых данных ECMWF
Команда специалистов системы прогнозирования погоды AIFS (Artificial Intelligence/Integrated Forecasting System) в Европейском центре среднесрочных прогнозов погоды (ECMWF) объявила, что теперь пользователи могут самостоятельно запускать модели прогноза погоды, использующие методы искусственного интеллекта (ИИ) и опирающиеся на открытые данные ECMWF.
Это позволит генерировать прогнозы на собственном компьютере пользователя, изучать методы прогнозирования с помощью ансамблей моделей и проводить сравнительный анализ моделей.
Установка python-пакетов традиционна:
Поддерживаются следующие модели прогнозирования погоды, использующие методы ИИ: Pangu-Weather, FourCastNet (версия 2), GraphCast, FuXi и Aurora.
В будущем ожидается поддержка системы AIFS. Пока можно получить готовые прогнозы, сделанные с помощью AIFS.
#погода #ИИ #python
Команда специалистов системы прогнозирования погоды AIFS (Artificial Intelligence/Integrated Forecasting System) в Европейском центре среднесрочных прогнозов погоды (ECMWF) объявила, что теперь пользователи могут самостоятельно запускать модели прогноза погоды, использующие методы искусственного интеллекта (ИИ) и опирающиеся на открытые данные ECMWF.
Это позволит генерировать прогнозы на собственном компьютере пользователя, изучать методы прогнозирования с помощью ансамблей моделей и проводить сравнительный анализ моделей.
Установка python-пакетов традиционна:
pip install ai-models
pip install ai-models-panguweather # Or another model
ai-models panguweather --input ecmwf-open-data
Поддерживаются следующие модели прогнозирования погоды, использующие методы ИИ: Pangu-Weather, FourCastNet (версия 2), GraphCast, FuXi и Aurora.
В будущем ожидается поддержка системы AIFS. Пока можно получить готовые прогнозы, сделанные с помощью AIFS.
#погода #ИИ #python
October 7, 2024
object-store-rs: интерфейс с сервисами хранения объектов и локальных файлов
Python-пакет object-store-rs (https://github.com/developmentseed/object-store-rs), разработанный компанией Development Seed, предоставляет унифицированный API для взаимодействия с сервисами хранения объектов и локальных файлов. Пакет обеспечивает простую и быструю интеграцию с такими сервисами хранения объектов, как Amazon S3, Google Cloud Storage, Azure Blob Storage, и S3-совместимыми API, например Cloudflare R2.
#python
Python-пакет object-store-rs (https://github.com/developmentseed/object-store-rs), разработанный компанией Development Seed, предоставляет унифицированный API для взаимодействия с сервисами хранения объектов и локальных файлов. Пакет обеспечивает простую и быструю интеграцию с такими сервисами хранения объектов, как Amazon S3, Google Cloud Storage, Azure Blob Storage, и S3-совместимыми API, например Cloudflare R2.
#python
GitHub
GitHub - developmentseed/obstore: The simplest, highest-throughput Python interface to S3, GCS & Azure Storage, powered by Rust.
The simplest, highest-throughput Python interface to S3, GCS & Azure Storage, powered by Rust. - developmentseed/obstore
November 15, 2024
Open Earth Engine Library (OEEL) — коллекция полезных функций для Google Earth Engine (GEE).
Для использования OEEL с GEE JavaScript API достаточно импортировать ее код
а затем использовать нужные функции.
По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой
Отметим, что эта версия не должна использоваться для отладки.
Чтобы получить информацию о функциях, добавьте в конец кода следующую строку
Вы получите список всех использованных функций и другую связанную с ними информацию.
OEEL существует в виде Python-пакета.
Установка:
Импорт:
🖥 Репозиторий кода OEEL
🖥 Код примеров
#GEE #python
Для использования OEEL с GEE JavaScript API достаточно импортировать ее код
var oeel=require('users/OEEL/lib:loadAll')а затем использовать нужные функции.
По мере роста библиотеки время загрузки также увеличивается. Чтобы решить эту проблему, разработчики предлагают версию библиотеки с быстрой загрузкой
var oeel=require('users/OEEL/lib:loadAllSF')Отметим, что эта версия не должна использоваться для отладки.
Чтобы получить информацию о функциях, добавьте в конец кода следующую строку
print('List of functions used',oeel.refs())Вы получите список всех использованных функций и другую связанную с ними информацию.
OEEL существует в виде Python-пакета.
Установка:
pip install oeel
Импорт:
from oeel import oeel
🖥 Репозиторий кода OEEL
🖥 Код примеров
#GEE #python
December 3, 2024
Open Earth Engine Library (продолжение)
OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:
🌍 Image
•
•
•
•
•
🌍 ImageCollection
•
•
•
•
•
•
🌍 Feature
•
🌍 FeatureCollection
•
#GEE #python
OEEL насчитывает десятки функций. Вот некоторые из них, относящиеся к объектам Image, ImageCollection, Feature и FeatureCollection:
🌍 Image
•
arrayDTW — возвращает DTW (dynamic time warping) bмежду двумя изображениями, для каждого пикселя•
inverseDistanceInterpolation — пространственная интерполяция методом IDW (inverse distance weighting)•
kriging — пространственная интерполяция с помощью кригинга•
propertyAsBand — создает новый слой (канал) изображения из свойств этого изображения•
semivariogram — вычисляет семивариограмму🌍 ImageCollection
•
OtsuThreshold — рассчитывает порог Оцу (Otsu) для коллекции•
SavatskyGolayFilter — фильтрация снимков коллекции фильтром Савицкого-Голая (Savitsky-Golay). В названии функции содержится ошибка)•
enhancingCollection — алгоритм, расширяющий коллекцию, добавляя к ней новую коллекцию. Каждое изображение первой коллекции сливается с изображением второй коллекции•
fromSingleImage — загрузка изображения как коллекции•
medoid — вычисляет медоид коллекции•
movingWindow — фильтрация коллекции методом “скользящего окна”🌍 Feature
•
asLabel — генерирует функцию, преобразующую Feature в аннотацию на изображении🌍 FeatureCollection
•
fromList — преобразует List в FeatureCollection#GEE #python
December 3, 2024
Introduction to Environmental Data Science
Книга Introduction to Environmental Data Science (https://bookdown.org/igisc/EnvDataSci/) Джерри Дэвиса (Jerry Davis) посвящена анализу пространственных данных, связанных с исследованиями окружающей среды, на языке программирования R.
В книге есть краткое введение в R, описана работа с векторными и растровыми данными, моделирование, анализ спутниковых снимков и временных рядов.
Environmental Data Science book (https://edsbook.org/welcome) — аналогичный ресурс на Python.
Спасибо коллегам за наводку!
#R #python
Книга Introduction to Environmental Data Science (https://bookdown.org/igisc/EnvDataSci/) Джерри Дэвиса (Jerry Davis) посвящена анализу пространственных данных, связанных с исследованиями окружающей среды, на языке программирования R.
В книге есть краткое введение в R, описана работа с векторными и растровыми данными, моделирование, анализ спутниковых снимков и временных рядов.
Environmental Data Science book (https://edsbook.org/welcome) — аналогичный ресурс на Python.
Спасибо коллегам за наводку!
#R #python
December 25, 2024
Курс “Spatial Data Management”
🔗 Сайт курса “Spatial Data Management” (https://geog-414.gishub.org/) (GEOG-414), который профессор Qiusheng Wu читает в Университете штата Теннесси, Ноксвилл.*
На курсе изучают основы Python для анализа пространственных данных, основы Google Earth Engine,** DuckDB и PostGIS.
Кроме полных материалов курса, на сайте есть лабораторные работы, а также идеи для итоговых проектов, защитой которых завершается освоение курса.
*Есть еще Университет штата Теннесси в Нашвилле — это совсем другой университет.
**Проф. Q. Wu известен как разработчик пакета geemap.
#python
🔗 Сайт курса “Spatial Data Management” (https://geog-414.gishub.org/) (GEOG-414), который профессор Qiusheng Wu читает в Университете штата Теннесси, Ноксвилл.*
На курсе изучают основы Python для анализа пространственных данных, основы Google Earth Engine,** DuckDB и PostGIS.
Кроме полных материалов курса, на сайте есть лабораторные работы, а также идеи для итоговых проектов, защитой которых завершается освоение курса.
*Есть еще Университет штата Теннесси в Нашвилле — это совсем другой университет.
**Проф. Q. Wu известен как разработчик пакета geemap.
#python
January 22
Сжатие спутниковых снимков
📝 Пост, в котором Марк Литвинчик (Mark Litwintschik) исследует сжатие WebP на примере снимка со спутника SkySat. Марку удалось сжать изображение с 877 МБ до 30 МБ.
📸 На снимке экрана показано окно QGIS для экспорта растрового слоя в файл GeoTIFF со сжатием WebP (ПКМ → Экспорт → Сохранить как).
❗️ WebP поддерживает как сжатие без потерь, так и сжатие с потерями. По умолчанию (а именно так работал Марк), осуществляется сжатие с потерями (качество 75 %). Подробнее о настройках драйвера GDAL для WebP читайте здесь.
💡 Марк обещает протестировать AVIF — алгоритм сжатия, конкурирующий с WebP — как только тот будет поддерживаться QGIS.
#python #софт
📝 Пост, в котором Марк Литвинчик (Mark Litwintschik) исследует сжатие WebP на примере снимка со спутника SkySat. Марку удалось сжать изображение с 877 МБ до 30 МБ.
📸 На снимке экрана показано окно QGIS для экспорта растрового слоя в файл GeoTIFF со сжатием WebP (ПКМ → Экспорт → Сохранить как).
❗️ WebP поддерживает как сжатие без потерь, так и сжатие с потерями. По умолчанию (а именно так работал Марк), осуществляется сжатие с потерями (качество 75 %). Подробнее о настройках драйвера GDAL для WebP читайте здесь.
💡 Марк обещает протестировать AVIF — алгоритм сжатия, конкурирующий с WebP — как только тот будет поддерживаться QGIS.
#python #софт
January 24
Новости R
🔹 Коллеги из канала Наука и данные рассказали о прогнозировании временных рядов с помощью пакета nixtlar (https://nixtla.github.io/nixtlar/index.html). В нем используется TimeGPT — базовая модель (foundation model) для прогнозирования временных рядов и обнаружения аномалий. Изначально TimeGPT был разработан на Python, но теперь, с помощью nixtlar, доступен пользователям R.
🔹 Нашли в открытом доступе новую книгу по R на русском языке:
📖 Поздняков И. Анализ данных и статистика в R (https://pozdniakov.github.io/tidy_stats/)
#R #python #FM #книга
🔹 Коллеги из канала Наука и данные рассказали о прогнозировании временных рядов с помощью пакета nixtlar (https://nixtla.github.io/nixtlar/index.html). В нем используется TimeGPT — базовая модель (foundation model) для прогнозирования временных рядов и обнаружения аномалий. Изначально TimeGPT был разработан на Python, но теперь, с помощью nixtlar, доступен пользователям R.
🔹 Нашли в открытом доступе новую книгу по R на русском языке:
📖 Поздняков И. Анализ данных и статистика в R (https://pozdniakov.github.io/tidy_stats/)
#R #python #FM #книга
January 31
Пример работы с открытыми спутниковыми данными Wyvern
В феврале канадская компания Wyvern запустила программу открытых данных своих гиперспектральных 🛰 спутников Dragonette. Эти спутники находятся на орбитах высотой 517–550 км над и имеют обеспечивают пространственное разрешение в надире (GSD) — 5,3 м.
Сейчас доступны данные Dragonette-1 в видимом и ближнем инфракрасном диапазонах — Standard VNIR (23 канала) и Extended VNIR (31 канал).
🔗 В этом посте Марк Литвинчик (Mark Litwintschik) экспериментирует с общедоступными данными Wyvern.
📸 Художественное изображение космического аппарата Dragonette.
#софт #python #гиперспектр
В феврале канадская компания Wyvern запустила программу открытых данных своих гиперспектральных 🛰 спутников Dragonette. Эти спутники находятся на орбитах высотой 517–550 км над и имеют обеспечивают пространственное разрешение в надире (GSD) — 5,3 м.
Сейчас доступны данные Dragonette-1 в видимом и ближнем инфракрасном диапазонах — Standard VNIR (23 канала) и Extended VNIR (31 канал).
🔗 В этом посте Марк Литвинчик (Mark Litwintschik) экспериментирует с общедоступными данными Wyvern.
📸 Художественное изображение космического аппарата Dragonette.
#софт #python #гиперспектр
April 3