Курс “Spatial Data Management”
🔗 Сайт курса “Spatial Data Management” (https://geog-414.gishub.org/) (GEOG-414), который профессор Qiusheng Wu читает в Университете штата Теннесси, Ноксвилл.*
На курсе изучают основы Python для анализа пространственных данных, основы Google Earth Engine,** DuckDB и PostGIS.
Кроме полных материалов курса, на сайте есть лабораторные работы, а также идеи для итоговых проектов, защитой которых завершается освоение курса.
*Есть еще Университет штата Теннесси в Нашвилле — это совсем другой университет.
**Проф. Q. Wu известен как разработчик пакета geemap.
#python #wu
🔗 Сайт курса “Spatial Data Management” (https://geog-414.gishub.org/) (GEOG-414), который профессор Qiusheng Wu читает в Университете штата Теннесси, Ноксвилл.*
На курсе изучают основы Python для анализа пространственных данных, основы Google Earth Engine,** DuckDB и PostGIS.
Кроме полных материалов курса, на сайте есть лабораторные работы, а также идеи для итоговых проектов, защитой которых завершается освоение курса.
*Есть еще Университет штата Теннесси в Нашвилле — это совсем другой университет.
**Проф. Q. Wu известен как разработчик пакета geemap.
#python #wu
🔥18👍5
Сжатие спутниковых снимков
📝 Пост, в котором Марк Литвинчик (Mark Litwintschik) исследует сжатие WebP на примере снимка со спутника SkySat. Марку удалось сжать изображение с 877 МБ до 30 МБ.
📸 На снимке экрана показано окно QGIS для экспорта растрового слоя в файл GeoTIFF со сжатием WebP (ПКМ → Экспорт → Сохранить как).
❗️ WebP поддерживает как сжатие без потерь, так и сжатие с потерями. По умолчанию (а именно так работал Марк), осуществляется сжатие с потерями (качество 75 %). Подробнее о настройках драйвера GDAL для WebP читайте здесь.
💡 Марк обещает протестировать AVIF — алгоритм сжатия, конкурирующий с WebP — как только тот будет поддерживаться QGIS.
#python #софт
📝 Пост, в котором Марк Литвинчик (Mark Litwintschik) исследует сжатие WebP на примере снимка со спутника SkySat. Марку удалось сжать изображение с 877 МБ до 30 МБ.
📸 На снимке экрана показано окно QGIS для экспорта растрового слоя в файл GeoTIFF со сжатием WebP (ПКМ → Экспорт → Сохранить как).
❗️ WebP поддерживает как сжатие без потерь, так и сжатие с потерями. По умолчанию (а именно так работал Марк), осуществляется сжатие с потерями (качество 75 %). Подробнее о настройках драйвера GDAL для WebP читайте здесь.
💡 Марк обещает протестировать AVIF — алгоритм сжатия, конкурирующий с WebP — как только тот будет поддерживаться QGIS.
#python #софт
👍17🤔4
Новости R
🔹 Коллеги из канала Наука и данные рассказали о прогнозировании временных рядов с помощью пакета nixtlar (https://nixtla.github.io/nixtlar/index.html). В нем используется TimeGPT — базовая модель (foundation model) для прогнозирования временных рядов и обнаружения аномалий. Изначально TimeGPT был разработан на Python, но теперь, с помощью nixtlar, доступен пользователям R.
🔹 Нашли в открытом доступе новую книгу по R на русском языке:
📖 Поздняков И. Анализ данных и статистика в R (https://pozdniakov.github.io/tidy_stats/)
#R #python #FM #книга
🔹 Коллеги из канала Наука и данные рассказали о прогнозировании временных рядов с помощью пакета nixtlar (https://nixtla.github.io/nixtlar/index.html). В нем используется TimeGPT — базовая модель (foundation model) для прогнозирования временных рядов и обнаружения аномалий. Изначально TimeGPT был разработан на Python, но теперь, с помощью nixtlar, доступен пользователям R.
🔹 Нашли в открытом доступе новую книгу по R на русском языке:
📖 Поздняков И. Анализ данных и статистика в R (https://pozdniakov.github.io/tidy_stats/)
#R #python #FM #книга
👍6❤2
Пример работы с открытыми спутниковыми данными Wyvern
В феврале канадская компания Wyvern запустила программу открытых данных своих гиперспектральных 🛰 спутников Dragonette. Эти спутники находятся на орбитах высотой 517–550 км над и имеют обеспечивают пространственное разрешение в надире (GSD) — 5,3 м.
Сейчас доступны данные Dragonette-1 в видимом и ближнем инфракрасном диапазонах — Standard VNIR (23 канала) и Extended VNIR (31 канал).
🔗 В этом посте Марк Литвинчик (Mark Litwintschik) экспериментирует с общедоступными данными Wyvern.
📸 Художественное изображение космического аппарата Dragonette.
#софт #python #гиперспектр
В феврале канадская компания Wyvern запустила программу открытых данных своих гиперспектральных 🛰 спутников Dragonette. Эти спутники находятся на орбитах высотой 517–550 км над и имеют обеспечивают пространственное разрешение в надире (GSD) — 5,3 м.
Сейчас доступны данные Dragonette-1 в видимом и ближнем инфракрасном диапазонах — Standard VNIR (23 канала) и Extended VNIR (31 канал).
🔗 В этом посте Марк Литвинчик (Mark Litwintschik) экспериментирует с общедоступными данными Wyvern.
📸 Художественное изображение космического аппарата Dragonette.
#софт #python #гиперспектр
👍13👏1
openEO
Сейчас для автоматизированного сбора данных с портала Copernicus Data Space Ecosystem используется API openEO (https://openeo.org).
Основные элементы этого API можно посмотреть здесь.
Для использования API openEO есть готовые клиентские библиотеки на JavaScript, Python и 📸 R (библиотека openeo).
Кроме того, для пользователей не знакомых с программированием есть веб-редактор для openEO. Он поддерживает визуальное моделирование ваших алгоритмов и упрощенный доступ к рабочим процессам и провайдерам openEO на основе JavaScript.
При работе необходимо учитывать ограничения бесплатного доступа к данным — не более двух одновременных запросов.
#R #python #js #софт
Сейчас для автоматизированного сбора данных с портала Copernicus Data Space Ecosystem используется API openEO (https://openeo.org).
Основные элементы этого API можно посмотреть здесь.
Для использования API openEO есть готовые клиентские библиотеки на JavaScript, Python и 📸 R (библиотека openeo).
Кроме того, для пользователей не знакомых с программированием есть веб-редактор для openEO. Он поддерживает визуальное моделирование ваших алгоритмов и упрощенный доступ к рабочим процессам и провайдерам openEO на основе JavaScript.
При работе необходимо учитывать ограничения бесплатного доступа к данным — не более двух одновременных запросов.
#R #python #js #софт
👍4🔥4
Обнаружение объектов на снимках Maxar в пакете GeoDeep
В этом посте Марк Литвинчик (Mark Litwintschik) запускает встроенные в GeoDeep модели искусственного интеллекта на снимках Мьянмы и Бангкока (Таиланд), сделанных спутниками компании Maxar.
GeoDeep — Python-пакет для обнаружения объектов на спутниковых снимках. Пакет насчитывает около 1000 строк кода и использует ONNX Runtime и Rasterio.
Ниже приведены готовые модели из состава GeoDeep. Назначение их ясно их названий:
• aerovision
• birds
• buildings
• cars
• planes
• roads
• trees
• trees_yolov9
Спойлер:сколько-нибудь вменяемые результаты показала только модель buildings.
#софт #python #ИИ
В этом посте Марк Литвинчик (Mark Litwintschik) запускает встроенные в GeoDeep модели искусственного интеллекта на снимках Мьянмы и Бангкока (Таиланд), сделанных спутниками компании Maxar.
GeoDeep — Python-пакет для обнаружения объектов на спутниковых снимках. Пакет насчитывает около 1000 строк кода и использует ONNX Runtime и Rasterio.
Ниже приведены готовые модели из состава GeoDeep. Назначение их ясно их названий:
• aerovision
• birds
• buildings
• cars
• planes
• roads
• trees
• trees_yolov9
Спойлер:
#софт #python #ИИ
😁11👍6
"Найди мне все лесопилки…"
Сэмюель Барретт (Samuel Barrett) показывает здесь и здесь как использовать предварительно вычисленные эмбеддинги ДЗЗ из базовой модели Клэя (Clay) на снимках NAIP для быстрой идентификации лесопилок в штатах Вашингтон и Орегон.
🛢 NAIP data embedded with Clay v1.5 (rev2)
🖥 Репозиторий кода на GitHub
Эксперимент показывает как эмбеддинги позволяют быстро отвечать на вопросы вроде "Что где находится?" в больших географических масштабах.
#ИИ #python
Сэмюель Барретт (Samuel Barrett) показывает здесь и здесь как использовать предварительно вычисленные эмбеддинги ДЗЗ из базовой модели Клэя (Clay) на снимках NAIP для быстрой идентификации лесопилок в штатах Вашингтон и Орегон.
🛢 NAIP data embedded with Clay v1.5 (rev2)
🖥 Репозиторий кода на GitHub
Эксперимент показывает как эмбеддинги позволяют быстро отвечать на вопросы вроде "Что где находится?" в больших географических масштабах.
#ИИ #python
👍11
geocompx — ресурсы по геовычислениям на R, Python и Julia
Проект geocompx (https://geocompx.org) — это онлайн-площадка для сбора информации о методах анализа пространственных данных, моделирования и визуализации, а также о преподавании геовычислений с помощью программного обеспечения с открытым исходным кодом на нескольких языках программирования — R, Python, Julia и других.
Проект начался с онлайн-публикации книги “Geocomputation with R”, которая помогла создать сообщество студентов и специалистов. По мере роста интереса к другим языкам и кроссплатформенным подходам стала очевидной необходимость в более широком, не зависящем от языка подходе. Так и появился geocompx.
Среди участников сообщества — Robin Lovelace, Jakub Nowosad и Jannes Muenchow — все авторы “Geocomputation with R”
Благодарим за наводку Евгения Матерова, ведущего тг-канал “Наука и данные”.
#R #python #julia
Проект geocompx (https://geocompx.org) — это онлайн-площадка для сбора информации о методах анализа пространственных данных, моделирования и визуализации, а также о преподавании геовычислений с помощью программного обеспечения с открытым исходным кодом на нескольких языках программирования — R, Python, Julia и других.
Проект начался с онлайн-публикации книги “Geocomputation with R”, которая помогла создать сообщество студентов и специалистов. По мере роста интереса к другим языкам и кроссплатформенным подходам стала очевидной необходимость в более широком, не зависящем от языка подходе. Так и появился geocompx.
Среди участников сообщества — Robin Lovelace, Jakub Nowosad и Jannes Muenchow — все авторы “Geocomputation with R”
Благодарим за наводку Евгения Матерова, ведущего тг-канал “Наука и данные”.
#R #python #julia
❤7👍2🔥1
GeoAI: Искусственный интеллект для пространственных данных
GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.
🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”
📖 Документация GeoAI
Среди возможностей GeoAI:
📊 Визуализация пространственных данных
● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных
🛠 Подготовка и обработка данных
● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки
🖼 Сегментация изображений
● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet
🔍 Классификация изображений
● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации
🌍 Дополнительные возможности
● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей
Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu
📹 Руководства по GeoAI на YouTube
#python #wu #софт #ИИ
GeoAI — пакет Python для применения методов искусственного интеллекта в анализе и визуализации пространственных данных.
🤖 GeoAI содержит инструменты для обработки, анализа и визуализации пространственных данных с помощью передовых методов машинного обучения. Как сказано в документации: “Независимо от того, работаете ли вы со спутниковыми снимками, облаками точек лидара или векторными данными, GeoAI предлагает интуитивно понятные интерфейс для применения передовых моделей ИИ.”
📖 Документация GeoAI
Среди возможностей GeoAI:
📊 Визуализация пространственных данных
● Интерактивная многослойная визуализация векторных, растровых и облачных данных
● Настраиваемые стили и символика
● Возможности визуализации временных рядов данных
🛠 Подготовка и обработка данных
● Упрощенный доступ к спутниковым и аэрофотоснимкам Sentinel, Landsat, NAIP и другим открытым данных
● Инструменты для загрузки, создания мозаик и предварительной обработки данных дистанционного зондирования
● Автоматизированная генерация обучающих датасетов с чипами изображений (image chips) и соответствующими метками
● Утилиты преобразования векторных данных в растровые и наоборот, оптимизированные для рабочих процессов ИИ
● Методы дополнения (augmentation) данных, специфичные для пространственных данных
● Поддержка интеграции данных Overture Maps и других открытых данных для обучения и проверки
🖼 Сегментация изображений
● Интеграция с моделью Segment Anything Model (SAM) компании Meta для автоматического извлечения признаков
● Специализированные алгоритмы сегментации, оптимизированные для спутниковых и аэрофотоснимков
● Оптимизированные рабочие процессы для сегментации зданий, дорог, растительности и водных объектов
● Возможность экспорта в стандартные форматы геоданных: GeoJSON, Shapefile, GeoPackage, GeoParquet
🔍 Классификация изображений
● Предварительно обученные модели для классификации земного покрова и землепользования (land cover & land use)
● Утилиты трансферного обучения (transfer learning) для тонкой настройки моделей на основе собственных данных
● Поддержка разновременной классификации для обнаружения изменений (change detection)
● Инструменты оценки точности и валидации
🌍 Дополнительные возможности
● Анализ рельефа с извлечением признаков при помощи ИИ
● Классификация и сегментация облаков точек
● Обнаружение объектов на авиационных и спутниковых снимках
● Утилиты геопривязки для результатов ИИ-моделей
Пакет разработан профессором Q. Wu. Для него мы завели на канале именной хештег: #wu
📹 Руководства по GeoAI на YouTube
#python #wu #софт #ИИ
👍9❤5✍3🔥3