В рубрике интересных наборов данных большая коллекция коллекций геопространственных наборов данных geospatial-data-catalogs [1] включает наборы данных из։
- AWS Open Data
- AWS Open Geospatial Data
- AWS Open Geospatial Data with STAC endpoint
- STAC Index Catalogs
- Earth Engine Catalog
- Planetary Computer Catalog

В общей сложности это более 2000 наборов данных довольно большого объёма, многие из них - это спутниковые снимки, а также все метаданные извлечённые из первоисточников.

Обратите внимание, ни один из этих каталогов не является государственным. Earth Engine Catalog - это Google, Planetary Computer Catalog - это Microsoft, каталоги на AWS - это Amazon, а STAC Index - это общественный каталог вокруг спецификации STAC [2].

А также не могу не напомнить о слегка олдскульном, но любопытном каталоге общедоступных инсталляций ArcGIS [3].

Геоданных становится всё больше, думаю что рано или поздно большая часть госпорталов открытых данных будут поддерживать спецификацию STAC, а открытые каталоги big tech корпораций будут агрегировать их оттуда.

Ссылки։
[1] https://github.com/giswqs/geospatial-data-catalogs
[2] https://stacspec.org/en
[3] https://mappingsupport.com/p/surf_gis/list-federal-state-county-city-GIS-servers.pdf

#opendata #geodata #geospatial #datacatalogs

В рубрике интересных наборов данных World Bank’s Open Night Lights [1] коллекция снимков ночной Земли на которой можно увидеть распределение обитаемой зоны человечества по интенсивности искусственного света. Особенность этого набора данных в том что он доступен как общедоступный набор данных на Amazon AWS [2] и через Stac Server [3] по спецификации STAC [4]

Данные в форматах GeoTIFF и, что немаловажно, это очень подробное и буквально с азов руководство по тому как с этими данными работать [1].

В 2020 году пара исследователей из Университета Мичигана публиковали код который анализировал эти снимки и позволял оценить уровень доступа к электричеству по странам New Methods to Estimate Electricity Access Using Nightly VIIRS Satellite Imagery [5]

На основе этих данных уже написано некоторое количество статей [6], например, по отслеживанию экономической активности при COVID-19 в Морокко и предсказанию бедности по общедоступным данным.

И это ещё далеко не самое интересное что можно делать на основе спутниковых снимков для создания альтернативных данных.

Ссылки:
[1] https://worldbank.github.io/OpenNightLights/welcome.html
[2] https://registry.opendata.aws/wb-light-every-night/
[3] https://stacindex.org/catalogs/world-bank-light-every-night#/
[4] https://stacspec.org
[5] https://github.com/zachokeeffe/nightlight_electrification
[6] https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=%22OpenNightLights%22&btnG=

#opendata #datasets #remotesensing #geospatial

В рубрике интересных наборов данных Global ML Building Footprints [1] набор данных георасположения зданий по всему миру созданный компанией Microsoft в рамках Bing Maps на основе спутниковой и аэрофотосъёмки Maxar, Airbus и IGN France. В репозитории краткая документация и скрипты загрузки, а также ссылка на список всех файлов этого набора данных представленный в виде CSV [2]. В том числе этот набор данных даёт геоданные по странам где публичных геоданных немного: Россия, Казахстан, Кыргызстан, Армения, Туркменистан, Афганистан и многое другое. На мой взгляд датасет сильно недооценённый и очень интересный.

Первая его версия вышла в июле 2022 года и с тех пор неоднократно данные обновлялись, последний раз в марте 2023 года данными по Японии и по Северной Америке.

Сейчас в нём более 1.03 миллиарда зданий. Кроме того набор данных доступен под свободной лицензией ODbL, изначально создавался для интеграции в OpenStreetMap и кроме него существует ещё несколько наборов меньшего объёма с данными по зданиям в США, Австралии, Канаде, Уганде и Танзании, Южной Африке, Кении и Нигерии и Юго-восточной Азии, на них есть ссылки в этом репозитории.

Эти же данные есть в Microsoft Planetary Computer [3] доступные через платформу Azure и через API по стандарту STAC.

Как и во многих других случаях это из тех примеров когда можно найти интересные негосударственные данные о стране/странах за их пределами с потенциально большей достоверностью и свободой использования

Ссылки:
[1] https://github.com/microsoft/GlobalMLBuildingFootprints
[2] https://minedbuildings.blob.core.windows.net/global-buildings/dataset-links.csv
[3] https://planetarycomputer.microsoft.com/dataset/ms-buildings

#opendata #datasets #microsoft #geospatial