В рубрике как это устроено у них специализированные OpenDAP Hyrax порталы для публикации океанографических и климатических данных. Развивается одноимённой НКО [1], изначально создано в научных центрах NOAA и поддерживается 3-мя агентствами в США: NOAA, NSF и NASA, а также Австралийским метеорологическим бюро.

Поддерживает множество стандартов публикации данных таких как HDF4, HDF5, NetCDF3, NetCDF4, FITS, NcML, THREDDS и другие.

Применяется, как минимум, в паре десятков проектов связанных с данными об океанах и климате по всему миру. Например:
- http://servdap.legi.grenoble-inp.fr/opendap/hyrax/
- https://ladsweb.modaps.eosdis.nasa.gov/opendap/hyrax/
- https://ppdb.us.edu.pl/opendap/

Как правило, раскрываемые в этих серверах данные большого объёма, по несколько терабайт на каждой инсталляции и содержат преимущественно численные значения.

Другие продукты в этой области это ERDDAP [2] и THREDDS Data Server (TDS) [3], также имеют только это узкое применение.

В принципе особенность развития работы с данными в климатологии и наук о Земле в наличие большого числа каталогов данных, открытых данных, но по собственным стандартам, в специализированном ПО, не пересекающимися, ни с наиболее популярными инструментами в data science, ни с открытыми данными.

Ссылки:
[1] https://www.opendap.org
[2] https://www.ncei.noaa.gov/erddap/index.html
[3] https://www.unidata.ucar.edu/software/tds/

#opendata #climate #meteorology #datacatalogs #thredds #opendap

Свежая AI модель предсказания погоды от NASA и IBM [1] причём модель обучена была на множестве GPU, а запустить её можно на настольном компьютере.

Причём модель эта была построена на базе датасета MERRA-2 [2] с более чем 40 годами наблюдения за Землёй

Ссылки:
[1] https://research.ibm.com/blog/foundation-model-weather-climate
[2] https://gmao.gsfc.nasa.gov/reanalysis/MERRA-2/

#opendata #datasets #data #climate #ai

Продолжая тему данных о климате и наблюдении за океанами и морями, проект SeaDataNet [1] пан-Европейская инициатива по упрощению доступа к данным морских исследований. Включает поиск по более чем 3 миллионам наборам данных [2] которые являются пробами, наблюдениями и так далее.

Большая часть данных происходит из Франции, более 1.1 миллиона записей, но много данных и из России, порядка 182 тысяч записей.

Данные есть из практически всех европейских и многих околоевропейских стран с выходом к морю. Поэтому данные, к примеру, из Грузии есть, а из Армении нет.

Почти все данные под лицензией Creative Commons, но для доступа нужна регистрация.

Это другой пример очень специфических отраслевых данных, можно обратить внимание что поиск по ним по собственным уникальным фильтрам таким как: морской регион, координаты, научная дисциплина, способ получения данных и так далее.

Привязка данных связана скорее с географическим положением, чем с административными границами.

Ссылки:
[1] https://www.seadatanet.org/
[2] https://cdi.seadatanet.org/search

#opendata #climate #oceans #europe #datacatalogs #datasearch