Наглядная визуализация с открытым кодом того что происходит внутри LLM моделей [1]. Исходный код доступен [2] как и научная статья от авторов Transformer Explainer: Interactive Learning of Text-Generative Models [3]

Ссылки:
[1] https://poloclub.github.io/transformer-explainer/
[2] https://github.com/poloclub/transformer-explainer
[3] https://arxiv.org/abs/2408.04619

#opensource #llm #ai #datatools

[RU] Мы работаем над созданием общественного геопортала Армении где можно было бы наглядно смотреть на открытые геоданные, скачивать их, сравнивать, делать визуализации. И для этого мы собираем общедоступные геоданные.

Некоторые источники геоданных уже известны, это:
- проект Sustainable Caucasus [1]
- портал Центра экологических исследований РАН Армении [2]
- портал о земле ArmSIS [3] (более недоступен)
- портал ООН, Humanitarian Data Exchange [4]

С одной стороны геоданных много, и многие уже собраны на data.opendata.am, а с другой точки зрения всегда мало.

Если Вы знаете интересные источники геоданных по Армении/об Армении/Армянских культуре и истории в мире, просим поделиться ими, можно письмом на [email protected] или в чате в телеграм @opendataamchat.

Данные могут быть в форматах KML, SHP, GeoJSON, GML, API Esri ArcGIS, WFS, WMS, GPX и многие другие.

[EN] We are working on the creation of a public geoportal of Armenia where it would be possible to visually look at open geodata, download them, compare them, make visualizations. And for this purpose we are collecting publicly available geodata.

Some sources of geodata are already known, they are:
- Sustainable Caucasus project [1]
- the portal of the Environmental Research Center of the Armenian Academy of Sciences [2]
- ArmSIS land portal [3] (no longer available)
- UN portal, Humanitarian Data Exchange [4].

On the one hand there is a lot of geodata, and many are already collected on data.opendata.am, but on the other hand there is always not enough.

If you know interesting sources of geodata on Armenia/about Armenia/Armenian culture and history in the world, please share them, you can send an email to [email protected] or chat in telegram @opendataamchat.

Data can be in KML, SHP, GeoJSON, GML, Esri ArcGIS API, WFS, WMS, GPX and many other formats.

Ссылки:
[1] https://sustainable-caucasus.unepgrid.ch
[2] http://og.cens.am:8081/
[3] http://armsis.cas.am/
[4] https://data.humdata.org/group/arm

#opendata #geodata #geoportal #armenia #request

В качестве регулярных напоминаний о том где взять открытые данные:

Списки на Github
- awesome-public-dataset один из крупнейших списков общедоступных данных
- awesome-citygml - список доступных 3D моделей городов, много, по разным странам
- awesome-gis в основном открытый код для ГИС, но и раздел с геоданными
- awesome-opendata-rus довольно давно ещё собранный нами в Инфокультуре и пополняемый контрибьюторами список данных по РФ
- awesome-italian-public-dataset список открытых данных в Италии
- awesome-syntetic-data список инструментов по генерации синтетических данных

Каталоги каталогов данных
- Dateno Registry реестр каталогов данных который мы ведём в Dateno
- datacatalogs.org каталог порталов открытых данных от Open Knowledge Foundation
- datacatalogs.ru каталог порталов открытых данных в РФ и постсоветском пространстве от Инфокультуры

Поисковики по данным
- Dateno.io поисковик по более чем 15 миллионов наборов данных, со множеством фасетов и источников
- Google Dataset Search поисковик по датасетам от Google. На сегодняшний день крупнейший в мире
- BASE (Bielefeld Academic Search Engine) один из крупнейших поисковиков по научным данным
- OpenAIRE Explore европейский поисковик и агрегатор по научным данным ЕС и не только.
- Findata.cn китайский поисковик по научным данным Китая и данным связанным с Китаем от Китайской Академии Наук
- SciDb.cn китайский агрегатор научных данных, аналог OpenAIRE
- GeoSeer единственный известный мне поисковик по геоданным (кроме Dateno, конечно)

Крупные [над]национальные порталы открытых данных
- Data.europa.eu портал открытых данных Евросоюза
- Data.gov портал открытых данных США
- Data.gov.uk портал открытых данных Великобритании

Данные для ИИ и обучения нейросетей
- Kaggle крупнейший каталог данных для ИИ, поддерживается Google
- Hugging Face большое сообщество дата сайентистов и каталог данных

#opendata #datasets #data

Кстати, я совсем упустил, а ещё месяц назад с организаторы конференции Smart Data выложили видео моего прошлогоднего доклада Common Data Index. Строим аналог Google Dataset Search, но проще и быстрее [1] про пред-проект Dateno. По сути Common Data Index был идеей собрать все каталоги данных, а Dateno сейчас это уже полноценный поисковый индекс.

Ссылки:
[1] https://www.youtube.com/watch?v=IWLNlHTo9M0

#opendata #data #datasets #datacatalogs