Присоединяйтесь ко Дню открытых данных 2025 — #ODD2025

01.03.2024, 11:00-16:00 (GMT +3), День открытых данных 2025 (https://opendataday.ru/msk) — это ежегодное международное мероприятие, которое помогает продвигать концепцию открытых данных среди органов государственной власти, бизнес-корпораций, некоммерческих организаций и гражданского общества.

Мероприятие пройдет в онлайн формате.

Мы подготовили для аудитории сессии докладов, презентации кейсов и мастер-классы по актуальным вопросам различных направлений открытости и отдельных проектов.
Приглашаем исследователей, дата инженеров, аналитиков, урбанистов, разработчиков, ИТ-специалистов, дата-журналистов и других участников российского движения открытости и любителей данных во всех их формах.

#opendata #russia #events

Полезные ссылки про данные, технологии и не только:
- Economic Implications of Data Regulation [1] отчёт ОЭСР про последствия регулирования данных в контексте ИИ, персональных данных и глобальных платформ. В частности новый термин в словарь - data free flows with trust (DFFT).
- Trump has free rein over Dutch government data [2] один из примеров того что в ЕС всё больше журналистов, активистов и чиновников поднимают вопрос о Европейском цифровом суверенитете. Что-то напоминает, да? В основе страхов мюнхенская речь Вэнса и санкции против Международного уголовного суда
- Health Data Preservation Project [3] проект по архивации данных о здравоохранении в США. В целом там сейчас более 20 проектов архивации научных и государственных данных, многие объединяют усилия в этой области
- Language Data Commons of Australia Data Portal [4] портал данных открытых языковых ресурсов в Австралии. Существенная их часть - это аудиозаписи, но их тоже относят к данным.
- Wikipedia Recognized as a Digital Public Good [5] Википедия признана Цифровым общественным благом. Что, наверняка, неплохо для фонда Викимедия. Вся эта инициатива под эгидой одноименного альянса связанного с UNICEF и UNDP.

Ссылки:
[1] https://www.oecd.org/en/publications/economic-implications-of-data-regulation_aa285504-en.html
[2] https://ioplus.nl/en/posts/trump-has-free-rein-over-dutch-government-data
[3] https://healthjournalism.org/resources/health-data-preservation-project/
[4] https://data.ldaca.edu.au
[5] https://wikimediafoundation.org/news/2025/02/12/wikipedia-recognized-as-a-digital-public-good/

#opendata #digitalpreservation #dataregulation #readings

Для тех кто пользуется Интернет Архивом (web.archive.org) не все знают что у него кроме официального API есть ещё и неофициальное с помощью которого, например, можно получить информацию о том проиндексирован ли сайт/веб страница и как давно и как часто.

Вот пример такого кода на Python
—
import http.client

conn = http.client.HTTPSConnection("web.archive.org")
payload = ''
headers = {
'Sec-Fetch-Mode': 'cors',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0',
'Referer': 'https://web.archive.org'
}
conn.request("GET", "/__wb/sparkline?output=json&url=https://fas.gov.ru&collection=web&=null", payload, headers)
res = conn.getresponse()
data = res.read()
print(data.decode("utf-8"))
—
Для сайта ФАС России (fas.gov.ru) ответ будет выглядеть вот так
—
{"years":{"2005":[0,2,1,1,0,2,2,2,1,0,1,2],"2006":[0,3,0,3,4,3,5,8,4,6,3,1],"2007":[6,5,3,2,1,3,2,0,1,13,2,3],"2008":[2,2,2,1,1,0,1,0,2,4,1,3],"2009":[1,4,3,3,2,2,2,2,3,1,1,7],"2010":[4,4,4,4,0,0,2,1,2,2,2,3],"2011":[2,2,2,2,4,1,7,2,3,5,1,1],"2012":[5,12,9,13,10,9,9,10,8,5,14,20],"2013":[25,12,13,8,4,2,3,6,4,4,8,29],"2014":[33,29,32,29,30,15,18,22,16,20,13,3],"2015":[14,4,7,3,5,18,0,11,3,16,28,25],"2016":[28,24,36,23,5,21,7,16,24,23,33,46],"2017":[30,30,32,18,12,14,14,15,14,18,20,18],"2018":[10,5,12,7,5,9,8,14,15,8,10,9],"2019":[8,6,13,13,10,12,12,10,26,21,15,24],"2020":[10,27,32,26,25,27,24,27,24,30,13,6],"2021":[20,23,18,24,20,39,18,34,19,33,19,27],"2022":[162,112,0,2,1,0,0,0,0,0,0,0],"2023":[0,0,0,0,0,3,2,0,0,1,2,6],"2024":[17,2,0,60,90,80,10,0,0,0,0,0]},"first_ts":"20050203182849","last_ts":"20240705005432","status":{"2005":"422242222422","2006":"424222222222","2007":"222222242222","2008":"222224242222","2009":"222222222222","2010":"222244222222","2011":"222222222222","2012":"222222222222","2013":"222222222222","2014":"222222222222","2015":"222222422222","2016":"222222222222","2017":"222222222222","2018":"222222222222","2019":"222222222222","2020":"222222222222","2021":"222222222222","2022":"224334444444","2023":"444443344222","2024":"234222344444"}}
—
Из него можно узнать что последняя его индексация была в июле 2024 года (!) и не было индексации в 2025 году. Это означает что, либо вся подсеть, либо краулер Интернет Архива там заблокированы как минимум уже 7 месяцев.

Аналогично со многими другими сайтами. Я об этом писал ранее, а теперь можно проверить насколько заархивированы сайты с помощью API.

Что это означает?
1. Значительная часть официального контента российских государственных сайтов теперь отсутствует в Интернет Архиве
2. Необходимо архивировать их самостоятельно и с IP адресов в России

#webarchives #digitalpreservation

В продолжение предыдущей публикации про API веб архива, приведу в пример текущее состояние архивации веб-сайтов российских ФОИВов Интернет Архивом (web.archive.org).

Это результаты самой поверхностной проверки, но можно увидеть что как минимум веб-сайты Минсельхоза РФ и Фельдъегерской службы не архивируются уже почти 3 года, а ряд других 9 месяцев. Если сайт Фельдъегерской службы никого не волнует, по большому счёту, то сайт Минсельхоза уже важнее. И это только поверхностная проверка потому что для ряда сайтов веб архив блокируется с возвращением 403 ошибки. Например, сайт Росархива тоже попадёт в этот список потому что веб архив сохранял его именно с ошибками.

Рано или поздно мы снова начнём архивационную кампанию по сохранению сайтов российских госорганов в рамках Национального цифрового архива (ruarxive.org). Это стало сильно сложнее поскольку теперь официальный контент часто просто невозможно индексировать, приходится прикладывать дополнительные усилия. Но хотя бы можно сохранить то что точно не попадает в веб-архив Интернет Архива.

P.S. Кроме сайтов ФОИВ аналогичная ситуация с большей частью сайтов региональных органов власти и государственных информационных систем.

#digitalpreservation #webarchives #ruarxive #russia

Ещё один проект по быстрому созданию приложений на основе датасетов Preswald [1]. С открытым кодом, под лицензией Apache 2.0, вместо low code/no-code пропагандируют принцип Code-First Simplicity (минимальный, но необходимый код), а также декларативное программирование через конфигурацию в toml файлах.

Когда и кому такой инструмент зайдёт? Тем кому нужно быстро визуализировать данные в наглядном виде и предоставлять их в таком виде пользователям. В этом смысле продукт похож чем-то на Observable или Datasette [2] .

На мой взгляд в части демонстрации возможностей инструмента команда как-то сильно недорабатывает, не видно интерактивных демо, а с другой стороны это же просто ещё один инструмент в копилку аналогичных. Возможно, полезный в будущем.

Ссылки:
[1] https://github.com/StructuredLabs/preswald
[2] https://datasette.io

#opensource #datatools

Давно хотел нарисовать диаграмму понятным языком объясняющую как выбирать лицензию для публикуемых датасетов. Вернее, вначале хотел написать текстом разные сценарии, а потом понял что визуально то понятнее.

Так что вот Вам готовая схема для принятия решений убрал только усложняющие пункты типа "Надо всё согласовывать с юристами?" или "Не хотите ни за что отвечать?". Ну да их в какой-нибудь следующей версии

Всё сделано с помощью Mermaid диаграмм декларативным описанием.

#licenses #data #diagrams

Полезные ссылки про данные, технологии и не только:
- I Have Written You A Book On Forensic Metascience [1] о книге по перепроверке научных работ, книга небольшая и очень практически ориентированная
- GovWayback [2] сервис для простого просмотра сайтов органов власти США до 20 января 2025 года (инаугурации пр-та Трампа). Надстройка над Интернет Архивом, повышающее удобство проверки изменений на этих сайтах
- Kroki. Creates diagrams from textual descriptions! [3] бесплатное API и открытый код по генерации диаграмм и графиков из текстового описания. Поддерживает множество нотаций: BlockDiag (BlockDiag, SeqDiag, ActDiag, NwDiag, PacketDiag, RackDiag), BPMN, Bytefield, C4 (with PlantUML) и многие другие

Ссылки:
[1] https://jamesclaims.substack.com/p/i-have-written-you-a-book-on-forensic
[2] https://govwayback.com/
[3] https://kroki.io

#digitalpreservation #digramming #openaccess

Для тех кто всегда интересовался как глобальные корпорации следят за пользователями, научная статья The New Digital Divide [1] от исследователей из Microsoft о том как они проанализировали данные телеметрии с 40 миллионов компьютеров под управлением Windows в США. Там много разных выводов о том как инфраструктура влияет или не влияет на цифровые навыки и про корреляции между разными показателями.

И это только по данным телеметрии установки ПО и на основе данных по частоте и продолжительности использования настольных приложений.

Ссылки:
[1] https://www.nber.org/papers/w32932

#data #privacy #readings #research #microsoft

В рубрике интересных наборов данных Ransomwhere [1] проект по отслеживанию выплат в криптовалютах шантажистам. Помимо того что данные можно просмотреть на сайте, их также можно скачать в виде датасета [2] и цитировать в научных работах.

В датасете информация о транзакциях включая адреса Bitcoin'а для куда шантажистам переводили средства.

Ссылки:
[1] https://ransomwhe.re
[2] https://zenodo.org/records/13999026

#opendata #datasets #cryptocurrency