К вопросу о том как сейчас в России обстоит дело с открытостью в целом и открытыми данными:
1. Всё ещё высокий уровень открытости административных данных (деятельность органов власти, базовая информация о лицензировании, выдаче разрешений и тд).
2. Больше открытых данных из государственных информационных систем, в первую очередь в виду роста числа информационных систем и их модернизации. Постепенный рост доступности данных об экономике (ФНС России и др)
3. Снижение открытости как политической ответственности: снижение объёмов раскрытия данных о декларациях чиновников, сокрытие данных о поставщиках по некоторым типам контрактам, сокрытие сведений о субсидиях
4. Снижение числа потребителей открытости: признание инагентами СМИ и НКО, снижение числа независимых СМИ, уголовные дела против журналистов расследователей. Что толку от доступности данных и даже того что госорганы могут ответить на запрос если никто не спросит и не использует?
5. Сохранение низкого уровня открытости всего что связано с качеством жизни, демографией, здравоохранением, правоохраной и образованием. Особенно на гиперлокальном уровне: город, район, муниципалитет.
6. Неработаюющие механизмы соучастия граждан и экспертов в нормотворчестве (игнорирование отзывов граждан по всем ключевым проектам законов и постановлений). Полный отказ от механизма со-написания законопроектов гражданами, ещё примерно 6 лет назад и без возвращения к этой практике.
7. Нефункциональная роль общественных советов при всех органах власти. Никто не может даже подсчитать расходы на их существование. Никто не решается сказать что, как обязательная конструкция, они не работают. А там где польза есть их можно заменить на консультативные органы, которые, ожидаемо, будут состоять из лоббистов.

Если резюмировать, то ситуация следующая.
С одной стороны данных много и вопреки многим другим трендам их становится больше, но... Ровно до тех пор пока кто-то из журналистов расследователей или иных заинтересованных сторон не вскрывают коррупцию или иные нарушения на основе этих данных. После чего именно эти данные закрывают или иным способом ограничивают.

Поэтому экономическая основа у открытости данных ещё есть, а вот политическая основа размывается. А общественная реакция идёт именно на политическую, а не на экономическую или административную открытость. А есть ли кто-то у нас в стране кто оценивает политическую открытость? Нет, таких нет.

#opendata #opengov

Современный отраслевой портал данных выглядит как Allen Brain Map Data Portal [1] и включает не только возможность скачать данные и просмотреть их наглядно, но открытый код в виде SDK, а также документацию, API, научные статьи с результатами и ещё многое другое имеющее отраслевую специфику, в данном случае, в области изучения мозга.

Ссылки:
[1] https://portal.brain-map.org/

#opendata #datascience

Свежий экспериментальный проект от Google по изучению зависимостей в проектах с открытым кодом - Open Source Insights [1].

Даёт немало информации о том какие лицензии используются, от каких проектов проект зависит и какие зависят от него. В целом хорошее подспорье для разработчиков озабоченных юридическими сторонами кода и зависимостями от другого кода.

Пока поддерживаются только управление пакетами: npm, Maven, Cargo, Go. Обещают PyPi и NuGet.

Пока API и данные не опубликовали, но думаю что скоро они тоже появятся.

Ссылки:
[1] https://deps.dev

#opensource

Для тех кто интересуется состоянием открытых данных в России, вот некоторые цифры:
- за 2020 год на федеральном портале открытых данных было опубликовано 223 набора данных, за 5 месяцев 2021 года - только 2 набора данных
- всего с 2020 года объём этих 225 наборов данных - 405 мегабайт из которых более 390 мегабайт - это данные Минкультуры России и ФНС России (и то есть подозрение что цифры завышены потому что в реестре наборов данных есть дублирующиеся записи. Скорее всего реально данных значительно меньше)
- лишь 9 178 наборов данных из 24 002 опубликованы федеральными органами власти, остальные региональными и муниципальными
- 10 ФОИВов не опубликовали ни одного нового набора данных с 2013 года (за 8 лет)
- 20 ФОИВов не опубликовали ни одного нового набора данных с 2015 года (за 6 лет)
- 42 ФОИВа не опубликовали ни одного нового набора данных с 2017 года (за 4 лет)
- 68 ФОИВов не опубликовали ни одного нового набора данных с 2019 года (за 2 года)
- иначе говоря в 2020 и 2021 года лишь 6 ФОИВов разместили хотя бы один новый набор данных на портале открытых данных
- некоторые ФОИВы, при этом, кое что опубликовали на своих сайтах, но куда меньше чем раньше и чем могли бы
- общий объём опубликованных данных на портале data.gov.ru оценить сложно, сайт не даёт статистики, API сайта очень куцое, требуется очень много запросов сделать чтобы подсчитать хоть самые приблизительные цифры, но они будут невелики.
- параллельно этому на сайтах и FTP серверах органов власти опубликовано открытых данных примерно на 20 терабайт. Количественно - это сотни наборов данных, качественно - это данные большого объёма.
- безусловные лидеры по масштабам раскрытия данных - Минкультуры, ФНС России, Федеральное казначейство, Минфин России. Даже при том что тенденции там не только к раскрытию, текущие объёмы доступных данных очень велики.

#opendata #stats

Свежий стартап Stemma [1] по созданию удобного каталога данных получили $4.8m от фонда Sequoia [2] и пишут подробно о том что они делают и собираются делать [3]. Они делают управляемый каталог данных на базе Amundsen [4] продукта каталога данных с открытым кодом ранее опубликованным Lyft. При этом обещают расширение метаданных, создание документации на лету и многое другое.

Всё это очень похоже на основные тренды в развитие корпоративных каталогов данных в мире сейчас:
- автоматическое документирование
- автоматическая классификация структуры данных (полей) и их связывание
- расширяемые структуры метаданных включая автоматическое заполнение метаданных там где возможно
- отслеживание происхождения данных (data lineage)

И ещё довольно много функций необходимых для корпоративных каталогов данных. Продукт у них интересный, надеюсь скоро его можно будет увидеть не только как демо. Тем временем конкуренция на рынке ПО для корпоративной каталогизации данных растёт, продуктов всё больше, автоматизации всё больше. Уже даже просто интересно кто первым заявит о решении AI for data catalogs, ПО с самоорганизацией данных. Не такая уж фантастика это.

Ссылки:
[1] https://www.stemma.ai/
[2] https://techcrunch.com/2021/06/02/stemma-launches-with-4-8m-seed-to-build-managed-data-catalogue/
[3] https://medium.com/stemma/stemma-helping-you-trust-your-data-7b5db9c8923c
[4] https://www.amundsen.io/


#opendata #datacatalogs

Открыто голосование на CIPR Digital [1], премии к конференции ЦИПР. Неожиданно, в номинации цифровых медиа [2] есть и мой канал в телеграм [3]. Не проходите мимо, поддержите голосом, Вам несложно, а мне приятно;)

Ссылки:
[1] https://award.cipr.ru
[2] https://award.cipr.ru/nominanty-cifrovye-media/
[3] https://yangx.top/begtin

#votes #awards

Про текущее состояние открытых данных в России в блоге Инфокультуры на Хабре [1] и там же простой опрос по тому как Вы оцениваете текущую ситуацию. На хабре текст шире чем то что я публиковал ранее и, конечно, позже в течение года будет больше цифр и данных о данных.

Ссылки:
[1] https://habr.com/ru/company/infoculture/blog/562076/

#opendata

Я тоже хотел об этом написать, но Ольга @ahminfin меня опередила. Особенно интересно что во многих странах создали специальные порталы/разделы на порталах по прозрачности расходов, покупки вакцин и иных действий при COVID-19, а у нас даже сайта с данными не создали;)

Managing Covid Funds: the Accountability Gap

Международное бюджетное партнерство (выпускающее Open Budget Index) опубликовало отчет о том, как Правительства 120 стран реагировали на COVID19 и какие меры бюджетно-налоговой политики принимали.

Исследование сосредоточено на трех важных направлениях подотчетности: доступ граждан к соответствующей информации, механизмы надзора и возможность вовлечения граждан.

С помощью исследователей из 120 стран было отобрано 400 политик (наборов политических инициатив, направленных на устранение последствий ЧС, связанных с COVID-19, в период с марта по сентябрь 2020 года), а затем самый крупный или самый важный документ был оценен с точки зрения прозрачности, надзора и участия.

Результаты исследования опубликованы в виде интерактивного сайта, отчета и данных по каждой стране: https://internationalbudget.org/covid/

В Высшей школе экономики разместили в открытом доступе сервис "Оценка синтаксической сложности нормативных текстов" для проверки языка нормативных документов [1]. Сервис, безусловно, полезный, надеюсь он будет активно применяться российскими нормотворцами, а у каждого законопроекта будет автоматическая оценка его сложности. Ко всему прочему результаты проекта также весьма интересны по оценке сложности российских законов [2] и открытые данные в виде корпуса российских законов [3].

Из пожеланий, сервису нехватает API и подробностей методологии, но и в таком виде он будет полезен.

А я напомню что ещё много лет назад в @infoculture мы создали сервис "Простой русский язык" который даёт оценку сложности любого текста [4]. Этот сервис не так сложно устроен как сервис от НИУ ВШЭ и он не затачивался под законы, а скорее на общедоступные простые тексты. Главное что его код открыт [5] включая все формулы используемые для расчёта. Подробнее о том как он создавался я писал на Хабре несколько лет назад [6]

Я от себя добавлю что давно думаю над актуализацией сервиса по простоте языка, но не могу найти под это ни коммерческого, ни общественного заказчика. Большинство вполне устраивает текущий сервис и другие инструменты, как ни странно. Вот только для нормативных документов он плохо применим, это правда.

Так что надеюсь проект который делает команда НИУ ВШЭ будет развиваться и применяться на практике.

Ссылка:
[1] http://lawreadability.hse.ru
[2] http://lawreadability.hse.ru/project-results/
[3] http://lawreadability.hse.ru/data-sources/
[4] https://plainrussian.ru/
[5] https://github.com/infoculture/plainrussian
[6] https://habr.com/ru/post/239511/

#opendata #plainrussian #plainlanguage

Для тех кто интересуется состоянием госинформатизации, госсайтами и госдоменами и тд. несколько

Это результаты анализа 7694 доменов используемых сайтами органов власти.

Госдомены используемые для эксплуатации государственных информационных систем, прописанных в эксплуатационных и нормативных документах и зарегистрированных на физических лиц
- govprograms.ru - Портал государственных программ Российской Федерации, его часть с которой работают лица ответственные за внесение данных. Прописан в документации сданной подрядчиком по контрактам на его создание и на других ресурсах
- osrpn.ru - сайт общественного совета Росприроднадзора
- fond-kino.ru - сайта федерального фонда социальной и экономической поддержки отечественной кинематографии
- tvroscosmos.ru - сайт телестудии Роскосмоса
- attestatcia.ru - Информационная система "ИС Аттестация" Миннауки и высшего образования РФ
- gosarm.ru - непонятного назначения система Минцифры России
- scmks.ru - ситуационный центр Минцифры России
- rg-des.ru - официальный сайт рабочей группы при Совете при Президенте Российской Федерации по развитию гражданского общества и правам человека по общественному контролю за проведением санитарно-эпидемиологических мероприятий (ощущения официальности, конечно, там минимальное, зато какое название "насыщенное").

Госорганы и структуры при них использующие почту Google для официальной переписки
- president-sovet.ru - совет по правам человека при Президенте РФ
- yadonor.ru - портал ФМБА России
- apkpro.ru - сайт академии Минпросвещения России

Использующие Cloudflare как CDN:
- zhit-vmeste.ru - портал Минтруда "Доступная среда"
- myrosmol.ru - портал Росмолодёжи
- scmks.ru - ситуационный центр Минцифры России

Факты:
- IPv6 используется лишь на менее 0.1% всех госдоменов
- зависимость от зарубежной инфраструктуры реально снизили, раньше почту Google для домена и иные инфраструктурные сервисы использовали чаще

А я напомню что наболее полный реестр госдоменов публикуется в репозитории на Github [1]. Он синхронизирован с большой базой на Airtable где собраны все домены, ASN, информационные системы и связанные с ними сведения. Этот реестр создавался для целей архивации госсайтов, но можно применять и в исследованиях госинфраструктуры. Например, у меня никак не дойдут руки проверить наличие https у госдоменов и протухание сертификатов. Но это уже в сфере инфобеза что в стороне от моих основных интересов, хотя и должно быть в интересах ответственных госорганов.

И, конечно, спектр доменов относящих к гос-ву куда больше. Со всеми бюджетными учреждениями их должно быть около 50-70 тысяч только на федеральном и региональном уровне.

Ссылки:
[1] https://github.com/infoculture/govdomains/

#government #domains

В последнее время реже пишу в канал поскольку был занят к подготовкой к нескольким мероприятиям.

Сегодня в 10 утра доклад на экспертной площадке "Государство как платформа", всё онлайн (происходит в Москве).

А далее с 13 часов по московскому времени (15 по местному) в течение 4 часов в Ханты-Мансийске на ИТ форуме Югра на Форсайт-сессии "Сохранение документально-исторического наследия в эпоху цифровой трансформации" где буду рассказывать про проекты в рамках Национального цифрового архива [1].

Трансляция должна быть на сайте форума [2].

Презентацию я обязательно опубликую онлайн чуть позже пока же скажу что веб-архивация в частности и цифровая архивация - это моё давнее хобби которое стало частью работы в @infoculture. У неё есть историко-культурное применение, но есть и практическое, когда вопрос стоит об архивации, например, порталов открытых данных и иных баз данных.

Ссылки:
[1] https://ruarxive.org
[2] https://itforum.admhmao.ru/2021/

#events #data #government #archives #webarchives

Для тех кто умеет работать с данными, знает английский язык и очень хочет помогать человечеству, в рубрике Вакансии на канале - вакансия Data Engineer [1] для проекта Humanitarian Data Exchange как части деятельности UNOCHA (Управление по координации гуманитарных вопросов при ООН).

Особенно обратите внимание что Qualified female candidates are strongly encouraged to apply. У квалифицированных дата-инженеров женщин явные преимущества.

Ссылки:
[1] https://jobs.unops.org/pages/viewvacancy/VADetails.aspx?id=21896

#data #dataengineering #vacancies

Моя презентация про современную веб-архивацию со вчерашнего мероприятия по цифровым архивам.

Специально для тех кто интересуется тем как устроены современные веб-архивы, как организуется индексация ресурсов, какие инструменты цифровой архивации существуют.

Ссылки:
[1] https://www.beautiful.ai/player/-McI4bfED3MDU9iGX9Q3

#webarchives #archives

А есть и такие новости

Санкт-Петербург отказался от портала открытых данных

Портал открытых данных Санкт-Петербурга (data.gov.spb.ru), запущенный в 2014 году, теперь перенаправляет пользователей на сайт ИС «Система классификаторов Санкт-Петербурга» (classif.gov.spb.ru). Наборы данных портала открытых данных, судя по всему, были также перенесены.

Причины такого странного объединения непонятны, ведь классификаторы являются частью открытых данных, а вот открытые данные намного шире, чем классификаторы. В конце апреля портал открытых данных еще был доступен :(.

Главная беда с открытостью данных в России не в низком уровне открытости, а в тенденции её уменьшить в последние годы. Я лишь приведу несколько значимых примеров:
- в 2019 году официально закрыт портал открытых данных Московской области [1]. Система АИСОД выведена из эксплуатации.
- в 2021 году закрыт портал открытых данных Санкт-Петербурга. Он без анонса объединён с порталом классификаторов [2]. При том что, конечно же, классификаторы - это подвид открытых данных, а не наоборот.
- в Республике Кабардино-Балкарии портал открытых данных был выведен из эксплуатации в 2019 году и, хотя его обещали запустить, но он по прежнему недоступен [3]
- у некоторых субъектов Российской Федерации порталов открытых данных никогда и не существовало, примеры: Республика Дагестан, Республика Северная Осетия, Брянская область, Псковская область. Некоторые данные публикуются на ряде сайтов РОИВов
- в большинстве случаев федеральных инициатив про данные и иных форм обязательств открытые данные не упоминаются. Например, никакого упоминания открытых данных есть в НСУД [4] (Национальная система управления даными) или в ведомственных программах цифровой трансформации.
- ожидания у пользователей снижаются, большинство считает что ситуация с открытыми данными становится хуже [5]
- и, конечно, качество данных в среднем от плохого к очень плохому. Данные не актуализируются, содержат неверные сведения, инструменты их публикации не имеют обратной связи, диалога с разработчиками нет и ещё многое другое.

К чему это всё? В этом году мы проведем такой обзор и мониторинг с акцентом на регионы и представим результаты реальной картины происходящего.

Ссылки:
[1] https://mits.mosreg.ru/download/document/4267260
[2] https://classif.gov.spb.ru
[3] https://pravitelstvo.kbr.ru/opendata/
[4] http://nsud.info.gov.ru/
[5] https://habr.com/ru/company/infoculture/blog/562076/

#opendata #opengov #russia

Роскомнадзор предложил легализовать просмотр порно для прошедших вакцинацию от коронавируса. (c) народное творчество

А если ещё более несерьёзно о серьёзном, то инициатива авторизовывать россиян желающих просмотреть порнографию, через Госуслуги [1], конечно же, прекрасный памятник нашей сюрреалистичной эпохе. Я к нему могу добавить сразу несколько дополнений:
- создать реестр отечественных производителей порно контента и обеспечить им дополнительные преимущества. Иначе говоря импортозамещение должно быть важным приоритетом развития отечественной порноиндустрии
- конечно же важно помнить что порнографические сайты - это ещё и социальные сети, их локализация на территории России совершенно необходима
- государство должно обеспечить социальную доступность услуг, включив в систему социального обслуживания населения карточки на порно для маломобильных граждан и социально уязвимых групп
- создать госкорпорацию РосПорноТехнологии и передать ей в оперативное управление архивы трафика созданные телеком провайдерами для исполнения "закона Яровой" (это же крупнейший порно архив, включая платный контент)

Ссылки:
[1] https://ria.ru/20210616/porno-1737236234.html

#rosgosporn

В Швейцарии на портале открытых данных появился новый раздел Evidat [1] на котором Swiss Federal Institute for Forest Snow and Landscape Research WSL (исследовательский центр леса, снега и территорий) [2] публикует данные собственных исследований.

Изначально эти данные публиковались и публикуются на одноимённом портале Envidat.ch [3], но как данные доступные только исследователям, а теперь они стали открытыми данными. Можно обратить внимание на стратегии доступа к открытым данным в Европе и США в том чтобы выгружать на порталы открытых данных наборы данных из репозиториев ограниченного доступа. В первую очередь репозиториев исследователей.

Много ли таких репозиториев в России, спросите Вы? Да, много. Сотни и тысячи репозиториев научных учреждений и институтов. Публикуются ли их данные? Нет, не публикуются. Инвентаризируются ли они? Нет, давно не инвентаризируются

Ссылки:
[1] https://opendata.swiss/de/organization/wsl
[2] https://www.wsl.ch/en/index.html
[3] https://www.envidat.ch

В Коммерсанте статья о том Минэкономразвития РФ раскритиковали текущую модель предустановки отечественного ПО [1] поскольку это создаёт дискриминационные условия другим российским разработчикам и, честно говоря, я с этим абсолютно согласен.

Честно говоря я считаю что единственно допустимые модели вмешательства государства тут только в двух возможных решениях:
1) Запрет на предустановку любого ПО и запрет на невозможность удаления любого ПО. Неважно западное это ПО или российское - любое ПО должно иметь возможность удаления, впрочем это и так реализуют или сделают крупнейшие апп сторы.
2) Создание каталога ПО по категориям с пометкой "Проверено Минцифрой". Если уж Минцифра берёт на себя ответственность за то что у нас стоит на телефонах и тд. то пусть и сделают каталог и по каждой категории несколько приложений разных игроков, а не только сверх-крупный-монопольный-бизнес.

Ссылки:
[1] https://www.kommersant.ru/doc/4858731

#mobile #apps #regulation