В рубрике как это работает у них, портал открытых данных Абу Даби (ОАЭ) [1]

На портале 3329 наборов данных, внутри используется движок DKAN, поверх него работает фронтэнд который взаимодействует с этим движком через API.

Из плюсов: несколько API реального времени, симпатичный дизайн, регулярное обновление, данные доступны файлами и через API

Из минусов: не поддерживает стандарты экспорта метаданных вроде DCAT, лукавят с цифрами наборов данных потому что разрезали некоторые наборы данных помесячно.

Ссылки:
[1] https://data.abudhabi

#opendata #opengov #uae

Во второй раз за пару дней репощу @ahminfin, на сей раз про культуру "открытости" коммуникации ЦБ РФ. Хотелось бы сказать, они же публикуют данные и не всё так плохо, но... на деле то у ЦБ данных очень много и они рассеяны по всему их сайту и никогда не сводились в каталог для доступа. Максимум, что было - это что-то доступно через API, но далеко, далеко не всё. Учитывая что Пр-во РФ давно уже сползает от открытости данных к "открытости коммуникаций" с заведением аккаунтов в соцсетях госорганов, то можно пронаблюдать как такие коммуникации происходят. ЦБ, конечно, не орган власти, но всё очень и очень показательно;)

#opengov #russia #bankofrussia

Честно говоря у меня в сегодняшних планах не было ничего связанного со Счетной палатой, но сегодня публично вышел их доклад по открытости гос-ва. Я ещё несколько месяцев назад думал что у оставшихся там коллег хватит ума и совести такой доклад не выпускать, но думал зря. Ссылку специально не даю, его несложно найти, впрочем и интерес к нему уже исключительно искусствоведческий по предмету "Искусство манипуляции".

Говоря коротко - всё плохо, особенно плохо что там засветились ребята из Если быть точным которых я ещё недавно хвалил. Зря хвалил похоже, очень зря(

Большую часть того что происходит на самом деле Вы и так читали в моём телеграм канале все эти годы. А самое главное, идущее вне категорий, что открытость невозможна без тех кто открытостью пользуется - журналистов и НКО, в первую очередь. В ситуации массовых репрессий против них и отсутствие их упоминаний весь доклад, как бы помягче, ну в общем вы меня поняли.

Я сегодня позже разберу подробнее что там не так.

#opendata #russia #opengov

Как Вы думаете сколько Excel файлов опубликовано на сайте российского ЦБ ? Более 18 тысяч, в форматах XLS и XLSX, даже если предположить что большая часть из них это ежемесячные файлы в повторяющейся структуре - это будет сотни-тысячи наборов данных. Сколько Excel файлов публикуется другими органами власти - сотни тысяч, причём в развитых странах, как правило, большая их часть - это не продукт ручной работы, а экспорт из внутренних систем органов власти.

Ещё когда только-только появлялись первые порталы открытых данных я говорил что собрать десятки тысяч, сотни тысяч файлов наборы данных не является сложной задачей. Сложности не в том чтобы собрать, а в том чтобы собрать полезное и поддерживать сообщество вокруг. В мире, по моим наблюдениям, это лучше всего получается во Франции и в Испании, но не только, просто везде разные акценты. В США на бесконечном объёме научных и геоданных, в Европе на геоданных и на high-value datasets и так далее.

Всё проще когда данных много в общедоступных государственных информационных системах и когда открытые данные худо-бедно существуют. Поэтому на российских общественных порталах открытых данных вроде Хаба открытых данных (hubofdata.ru) мы не стали собирать бесконечное количество Excel файлов, хотя они в наличии всегда были.

Сложнее когда этих систем мало или когда они устаревают и получить структурированные данные из них сложно. Поэтому, к примеру, портал открытых данных Армении (data.opendata.am) который мы создали включает те немногие данные что были доступны онлайн, но многие источники не в стране, а порталы вроде WorldPop или Humanitarian Data Exchange. Внутри страны открытые данные как открытые данные органами власти практически не публикуют. Мы сейчас собрали 810 наборов данных, что немало для страны с населением чуть менее 3 миллионов человек, но есть ещё много других данных

Что возвращает нас к всего лишь нескольким способам их создания:
1. Попросить у госорганов. Написать в госорганы в Армении запрос на публикацию существующих данных как открытых. Скорее всего займёт много времени и ответы в стиле "спасибо что написали, но у нас на это денег нет", что во, многом, правда.
2. Извлечь из существующих информационных систем и дата-каталогов. Их список известен (https://registry.commondata.io/country/AM) и частично это уже сделано, но данных там не так много как хотелось бы.
3. Вернуться к идее сбора Excel файлов по госсайтам и не просто парсить HTML таблицы, а собрать и систематизировать опубликованные реестры и иные данные с официальных госсайтов: правительства, министерств, служб, региональных правительств (марзов) и так далее. Это даст возможность собрать ещё несколько тысяч наборов данных.
4. Самоограничить себя до сбора high-value datasets и их размещения в открытом доступе, а то есть тех данных которые:
- обладают большим объёмом
- имеют множественное практическое применение
- хорошо визуализирутся
- весьма востребованы

Такие данные тоже есть, например, все законы в РА из системы ARLIS.

Как бы то ни было, идея в автоматизации сбора Excel файлов с сайтов органов власти меня до конца не покинула, она не то чтобы совсем проста, но не слишком сложна в реализации.

#opendata #opengov #armenia

Немного отвлекаясь от темы данных, хотя и отчасти соприкасаясь с темой открытости данных, есть такое явление в России, как минимум, последние 6 лет, как снижение институциональной прозрачности. Оно касается доступности информации о ключевых решениях властей всех уровней, в особенности нормативных документов, бюджетов, государственных программ, планов, дорожных карт и много-го другого. Всё то что позволяет принимать осмысленные решения всем кто с государством взаимодействует.

Это снижение происходило, как в данных, например, исчезновение реестра субсидий, закрытие отчётов об исполнении бюджетов или учредителей НКО, так и в сведениях которых может быть открытыми данными не были, но имели значение. Например, я много писал о том что главное всех новых инициатив Пр-ва и Национальных проектов в их запредельной непрозрачности. Некоторые документы, например, структуру фед.проекта по Искусственному интеллекту можно найти только в базе Консультант Плюс, но не на сайте Правительства РФ или в официальных базах законодательства, Да и у самого документа нет статуса нормативного документа, а "всего лишь" он решение президиума правкомиссии. Зато есть множество пропагандистских проектов расхваливающих инициативы Пр-ва, есть аккаунты в министерств в соцсетях, причём даже "приближенных к народу", постящих гороскопы, как в соцсетях Минфина РФ.

К этим же событиям можно отнести и засекречивание крайне значительного числа указов и распоряжений Президента РФ и очень многое другое. На фоне активной цифровизации государственного патернализма, вроде госуслуг, и других "тяжёлых" госсистем, полностью замерло всё что касалось повышению прозрачности. Не появилось единого портала по прозрачности гос-ва с централизованной публикацией всех деклараций, портал открытых данных ещё до исчезновения был в замороженно-мусорном состоянии, был закрыт портал Госрасходы (spending.gov.ru) да и даже такое банальное явление как публикация нормативных текстов в виде текстов до сих пор не решена, официальное опубликование документов на publication.pravo.gov.ru до сих пор осуществляется сканами. Да, для справки, это единственный сайт официального опубликования, а не сайт Пр-ва, Пр-та или ГД.

А недавно я искал такую банальщину как состав экспертного совета по ИИ при РКН (ещё вернее при ГРЧС, но новости о нём только на РКН) и ничего нет.

Такого много, это не измеряется внешними или внутренними индексами и рейтингами, а все СМИ и НКО которые подобное отслеживали признаны иноагентами или нежелательными организациями.

Нет, это началось задолго до военных действий и не закончится когда эти военные действия закончатся. Оно началось когда окончательно стало понятно что РФ не вернётся в G8 и не вступит в ОЭСР.

Всё это при том что изначально уровень институциональной прозрачности был достаточно высок чтобы казалось что процесс её снижение идёт очень медленно. Но важное отличие не только в уровне, но и в тренде.

#thoughts #transparency #openness #opengov #opendata

Вот уже долгое время у меня в задачах висит провести опрос по поводу российского дня открытых данных. Мы в @infoculture проводим его уже много лет, в последние годы, начиная с ковидных годов дистанционно. Не проводили только в 2022 году. В 2024 году будем проводить, и российский, дистанционно и в Ереване, армянский, вживую.

Поэтому, во первых, если Вы хотите запартнёрится к организации ODD в России или в Армении то напишите мне в личку или на почту ivan@begtin.tech, а если хотите выступить спонсором так точно пишите)

С темами армянского ODD всё довольно понятно, мы его проводить будем в первый раз и в ситуации когда всё только начинается. А вот с темами того что обсуждать в России всегда есть вопрос, большой вопрос.

Самые очевидные темы:
- закрытие данных/сведений/документов/сайтов
- архивация данных везде где возможно
- оценка/обзор потенциальных госинициатив (портал данных для ИИ), которые пока незаметны, но обещаны
- что-то ещё?

Большой опрос под это делать не хочется, так что следующим постом я размещу мини-опрос в телеграме чтобы было понятно по каким темам собирать спикеров.

#opendata #russia #armenia #opengov #events

В рубрике как это устроено у них Правительство Бразилии обновило план действий по открытости государства на 2023-2027 годы, он есть на сайте Open Government Partnership [1]. Он включает список сделанного за 2023 год и перечень следующих шагов.

Что было сделано:
- Появилась процедура партисипаторного планирования когда граждане участвуют в принятии решения по долгосрочным государственным программам. Это как партисипаторное бюджетирование, но долгосрочное
- Произошло расширение Transparency, Integrity, and Anti-Corruption Council (CTICC), специального совета из граждан и чиновников по обеспечению прозрачности. Решено расширить его включением большего числа представителей гражданского общества и НКО
- Был создан Social Participation Office (Офис по социальному участию) при Президенте - содействует вовлечению граждан в деятельность гос-ва. Начиная с партисипаторного бюджетирования и продолжая другими подобными инициативами

Что планируется:
- Разработку Open Government Strategy единой стратегии, которая охватит все стороны открытости гос-ва в стране
- Внедрение партисипаторного бюджетирования в бюджетный процесс
- Множество континентальных мероприятий по открытости таких как: Open Region, Condatos и др

И ещё множество обязательств (commitments) по открытости и по доступности данных. В Бразилии открытость данных имеет чёткий акцент на противодействии коррупции. В целом же очень много усилий по вовлечению граждан во все стороны деятельности гос-ва.

Ссылки:
[1] https://www.opengovpartnership.org/es/documents/brazil-action-plan-2023-2027-december/

#opendata #opengov #brazil