Managing Covid Funds: the Accountability Gap

Международное бюджетное партнерство (выпускающее Open Budget Index) опубликовало отчет о том, как Правительства 120 стран реагировали на COVID19 и какие меры бюджетно-налоговой политики принимали.

Исследование сосредоточено на трех важных направлениях подотчетности: доступ граждан к соответствующей информации, механизмы надзора и возможность вовлечения граждан.

С помощью исследователей из 120 стран было отобрано 400 политик (наборов политических инициатив, направленных на устранение последствий ЧС, связанных с COVID-19, в период с марта по сентябрь 2020 года), а затем самый крупный или самый важный документ был оценен с точки зрения прозрачности, надзора и участия.

Результаты исследования опубликованы в виде интерактивного сайта, отчета и данных по каждой стране: https://internationalbudget.org/covid/

В Высшей школе экономики разместили в открытом доступе сервис "Оценка синтаксической сложности нормативных текстов" для проверки языка нормативных документов [1]. Сервис, безусловно, полезный, надеюсь он будет активно применяться российскими нормотворцами, а у каждого законопроекта будет автоматическая оценка его сложности. Ко всему прочему результаты проекта также весьма интересны по оценке сложности российских законов [2] и открытые данные в виде корпуса российских законов [3].

Из пожеланий, сервису нехватает API и подробностей методологии, но и в таком виде он будет полезен.

А я напомню что ещё много лет назад в @infoculture мы создали сервис "Простой русский язык" который даёт оценку сложности любого текста [4]. Этот сервис не так сложно устроен как сервис от НИУ ВШЭ и он не затачивался под законы, а скорее на общедоступные простые тексты. Главное что его код открыт [5] включая все формулы используемые для расчёта. Подробнее о том как он создавался я писал на Хабре несколько лет назад [6]

Я от себя добавлю что давно думаю над актуализацией сервиса по простоте языка, но не могу найти под это ни коммерческого, ни общественного заказчика. Большинство вполне устраивает текущий сервис и другие инструменты, как ни странно. Вот только для нормативных документов он плохо применим, это правда.

Так что надеюсь проект который делает команда НИУ ВШЭ будет развиваться и применяться на практике.

Ссылка:
[1] http://lawreadability.hse.ru
[2] http://lawreadability.hse.ru/project-results/
[3] http://lawreadability.hse.ru/data-sources/
[4] https://plainrussian.ru/
[5] https://github.com/infoculture/plainrussian
[6] https://habr.com/ru/post/239511/

#opendata #plainrussian #plainlanguage

Для тех кто интересуется состоянием госинформатизации, госсайтами и госдоменами и тд. несколько

Это результаты анализа 7694 доменов используемых сайтами органов власти.

Госдомены используемые для эксплуатации государственных информационных систем, прописанных в эксплуатационных и нормативных документах и зарегистрированных на физических лиц
- govprograms.ru - Портал государственных программ Российской Федерации, его часть с которой работают лица ответственные за внесение данных. Прописан в документации сданной подрядчиком по контрактам на его создание и на других ресурсах
- osrpn.ru - сайт общественного совета Росприроднадзора
- fond-kino.ru - сайта федерального фонда социальной и экономической поддержки отечественной кинематографии
- tvroscosmos.ru - сайт телестудии Роскосмоса
- attestatcia.ru - Информационная система "ИС Аттестация" Миннауки и высшего образования РФ
- gosarm.ru - непонятного назначения система Минцифры России
- scmks.ru - ситуационный центр Минцифры России
- rg-des.ru - официальный сайт рабочей группы при Совете при Президенте Российской Федерации по развитию гражданского общества и правам человека по общественному контролю за проведением санитарно-эпидемиологических мероприятий (ощущения официальности, конечно, там минимальное, зато какое название "насыщенное").

Госорганы и структуры при них использующие почту Google для официальной переписки
- president-sovet.ru - совет по правам человека при Президенте РФ
- yadonor.ru - портал ФМБА России
- apkpro.ru - сайт академии Минпросвещения России

Использующие Cloudflare как CDN:
- zhit-vmeste.ru - портал Минтруда "Доступная среда"
- myrosmol.ru - портал Росмолодёжи
- scmks.ru - ситуационный центр Минцифры России

Факты:
- IPv6 используется лишь на менее 0.1% всех госдоменов
- зависимость от зарубежной инфраструктуры реально снизили, раньше почту Google для домена и иные инфраструктурные сервисы использовали чаще

А я напомню что наболее полный реестр госдоменов публикуется в репозитории на Github [1]. Он синхронизирован с большой базой на Airtable где собраны все домены, ASN, информационные системы и связанные с ними сведения. Этот реестр создавался для целей архивации госсайтов, но можно применять и в исследованиях госинфраструктуры. Например, у меня никак не дойдут руки проверить наличие https у госдоменов и протухание сертификатов. Но это уже в сфере инфобеза что в стороне от моих основных интересов, хотя и должно быть в интересах ответственных госорганов.

И, конечно, спектр доменов относящих к гос-ву куда больше. Со всеми бюджетными учреждениями их должно быть около 50-70 тысяч только на федеральном и региональном уровне.

Ссылки:
[1] https://github.com/infoculture/govdomains/

#government #domains

В последнее время реже пишу в канал поскольку был занят к подготовкой к нескольким мероприятиям.

Сегодня в 10 утра доклад на экспертной площадке "Государство как платформа", всё онлайн (происходит в Москве).

А далее с 13 часов по московскому времени (15 по местному) в течение 4 часов в Ханты-Мансийске на ИТ форуме Югра на Форсайт-сессии "Сохранение документально-исторического наследия в эпоху цифровой трансформации" где буду рассказывать про проекты в рамках Национального цифрового архива [1].

Трансляция должна быть на сайте форума [2].

Презентацию я обязательно опубликую онлайн чуть позже пока же скажу что веб-архивация в частности и цифровая архивация - это моё давнее хобби которое стало частью работы в @infoculture. У неё есть историко-культурное применение, но есть и практическое, когда вопрос стоит об архивации, например, порталов открытых данных и иных баз данных.

Ссылки:
[1] https://ruarxive.org
[2] https://itforum.admhmao.ru/2021/

#events #data #government #archives #webarchives

Для тех кто умеет работать с данными, знает английский язык и очень хочет помогать человечеству, в рубрике Вакансии на канале - вакансия Data Engineer [1] для проекта Humanitarian Data Exchange как части деятельности UNOCHA (Управление по координации гуманитарных вопросов при ООН).

Особенно обратите внимание что Qualified female candidates are strongly encouraged to apply. У квалифицированных дата-инженеров женщин явные преимущества.

Ссылки:
[1] https://jobs.unops.org/pages/viewvacancy/VADetails.aspx?id=21896

#data #dataengineering #vacancies

Моя презентация про современную веб-архивацию со вчерашнего мероприятия по цифровым архивам.

Специально для тех кто интересуется тем как устроены современные веб-архивы, как организуется индексация ресурсов, какие инструменты цифровой архивации существуют.

Ссылки:
[1] https://www.beautiful.ai/player/-McI4bfED3MDU9iGX9Q3

#webarchives #archives

А есть и такие новости

Санкт-Петербург отказался от портала открытых данных

Портал открытых данных Санкт-Петербурга (data.gov.spb.ru), запущенный в 2014 году, теперь перенаправляет пользователей на сайт ИС «Система классификаторов Санкт-Петербурга» (classif.gov.spb.ru). Наборы данных портала открытых данных, судя по всему, были также перенесены.

Причины такого странного объединения непонятны, ведь классификаторы являются частью открытых данных, а вот открытые данные намного шире, чем классификаторы. В конце апреля портал открытых данных еще был доступен :(.

Главная беда с открытостью данных в России не в низком уровне открытости, а в тенденции её уменьшить в последние годы. Я лишь приведу несколько значимых примеров:
- в 2019 году официально закрыт портал открытых данных Московской области [1]. Система АИСОД выведена из эксплуатации.
- в 2021 году закрыт портал открытых данных Санкт-Петербурга. Он без анонса объединён с порталом классификаторов [2]. При том что, конечно же, классификаторы - это подвид открытых данных, а не наоборот.
- в Республике Кабардино-Балкарии портал открытых данных был выведен из эксплуатации в 2019 году и, хотя его обещали запустить, но он по прежнему недоступен [3]
- у некоторых субъектов Российской Федерации порталов открытых данных никогда и не существовало, примеры: Республика Дагестан, Республика Северная Осетия, Брянская область, Псковская область. Некоторые данные публикуются на ряде сайтов РОИВов
- в большинстве случаев федеральных инициатив про данные и иных форм обязательств открытые данные не упоминаются. Например, никакого упоминания открытых данных есть в НСУД [4] (Национальная система управления даными) или в ведомственных программах цифровой трансформации.
- ожидания у пользователей снижаются, большинство считает что ситуация с открытыми данными становится хуже [5]
- и, конечно, качество данных в среднем от плохого к очень плохому. Данные не актуализируются, содержат неверные сведения, инструменты их публикации не имеют обратной связи, диалога с разработчиками нет и ещё многое другое.

К чему это всё? В этом году мы проведем такой обзор и мониторинг с акцентом на регионы и представим результаты реальной картины происходящего.

Ссылки:
[1] https://mits.mosreg.ru/download/document/4267260
[2] https://classif.gov.spb.ru
[3] https://pravitelstvo.kbr.ru/opendata/
[4] http://nsud.info.gov.ru/
[5] https://habr.com/ru/company/infoculture/blog/562076/

#opendata #opengov #russia

Роскомнадзор предложил легализовать просмотр порно для прошедших вакцинацию от коронавируса. (c) народное творчество

А если ещё более несерьёзно о серьёзном, то инициатива авторизовывать россиян желающих просмотреть порнографию, через Госуслуги [1], конечно же, прекрасный памятник нашей сюрреалистичной эпохе. Я к нему могу добавить сразу несколько дополнений:
- создать реестр отечественных производителей порно контента и обеспечить им дополнительные преимущества. Иначе говоря импортозамещение должно быть важным приоритетом развития отечественной порноиндустрии
- конечно же важно помнить что порнографические сайты - это ещё и социальные сети, их локализация на территории России совершенно необходима
- государство должно обеспечить социальную доступность услуг, включив в систему социального обслуживания населения карточки на порно для маломобильных граждан и социально уязвимых групп
- создать госкорпорацию РосПорноТехнологии и передать ей в оперативное управление архивы трафика созданные телеком провайдерами для исполнения "закона Яровой" (это же крупнейший порно архив, включая платный контент)

Ссылки:
[1] https://ria.ru/20210616/porno-1737236234.html

#rosgosporn

В Швейцарии на портале открытых данных появился новый раздел Evidat [1] на котором Swiss Federal Institute for Forest Snow and Landscape Research WSL (исследовательский центр леса, снега и территорий) [2] публикует данные собственных исследований.

Изначально эти данные публиковались и публикуются на одноимённом портале Envidat.ch [3], но как данные доступные только исследователям, а теперь они стали открытыми данными. Можно обратить внимание на стратегии доступа к открытым данным в Европе и США в том чтобы выгружать на порталы открытых данных наборы данных из репозиториев ограниченного доступа. В первую очередь репозиториев исследователей.

Много ли таких репозиториев в России, спросите Вы? Да, много. Сотни и тысячи репозиториев научных учреждений и институтов. Публикуются ли их данные? Нет, не публикуются. Инвентаризируются ли они? Нет, давно не инвентаризируются

Ссылки:
[1] https://opendata.swiss/de/organization/wsl
[2] https://www.wsl.ch/en/index.html
[3] https://www.envidat.ch

В Коммерсанте статья о том Минэкономразвития РФ раскритиковали текущую модель предустановки отечественного ПО [1] поскольку это создаёт дискриминационные условия другим российским разработчикам и, честно говоря, я с этим абсолютно согласен.

Честно говоря я считаю что единственно допустимые модели вмешательства государства тут только в двух возможных решениях:
1) Запрет на предустановку любого ПО и запрет на невозможность удаления любого ПО. Неважно западное это ПО или российское - любое ПО должно иметь возможность удаления, впрочем это и так реализуют или сделают крупнейшие апп сторы.
2) Создание каталога ПО по категориям с пометкой "Проверено Минцифрой". Если уж Минцифра берёт на себя ответственность за то что у нас стоит на телефонах и тд. то пусть и сделают каталог и по каждой категории несколько приложений разных игроков, а не только сверх-крупный-монопольный-бизнес.

Ссылки:
[1] https://www.kommersant.ru/doc/4858731

#mobile #apps #regulation

Весьма интересное исследование "Serving the Citizens—Not the Bureaucracy" [1] от Sascha Haselmayer о том как реформировать городские закупки. В цифрах закупки городов - это $6.4 триллиона или 8% ВВП и текст посвящён тому как сделать их приличными.

Документ полезный для понимания о том "как там у них" и сравнить с тем "как тут у нас". От российских реалий он далёк, но к тому как можно организовать закупки-здорового-человека интересен.

Ссылки:
[1] https://www.thechicagocouncil.org/research/report/serving-citizens-not-bureaucracy

#procurement

Дорогие сотрудники, класть туалетную бумагу вместе с жёваными газетами и наждачной бумагой мы приняли в целях оптимизации затрат на их хранение (с).

А если серьёзно, то, конечно, очень странное решение Комитета информатизации Санкт-Петербурга. Оптимизация - это понятно, непонятно её направление.

Получила ответ о причинах отказа от портала открытых данных СПб (https://yangx.top/ahminfin/397)от Комитета по информатизации и связи Санкт-Петербурга о том, что порталы были объединены для оптимизации затрат на сопровождение информационных систем. Причина понятна, но она не объясняет нелогичность объединения, т.к. открытые данные частью классификаторов не могут быть, а вот наоборот - вполне.

Ответило Правительство СПб через ВКонтакте чуть больше чем за сутки (с учетом необходимости получения ответа от Комитета, отличный результат). Продолжу поиск логики уже через обращения.

Кстати, подписчики подсказывают, что и на сайте Электронного атласа сломалась выгрузка данных (https://geoclass.gov.spb.ru/?map=1/11/30.333595/59.936096/0/).

Под вечер пятницы разбавлю регулярные новости рассуждениями.

Я тут было думал поругаться в адрес разного рода докладов и исследований, но понял что на каждый ругаться невозможно, времени не напасёшься на содержательные отзывы. Поэтому я поделюсь личной болью которую я ощущаю когда читаю некоторые (частые) документы отраслевого анализа.

И начну с нескольких тезисов:
1. Есть условные 3 подхода к анализу какой-то отрасли/проблемы/новой технологии.
1.1. Первый - академический, с попыткой соблюдения научной достоверности, ссылками и так далее. Обычно его придерживаются полноценные исследовательские центры .
1.2. Второй - консультативный. Многочисленные консультанты пишут тексты где достаточно смысла чтобы их читали и хотели подробностей, но недостаточно чтобы сделать выводы. Цель - продажа услуг, вполне понятная.
1.3. Экспертно/коммерческий - когда есть компании в отрасли и от них напрямую, их групп или ассоциаций готовится аналитика. Опять же модель понятная - повлиять на регуляторов и продвинуть свои продукты/компетенции
2. Конечно, реальность чуть сложнее, но основные направления эти три.
3. "Нюансы" возникают при смешении жанров. Если доклад пишут консультанты, исследователи и представители бизнеса вместе, то это не добавляет ему репутации/веса, а скорее лишает. Такие исследования оказываются несбалансированными, с очень разным качеством разных частей. Потому что интересы разных авторов разные.
4. Более глубокая проблема в конфликтах интересов. При смешении авторского состава лоббисты перемешиваются с исследователями и часто указываются не от их бизнес интересов. В таких исследованиях деклараций конфликтов интересов нет и они легко вводят в заблуждение читателя, предполагающего по знакомым авторам-исследователям что это исследовательский продукт.
5. Но это не так, смешение профессиональных авторов и "молодых исследователей" или лоббистов или статусных авторов или иных не имеющих к данной теме лиц - это инструмент легализации "экспертов". Создание экспертной видимости для людей не имеющих реального опыта, знаний и компетенций.
6. Таких докладов немало, не один, не два, это довольно популярный жанр в России, хорошо воспринимаемый некоторыми "высокими начальниками"
7. При этом нет ничего урного в исследованиях от коммерческих компаний. Более того они часто бывают хорошо подготовлены, а их эксперты обладают реальным опытом. Но для читающих их лиц принимающих решения в голове всегда есть пометка о коммерческой стороне лоббируемых интересов.
8. Смешение научного, коммерческого (да и консультативного) - это такой способ легализации знания с изначально заложенными конфликтами интересов.

Лично я считаю что незадекларированные конфликты интересов в исследованиях, публикация их от организаций "пустышек" или с непрозрачным финансированием - это, конечно, противоречит этике любой профессиональной экспертной работы.

Как-нибудь я постараюсь изложить всё это более подробно, а пока вот в такой краткой форме.

#studies #thoughts

О том как устроена работа с открытым кодом у Правительства Италии. В Италии есть большое сообщество open source разработчиков работающих на государство и публикующих исходный код. В аккаунте italia [1] на Github собраны их проекты и большой обзор сделанного в репозитории awesome-italia [2]. Например, там есть ещё и список наиболее интересных итальянских открытых данных Awesome Italian public datasets [3]

Но эта группа не единственная, практика раскрытия исходного кода в Италии есть у разных групп государственных разработчиков. Они все объединены на портале Developers Italia [4] где, в том числе, есть открытый каталог ПО созданного по заказу итальянских органов власти и публикуемых с открытым кодом. Оно называется Software A Riuso[5] (повторно используемо ПО).

Сейчас там 172 продукта о которых можно сказать следующее:
- для всех из них указаны: адрес публикации кода, ссылка на документацию, контакты и "оценка жизненности" (Vitalita)
- каждый проект проходит проверку на соответствие (комплаенс) для GDPR, руководству по дизайну [6], минимальным требованиям безопасности [7] и ещё ряду других
- большая часть кода опубликована на Github и в ряде случаев на экземплярах Gitlab органов власти. Всё в открытом доступе
- код раскрывается разработчиками в рамках контракта с органом власти или передаётся в Итальянское цифровое агентство (AGiD) [8] и раскрывается ими на их Github аккаунте
- для того чтобы формирование каталога было автоматизировано, в каждом репозитории разработчики создают файл publiccode.yml (пример [9]) в котором заполняют все необходимые метаданные. Кстати, разработчики оформили заполнение этого файла в стандарт [10] и сделали онлайн редактор [11]

В Италии удалось построить активное сообщество с открытым кодом, удаётся публиковать довольно много кода госпроектов онлайн, хорошо документировать свою работу и ещё многое другое. Это хороший пример на то чтобы обратить внимание как подобное может быть организовано в других странах.

Ссылки:
[1] https://github.com/italia/
[2] https://github.com/italia/awesome-italia
[3] https://github.com/italia/awesome-italian-public-datasets
[4] https://developers.italia.it/
[5] https://developers.italia.it/it/search?type=software_reuse&sort_by=relevance&page=0
[6] https://developers.italia.it/it/software/agid-agid-wai-portal
[7] https://www.agid.gov.it/it/sicurezza/misure-minime-sicurezza-ict
[8] https://www.agid.gov.it/
[9] https://github.com/Comune-Milano/ModelloDigitalizzazione/blob/main/publiccode.yml
[10] https://github.com/publiccodeyml/publiccode.yml
[11] https://publiccode-editor.developers.italia.it/

#opensource #government

Свежее исследование Tasks, Automation, and the Rise in US Wage Inequality [1] о том как в США за последние 40 лет снижалась средняя зарплата у групп работников в области рутинных типовых функций. Анализ охватывает с 1980 по 2016 год и возможен только благодаря тому что в США раскрываются подробнейшие сведения по группам населения при переписи и доступна статистика занятости.

Важнее подтверждённые выводы о том что зарплаты людей выполняющих типовую работу снижаются, одновременно с автоматизацией их работы.

Ссылки:
[1] https://www.nber.org/papers/w28920

#robotics #statistics

На следующей и через неделю мы от Ассоциации участников рынка данных и Инфокультуры проводим две экспертные сессии о том как бизнес предоставляет данные НКО, исследователям и госорганам для решения социальных проблем (пандемии, катастрофы, преступность, экология, длительность жизни, бедность) и так далее. И как исследователи, НКО, государственные органы используют эти данные или могли бы использовать.

Состав уже довольно представительный и содержательный, будет речь о том как это происходит в мире, какую пользу приносит и какова мотивация всех участнков.

Ещё есть время в программе, поэтому если есть те готовы не просто послушать, а ещё и рассказать о своём опыте с любой из этих сторон, пишите мне на [email protected] или в телеграм @ibegtin. Нужны подробности: какую организацию представляете, ФИО и краткие тезисы на 10-15 минут.

Мероприятия пройдут 25-го и 29-го июня. Их результаты пойдут в разработку модели коммуникации бизнеса и исследователей, НКО и государства.

В течение года мы ещё вернёмся к этой теме на более широко, открыто, с большими панелями на больших конференциях, а сейчас это именно экспертные встречи на 2-3 часа.

Также предварительный анонс - от АУРД мы будем проводить серию мероприятий до конца года. По тематикам: - государственные данные в региональном/муниципальном разрезе
- персональные данные и рынок обмена
- открытые данные по отраслям/территориям
- доступ к государственным информационным системам

и ещё по ряду направлений.

Что-то будет только онлайн, что-то в гибридном формате.

Если у Вас есть предложения по мероприятиям, готовность выступить с интересной историей и тд. пишите мне также на [email protected]

И напоминаю что АУРД - это ассоциация участников рынка данных, в ассоциацию входят представители бизнеса, НКО и университетов. Для некоммерческих организаций и университетов/образовательных организаций членство в ассоциации бесплатно, для бизнеса оно настолько велико что можно вступать без зазрения совести.

#data #opendata #events

В блоге Amazon текст How the cloud is helping us better understand and manage the oceans [1], о том как Amazon предоставляет свою инфраструктуру для крупных исследовательских проектов на данных и про их инициативу The Amazon Sustainability Data Initiative (ASDI) [2] когда Amazon выдает свои ресурсы в виде грантов и иной формы помощи проектам по исследованиям окружающей среды, включающим очень большие объёмы данных.

Многие из этих данных опубликованы в реестре больших наборов данных Amazon'а [3], трудно даже измерить их реальный объём. Но, тем самым, мы приходим к двум важным изменениям:
1. Очень скоро большая часть data-rich исследований переместится в облака и всё больше решений для учёных будет публиковаться именно там.
2. За счёт ADI и не только Amazon стремительно движется в сторону инфраструктурной монополии на некоторые типы данных. В определенный момент окажется что если хочешь вести исследования в какой-то теме, то у тебя и выбора особо нет, другие способы будут сильно дороже.

В России нет ничего подобного, я знаю немало общественных проектов с очень большими наборами данных которым проще разместить их в Amazon, Google, Azure, Github и других площадках чем где-либо в России, потому что в России нет возможности хранить бесплатно большие объёмы.

Ссылки:
[1] https://aws.amazon.com/ru/blogs/publicsector/how-cloud-helping-us-better-understand-manage-oceans/
[2] https://sustainability.aboutamazon.com/environment/the-cloud/asdi
[3] https://registry.opendata.aws/collab/asdi/

#opendata #amazon #environment #datasets

Хуже утечек персональных данных у российских госорганов - это сотрудники органов власти и госучреждений публикующих списки людей с их паспортными данными, адресами, номерами СНИЛС и так далее в открытом доступе.

Вот к примеру в одном из муниципальных районов официально выложен на сайте "СПИСОК ГРАЖДАН СОСТОЯЩИХ НА УЧЁТЕ В КАЧЕСТВЕ НУЖДАЮЩИХСЯ В ЖИЛЫХ ПОМЕЩЕНИЯХ, ПРЕДОСТАВЛЯЕМЫХ ПО ДОГОВОРАМ СОЦИАЛЬНОГО НАЙМА" в виде Excel файла.

В других случаях выложены договоры, паспортные данные ИП получившего лицензию на транспортные перевозки или граждан получающих социальные выплаты из муниципального бюджета или победителей спортивных соревнований.

Мало в каких странах в таких объёмах требуют персональные данные гражданина и одновременно так халатно к этому относятся.

#privacy #personaldata