Написал большой текст об отсутствии этики работы с данными как будущую проблему доверия с государству
https://begtin.tech/data-trust/

Заодно напомню об интересном исследовании доверия на 2019 год: Edelman Trust Barometer https://www.edelman.com/

Уровень доверия граждан не только государству, но и доверия в целом - очень низкий. Но плохо не только это, беда в том что доверие падает.

#trust #data

Небольшое, но нужное и важное обновление нашего небольшого проекта по созданию базу всех госдоменов и госсайтов. В репозиторий [1] выложен файл feddomains.csv [2] с доменами относящимся к федеральной власти размеченным по органам власти, типам сайтов, статусу (действует/не действует) и так далее.

Всего это 7577 доменов, не все, но значительная, если не подавляющая часть их включено.

К каждому домены собираются сведения:
- название
- тип сайта
- орган власти/организация
- статус
- государственная информационная система
- регион, если есть региональная привязка

Пока полностью завершена только привязка домена к госоргану/организации

Не завершены: классификация сайтов по типу, не заполнены данные по госсистемам, пока очень немного заполнено по региональной привязке.

Все домены можно также просмотреть в Airtable [3] где ведется оригинал базы данных.

Зачем это нужно? Первая и основная задача - это необходимо для архивации сайтов в рамках национального цифрового архива [4], другие задачи включают вопросы мониторинга приватности, например, проверку использования HTTPS вместо HTTP и доверенные сертификаты. По аналогии с pulse.cio.gov в США [5].

Дополнительно отмечу что весь этот маленький проект ведётся внутри Информационная культура без какого-либо финансирования. Фактически мы за Минкомсвязь РФ делаем их работу. Пусть хотя бы начнут пользоваться и мониторить госинфраструктуру, потому что есть подозрения что они сами не знают как там всё устроено;)

Вот некоторые цифры и факты:
- более 2500 сайтов (33% от общего числа) - это сайты судов и судебной системы из системы ГАС Правосудие
- чуть более 11% госдоменов находятся в зоне .gov.ru,
- не все домены в зоне .gov.ru ведутся госорганами, есть те которые ведут учреждённые государством НКО
- до сих пор у многих сайтов первичен доменный префикс www
- список доменов неполон, за эти годы несколько госорганов создали "фермы-сайтов" которые будет крайне сложно переносить на один домен, если правительство такое когда-либо задумает. Такие "фермы сайтов" есть у Минобороны, МВД, Судебного департамента, Следственного комитета, Роспотребнадзора и многих других.
- часть госорганов перевели все региональные сайты терр управлений на общий домен, а домены субъектов теперь перенаправляют на него. так сделали ПФР, ГИБДД, ФНС и др.
- сейчас почти не включены домены госучреждений, но они собраны из первосточников и тоже есть в репозитории.

Очищенные данные, исходный код и первичные данные - все выложены на GitHub. В конечном итоге результатом будет собранная база данных, API и веб интерфейс надстройки. И охват всех уровней власти конечно.

Ссылки:
[1] https://github.com/infoculture/govdomains/
[2] https://github.com/infoculture/govdomains/tree/master/refined
[3] https://airtable.com/invite/l?inviteId=inviQBG5Acys5mrEn&inviteToken=0b5ac06d25a4e88470b1c2916fcc4941008dd2dcb312dcfe88bdc2841af9774b
[4] http://ruarxive.org
[5] https://pulse.cio.gov

#opendata #data #government #domains

На проходящем в России RIW Аналитический центр при Пр-ве РФ, ИРИ и Ассоциация больших данных представили свой этический кодекс работы с данными [1]. Лично я как руководитель другой ассоциации - АУРД (Ассоциация участников рынка данных) не могу его не прокомментировать, сделаю это тезисами.

1. Этот кодекс разрабатывали именно АЦ при Правительстве, ИРИ и Ассоциация больших данных. Наша ассоциация к нему никакого отношения не имела, мы не видели его ни в черновом виде, ни в каком иначе и никто из известных мне экспертов до того как кодекс был опубликован его не видел. Это продукт исключительно в зоне ответственности этих 3-х участников.
2. Кодекс существует в форме благопожеланий, не в формате "мы обязуемся делать" и "мы обязуемся не делать" как это изложено, например, в похожем кодексе в Швейцарии [3], а в форме общего, на мой взгляд, необоснованно забюрократизированного изложения.
3. Часть документа про создание "совета по совершенствованию лучших практик работе с данными" - это довольно бессмысленная идея на том уровне котором предлагается его создание. Я давно ратую за создание совета по данным на уровне правительственной комиссии или совета при Президенте РФ, но совет при АЦ при ПР РФ - это несерьёзный уровень для документа. В этом смысле я лично его бы больше ожидал от Ассоциации больших данных
4. В документе ничего нет про приближение к практикам GDPR, защиту прав пользователей и доступа граждан к их данным. Это не этика для малого бизнеса и не этика для пользователя - это самое минимальное приближение к этике со стороны "больших котов"
5. При этом я, всё равно, приветствую появление одного из первых документов по дата-этике, даже если окажется в будущем окажется что его необходимо будет глубоко переписать или полностью переделать.

Ссылки:
[1] http://ac.gov.ru/files/content/25949/kodeks-etiki-pdf.pdf
[2] http://aurd.ru
[3] https://data-service-alliance.ch/_Resources/Persistent/d8023fbcbd6cfb86e5ed814faa050f6bfa6be284/Codex_V3_english_public.pdf

#data #dataethics

Разработчики НСУДа выложили сразу множество документов по НСУДу непосредственно [1], документов много и мы только приступили к их прочтению. Что видно сразу - писались они не для людей, а для сдачи по госконтракту(-ам) сроки завершения которых у разработчиков как раз в декабре.

Хочется надеяться что про открытые данные они не забыли. Хочется надеяться что результат этой работы будет не бессмысленным. Впрочем - почитаем, посмотрим.

Ссылки:
[1] https://digital.ac.gov.ru/materials/?id=48

#data

Ранее я уже писал о странностях в [не]прозрачности распределения средств через Российский фонд развития информационных технологий (РФРИТ) [1], а в пятницу фонд опубликовал итоги первого конкурса [2] в виде ранжированного списка победителей конкурсного отбора. В итоговом файле [3] перечислены 13 проектов 12 компаний:

- Акционерное общество «Концерн Радиоэлектронные технологии»
- Акционерное общество «ОДК-Пермские моторы»
- "Акционерное общество «Особая экономическая зона промышленно производственного типа «Алабуга»"
- "Общество с ограниченной ответственностью «Центр экологической безопасности»"
- Публичное акционерное общество «КАМАЗ»
- Акционерное общество «Татэнерго»
- "Общество с ограниченной ответственностью «Научно-технический центр «Бакор»"
- Общество с ограниченной ответственностью «Самараавтожгут»
- "Общество с ограниченной ответственностью «Научно производственный центр ""Пружина""»"
- Акционерное общество «СМАРТС»
- "Общество с ограниченной ответственностью «Управляющая компания «Предприятие жилищно-коммунального хозяйства»"
- "Общество с ограниченной ответственностью «Торговый дом «Ивановская мебельная фабрика»"

Что тут скажешь когда сказать нечего? Я всё же постараюсь
1. В отличие от Фонда содействия инновациям (Фонд Бортника) [4] или Фонда Президентских грантов [5] раскрытие информации хуже чем минимальное. Нет реквизитов получателей и, например, одних только организаций "Общество с ограниченной ответственностью «Центр экологической безопасности»" существует более 5 штук. Нет ни наименований ни описаний проектов, нет видеозаписей работы комиссии, нет протоколов. И самое главное - нет сумм выделяемых конкретным получателям грантов. Я в своей жизни такого ранее никогда не видел.
2. Из 13 проектов 4 из Республики Татарстан из которых в подчинении Правительства Республики Татарстан через Минимущества Татарстан - 2 организации. А из 12 получателей 3 являются дочерними предприятиями ГК Ростех.
3. Ни одной ИТ или даже около ИТ компании в победителях нет. Неизвестно есть ли они в заявителях, поскольку список всех заявок РФРИТ также не публикует (в отличие от ФСИ и ФПГ).
4. Как я уже упоминал Общество с ограниченной ответственностью «Центр экологической безопасности» существует во многих регионах. Какое победило тут? Никто не знает, деятельности ни одного из этих региональных ООО не выдаёт их победы.
5. Я напомню что согласно конкурсной документации распределяется 3 миллиарда с предельной суммой до 1 миллиарда на победителя. Поэтому отсутствие сумм у победителей в итоговом списке особенно настораживает:
—
2.1.5. Предельная сумма Грантов, которая может быть распределена по результатам
проведения настоящего конкурсного отбора, составляет 3 093 307 335 (Три миллиарда
девяносто три миллиона триста семь тысяч триста тридцать пять) рублей 88 копеек.
2.1.6. Предельный размер Гранта на реализацию одного Проекта в рамках
настоящего конкурсного отбора составляет 1 (Один) миллиард рублей.
—
Для всех тех кто хочет самостоятельно изучить список победителей по ссылке на Airtable [6] он доступен с привязкой к субъектам федерации, ИНН организаций, группы компаний и так далее (для Airtable требуется регистрация). Набор данных слишком маленький чтобы выкладывать его как базу данных.

—
Ссылки:
[1] https://yangx.top/begtin/1604
[2] https://рфрит.рф/konkursnyy-otbor-19
[3] https://xn--h1apajh.xn--p1ai/attachment/144/download/2_Pobediteli
[4] http://fasie.ru
[5] http://pgrants.ru
[6] https://airtable.com/invite/l?inviteId=inviRf00zG5pjnLiu&inviteToken=39efc31dab96d68cbc9b7d9e28e0d9e1cc4dee8057a9254f965a0e9d4a62c825

#rfrit #opendata #data #contests

В дополнение предыдущего поста [1] в Tadviser вышло обновление статьи про РФРИТ [2] с суммами и описанием проектов. Что ж, картина стала яснее: на структуры Ростеха пошло 64% всех средств, 12% ушли СМАРТС и 8,2% ушло Ивановской мебельной фабрике, остальное по мелочи. А я обновил табличку с детальной информацией по получателям тут [3].

Только один вопрос. А может проще было Ростеху напрямую субсидии дать? Зачем конкурс то?

Ссылки:
[1] https://yangx.top/begtin/1664
[2] http://www.tadviser.ru/index.php/Компания:Российский_фонд_развития_информационных_технологий_(РФРИТ)
[3] https://airtable.com/invite/l?inviteId=inviRf00zG5pjnLiu&inviteToken=39efc31dab96d68cbc9b7d9e28e0d9e1cc4dee8057a9254f965a0e9d4a62c825

#rfrit #data`

Ссылки:
[1] https://digital.ac.gov.ru/materials/methodical-material/
[2] http://government.ru/docs/36940/
[3] https://digital.ac.gov.ru/upload/iblock/354/Концепция создания цифровой аналитической платформы.pdf
[4] https://digital.ac.gov.ru/upload/iblock/56b/Требования по систематизации государственных данных.pdf
[5] https://digital.ac.gov.ru/upload/iblock/a12/Требования по заполнению и ведению паспорта государственного информационного ресурса.pdf
[6] https://digital.ac.gov.ru/upload/iblock/010/Порядок предоставления доступа к государственным данным.pdf

#data #nsud #opendata

Мне очень хочется написать что-то хорошее про Национальную систему управления данными (НСУД), но совершенно нет такой возможности. Если посмотреть на последний ролик АЦ при ПР РФ [1], то можно увидеть как описание НСУД деградировало последовательно:
- вначале система правил доступа к данным
- потом ФГИС которая "как бы не хранит данные", эдакий СМЭВ 4.0
- потом в де-факто бэкэнд для цифрового профиля
- потом реестр форматов описания данных
и вот теперь это набор верхнеуровневых "неглубоких" правил.

Единственные когда-либо доступные материалы НСУДа - это "формальные" документы [2] сданные по контракту в одном из этапов проекта.

Я скажу честно - НСУД для меня это большое разочарование. Чем больше я смотрю и читаю материалы по нему, тем больше склоняюсь к мнению что построение системы управления данными внутри отдельно взятого региона или внутри отраслевого регулирования в виде "пучков ФОИВов" по транспорту, здравоохранению или образованию и тд.

Помяните моё слово - так в итоге всё и будет. А то что придёт на смену НСУДу в итоге будет собираться из отраслевых и региональных "озёр данных".

Ссылки:
[1] https://youtu.be/AjpSYBLfTB0
[2] https://digital.ac.gov.ru/materials/methodical-material/

#data #nsud

27 января в США опубликовали финальную версию федеральной стратегии данных (Federal Data Strategy) вместе с планом действий по этой стратегии. Прочитать её можно здесь [1] или по прямой ссылке в PDF [2].

Из интересного, стратегия в цифрах:
- 47 мероприятий
- 16 тысяч комментариев
- 80 спикеров

В тезисах:
1. Команда разработки стратегии включала руководителей по работе с данными из почти всех ведомств в США.
2. Стратегия разрабатывалась 1.5 года чтобы по итогам появился план действий на 1 год
3. Разработано 10 принципов, 40 практик и 20 мероприятий (действий)

Все описанные принципы, практики и мероприятия я очень рекомендую к прочтению. Можно брать на вооружение хоть все, с оговоркой о несколько иной российской зрелости к некоторым аспектам работы с данными, например, в части этического использования.

Ссылки:
[1] https://strategy.data.gov/action-plan/
[2] https://strategy.data.gov/assets/docs/2020-federal-data-strategy-action-plan.pdf

#opendata #datastrategy #data #usa

На ComNews неожиданно довольно вдумчивый текст про проблемы тиражирования практик Московской области в виде решений Добродел и других [1] которыми ранее занимался Максут Шадаев.

Я, на самом деле, по возможности, реже комментирую деятельность нынешнего состава Минкомсвязи. Честно говоря вообще подумываю не комментировать деятельность любого состава Минкомсвязи, потому что толку-то;)

Кто бы ни был министром связи и как бы не менялся состав федерального правительства важно запомнить следующие важные тезисы:
1. Региональные системы/функции/полномочия будут продолжать концентрировать в федеральных ГИС под управлением профильных федеральных ведомств.
2. Все "условно государственные" данные будут концентрироваться в Москве или околомосковских ЦОДах и, может быть, с какими то крупными ЦОДами в паре субъектов федерации.
3. Регионы не имеющие собственных внедрений систем автоматизации своих полномочий не будут аргументов в спорах с фед. центром когда им будут навязывать централизованные решения.
4. Почти все глубоко дефицитные регионы будут в безвыходном положении, внедрять федеральные решения.

Примеры федеральных ГИС уже работающих: ЕИС (госзакупки), ЕПБС, ГИС ЖКХ, ГИС для ведения ФРДО, ЕГР ЗАГС и ещё десятки других.

Тренд этот идёт не от Максута Шадаева и не от Константина Носкова до него и нет от Николая Никифорова до него. Это тренд исключительно корпоративно политический на ужесточение контроля над всеми субъектами федерации.

Зачем это нужно спрашивайте у политологов.

Ссылки:
[1] https://www.comnews.ru/content/205774/2020-04-27/2020-w18/pochemu-tema-tirazhirovaniya-sistem-podmoskovya-i-kremlya-okazalas-zakrytoy

#data #russia #government

Государственная система или реестр без контроля качества данных - это помойка замедленного действия (с)

В который раз слушая сегодня о том как государство выделяет средства на очередную ФГИС, иную ИТ систему, реестр _чего-то там нового_, я не могу не отметить что без нормальной ИТ архитектуры всё это - это преумножение цифрового мусора.

Кроме тех историй о которых много лет, и я, и мои коллеги пишем, про качество данных в Минюсте или в Минэке, не стоит думать что во многих органах ситуация получше.
Вот лишь несколько примеров:
1. Минпросвещения публикует реестры по разным темам (12 файлов за 2 года) в виде PDF сканов и, реже, файлов MS Word. Только с названиями организаций и их адресами, без какой-либо дополнительной идентифицирующей информации.
2. Примерно у 5% организаций на портале ТрудВсем (trudvsem.ru) приведены недостоверные реквизиты в виде кодов ОГРН и ИНН.
3. Более чем у 500 организаций на портале госуслуг Gosuslugi.ru приведены неверные коды ИНН/ОГРН и у неизвестного (но значительного) числа организаций неверные или устаревшие контакты. Неверные реквизиты, в том числе у ФОИВ, например, Росводресурсов
4. Реестр аккредитованных ИТ компаний публикуется так что в поле ОГРН может быть как ОГРН организации, так и ОГРН включая текст о старом коде в случае реорганизации организации. В результате автоматическая загрузка в любую информационную систему потребует ручной/полуручной обработки. И да, около 100 организаций там просто внесены с неверными реквизитами. Интересно как они получают свои льготы?
5. Та же Минцифра не обновляет раздел Открытые данные уже почти 4 года. А какие-либо данные из их ГИСов вообще никогда не публиковались, даже статистика.
6. Похожие проблемы с данными Росздравнадзора и вообще всеми ведомствами.

Это всё помимо, уже привычных проблем, с элементарной доступностью данных которые должны быть доступны.

Главная беда в том что если процесс ведения той или иной базы выстроен неверно изначально, то исправлять это потом очень болезненно.

При этом, я большого секрета не открою, сделать типовое open source ПО для ведения практически любого реестра - несложно. Если реестр "плоский" то даже элементарно, но и даже если к нему привязано несколько понятий (документы, записи, понятия), то и в этом случае - очень просто. Казалось бы, всё это реестростроение, это вторая по популярности деятельность в госаппарате после нормопорождения, но нет, ничего подобного не существует.

Казалось бы такая нужна штука, так почему нет рыночных решений по ведению реестров?

Ситуация, во многом, от:
а) Недостаточной квалификации тех кто за ведение реестров отвечает (до сих пор руководители не понимают что это ИТ задачи).
б) Отсутствия внутренней планки качества во многих организациях.

Публиковать те или иные данные в режиме "и так сойдёт" очень сильно отличается от публиковать в режиме "мы не справляемся, у нас проблемы, помогите нам исправить".
Если первое это от недостатка культуры работы с информацией (к счастью это меняется), то второе это от уважения к аудитории. Этим похвастаться, увы, могут не все(

Ну а самое главное в том что главная причина в низком качестве, не только в государстве, но и в частных компаниях, возникает когда они собираются, но не используются.
Если нет системы поддержки принятия решений, то о качестве данных даже не вспоминают. Если данные портала ТрудВсем никому не нужны, то конечно там будут сплошные ошибки.
Если Минцифра не публикует открытые данные с портала Госуслуг, то конечно там будут ошибки.

Предполагать что данные которые не публикуют "в хорошем качестве и доступны только своим" - это также большое заблуждение. Реальность хуже, реальность прозаичнее.

#data #government

Относительно недавно, Минэкономразвития России обновило свой официальный сайт economy.gov.ru [1] и попрятало (и потеряло) многие страницы которые они как орган власти должны публиковать согласно 8-ФЗ, подзаконным актам и методрекомендациям профильной прав комиссии. Например, страницу с перечнем информационных систем [2] теперь можно только через поиск найти, уж очень неочевидно они её запрятали глубоко внутрь сайта. В старой версии это было проще, хотя теперь уже и на архивной версии сайта этого не найти [3] потому что сразу после смены министра его начали по нескольку раз перелиновывать.

Да и сама страница с перечнем информационных систем называется " Информационные системы Министерства в сети Интернет ", а в 8-ФЗ прописано то было "перечни информационных систем, банков данных, реестров, регистров, находящихся в ведении государственного органа, органа местного самоуправления, подведомственных организаций;". И ничего там не было про "в сети Интернет", а вот вопрос где перечни банков данных и реестров остаётся открытым. И это ещё без сопоставления содержимого на сайте Министерства и ФГИС КИ.

Про остальные пункты 8-ФЗ сейчас даже речи нет, есть те кто его мониторят более серьёзно. Но винить здесь Минэкономразвития было очень неправильно. Надзор и контроль за исполнением 8-ФЗ осуществляют органы прокуратуры Российской Федерации, для ФОИВов Генеральная прокуратура, и то у Генпрокуратуры до сих пор нет мониторинга и практического наказания ФОИВов за неисполнения 8-ФЗ - это их недоработка.

Это кстати, и к вопросу, о изначальной некорректности измерения органов власти по соответствию 8-ФЗ. Всё проще, орган власти соответствует - хорошо, не соответствует - прокуратура не выполняет свои надзорные функции, потому что рейтинги по потому что является обязанностью по закону, а не право необходимо читать как списки ещё не возбуждённых административных дел.

Всё это было бы менее заметно если бы сами информационные системы Минэкономразвития работали. Портал "Открытых данных" data.gov.ru не открывается уже 2-й день [4] (ошибка 502), портал поддержки малого и среднего бизнеса smb.gov.ru [5] просто не открывается.

И наоборот, начнёшь искать в перечне их систем портал льгот для бизнеса [6], а его там и нет.

Но больше всего меня, всё же, тревожит то что со старого сайта Минэкономразвития не перенесено и десятой части того что там было и то что отваливается всё больше систем которые были у них в управлении. Похоже что придётся архивировать и старый и новый сайты министерства, и все их ГИСы ставить на непрерывный мониторинг.

Потому что хорошим людям - заботу, уход и пристальное внимание.

P.S. А заодно надо и другие ФОИВы проверить, не обновились ли и их сайты тоже.

Ссылки:
[1] https://economy.gov.ru
[2] https://economy.gov.ru/material/departments/d21/razvitie_it_i_ivs_ministerstva/info_sistemy_ministerstva/
[3] https://old.economy.gov.ru
[4] https://data.gov.ru/
[5] http://smb.gov.ru/
[6] https://msp.economy.gov.ru

#data #opendata #monitoring

Вместо предисловия:
- Эй, кот! Тебя же кастрировали, ты куда каждую весну убегаешь?
- А я оказываю услуги по экспертной поддержке! (с)
—
На днях Росреестр заключил контракт на 69.5 миллионов рублей на осуществление экспертной поддержки компонентов ФГИС ЕГРН. Карточка контракта в Госрасходах [1] и ЕИС [2], а также в телеграм канале Госзатрат [3].

За извращённым термином скрывается не абы что, а по сути 84 дня работы службы поддержки (до конца года), организация разработки и, по сути, разработка кодов в виде скриптов и тд. Но ТЗ написано так что продраться через него сложно.

Я правда до сих пор не могу понять при чём тут "экспертность" в услугах технической поддержки.

Ссылки:
[1] https://spending.gov.ru/goscontracts/contracts/1770656053620000056/
[2] http://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1770656053620000056
[3] https://yangx.top/clearspending/2864

#spending #data #it