Для тех кто ищет открытые данные данные для работы и не только, свежие датасет:
- Компании победители и участники конкурсов Фонда содействия инновациям - 5147 записей [1]
- Реестр производственных субъектов малого и среднего предпринимательства - потенциальных поставщиков крупнейших заказчиков - 31296 записей [2]

Оба набора данных собраны в рамках архивационной кампании по сохранению цифровых материалов институтов развития.
Следующим шагом будет полный архив сайтов этих организаций.

Со временем они будут интегрированы в такие проекты как Госрасходы [3], для учета всех расходов органов власти и государства в целом.

Ссылки:
[1] https://ngodata.ru/dataset/fasie-orgs
[2] https://ngodata.ru/dataset/reestrmp
[3] https://spending.gov.ru

#data #opendata #archives

Даже не знаю что сказать. Это, безусловно, очень хорошая новость, потому что ОЭСР - это одна из крупных международных организаций в повестке которой есть тема открытых данных. Теперь главное чтобы ответственные ФОИВы ответственно подходили к госполитике открытых данных, а не как одно ведомство, на которое сейчас не буду тыкать пальцем 👉

👍Михаил Мишустин попытается вернуть Российскую Федерацию в международный «элитный клуб» — Организацию экономического сотрудничества и развития (ОЭСР). Переговоры о вступлении в ОЭСР были приостановлены в 2014 году, когда экономическая организация отчего-то решила стать политической и осудила воссоединение России и Крыма.

Прошли годы, угасло напряжение, и наша страна вновь (теперь уже на официальном уровне) приступает к реализации плана по имплементации в национальное законодательство требований и стандартов ОЭСР — лучших мировых практик в сфере госуправления и борьбы с монополиями, устойчивого развития и экологии, налоговой и таможенной политик, etc. Первым перезагрузить переговорный процесс предложил экс-глава Минэкономразвития Максим Орешкин, с его уходом «знамя» подхватил вице-премьер Алексей Оверчук.

И вот премьер Мишустин утвердил весьма конкретный План работы по взаимодействию Российской Федерации с ОЭСР в 2021-2022 гг. Наряду с текущими мероприятиями ОЭСР, к участию в которых возвращаются российские чиновники, он содержит набор амбициозных и объемных задач. В частности, председатель Правительства поручил:

✔️Регулярное представление в ОЭСР данных об открытости и честности в государственном секторе экономики.

✔️Обеспечение сближения регуляторных подходов к обращению лекарственных средств в странах ОЭСР и ЕАЭС.

✔️Участие в исследовательских и аналитических программах ОЭСР по развитию технологий «искусственного интеллекта».

✔️Возврат России к участию в автоматизации программы обмена финансовых операций, в том числе для борьбы с размыванием налоговой базы.

✔️Имплементация в российское законодательство лучших практик ОЭСР по борьбе с незаконным промыслом биоресурсов.

✔️Представление Россией детальной информации для участия в стратегических для ОЭСР обзорах: от применения пестицидов и актуальных экологических данных в рамках проекта CIRCLE — до развития устойчивого производства, климатической нейтральности, образовательных программ.

✔️Отдельная тема — это поручение Мишустина об обязательном использовании опыта, наработанного странами ОЭСР, в реализации практической государственной политики управления почти по всем сферам регулирования.

Безусловно, российским топ-чиновникам (которые в последние пять лет были фактически оторваны от обсуждения вопросов в рабочих группах, комитетах и комиссиях ОЭСР) будет непросто исполнить план, утвержденный Правительством. Но «заявка на победу» от Мишустина (которая, безусловно, согласована с президентом Путиным) — амбициозна и крайне полезна как для экономики, так и для социальной сферы РФ.

В США опубликовали официальные данные по загрузке больниц во время эпидемии COVID-19 [1] с гранулярностью до каждой больницы и по неделям начиная с 31 июля 2020 года.

Также можно обратить внимание что на этом же портале HealthData.gov раскрывается 188 наборов данных связанных с COVID-19 [2] и 4634 по системе здравоохранения в целом [3], причём не менее половины данных поступает из систем здравоохранения отдельных штатов, а сам портал создан U.S. Department of Health которые также ведут HHS Protect Public Data Hub [4] где публикуются дашборды статистики, но сами данные, обязательно, публикуются на HealthData.gov, а уже оттуда транслируются на другие официальные государственные ресурсы.

Ссылки:
[1] https://healthdata.gov/dataset/covid-19-reported-patient-impact-and-hospital-capacity-facility
[2] https://healthdata.gov/search/type/dataset?query=covid-19&sort_by=changed&sort_order=DESC
[3] https://healthdata.gov/search/type/dataset
[4] https://protect-public.hhs.gov/

#opendata #data #covid19 #usa #health

Публикация данных о COVID-19 во Франции - 77 баз данных и 121 пример их использования в открытых проектах [1] на официальном портале data.gouv.fr.

Что дополнительно стоит отметить про французский опыт в открытых данных:
- их портал data.gouv.fr работает на их ПО udata [2] с открытым кодом, используется, похоже, мало где за пределами Франции
- у них опубликовано более 2447 примеров использования открытых данных [3], включая: 1132 визуализации, 667 приложений, 278 публикаций в блогах, 168 статей в СМИ и 131 API https://github.com/opendatateam/udata/
- всего 65 тысяч пользователей, 35 тысяч наборов данных с 195 тысячами ресурсов (файлов, ссылок и тд). [4]

Ссылки:
[1] https://www.data.gouv.fr/fr/search/?tag=covid19
[2] https://github.com/opendatateam/udata/
[3] https://www.data.gouv.fr/fr/reuses/
[4] https://www.data.gouv.fr/fr/dashboard/

#france #opendata

Спортивная синкопа
Минспорт внезапно опубликовал "Индекс цифровой трансформации сферы физической культуры и спорта регионов РФ в 2020 году".
Очень прилично смотрится. Ну, и не удивительно - в Минспорте сильный CDTO, Андрей Сельский. Он, правда, по своей квалификации больше эйчар, чем айтишник, но на таком уровне важнее менеджерские компетенции, а не знание пяти языков программирования

Новость достаточно важная чтобы о ней написать, но недостаточная чтобы говорить только о ней. Утечка данных о заболевших COVID-19 в Москве - это не первая и не последняя такая утечка в мире. Недавно была куда большая по объёмам утечка данных в Бразилии. Но это не отменяет всего того безобразия того как реестр заболевших COVID'ом вели в Google Docs.

Слов нет, но эмоций много. Я сегодня отказывался комментировать это СМИ чтобы не ругаться матом в прямом эфире.

#leaks

Если вы переболели ковидом в Москве, у нас для вас плохие новости. Скорее всего ваши персональные данные попали в сеть — сейчас столичные власти расследуют крупнейшую утечку с начала пандемии.

По разным данным, в сеть могла попасть персональная информация 300 тысяч переболевших ковидом москвичей. В таблицах, которые гуляют по интернету, весь набор данных: ФИО, год рождения, адрес регистрации, мобильный номер. У некоторых видны даже паспортные данные.

Откуда произошла утечка, пока точно неясно — представители мэрии о ней знают и говорят, что разбираются: например, оперативно чистят чаты в телеграмм-каналах, где раскидываются базы. Инфу могли украсть с компьютера медицинского работника. Доступ к этой информации есть также у комитета госуслуг города Москвы.

Приятно что Гриша Бакунов из Яндекса время от времени упоминает про открытые данные как ценное явление, жаль что сам Яндекс как корпорация практически ничего не открывает как данные (даже то что, казалось бы, нельзя не открыть, не буду тыкать пальцем 👉).

А машиночитаемая база рецептов - это замечательный и интереснейший датасет. По нему и графы можно построить, и калорийность блюд рассчитывать.

Просто сказка, а не данные.

#opendata #data

Каждый раз радуюсь, когда появляются новые массивные датасеты в каких-то бытовых областях. Как вам такое: огромный неплохо структурированный набор из более 2 миллионов рецептов, в машинно-читаемом формате. Прямо готовая база для создания ИИ-шефповара, можно создавать совершенно новые но при этом относительно сьедобные блюда.

Чем больше датасетов в бытовых областях, тем меньше "вау" и больше бытового использования уже давно неплохо работающей системы генерации новых обьектов на базе старых. https://github.com/Glorf/recipenlg

Мне очень не хочется это комментировать, но, простите, не могу удержаться. (c)

Ведение баз заболевших в таблицах в Google - это называется не человеческий фактор, а халатность. Это данные составляющие врачебную тайну и их вообще не имели право использовать за пределами медицинских информационных систем или иных регламентированных ГИС. А когда утекут данные по слежки Правительства Москвы за горожанами через городскую сеть WiFi, приложение Активный гражданин и др. - это тоже будет "человеческий фактор"? А неспособность властей Москвы сформировать четкие этические и технические регламенты работать с персональными данными - это тоже человеческий фактор?

Как бы помягче сказать, это ситуация не про дисциплинарные проверки и не про увольнения, а про уголовные дела. Особенно если канал утечки до конца не перекрыли и пытливые умы найдут в этих таблицах тех людей кого они там найти не должны были и не найдут тех кого были должны.

#leaks #moscow

В парламент Австралии внесен законопроект Data Availability and Transparency Bill 2020 [1] в котором много всего того что старательно игнорируют отечественные законодатели, достаточно лишь увидеть структуру законопроекта, причём что характерно, так законы в Австралии пишутся с обязательным изложением их понятным языком. Это вписывается в пункт "Simplified outline of this Act" где изложено, например, следующее

Законопроект вводит такое понятие как data custodians (хранители данных) и определяет регламент предоставления данных ограниченного доступа так называемым аккредитованным пользователям (прошедшим специальную верификацию), в том числе через аккредитованных поставщиков услуг.
—
Если подробнее то:
- Хранители данных (data custodians) в государственном секторе могут обмениваться данными с аккредитованными пользователями в соответствии с требованиями по контролю, предусмотренного настоящим Законом. Хранители данных могут обмениваться данными с аккредитованными пользователями напрямую, или косвенно через ADSP (сокращенно от аккредитованного поставщика услуг передачи данных).

- Данные государственного сектора определяются как данные, законно созданные, собранные или хранящиеся органами Содружества или от их имени. Орган Содружества, который контролирует такие данные и имеет право иметь с ними дело, является хранителем данных и, следовательно, уполномочен делиться ими контролируемым образом.

- Существуют соответствующие разрешения для аккредитованных организаций на сбор и использование общих данных.

- Национальный уполномоченный по данным является регулирующим органом для схем обмена данными, а также выполняет функцию пропаганды обмена данными государственного сектора и их обнародования в более общем плане. Комиссару помогают сотрудники APS в департаменте и консультации Национального консультативного совета по данным.

- Субъекты должны быть аккредитованы уполномоченным, чтобы иметь возможность обмениваться данными государственного сектора с ними или через них.

- Субъекты схемы данных (т. е. хранители данных и аккредитованные субъекты) несут ответственность в соответствии с законом. субъекты схемы данных могут жаловаться уполномоченному на нарушения закона другими субъектами схемы данных. Уполномоченный также имеет полномочия запрашивать информацию и оценивать, контролировать и расследовать объекты схемы данных. Комиссару доступен целый ряд вариантов правоприменения.
—

Это и есть та модель регулирования о которой я неоднократно писал - организация доступа к непубличным государственным данным регламентированным образом согласно одному регламенту. В России нет ничего подобного, даже обсуждения не ведется, хотя и существует множество самых разных механизмов регламентации доступа отдельных видов организаций к госданным, например, через СМЭВ.

Ссылки:
[1] https://parlinfo.aph.gov.au/parlInfo/search/display/display.w3p;query=Id%3A"legislation%2Fbills%2Fr6649_first-reps%2F0000";rec=0

#opendata #data #regulation

Вышла моя колонка "Надзорное государство. Как новые технологии и пандемия сняли ограничения для российского Большого брата"[1] в Republic на основе большого текста в моей рассылке на begtin.substack.com которую я ранее размещал в канале.

С этой колонки можно начинать серию итогов 2020 года с точки зрения открытости и приватности.

Ссылки:
[1] https://republic.ru/posts/98869

#articles #privacy

На фоне того что российское правительство решило начать снова процесс выстраивания диалога с ОЭСР, я напомню что у ОЭСР есть большое число инициатив связанных с открытость данных, с digital government как продолжением open government и не только. И тут хорошо бы вспомнить российские инициативы по открытости и чем они закончились.

Что-то излагалось в докладах по открытости государства от Счетной палаты [1], но есть многое оставшееся за рамками докладов, просто потому что требуется много времени чтобы расписывать это подробно и нейтрально. Я поделюсь тезисно воспоминаниями более чем 11 летней давности.


Открытый диалог
- Российская общественная инициатива roi.ru - сделана была по аналогии петиций администрации Барака Обамы в США и петиций Правительства Великобритании. В отличие от них процедура принятия решений по петициям была организована через комиссию Открытого Правительства. Ни одна серьёзная петиция эту комиссию не прошла. Сейчас, де-факто, проект в малоосмысленном состоянии
- Обсуждение законопроектов на специальных сайтах: закон об образовании, закон о полиции и проект zakon.government.ru. Позволяли не просто прокомментировать что-то, а переписать часть документа по своему и голосовать за другие редакции. Так граждане полностью переписали закон о рыболовстве. Все проекты были закрыты, вместо них был создан regulation.gov.ru по форме и логике организованный так что можно проигнорировать любое число публичных отзывов.
- Экспертный совет при Правительстве. Начиналось всё красиво, выглядел этот экспертный совет как "расширенная группа поддержки Дмитрия Медведева". Де факто диалога на его базе не возникло, он довольно быстро разделился на тех кому был важен статус нахождения в совете, и те чьими именами подписывали письма лоббисты в "Открытом пр-ве".
- Многочисленные блоги в Livejournal, потом Twitter'ы, потом блоги на собственных сайтах у губернаторов, мэров, министров и так далее. Всплеск был когда блог появился у Дмитрия Медведева. По факту к 2013 году их число стало сокращаться и довольно скоро и сам блог Медведева выродился в безжизненную сводку новостей и то же самое произошло с большинством блогов более менее публичных персон лиц принимающих решения.

Открытые данные
- первый портал начало делать Правительство Москвы и он даже был довольно приличный для своего времени, но через несколько лет завис в своём развитии
- изначально регулирование открытых данных пошло по обязательному белому списку совпадавшему со списком сведений обязательных к раскрытию по 8-ФЗ и требованиями к раскрытию данных на сайтах органов власти. Это привело к безумной бессмысленной нагрузке на пресс-службы органов власти по публикации мелкий наборов данных вакансий, подведов и контактов которые никому не были нужны
- на самом старте федеральный портал открытых данных должно было делать Минкомсвязи, но в последний момент Минэкономразвития его перехватило и сразу же задало очень низкую планку качества и очень странную архитектуру со сбором данных с сайтов ФОИВов и региональных органов власти. При этом ключевые данные из государственных информационных систем там почти не публиковались.
- в итоге федеральный портал оказался забит бесконечным объёмом "мусора", мелких бессмысленных, неиспользуемых никогда наборов данных
- региональные порталы стали деградировать после 2014 года, когда повестка открытых данных отошла в стороны и из-за смены внешней политики планы России по вступлению ОЭСР отменились. В ряде регионов порталы были закрыты, в других их просто перестали обновлять.
- не удалось добиться никакого прогресса в раскрытии данных о качестве жизни на гиперлокальном (хотя бы муниципальном) уровне: уровень преступности, качество образования, качество медицинской помощи, уровень загрязнения окружающей среды и так далее.
- при этом остались органы власти с довольно сильной работой с данными в том числе публикацией их: Федеральное казначейство, Минфин России, Минкультуры России, ФНС России и ещё ряд органов власти и субъектов.

Международные обязательства и национальные стратегии
- Россия должна была вступить в Open Government Partnership в 2012 году, но это получалось буквально за месяц до окончания президентского срока Д. Медведева. В итоге заявление о вступлении было отозвано в самый последний момент и более к нему не возвращались
- Хартия открытых данных G8 была подписана Владимиром Путиным летом 2013 года, а в 2014 году должна была пройти сверка результатов по обязательствам в Хартии. В 2018 году G8 превратилось в G7, а обязательства России по этой хартии перестали исполняться
- Хартия открытых данных созданная Тимом Бернерсом Ли 2015 года на основе хартии открытых данных G8, охватывает десятки стран и территорий. В России ни один регион, город или федерально правительство её не подписали.
- ФОИВы должны были готовить свои планы по открытости и делали это, в последнее время для галочки
- де-факто на 2020 год нет высшего должностного лица ответственного за открытость государства.

В качестве послесловия тут хорошо бы написать какие-нибудь выводы. Главный вывод, пожалуй, что вся тема открытости государства сейчас требует полного перезапуска. Но кто это будет делать? И будет ли?

Ссылки:
[1] https://ach.gov.ru/page/government-openness

#opendata #opengov