Публикация данных о COVID-19 во Франции - 77 баз данных и 121 пример их использования в открытых проектах [1] на официальном портале data.gouv.fr.

Что дополнительно стоит отметить про французский опыт в открытых данных:
- их портал data.gouv.fr работает на их ПО udata [2] с открытым кодом, используется, похоже, мало где за пределами Франции
- у них опубликовано более 2447 примеров использования открытых данных [3], включая: 1132 визуализации, 667 приложений, 278 публикаций в блогах, 168 статей в СМИ и 131 API https://github.com/opendatateam/udata/
- всего 65 тысяч пользователей, 35 тысяч наборов данных с 195 тысячами ресурсов (файлов, ссылок и тд). [4]

Ссылки:
[1] https://www.data.gouv.fr/fr/search/?tag=covid19
[2] https://github.com/opendatateam/udata/
[3] https://www.data.gouv.fr/fr/reuses/
[4] https://www.data.gouv.fr/fr/dashboard/

#france #opendata

Спортивная синкопа
Минспорт внезапно опубликовал "Индекс цифровой трансформации сферы физической культуры и спорта регионов РФ в 2020 году".
Очень прилично смотрится. Ну, и не удивительно - в Минспорте сильный CDTO, Андрей Сельский. Он, правда, по своей квалификации больше эйчар, чем айтишник, но на таком уровне важнее менеджерские компетенции, а не знание пяти языков программирования

Новость достаточно важная чтобы о ней написать, но недостаточная чтобы говорить только о ней. Утечка данных о заболевших COVID-19 в Москве - это не первая и не последняя такая утечка в мире. Недавно была куда большая по объёмам утечка данных в Бразилии. Но это не отменяет всего того безобразия того как реестр заболевших COVID'ом вели в Google Docs.

Слов нет, но эмоций много. Я сегодня отказывался комментировать это СМИ чтобы не ругаться матом в прямом эфире.

#leaks

Если вы переболели ковидом в Москве, у нас для вас плохие новости. Скорее всего ваши персональные данные попали в сеть — сейчас столичные власти расследуют крупнейшую утечку с начала пандемии.

По разным данным, в сеть могла попасть персональная информация 300 тысяч переболевших ковидом москвичей. В таблицах, которые гуляют по интернету, весь набор данных: ФИО, год рождения, адрес регистрации, мобильный номер. У некоторых видны даже паспортные данные.

Откуда произошла утечка, пока точно неясно — представители мэрии о ней знают и говорят, что разбираются: например, оперативно чистят чаты в телеграмм-каналах, где раскидываются базы. Инфу могли украсть с компьютера медицинского работника. Доступ к этой информации есть также у комитета госуслуг города Москвы.

Приятно что Гриша Бакунов из Яндекса время от времени упоминает про открытые данные как ценное явление, жаль что сам Яндекс как корпорация практически ничего не открывает как данные (даже то что, казалось бы, нельзя не открыть, не буду тыкать пальцем 👉).

А машиночитаемая база рецептов - это замечательный и интереснейший датасет. По нему и графы можно построить, и калорийность блюд рассчитывать.

Просто сказка, а не данные.

#opendata #data

Каждый раз радуюсь, когда появляются новые массивные датасеты в каких-то бытовых областях. Как вам такое: огромный неплохо структурированный набор из более 2 миллионов рецептов, в машинно-читаемом формате. Прямо готовая база для создания ИИ-шефповара, можно создавать совершенно новые но при этом относительно сьедобные блюда.

Чем больше датасетов в бытовых областях, тем меньше "вау" и больше бытового использования уже давно неплохо работающей системы генерации новых обьектов на базе старых. https://github.com/Glorf/recipenlg

Мне очень не хочется это комментировать, но, простите, не могу удержаться. (c)

Ведение баз заболевших в таблицах в Google - это называется не человеческий фактор, а халатность. Это данные составляющие врачебную тайну и их вообще не имели право использовать за пределами медицинских информационных систем или иных регламентированных ГИС. А когда утекут данные по слежки Правительства Москвы за горожанами через городскую сеть WiFi, приложение Активный гражданин и др. - это тоже будет "человеческий фактор"? А неспособность властей Москвы сформировать четкие этические и технические регламенты работать с персональными данными - это тоже человеческий фактор?

Как бы помягче сказать, это ситуация не про дисциплинарные проверки и не про увольнения, а про уголовные дела. Особенно если канал утечки до конца не перекрыли и пытливые умы найдут в этих таблицах тех людей кого они там найти не должны были и не найдут тех кого были должны.

#leaks #moscow

В парламент Австралии внесен законопроект Data Availability and Transparency Bill 2020 [1] в котором много всего того что старательно игнорируют отечественные законодатели, достаточно лишь увидеть структуру законопроекта, причём что характерно, так законы в Австралии пишутся с обязательным изложением их понятным языком. Это вписывается в пункт "Simplified outline of this Act" где изложено, например, следующее

Законопроект вводит такое понятие как data custodians (хранители данных) и определяет регламент предоставления данных ограниченного доступа так называемым аккредитованным пользователям (прошедшим специальную верификацию), в том числе через аккредитованных поставщиков услуг.
—
Если подробнее то:
- Хранители данных (data custodians) в государственном секторе могут обмениваться данными с аккредитованными пользователями в соответствии с требованиями по контролю, предусмотренного настоящим Законом. Хранители данных могут обмениваться данными с аккредитованными пользователями напрямую, или косвенно через ADSP (сокращенно от аккредитованного поставщика услуг передачи данных).

- Данные государственного сектора определяются как данные, законно созданные, собранные или хранящиеся органами Содружества или от их имени. Орган Содружества, который контролирует такие данные и имеет право иметь с ними дело, является хранителем данных и, следовательно, уполномочен делиться ими контролируемым образом.

- Существуют соответствующие разрешения для аккредитованных организаций на сбор и использование общих данных.

- Национальный уполномоченный по данным является регулирующим органом для схем обмена данными, а также выполняет функцию пропаганды обмена данными государственного сектора и их обнародования в более общем плане. Комиссару помогают сотрудники APS в департаменте и консультации Национального консультативного совета по данным.

- Субъекты должны быть аккредитованы уполномоченным, чтобы иметь возможность обмениваться данными государственного сектора с ними или через них.

- Субъекты схемы данных (т. е. хранители данных и аккредитованные субъекты) несут ответственность в соответствии с законом. субъекты схемы данных могут жаловаться уполномоченному на нарушения закона другими субъектами схемы данных. Уполномоченный также имеет полномочия запрашивать информацию и оценивать, контролировать и расследовать объекты схемы данных. Комиссару доступен целый ряд вариантов правоприменения.
—

Это и есть та модель регулирования о которой я неоднократно писал - организация доступа к непубличным государственным данным регламентированным образом согласно одному регламенту. В России нет ничего подобного, даже обсуждения не ведется, хотя и существует множество самых разных механизмов регламентации доступа отдельных видов организаций к госданным, например, через СМЭВ.

Ссылки:
[1] https://parlinfo.aph.gov.au/parlInfo/search/display/display.w3p;query=Id%3A"legislation%2Fbills%2Fr6649_first-reps%2F0000";rec=0

#opendata #data #regulation

Вышла моя колонка "Надзорное государство. Как новые технологии и пандемия сняли ограничения для российского Большого брата"[1] в Republic на основе большого текста в моей рассылке на begtin.substack.com которую я ранее размещал в канале.

С этой колонки можно начинать серию итогов 2020 года с точки зрения открытости и приватности.

Ссылки:
[1] https://republic.ru/posts/98869

#articles #privacy

На фоне того что российское правительство решило начать снова процесс выстраивания диалога с ОЭСР, я напомню что у ОЭСР есть большое число инициатив связанных с открытость данных, с digital government как продолжением open government и не только. И тут хорошо бы вспомнить российские инициативы по открытости и чем они закончились.

Что-то излагалось в докладах по открытости государства от Счетной палаты [1], но есть многое оставшееся за рамками докладов, просто потому что требуется много времени чтобы расписывать это подробно и нейтрально. Я поделюсь тезисно воспоминаниями более чем 11 летней давности.


Открытый диалог
- Российская общественная инициатива roi.ru - сделана была по аналогии петиций администрации Барака Обамы в США и петиций Правительства Великобритании. В отличие от них процедура принятия решений по петициям была организована через комиссию Открытого Правительства. Ни одна серьёзная петиция эту комиссию не прошла. Сейчас, де-факто, проект в малоосмысленном состоянии
- Обсуждение законопроектов на специальных сайтах: закон об образовании, закон о полиции и проект zakon.government.ru. Позволяли не просто прокомментировать что-то, а переписать часть документа по своему и голосовать за другие редакции. Так граждане полностью переписали закон о рыболовстве. Все проекты были закрыты, вместо них был создан regulation.gov.ru по форме и логике организованный так что можно проигнорировать любое число публичных отзывов.
- Экспертный совет при Правительстве. Начиналось всё красиво, выглядел этот экспертный совет как "расширенная группа поддержки Дмитрия Медведева". Де факто диалога на его базе не возникло, он довольно быстро разделился на тех кому был важен статус нахождения в совете, и те чьими именами подписывали письма лоббисты в "Открытом пр-ве".
- Многочисленные блоги в Livejournal, потом Twitter'ы, потом блоги на собственных сайтах у губернаторов, мэров, министров и так далее. Всплеск был когда блог появился у Дмитрия Медведева. По факту к 2013 году их число стало сокращаться и довольно скоро и сам блог Медведева выродился в безжизненную сводку новостей и то же самое произошло с большинством блогов более менее публичных персон лиц принимающих решения.

Открытые данные
- первый портал начало делать Правительство Москвы и он даже был довольно приличный для своего времени, но через несколько лет завис в своём развитии
- изначально регулирование открытых данных пошло по обязательному белому списку совпадавшему со списком сведений обязательных к раскрытию по 8-ФЗ и требованиями к раскрытию данных на сайтах органов власти. Это привело к безумной бессмысленной нагрузке на пресс-службы органов власти по публикации мелкий наборов данных вакансий, подведов и контактов которые никому не были нужны
- на самом старте федеральный портал открытых данных должно было делать Минкомсвязи, но в последний момент Минэкономразвития его перехватило и сразу же задало очень низкую планку качества и очень странную архитектуру со сбором данных с сайтов ФОИВов и региональных органов власти. При этом ключевые данные из государственных информационных систем там почти не публиковались.
- в итоге федеральный портал оказался забит бесконечным объёмом "мусора", мелких бессмысленных, неиспользуемых никогда наборов данных
- региональные порталы стали деградировать после 2014 года, когда повестка открытых данных отошла в стороны и из-за смены внешней политики планы России по вступлению ОЭСР отменились. В ряде регионов порталы были закрыты, в других их просто перестали обновлять.
- не удалось добиться никакого прогресса в раскрытии данных о качестве жизни на гиперлокальном (хотя бы муниципальном) уровне: уровень преступности, качество образования, качество медицинской помощи, уровень загрязнения окружающей среды и так далее.
- при этом остались органы власти с довольно сильной работой с данными в том числе публикацией их: Федеральное казначейство, Минфин России, Минкультуры России, ФНС России и ещё ряд органов власти и субъектов.

Международные обязательства и национальные стратегии
- Россия должна была вступить в Open Government Partnership в 2012 году, но это получалось буквально за месяц до окончания президентского срока Д. Медведева. В итоге заявление о вступлении было отозвано в самый последний момент и более к нему не возвращались
- Хартия открытых данных G8 была подписана Владимиром Путиным летом 2013 года, а в 2014 году должна была пройти сверка результатов по обязательствам в Хартии. В 2018 году G8 превратилось в G7, а обязательства России по этой хартии перестали исполняться
- Хартия открытых данных созданная Тимом Бернерсом Ли 2015 года на основе хартии открытых данных G8, охватывает десятки стран и территорий. В России ни один регион, город или федерально правительство её не подписали.
- ФОИВы должны были готовить свои планы по открытости и делали это, в последнее время для галочки
- де-факто на 2020 год нет высшего должностного лица ответственного за открытость государства.

В качестве послесловия тут хорошо бы написать какие-нибудь выводы. Главный вывод, пожалуй, что вся тема открытости государства сейчас требует полного перезапуска. Но кто это будет делать? И будет ли?

Ссылки:
[1] https://ach.gov.ru/page/government-openness

#opendata #opengov

Где читать про технологии в государстве? В России практически негде, а если говорить про то что происходит в мире, то далее подборка ресурсов, в первую очередь блогов на английском языке.

Блоги в Великобритании
- Home Office Digital, Data and Technology https://hodigital.blog.gov.uk/
- Centre for Data Ethics and Innovation Blog https://cdei.blog.gov.uk/
- Data in government https://dataingovernment.blog.gov.uk
- Defra digital https://defradigital.blog.gov.uk
- Government Data Architecture https://dataarchitecture.blog.gov.uk/
- Technology in government https://technology.blog.gov.uk/
- Digital and Data Wales https://digitalanddata.blog.gov.wales/
- Digital Scottish government https://blogs.gov.scot/digital/


Блоги по гостехнологиям в США
-18F blog https://18f.gsa.gov/blog/
- Healthdata.gov blog https://healthdata.gov/blog
- Data.gov blog https://www.data.gov/meta/
- Cancer Data Science Pulse https://datascience.cancer.gov/news-events/blog
- National data strategy news https://strategy.data.gov/news/

Блоги по гостехнологиям в Австралии
- digital.nsw https://www.digital.nsw.gov.au/blog
- DTA News and blogs https://www.dta.gov.au/news-blogs/all


Блоги во Франции
- Le blog d’Etalab https://www.etalab.gouv.fr/blog
- Beta.gouv.fr blog https://blog.beta.gouv.fr/

Международные блоги
- OECD the AI wonk https://oecd.ai/wonk/
- OECD blogs https://www.oecd.org/blogs/
- UN World data forum blog https://unstats.un.org/unsd/undataforum/blog/
- Open Government Partnership Learning blog https://www.opengovpartnership.org/learning/blog/

#opendata #data #govtech #blogs

В рамках национальной стратегии данных в США опубликованы финальные версии каталога навыков по работе с данными и этический фреймворк по работе с данными [1].

Конечно, весьма бюрократизированные, но интересные документы. В отличие от российских они создавались непосредственно теми кто занимается наймом людей с этими навыками и их обучением в органы власти США. То есть теория уже после практики и это разумно.

Ссылки:
[1] https://strategy.data.gov/news/2020/12/01/data-skills-catalog-and-data-ethics-framework/

#data #ethics #usa

Для тех кто следит за мобильной приватностью и мобильными приложениями. В блоге исследователей приватности AppCensus вышла заметка Proximity Tracing in an Ecosystem of Surveillance Capitalism [1]

Где они подробно разбирают то как устроено API контроля за уведомлениями о COVID-19 Google-Apple Exposure Notifications (GAEN) и о том что есть возможность обходить его ограничения. Поскольку API использует информацию о находящихся рядом bluetooth устройствах то можно идентифицировать конкретного человека в конкретное время по "bluetooth отпечатку" устройств вокруг. И делается это через такой сервис как X-mode [2], тот самый который засветился в продаже данных из приложений военным в США [3]

Ссылки:
[1] https://blog.appcensus.io/2020/12/04/proximity-tracing-in-an-ecosystem-of-surveillance-capitalism/
[2] https://xmode.io
[3] https://9to5mac.com/2020/11/20/us-military-buys-location-data-from-muslim-prayer-app-and-more/

#privacy #covid-19 #xmode

Для тех кто давно хочет поэкспериментировать с машинным переводом, Translator API [1] полностью с открытым кодом на Github, легко модифицируется, поддерживает 150 языков и работает на основе языковой модели Language Technology Research Group at the University of Helsinki [2].
Всё вместе работает на основе Cortex [3], решения с открытым кодом по развертыванию моделей машинного обучения.

Очень интересно было бы сравнить с автоматизированными облачными переводчиками.

Ссылки:
[1] https://github.com/cortexlabs/cortex/tree/translator-example/examples/model-caching/python/translator
[2] https://huggingface.co/Helsinki-NLP
[3] https://www.cortex.dev/

#ml #machinelearning #datascience #cooltools #data