Ivan Begtin
8.1K subscribers
2K photos
3 videos
102 files
4.72K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
加入频道
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
February 25, 2019
February 26, 2019
February 26, 2019
February 26, 2019
February 27, 2019
February 27, 2019
February 27, 2019
February 27, 2019
February 27, 2019
Одна из наиболее сложных задач в понимании "кому-что-и-как положено" в доступе к данным - это декомпозиция прав доступа из федерального законодательства. Например, сегодня в 22:05 внесён законопроект № 655193-7 "О внесении изменений в отдельные законодательные акты Российской Федерации " [1] с изменениями в несколько законов, в том числе в Федеральный закон "Об актах гражданского состояния" N143-ФЗ [2] где прописаны условия доступа органов власти к Единому государственному реестру записей актов гражданского состояния (ЕГРЗ).

Законопроект расширяет перечень органов власти имеющих доступ к этим сведениям на избирательные комиссии, и комиссии референдумов. В перечень который и без того уже весьма немал. Я бы даже сказал что список имеющих доступ уже столь велик что скоро можно будет всерьёз задумываться не будет ли утечек из ЕГРЗ, не продаются ли уже эти сведения на чёрном рынке.

Напомню что сейчас статья 13.2 в 143-ФЗ выглядит следующим образом (форматирование моё)
--
Сведения о государственной регистрации смерти, содержащиеся в Едином государственном реестре записей актов гражданского состояния, и сведения о внесении исправлений или изменений в записи актов о смерти, содержащиеся в Едином государственном реестре записей актов гражданского состояния, предоставляются:
- федеральному органу исполнительной власти в сфере внутренних дел (его территориальным органам)
- федеральному органу исполнительной власти, осуществляющему функции по контролю и надзору за соблюдением законодательства о налогах и сборах (его территориальным органам)
- федеральному органу исполнительной власти, осуществляющему функции по формированию официальной статистической информации о социальных, экономических, демографических, экологических и других общественных процессах в Российской Федерации (его территориальным органам)
- федеральному органу исполнительной власти, осуществляющему функции по выработке и реализации государственной политики и нормативно-правовому регулированию в области обороны (его территориальным органам)
- федеральному органу исполнительной власти, осуществляющему функции по выработке и реализации государственной политики и нормативно-правовому регулированию в сфере деятельности войск национальной гвардии Российской Федерации, в сфере оборота оружия, в сфере частной охранной деятельности и в сфере вневедомственной охраны
- федеральному органу исполнительной власти, уполномоченному Правительством Российской Федерации на осуществление государственного кадастрового учета, государственной регистрации прав, ведение Единого государственного реестра недвижимости и предоставление сведений, содержащихся в Едином государственном реестре недвижимости (его территориальным органам)
- Пенсионному фонду Российской Федерации
- Фонду социального страхования Российской Федерации
- территориальным фондам обязательного медицинского страхования
- органам исполнительной власти субъектов Российской Федерации, осуществляющим полномочия в сфере информационно-коммуникационных технологий и организации информационного взаимодействия с федеральными органами исполнительной власти и (или) автоматизированными системами федеральных органов исполнительной власти
- главам местных администраций муниципальных районов, городских округов, внутригородских территорий городов федерального значения, а в случаях, предусмотренных законами субъектов Российской Федерации - городов федерального значения,
- территориальным органам исполнительной власти городов федерального значения.
--


Ссылки:
[1] http://sozd.duma.gov.ru/bill/655193-7
[2] http://www.consultant.ru/document/cons_doc_LAW_16758/

#data #duma #law
February 27, 2019
February 27, 2019
March 2, 2019
Хорошая новость ко дню открытых данных, группа Open Data Institute в Австралии выпустили версию 1.0 продукта Data Curator [1], это инструмент с открытым кодом для контроля качества данных. Создавался он с оглядкой на другой инструмент с открытым кодом Comma Chameleon [2] помогающий работать с csv файлами.

У Data Curator есть важная особенность - это поддержка стандарта Data Packages [3] из проекта Frictionless Data.
Data Packages - это способ описания данных в виде плоских таблиц в CSV с качественным описанием метаданных.

Data Curator не единственный продукт позволяющий работать над качеством данных. Я напомню про Open Refine о котором даже есть статья в Википедии [4] и созданный на базе проекта Google Refine. Этот продукт довольно активно используется всеми командами работающими с открытыми данными и в России тоже

Есть немало коммерческих продуктов по очистке данных используемые в России сильно реже.
Например:
- Trifacta https://www.trifacta.com/
- ClearStory https://www.clearstorydata.com/product/data-prep/
- DataIku https://www.dataiku.com/

Среди них самый интересный по заходу - DataIku. Они продают себя как инструмент для корпоративного искусственного интеллекта (enterprise AI), а платформа изначально заточена по machine learning.

Все эти инструменты очень полезны, но нет ни одного совсем универсального. Дело в том что инструменты умеющие делать базовую проверку качества - например структуру полей описания набора данных, идентификацию типов и так далее, обычно не умеют делают валидацию справочников с отраслевой спецификой. Например, валидация кодов ИНН или ОКАТО организаций, декомпозиции и валидации адреса, геокоординат и так далее. Всё это требует специализированных инструментов или же целевого программирования под эти задачи.

Вчера на дне открытых данных была секция о качестве данных где много говорили про разные, но в основном, не инструментальные, аспекты качества.

Ссылки:
[1] https://github.com/ODIQueensland/data-curator
[2] https://comma-chameleon.io/
[3] http://frictionlessdata.io/data-packages/
[4] https://en.wikipedia.org/wiki/OpenRefine

#opendata #dataclean #dataquality
March 3, 2019
CivicTech.guide [1] онлайн навигатор по технологическим гражданским проектам в обновлённом формате как раз сегодня представляется на дне открытых данных в Нью Йорке. Проект является каталогом технологических инструментов, конференций, митапов и людей вовлеченных в технологии и действующие на общественное благо.

Каталог там велик и позволяет найти очень для тех кто хочет начинать свой проект не с нуля, а воспользоваться опытом тех кто уже работает с данными или с краудсорсингом или с технологическими медиа.

Ссылки:
[1] https://civictech.guide
March 3, 2019
March 4, 2019
США опубликовали 4-й национальный план действий в рамках партнерства Открытых правительств [1]. Несмотря на то что многие в OGP ожидали что США выйдет из этого партнерства. Сам план довольно краток, немногообещающ и подвергся уже публичной критике [2].

Впрочем в США открытость зависит не только от Белого Дома и открытость данных обеспечивается даже без того чтобы об этом говорил действующий президент.

Ссылки:
[1] https://open.usa.gov/assets/files/NAP4-fourth-open-government-national-action-plan.pdf
[2] https://e-pluribusunum.org/2019/02/22/after-years-of-delays-and-democratic-regression-usa-releases-weak-open-government-plan/

#opengov #usa
March 5, 2019
March 5, 2019
March 5, 2019
March 5, 2019
Яндекс запустил сервис Яндекс.Патенты [1] где каждый может теперь поискать информацию о патентах которые когда-либо были зарегистрированы с 1924 года. Об этом пишет vc.ru [2]. Поиск по патентам - это полезный и хороший сервис и хочется искренне порадоваться за Яндекс, но, всегда есть свои но.

Среди множества сервисов поиска которые Яндекс делает очень мало тех которые основаны на данных государства. Может быть даже и нет ни одного основанного именно на данных из госреестров.

Какой ключевой и важнейший вопрос который следует задать самим же себе - как Яндекс получает эти данные? Использует ли компания открытые данные или же получает их эксклюзивным образом.

Я напомню что когда Открытое правительство существовало в России, одним из переломных моментов в восприятии его сообществом было проведение мероприятия в Яндексе где сотрудники Яндекса хвастались и подписывали соглашение с Дептрансом Москвы. Не открытых данных, а по закрытому непубличному соглашению с непрозрачными условиями доступа.

Слишком много подозрений в отношении Яндекса в том что компания стремится быть data монополией и ничего не вкладывает ни в открытость данных ни в экосистему вокруг неё.

Ссылки:
[1] https://yandex.ru/patents
[2] https://vc.ru/services/60286-yandeks-zapustil-poisk-po-patentam

#opendata #yandex #patents
March 5, 2019