Дайджест интересных ссылок про данные:
- доступны материалы конференции CSVConf [1] проходившей 8-9 мая в Портленде [2]. Много интересного по дата-журналистике и работе с данными в сообществах и открытым исследованиям
- о том как наблюдать и понимать за экосистемой городских данных в блоге ODI [3]
- о том как открытость конгресса США породила рост недоверия к нему со стороны граждан [4]. Поскольку вся деятельность лоббистов оказалась как на ладони.
- вышла книга "Digital Government. Managing public sector reforms in the Digital Era" [5] за авторством Mariam Lips. Судя по содержанию - там скорее общие слова, описание того что такое digital government. Для тех кто давно занимается этой темой ничего нового не будет, для тех кто только начинает - может быть интересным.
- The state of open data [6] книга за авторством многих мировых активистов в открытых данных, выходит в ближайший месяц. Фактически это сборник статей, но собранный в разделы и с описанием конкретных историй/областей. Предварительно посмотреть в PDF тоже можно [7]
- Missing Numbers [8] блог о данных которые государство должно собирать, но не собирает

Ссылки:
[1] https://csvconf.com/
[2] https://zenodo.org/communities/csvconfv4/?page=1&size=20
[3] https://theodi.org/article/how-to-understand-and-monitor-a-city-data-ecosystem-to-help-make-better-decisions/
[4] https://www.foreignaffairs.com/articles/united-states/2019-04-16/dark-side-sunlight
[5] https://www.routledge.com/Digital-Government-Managing-Public-Sector-Reform-in-the-Digital-Era/Lips/p/book/9781138655652
[6] https://medium.com/@stateofopendata/exploring-the-state-of-open-data-events-and-discussions-in-may-bfee00c2f4f7
[7] http://www.africanminds.co.za/wp-content/uploads/2019/05/The_State_of_Open_Data_9781928331957_web.pdf
[8] https://missingnumbers.org/

#opendata #opengov #data

8 мая прошёл совет при президенте по стратегическому развитию и национальным проектам. Он транслировался в прямом эфире онлайн по Россия24 и сейчас его видеозапись и стенограмма стали доступными [1].

Я лишь частично успел пересмотреть его в прямом эфире и позже перечитывал стенограмму.

Для тех у кого есть время, можно прочитать стенограмму полностью, для тех кто хочет самую суть рекомендую прочитать выступление Чистовой Веры Ергешевной, заместителя председателя Счётной палаты [2], в видео это 1:25:20

Я сожму произнесённое ей тезисами:
- высокие темпы роста заложенные в нац проекте основаны на "оптимистичном сценарии" развития экономики.
- в паспортах нац. проектов кроме двух «Малое и среднее предпринимательство» и «Жильё» нет упоминания их вклада в нац. цели.
- даже если всё что в нац. проектах запланировано будет сделано, всё равно мало шансов что нац. цели будут достигнуты.
- не более 25% (1/4) всех мероприятий в нац. проектах влияют на нац. цели
- значительная часть мероприятий в нац. проектах не отличается от мероприятий в прошлых нац проектах и госпрограммах (безрезультатных).
- в федеральном статнаблюдении нет показателей нац. проектов
- бюджетный манёвр не был совершён, на здравоохранение и образование выделяется недостаточно средств
- проектный подход не работает, а нац. проекты разбросали по многим госпрограммам. Цифровую экономику разбросали на 10 госпрограмм
- создаются непрозрачные структуры в виде государственных АНО и Фондов выводимых из под 44-ФЗ и 223-ФЗ.
- все паспорта нац. проектов проходят корректировку и должны быть скорректированы на достижение национальных целей.

Остальные выступления не так важны, а это впервые прозвучавший чётко взгляд со стороны на то что делает сейчас исполнительная власть на федеральном уровне.

Я добавлю от себя что я вижу:
- нац проекты реализуются также как раньше реализовывались госпрограммы, по модели бюджетного феодализма. Всё больше полномочий "стянуто" на вице-премьеров, всё более техническую функцию выполняют министры, но ничего не меняется в том что разные нац. проекты никак не смешиваются между собой;
- система управления нац. проектами крайне громоздкая и одновременно непрозрачная. За всё это время полноценные документы нац. проектов с описанием хотя бы взаимосвязи мероприятий и показателей нац. проектов так и не появились. про нац. цели я даже не говорю, это кажется какой-то совсем фантастикой если Правительство сможет это сделать;
- Правительство одновременно не идёт на упрощение 44-ФЗ и отказу от "аукционного крена" в 44-ФЗ и вместо этого всё больше распределяет средств не только на единственный источник, но и просто субсидиями без каких-либо контрактных процедур;

В целом ощущения что очень ненулевая вероятностью что все эти нац проекты или перепишут или часть притушат/закроют/разбросают на другие. Вопрос лишь в том в какой форме это будет сделано. Через бюджетное урезание или через привлечение к ответственности?

Ссылки:
[1] http://kremlin.ru/events/president/news/60485
[2] http://kremlin.ru/events/president/news/60485#sel=169:1:yJF,185:3:UZD

#government #budget #govprograms #govprojects

Stack Overflow опубликовал результаты ежегодного опроса разработчиков всего мира. Вопросы касаются как предпочтений в технологиях, так и образования, карьеры, профессиональных приоритетов, а также выбора музыки для прослушивания во время программирования.

Некоторые выводы:
- Самый быстрорастущий язык программирования среди разработчиков – Python.
- DevOps’ы и инженеры по надёжности сайтов являются самыми высокооплачиваемыми и довольными специалистами своей работой.
- 7,9% опрошенных являются дата-сайентистами, и еще 7,2% опрошенных идентифицируют себя дата-инженеры.
- Около 65% респондентов работают с программным обеспечением с открытым исходным кодом хотя бы раз в год.

Анонимизированные данные опросов будут опубликованы под лицензией Open Database License (ODbL).

Подробнее: https://insights.stackoverflow.com/survey/2019.

Human Rights Watch опубликовали подробный разбор приложения по массовой слежке китайского правительства за уйгурами [1] через специальное мобильное приложение. О нём же статья в Boing Boing с некоторыми подробностями и акцентами [2] на том что то что экспериментируется в Синцзяне против уйгур будет в дальнейшем применяться по всему Китаю.

Разбор интересен во многих аспектах. И в том что в нем глобально нет ничего нового, лишь подтверждение того что и так было известно, но есть много технических подробностей о тех триггерах на которых приложение срабатывает и о том как отслеживают жителей на специальных постах. Правильнее, конечно, говорить не о мобильном приложении, а о полноценноый сложной системе контроля за поведением огромного числа людей.

При этом, конечно, опасения что создатели аппаратных платформ и программных собирают гораздо больше информации чем даже это китайское приложение - вполне обоснованы. Apple, Google, Samsung, Xiaomi, Microsoft все кто делают как цельное решение от железа до начинки (Apple) так и в связке нескольких решений в одно - все они могут реализовать если не то же самое, то очень близкое. Это всё приводит к очень серьёзному вопросу о юрисдикции и самих компаний и, вопрос о котором нельзя забывать, юрисдикции их датацентров. Но это вопрос глобального противостояния спецслужб, глобальных корпораций и иных интересантов к персональным данным граждан. В основном через ретроспективный доступ, от инцидентов.

Китайский же пример важен именно цельностью внедрённой системы. Приложение + система уведомлений + система чекпоинтов + система централизованного мониторинга и ещё многое что остаётся за кадром.

Пример такого тотального контроля, безусловно страшен. Но реализуем только в ситуации сильной диктатуры. Можно ли перенести китайскую модель на другие страны? В те которые смогут выстроить жёсткую модель государственного насилия - безусловно. В те в которых это не получится - бессмысленно.

Но. Я хочу напомнить что то относительное изобилие в котором живёт человечество в последние десятилетия (пару столетий) может оказаться совсем не долговременным периодом истории человечества. В случае глобальных техногенных, антропогенных и иных катаклизмов способных перевернуть отношение общества к институциональному насилию - сценарий когда подобный подход будет реализовываться в ранее благополучных средах, совсем не иллюзорен.

Ссылки:
[1] https://www.hrw.org/report/2019/05/01/chinas-algorithms-repression/reverse-engineering-xinjiang-police-mass-surveillance
[2] https://boingboing.net/2019/05/07/terrorism-is-the-pretense.html

#privacy #surveillance

3-ю часть исследования про персональные данные из государственных информационных систем я не публиковал сам, а передал РБК. Почему? Вы поймёте это прочитав только что вышедшую статью https://www.rbc.ru/politics/15/05/2019/5cdac8469a79479a27bd4eca о том чьи паспортные данные оказались в открытом доступе. И не только паспортные данные.

В открытом доступе я на днях опубликую открытую часть, без методик воспроизведения.

После прошлой публикации мне "оборвали телефон" журналисты так что сразу ответы на несколько вопросов:
1. Всё это было передано журналистам через 8(!) месяцев после того как материалы передавались Роскомнадзору и они даже отвечали в форме "с чем-то мы согласны, с чем-то несогласны". Роскомнадзору это передавалось после того как значительно ранее часть госорганов я предупреждал что такая проблема в их информационных системах есть, не прореагировал _никто_.
2. По наиболее серьёзным утечкам перс-данных органы власти, операторы систем были предупреждены ещё 8 месяцев назад, а то и раньше. Некоторые по нескольку раз. Лично я понял что механизм предупреждения любыми неформальными способами - не работает.
3. В этот раз проблема не в объёме, а в том чьи данные раскрываются.
4. Особо про Минюст. Я скажу максимально вежливо - очень много вопросов по профессионализму тех кто ведёт их реестры. Утечки перс данных - это лишь один из примеров крайне низкого качества данных в целом.

И да, конечно же, это не все государственные информационные ресурсы на которых публикуют персональные данные. Это та их часть до которой у меня дошли руки полгода назад всё задокументировать.

Самый быстрый способ со мной связаться это почта [email protected] или телеграм https://yangx.top/ibegtin
Я обычно, почти никогда не беру звонки с городских телефонов, и могу не взять звонок с неизвестного телефона если сижу на совещании. Поэтому лучше писать чем звонить.

Но в принципе в статье в РБК всё понятно изложено.

#privacy #security #personaldata

На прошедшем Дне открытых данных Юлия Духовнова рассказала о планах ФНС России по публикации в апреле открытых данных налоговой статистики в муниципальном разрезе.

В конце апреля реестр открытых данных ФНС России действительно был дополнен и теперь можно использовать данные о:

- налоговой базе и структуре начислений по налогу, уплачиваемому в связи с применением упрощенной системы налогообложения в разрезе муниципальных образований;
- налоговой базе и структуре начислений по единому сельскохозяйственному налогу в разрезе муниципальных образований;
- налоговой базе и структуре начислений по единому налогу на вмененный доход для отдельных видов деятельности в разрезе муниципальных образований.

Единственное, на мой взгляд, пока не хватает привязки муниципалитетов к регионам, указания наименований муниципалитетов в едином формате и в датасетах отдельных регионов не совсем корректна структура csv. Думаю, что в следующих версиях наборов эти недочеты будут устранены.

А вообще получается странная ситуация: региональных бюджетов на портале "Электронного бюджета" все еще нет (хотя должны были быть с 1 января 2018 года, а с 1 января 2020 года должны быть уже и муниципальные бюджеты, но будут ли?), а муниципальная налоговая статистика уже есть. 🙂

https://www.nalog.ru/opendata/

Репост из блога https://begtin.tech/pdleaks-p3-govsys/
Обещанная публичная часть исследования по утечкам персональных данных из государственных информационных систем. Об этом уже вышла статья в РБК [1]

Это исследование проводилось в августе 2018 года и охватывало 8 государственных информационных ресурсов:

Реестр субсидий федерального бюджета
Реестр отчётов некоммерческих организаций (Минюст России)
Обращения граждан на портале Онлайн Инспектор
База правовых решений на портале ФАС России
Портал торгов по госимуществу
Портал управления многоквартирными домами г. Москвы
Портал поставщиков г. Москвы
Портал государственного и муниципального заказа РФ (zakupki.gov.ru)

Его результаты были переданы в Роскомнадзор и ряду органов власти.
Документ исследования можно скачать по ссылке [2]

Из документа отчёта убраны все ссылки на конкретные примеры, кроме портала zakupki.gov.ru в части электронных подписей и тех примеров которые можно легко проверить через поисковые системы.

В общей сложности и по минимальной оценке - это источник персональных данных в виде не менее 360 тысяч записей.


А я ранее писал про утечки данных в 2.2 миллиона записей на электронных торговых площадках [3] и в чуть меньшем объёме из удостоверяющих центров [4].

Все вопросы по исследованию/расследованию можно направлять мне на [email protected]

И, конечно, это далеко не все госсистемы в которых можно получить персональные данные без особых усилий.

Ссылки:
[1] https://www.rbc.ru/politics/15/05/2019/5cdac8469a79479a27bd4eca
[2] http://files.begtin.tech/f/f75964ea1fe94f2d8d61/?dl=1
[3] https://begtin.tech/pdleaks-p2-etp/
[4] https://begtin.tech/pdleaks-p1-uc/

#privacy #personaldata #data

Очень приятно, что ровно через год после упразднения Открытого правительства тема открытых данных не просто не забыта, а находится на повестке одного из ключевых федеральных органов. Будем надеяться, что Счетная Палата будет не только развивать свою открытость, но и мотивировать другие госорганы.

«Когда я говорю про анализ данных, то он должен сопровождаться и самими данными, которые должны формироваться качественно, сверяться, чтобы мы могли с ними работать. Мы готовы взять на себя миссию продвижения принципа открытых данных в стране», - заключил Председатель Счетной Палаты.

http://audit.gov.ru/press_center/news/36955

А я предупреждал насчёт Яндекс.Облака и вот, Shit happens. Яндекс удалил часть виртуальных машин в своем облаке

Мы многое говорим о том что нас ждёт если в России "наступит Китай" и о шансах отсутствия приватности. Рассмотрим примеры того что сейчас происходит в странах от Китая очень далёких политически и территориально:

- ZDNet пишет о том что в Нью Йорке для идентификации подозреваемого которого камера засняла в низком качестве картинки поняли что подозреваемый похож на Вуди Харрельсона и искали по фото знаменитости всех похожих [1]. Всё это в отчёте [2] Center on Privacy & Technology at Georgetown Law с рекомендациями серьёзных ограничений этой практики и распознавания по лицам в принципе.

- другая статья в ZDNet о том что компании соблюдают секретность в использовании искусственного интеллекта [3] и не раскрывают достаточный объём информации для общественности и инвесторов;

- в Великобритании полиция потребовала от жертвы насилия предоставить её телефон и разблокировать его чтобы они могли скачать всё его содержимое и проверить на достоверность утверждений [4]. Причём эти материалы могут быть переданы юристам стороны защиты обвиняемого(-ых);

- в 2018 году Privacy International публиковали отчёт о похожей практике когда полиция в Великобритании секретно скачивала всё содержание телефона [5] не только преступников и подозреваемых, но и свидетелей. Полиция делает это с помощью специального ПО XRY от MSAB [6] и им пользуется уже около 97% полицейских управлений;

- в Канаде пограничная полиция утверждает что имеет право на проверку телефонов даже без решения суда [7]. Они также используют продукцию от MSAB и Cellebrite [8] позволяющие получать доступ к содержимому телефонов даже без знания паролей и иных аутентификационных факторов. Аналогично и в Калифорнии полиция на границе утверждает что у них есть право на досмотр мобильных устройств [9]

Ссылки:
[1]
https://www.zdnet.com/article/report-slams-police-for-using-garbage-data-with-facial-recognition-tools/
[2] https://www.flawedfacedata.com
[3] https://www.zdnet.com/article/why-is-a-i-reporting-so-bad/
[4] https://www.independent.co.uk/news/uk/crime/rape-victims-phones-police-investigation-disclosure-forms-cps-a8888376.html
[5] https://privacyinternational.org/press-release/1700/new-report-reveals-uk-police-are-secretly-downloading-content-suspects-mobile
[6] https://www.msab.com/products/xry/
[7] https://www.cbc.ca/news/business/cbsa-boarder-security-search-phone-travellers-openmedia-1.5119017
[8] https://www.cellebrite.com/en/home/
[9] https://www.techdirt.com/articles/20190331/18014441916/7th-circuit-punts-border-smartphone-searches-says-riley-decision-doesnt-affect-anything.shtml

#privacy

С прошлой пятницы я и ряд моих коллег - это Оля Пархимович (автор канала @ahminfin) и многие кто менее публичен начинаем работу над проектами внутри Счетной палаты Российской Федерации.

Это не только продолжение того что все эти годы мы делали в виде проектов таких как ГосЗатраты, но и многое другое связанное с открытыми данными.

Для меня это было непростым решением, многие годы работы в некоммерческом секторе с большой степенью свободы позволили сделать многие проекты в области открытости и понятности всей нашей командой. Но Алексей Кудрин (глава СП РФ) и Мария Шклярук из ЦПУР умеют убеждать и, действительно, многие из проектов по открытости так и просятся к практике работы в аудите и надзоре.

Моя новая работа не позволяет мне совмещать её с коммерческой деятельностью которую я уже свернул, но позволяет учить и управлять некоммерческими организациями. Поэтому я остаюсь и в Информационной культуре (@infoculture) и в Ассоциация участников рынка данных (@AURData).

И этот канал тоже останется.

#opendata #opengov

Эхо публикаций про персональные данные летит всё дальше. Вот и депутаты подтянулись [1]. Понимают ли они что это лишь верхушка айсберга?

Ссылки:
[1] http://duma.gov.ru/news/45016/

Михаил Петров (глава департамента цифровой трансформации в Счетной палате) написал в Republic статью [1] о Huawei и текущую ситуацию с этим китайским конгломератом. Статья хорошая, взвешенная и с продуманными выводами о том что развитие отечественной электроники и производителей - это не про прибыль и экономическую эффективность, а про купирование рисков.

Но я хочу сказать не об этом. Противостояние Huawei vs. Правительство США - это про технологии, включая технологии слежки. Huawei если не единственная, то крупнейшая компания находящаяся на территории за пределами альянса Five Eyes [2] имеющая серьёзный масштаб внедрения их устройств. Атака на Huawei - это подавление конкурента, а не компании в стране под санкциями или компаниями под санкциями. Но конкурента в слежке.

Поэтому да, что в России, что в других странах это вопрос зависимости, в том числе зависимости от того кто за Вами следит - Китай или альянс демократических спецслужб.

Но я не разделяю пиетета по поводу жертвенности России или любой другой страны в этой ситуации. Будем честными, будь наша экономика сильной, а Россия значимым игроком геополитики со своими вендорами, чипами и тд., она бы делала то же самое что и Китай и США - поддерживала бы своих производителей для слежки за всем миром. В "большой игре" правила именно таковы.

Вечный вопрос - что делать маленькому человеку в этом уже не новом мире где цифровой тоталитаризм гораздо ближе цифрового рая?

Ссылки:
[1] https://republic.ru/posts/93768
[2] https://en.wikipedia.org/wiki/Five_Eyes

#privacy #surveillance

Что делать с порталом открытых данных data.gov.ru? Он должен был быть центральным местом публикации открытых данных страны, но выполняет ли он эти функции сейчас?
anonymous poll

Полностью переделать, сделать акцент на ключевых данных, API и внедрить контроль качества и контроль публикации – 104
👍👍👍👍👍👍👍 56%

Полностью переделать и тд. + вести его должно не Минэкономразвития – 62
👍👍👍👍 33%

Ничего не делать, пусть помрёт никому ненужная система – 11
👍 6%

Надо сделать минимальные правки и снова следить за тем чтобы публиковали данные – 6
▫️ 3%

Ничего не делать, хорошо работает – 3
▫️ 2%

👥 186 people voted so far.

Хорошая новость в том что по итогам публикаций я иду на рабочую группу по перс. данным в Госдуму.

Хорошая относительно нулевой реакции Минсвязи и отрицательной реакции Роскомнадзора.

Плохая новость в том что выбор экспертов по критерию "медийности" не лучшая идея. Я вот себя экспертом именно по перс данным никогда не позиционировал, так что же я им стал оказавшись "в телевизоре" и на первых полосах газет? Это, конечно, смешно и работает наоборот. Больше пиара - меньше компетенций.

Тем временем Минюст вылечил наиболее чувствительную утечку паспортных данных, но все PDF файлы с отчётами НКО с персданными доступны по прежнему.

А я напомню что в следующих публикациях про утечки персональных данных из информационных систем я за 8 месяцев Роскомнадзор предупреждать не буду. Не работает этот механизм.

#privacy #personaldata

Давайте будем честными, если бы Минэкономразвития и Росреестр, всерьёз хотели бы бороться с источниками "недостоверной информации" из ЕГРН, то они бы запрещали не публикацию данных, а защищали бы права потребителей этой информации и устанавливали бы ответственность только именно за факты _недостоверности_, а не факты _публикации данных_.

Последний их законопроект с поправками в кодекс
административных нарушений [1], о котором пишут Ведомости [2]

Истории про "спекулятивный рынок" - это, извините, но про уничтожение рынка. Никто не будет делать бизнес на открытых данных и данных государства, когда ключевые владельцы данных гос-ва ведут себя так что рынок разрушают. Данные Росреестра нужны:
- гражданам - во всех сделках с недвижимостью
- риэлторам, нотариусам - в повседневной работе
- местным и региональным властям в стратегическом планировании
- строителям, проектировщикам и многим другим.

Это одни из тех данных доступность которых нормальна и важна для естественной работы слишком большого числа участников экономических отношений.

Они, в принципе, должны быть открыты настолько насколько возможно, а тарифы на предоставление финальных выписок должны быть эффективными, а не запретительными. Передача выписки из ЕГРН третьим лицам - это, также, часть работы с ними, они подтверждают владение имущества как раз перед третьими лицами.

А вот борьба общественными расследователями законодательным образом бессмысленна. Она лишь приведёт к ещё большему перетоку публикаций компромата и расследований в анонимные источники вроде телеграм каналов.

Ссылки:
[1] https://regulation.gov.ru/projects#npa=88067
[2] https://www.vedomosti.ru/newspaper/articles/2019/05/28/802602-minekonomrazvitiya-zapretit

#data

28 мая в Великобритании опубликовали новый план действий по открытости государтсва с 2019 по 2021 годы [1]

План подробный, с конкретными обещаниями из которых ключевые:

- Grants data
- Public participation
- Open policy making
- Open contracting data
- Natural resource transparency
- Innovation in democracy programme
- Effective knowledge sharing for sustainable OG policies and practises across public services in the UK
- Local transparency

Обо всём можно написать подробно, и про открытости данных по госконтрактам и про данные грантов, но я хочу обратить внимание на Open Policy Making. Самый сложный аспект открытости государства - это законотворчество. Когда-то Россия была одним из лидеров в этой теме. Проекты вроде zakon.government.ru (сейчас отключён) давали платформу для народной экспертизы.

Сейчас же стоит следить за этой инициативой в UK, в блоге Open Policy [2].

Напомнию что похожие инициативы по цифровому нормотворчеству есть в:
- Новой Зеландии [3]
- Австралии [4] (на базе OpenFisca)

А также частные:
- Digital Legislation [5]
- Vizlegal [6]
- Case.Law [7]

И обязательно про австралийский опыт в видео гайде, там в том числе с оценками сложности законодательства [8]

Ссылки:
[1] https://www.gov.uk/government/publications/uk-national-action-plan-for-open-government-2019-2021
[2] https://openpolicy.blog.gov.uk/
[3] https://www.digital.govt.nz/dmsdocument/95-better-rules-for-government-discovery-report/html
[4] https://www.digital.nsw.gov.au/digital-transformation/the-policy-lab
[5] https://digital-legislation.net/
[6] https://www.vizlegal.com/
[7] https://case.law/
[8] https://www.youtube.com/watch?v=OV1fioszg0M

#opengov #opendata

Я могу долго говорить про НСУД, но обращаю внимание на ключевое - открытых данных там нет.

Доклад Константина Носкова на заседании Правительства
http://government.ru/dep_news/36845/

О формировании национальной системы управления данными.

О инновациях в правоохранительной системе и современных технологиях у меня есть очень красивый и яркий пример в лице онлайн ресурсов МВД.

Для тех кто, возможно, не знает. У МВД России на специальной странице на сайте [1] есть сервис приёма сообщений. С виду удобная форма, а на практике в ней полностью не работает вставка текста, а по разговорам с несколькими людьми которые пытались через него оформить обращения - там и при редактировании текст не сохраняется и с обновлением страницы он теряется. Если он потерялся то можно только вбить его заново, скопировать откуда-либо нельзя.

Какие всё таки изобретательные люди в МВД РФ. Я бы, честно, никогда о таком бы не додумался

Ссылки:
[1] https://xn--b1aew.xn--p1ai/request_main

#мвд