Алексей Лукацкий, эксперт в кибер безопасности и многолетний автор блога посвященного защите данных, особенно персональных данных [1] вчера написал что собирается полностью уходить из этой темы и переключается на тему цифровой экономики [2].

Причина этого - ухудшение регулятора в лице Роскомнадзора уже до той степени когда с ним невозможно вести диалог, а Минсвязи давно уже самоустранилось от этой темы. Я не могу не согласиться, кроме как "все плохо" про позиции Роскомнадзора и Минсвязи по этому вопросу сказать нельзя.

Тема персональных данных актуальна и в применении к открытым данным. Как в вопросе о том что публиковаться не должно, так и в вопросе о том для чего можно использовать опубликованное.


Ссылки:
[1] http://lukatsky.blogspot.ru
[2] http://lukatsky.blogspot.ru/2017/09/rip.html

#opendata #bigdata #privacy

13 июля ОЭСР опубликовало исследование Government at Glance за 2017 год [1]. В этих исследованиях ежегодно рассматривается множество аспектов деятельности государств участников ОЭСР и стран кандидатов и стран участвующих в рабочих группах ОЭСР.

Одним из интересных разделом там является, Open Government, представленный в виде 5 разделов:
- Open government strategies and objectives
- Open government co-ordination and human resource management
- Monitoring and evaluation of open government strategies
- Citizen participation in policy making
- Open Government Data

Главные выводы которые можно сделать из их обзора:
1. Тема открытости государства есть у всех членов ОЭСР, либо в виде самостоятельной инициативы, либо будучи включенной в другую(-ие) государственные программы.

2. В обзор входит индекс (OURdata) Open-Useful-Reusable Government Data Index [2] состоящий из трех столпов:
- Data availability
- Data accesibility
- Government support for data re-use

Последний столп раскрывается в виде таких направлений:
- Data promotion initiatives and partnerships
- Data literacy programmes in government
- Monitoring impact

3. Как вы уже догадались никаких упоминаний России там нет. С 2014 года переговоры о вступлении России в ОЭСР заморожены и без надежды на восстановление на ближайшие годы. Если бы Россия там все таки была, то мы не были бы в лидерах, но и на последнем месте не были бы.

4. Лидеры рейтинга: Южная Корея, Франция, Япония, Великобритания, Испания - выходят туда из-за значительных усилий именно по государственной поддержке повторного использования данных.

Тема открытых данных мне была интересна чуть более остальных, но остальные части обзора ОЭСР тоже заслуживают внимания. Например, в части "Quality of governments financial reporting" [3] даст небесполезную картину о том какая информация о госфинансах и госимуществе доступна по многим странам ОЭСР.

Ссылки:
[1] http://www.oecd-ilibrary.org/governance/government-at-a-glance-2017_gov_glance-2017-en
[2] http://www.oecd-ilibrary.org/docserver/download/4217001ec068.pdf?expires=1504433792&id=id&accname=guest&checksum=3621A151F78C60EEE5E4558647860BE3
[3] http://www.oecd-ilibrary.org/docserver/download/4217001ec044.pdf?expires=1504434624&id=id&accname=guest&checksum=5E980002EAF35C868F93934920508E90

#oecd #opendata #opengov

Сбор и перепроверка информации - это одна из важнейших стадий при проведении расследований и чем больше информации человек/организация/группа оставляют о себе онлайн, тем более востребованы онлайн инструменты помогающие собрать и проверить эту информацию

10 августа Christiaan Triebert [1] из расследовательской группы Bellingcat выложил давно ведомый ими список инструментов для цифрового дознания,
Bellingcat’s Digital Forensics Tools [3].

Вне зависимости от того как Вы относитесь к их расследованиям - доверяете им или нет, но список безусловно полезный для всех кто когда-либо занимался расследовательской журналистикой, расследованиями и анализом публичной информации.

Интересный, но не исчерпывающий да и изменять его в формате Google документа неудобно.

Поскольку я давно веду собственные списки инструментов для цифрового дознания, то появившейся документ стал хорошим поводом их систематизировать и создать на github'е Awesome list of forensic tools [4]. Этот список может пополнять и расширять любой желающий.

Для тех кто не знает, в Github'е есть такой жанр как Awesome списки которые выступают как подробные каталоги инструментов и сервисов на все случаи жизни. Мы в Инфокультуре ведем такие списки как:
- Russian awesome open data list [5]
- Awesome datajournalism [6]
- Russian awesome open budgets list [7]

А подробный список всех Awesome списков находится здесь [8]

Ссылки:
[1] https://twitter.com/trbrtc
[2] https://twitter.com/trbrtc/status/895734898647945220
[3] https://docs.google.com/document/d/1BfLPJpRtyq4RFtHJoNpvWQjmGnyVkfE2HYoICKOGguA/edit
[4] https://github.com/ivbeg/awesome-forensicstools
[5] https://github.com/infoculture/awesome-opendata-rus
[6] https://github.com/infoculture/awesome-datajournalism
[7] https://github.com/infoculture/awesome-openbudget
[8] https://github.com/sindresorhus/awesome

#digitalforensics #privacy #opendatasources

В Эстонии уже активно обсуждают и планируют запуск эсткоинов (estcoin) в качестве государственной криптовалюты и проведение поддерживаемых государством ICO. Об этом пишет [1] руководитель программы электронного гражданства Kaspar Korjus.

И уже создали рассылку в которой обещают рассказывать о прогрессе в появлении первого государственного ICO [2].

На мой взгляд - это самая правильная государственная стратегия подхода к криптовалютам из всех возможных.
Интегрировать их в нормальные бизнес процессы и взять не просто под свой контроль, а создать среду в которой криптовалюта - это просто часть процессов, не более того.

Ссылки:
[1] https://medium.com/e-residency-blog/estonia-could-offer-estcoins-to-e-residents-a3a5a5d3c894
[2] https://e-resident.gov.ee/estcoin


#cryptogovernment

Закончился проект по архивации сайтов кандидатов в муниципальные депутаты. Подробнее в моем блоге на Medium [1]

Могу лишь дополнить ссылку тем что это очень большая проблема в архивации данных социальных сетей. Все что приходит в Facebook, потом оттуда не выходит. Это гигантская черная дыра из-за которой архивация охватывает только то что находится вне социальных сетей.

Ссылки:
[1] https://medium.com/@ibegtin/archived-elections-edec77f04f7d

#digitalpreservation #webarchiving

Минпромторг проводит опрос востребованности открытых данных [1] спрашивая у аудитории какие именно данные нужны. Опрос дурацкий, состоит он из одной длинной странице из более чем 50 галочек которыми надо отметить нужны ли Вам эти данные или не нужны.

Министерство не интересует ни кто Вы, ни чем занимаетесь, ни то для какой цели Вам нужны данные и, может быть, Вам нужны не новые данные, а качественная публикация уже имеющихся или обновление наборов данных ежечасно, а не раз в полгода да и много других вопросов возникают при виде подобного опроса.

Что еще не так с этим опросом? У Минпромторга гораздо больше данных чем то что заявляется в этом списке. Кроме всего прочего под их управлением находятся такие системы как:
- ГИС Промышленности [2] [3] (ограничивающее доступ к большей части информации без регистрации)
- АИС Проектное управление [4]
- ГИС Индустриальные технопарки [5]
- ИС Научно-техническая библиотекта [6]
- Реестр композитов [7]
- Детализированный бюджет Минпромторга [8] который, почему-то, не отмечен у них как информационная система. Неужели подается как часть официального сайта?
- АИС "Внешнеторговая информация", создана в после решения Правительства в 2005 году, в 2011 году сдана в эксплуатацию и в 2016 году проходила последнее обновление.
- Система ситуационного анализа Минпромторга России (АИС "Прогноз")
- ... и я еще могу долго продолжать.

Я все же не отговариваю вас сходить и не прокликликать все галочки в опросе. Может быть и от этого будет польза и Минпрромторг раскроет больше данных. Хотя и не стоит удивляться потом когда их представители будут говорить о том что их данные никто не использует. Потому что, похоже, даже они сами не обследовали того какие данные у них есть.

Ссылки:
[1] http://minpromtorg.gov.ru/open_ministry/od_form/
[2] http://minpromtorg.gov.ru/ministry/infosys/gisp/
[3] https://gisp.gov.ru/
[4] https://aispu.minprom.gov.ru
[5] https://www.gisip.ru/
[6] http://minpromtorg.gov.ru/ministry/infosys/#ntb2
[7] http://minpromtorg.gov.ru/ministry/infosys/#comp
[8] http://budget.minpromtorg.gov.ru

#opendata #minpromtorg

В ComputerWeekly вышла редакторская статья "GDS is ‘sidelined’ and government as a platform ‘is dead’, says Francis Maude" [1] о том почему Government Digital Services в Великобритании в 2015 году покинул Mike Bracken [2] и о текущем состоянии концепции "Government-as-a-platform".

В основном со слов бывшего министра Francis Maude [3], который с 2010 по 2016 год был министром и главой казначейства (Paymaster General [4]) в Правительстве Великобритании. В 2015 году он был назначен на должность министра государственной ) торговли и инвестиций (Minister of State for Trade and Investment) - это аналог должности министра экономического развития в России где проработал до апреля 2016 года.

Именно Francis Maude в 2011 году создал Government Digital Services, подразделение отвечающее за цифровую трансформацию правительства Великобритании.
Возвращаясь к статье, можно узнать что с момента его ухода значительная часть созданного тогда отыгрывается назад. Не в том что касается открытости, но, в первую очередь, в том что касается консолидации управления цифровыми сервисами и ИТ в одном подразделении. Значительная часть министерств пытается вернуть себе полномочия по управлению своими ИТ проектами, бюджетами и имуществом и именно это Mike Bracken и называет причиной своего ухода с поста директора GDS в 2015 году.

Это важная история потому как лучшие примеры цифровой трансформации - Сингапур и Эстония, это довольно небольшие страны с небольшим госаппаратом. Великобритания - это один из лидеров экономики, цифровой экономики и реформы госуправления, одна из немногих стран сравнимая с Россией по размеру и масштабам развития ИТ.

То как будет меняться государственное управление в России в после выборов в 2018 году столкнется с неизбежным сопротивлением со стороны ИТ подразделений ФОИВов и отдельный вопрос в том как это будет решаться в России.

Ссылки:
[1] http://www.computerweekly.com/news/450426316/GDS-is-being-sidelined-and-government-as-a-platform-is-dead-says-Francis-Maude
[2] http://mikebracken.com/blog/co-operation-collaboration-and-membership-2/
[3] https://en.wikipedia.org/wiki/Francis_Maude
[4] https://en.wikipedia.org/wiki/Paymaster_General
[5] https://en.wikipedia.org/wiki/Government_Digital_Service

#opendata #opengov #gds #uk #digitalgov

Недавно вышел обновленный приказ Управделами Президента про использование VIP залов официальными лицами.

Недавно вышел обновленный приказ Управделами Президента про использование VIP залов официальными лицами. В новой редакции [1] , он оказался неоправданно оставшийся незамеченным прессой и всеми кто исследует наше любимое государство. Кто-то еще помнит, этот приказ впервые выходил в 2010 году и его старая редакция доступна [2]

За прошедшие семь лет с момента прошлого приказа изменилось многое и немногое. Немногое в том что к списку категорий лиц добавилось всего 26 категорий: было 354, стало 380, а многое потому как у более чем половины категорий поменялось описание, у многих появились уточнения про сопровождающих их лиц.

Для беглого анализа списки были превращены в CSV файлы и сделано беглое сравнение с поиском отличий. Все данные можно найти на хабе открытых данных [3].

Основные направления изменений можно выделить следующие:
- Номенклатура субъектов федерации, вроде уполномоченных по правам ребенка субъекта федерации
- Международная и межгосударственная бюрократия.
Госкорпорации
- Крупнейшие религиозные объединения
- Общественники (общественная палата).
и далее подробнее на Medium https://medium.com/@ibegtin/aero-vip-c2cf51cc2351

Ссылки:
[1] https://rg.ru/2017/06/09/a1413583-dok.html
[2] https://rg.ru/2010/08/24/aerozal-dok.html
[3] https://hubofdata.ru/dataset/vip-aero

#opendata #opengov

В США заработал в бета-режиме US Crime Data Explorer [1], аналитический сайт-навигатор по преступности с США, разработанный ФБР совместно с командой 18F и основанный на данных которые в ФБР собирает Crime Statistics Management Unit [2] добровольно предоставляемых полицейскими подразделениями отдельных штатов и графств в США.

Уровень детализации данных на портале достигает конкретного полицейского подразделения, а для отдельных штатов можно увидеть не только общую статистику, но и в разрезе расы, национальности и пола.

У проекта есть API к данным [3] и базы в виде наборов данных [2]

Это хороший пример того что хотелось бы сделать в России на данных криминальной статистики.

Ссылки:
[1] https://crime-data-explorer.fr.cloud.gov/
[2] https://crime-data-explorer.fr.cloud.gov/downloads-and-docs
[3] https://crime-data-explorer.fr.cloud.gov/api

#opendata #opengov

Если Вы еще не видели нашего поста на хабр про опрос тех кто делает проекты на финансовых данных, то обязательно загляните и посмотрите .https://habrahabr.ru/company/infoculture/blog/338468/

От себя я добавлю что мы уже знаем несколько десятков компаний в России зарабатывающих только на открытых данных или же чья бизнес модель их активно использует.

Но хочется понять всех ли мы знаем и что нужно тем кто еще не начал бизнес в этом направлении.

#opendata #opengov

В блоге Гугл интересный обзор текущего состояния журналистики данных [1]. Что характерно, исследование было довольно обстоятельно, они сделали 56 глубоких интервью и в 900 ньюсрумах в 4-х странах провели опросы.

Главный тезис - теперь "Дата журналистика" это и есть журналистика.

Главные выводы:
- 14% журналистов используют данные ежедневно
- 42% журналистов используют данные не менее 2-х раз в неделю
- более 50% журналистов не считаю что журналистика данных требует специальных навыков
- а среди журналистов работающих в области технологий таких более 70%
- более 50% респондентов указали что у них есть журналисты работающие именно с данными (dedicated data journalists)
- более всего журналистика данных используется для визуализаций связанных с политикой и с финансами
- более 2/3 дата историй во Франции создаются не дольше 1 дня
и так далее.

Подробнее можно узнать в отчете в PDF [2].

Ссылки:
[1] https://www.blog.google/topics/journalism-news/data-journalism-2017/
[2] https://newslab.withgoogle.com/assets/docs/data-journalism-in-2017.pdf

#opendata #opengov #datajournalism

Обратите внимание на проект "Our world in data" [1] в нем собрано много данных из баз всемирного банка [2], ООН [3] и многих других источников.

В то же время там используется гибридная модель - совмещения лонг-рида, инфографики и интерактивных таблиц и научной формы подачи материала.
Получается проект более похожий на укороченные научные статьи с хорошей визуализацией чем относительно привычные лонг-риды.
У интерактивных визуализаций в проекте открытый код [4].

Это один из примеров проектов который может быть источником вдохновения для тех кто хочет создать что-то свое.
Например, что-то близкое по форме подачи, но про Россию и ее регионы.

Ссылки:
[1] https://ourworldindata.org/
[2] https://data.worldbank.org
[3] http://data.un.org
[4] https://github.com/owid/owid-grapher
#opendata #visualization

Регулярное напоминание про множество всего что мы в Инфокультуре делаем

1. Идет конкурс BudgetApps на который есть еще чуть более месяца для подачи заявок - http://budgetapps.ru Идеи для проектов собраны нами тут https://github.com/infoculture/budgetapps/issues/ и наверняка есть у Вас!

2. Мы проводим опрос про открытые финансовые данные - прошу не полениться и потратить 10 минут https://ru.surveymonkey.com/r/BVKG6B2

3. Многочисленные идеи по проектам которые можно создать на открытых данных мы собрали в специальном репозитории на Github https://github.com/infoculture/datatasks/issues

4. 28 сентября мероприятие "Наркопреступления" о том как анализируются данные по преступности в этой сфере https://www.facebook.com/events/305274293274711/?fref=ts

5. Рассылка Инфокультуры - это хороший способ узнавать наши новости заранее http://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05

6. Очень много открытых данных мы накопили в хабе открытых данных https://hubofdata.ru - это проект который давно существует и который мы планируем развивать далее.

#opendata #opengov

О секретах популярности языка Python в сентябрьском исследовании от StackOverflow [1]. В качестве спойлера - главная причина в pandas [2], проекте поддерживаемом NUMFocus [3], организации поддерживающей качественные open source проекты полезные для науки.

В исследовании Stack Overflow это хорошо заметно, значительный прирост пользователей у Python происходит из аудитории "Academics" - это преподаватели, студенты и исследователи из университетской среды. Что и говорить, pandas - это отличный продукт по работе данными и полезный для любых задач анализа и обработки данных.

Ссылки:
[1] https://stackoverflow.blog/2017/09/14/python-growing-quickly/
[2] http://pandas.pydata.org/
[3] https://www.numfocus.org/open-source-projects/

#opendata #python #data

Вчера на одном совещании повесткой было было "а нужно ли вообще открытое правительство" после мая 2018 года. Не буду говорить где был разговор, но как минимум один федеральный министр там присутствовал.

В прошлом году я писал статью близкую к этой теме [1].

И подумываю написать свою позицию более развернуто однажды. Может быть даже в виде статьи.

Пока же сформулирую тезисы:
1. Текущие функции "министерства по открытому правительству" можно разделить на те которые относятся к деятельности в сфере общественных связей и к характеристикам основного, базового правительства.

2. Открытость не может быть "чужеродным наростом" системы государственного управления. Это характеристика, атрибут, "цифрового правительства", а не некая субстанция рядом.

3. Деятельность в направлении общественных связей - это, по сути, роли "министра по взаимодействию с гражданским обществом" или "министра по общественным связям". Нужна ли такая роль в будущем кабинете министров - я судить не берусь. Возможно, не повредит, но к открытости она имеет малое отношение.

4. Открытость основного правительства не может быть выделено в функцию/орган/проектный офис. Это доктрина которая должна быть неотъемлимой характеристикой государственного управления.

5. Реальности такова что в ближайшие годы (возможно десяток лет) Россия не вступит в ОЭСР, не вступит в Open Government Partnership, не исполняет G8 Open Data Charter (Хартии открытых данных Большой восьмерки) и не участвует в Хартии Открытых Данных (Open Data Charter). Иначе говоря - есть очень малое число международных обязательств в рамках которых может существовать сама доктрина открытости государства.

6. Но она существует, поскольку это явление которое лишь описывает запросы общества и бизнеса на взаимодействие с государством. Потребность в нем гораздо более фундаментально чем сам термин "открытость" который мы употребляем.

7. Лично у меня много претензий к открытому правительству в части слабой и неэффективной госполитики по открытым данным, но и я не уверен что его отсутствие сделает мир проще, лучше и тд.

8. Могу лишь точно сказать что чтобы ни пришло ему на смену - это не может быть очередное лоббистской структурой. Лишь прозрачность финансирования, деятельности, принятия решений и последовательность в этом - способно вызвать доверие гражданского и экспертного сообществ.

Ссылки:
[1] http://www.rbc.ru/opinions/politics/30/08/2016/57c542999a7947542d3df910

#opendata #opengov

В рубрике "их нравы" хочу отметить публикацию в блоге Sunlight Foundation о том как меняются государственные информационные ресурсы в США и как с них исчезает информация [1]. В Sunlight Foundation разработали классификацию того как чиновники удаляют информацию [2].

По их оценке это происходит следующими способами:
1. Изменение или удаление текстов и другого контента
2. Изменение или удаление ссылок
3. Перемещение целой страницы или коллекции страниц или установление редиректов
4. Изменение или удаление значимой секции веб-страницы или коллекции веб-страниц
5. Удаление целой страницы или документа
6. Удаление сайта целиком
7. Изменение или удаление веб-порталов пригодных для поиска
8. Изменение или удаление наборов данных

В посте много примеров и ссылок для тех кто хочет подтверждений.

Ссылки:
[1] https://sunlightfoundation.com/2017/10/04/classifying-changes-to-public-access-to-information-on-us-government-websites/
[2] http://sunlightfoundation.com/wp-content/uploads/2017/10/How-to-classify-changes-to-government-websites.pdf

#opendata #opengov #digitalpreservation