Закончился проект по архивации сайтов кандидатов в муниципальные депутаты. Подробнее в моем блоге на Medium [1]

Могу лишь дополнить ссылку тем что это очень большая проблема в архивации данных социальных сетей. Все что приходит в Facebook, потом оттуда не выходит. Это гигантская черная дыра из-за которой архивация охватывает только то что находится вне социальных сетей.

Ссылки:
[1] https://medium.com/@ibegtin/archived-elections-edec77f04f7d

#digitalpreservation #webarchiving

Минпромторг проводит опрос востребованности открытых данных [1] спрашивая у аудитории какие именно данные нужны. Опрос дурацкий, состоит он из одной длинной странице из более чем 50 галочек которыми надо отметить нужны ли Вам эти данные или не нужны.

Министерство не интересует ни кто Вы, ни чем занимаетесь, ни то для какой цели Вам нужны данные и, может быть, Вам нужны не новые данные, а качественная публикация уже имеющихся или обновление наборов данных ежечасно, а не раз в полгода да и много других вопросов возникают при виде подобного опроса.

Что еще не так с этим опросом? У Минпромторга гораздо больше данных чем то что заявляется в этом списке. Кроме всего прочего под их управлением находятся такие системы как:
- ГИС Промышленности [2] [3] (ограничивающее доступ к большей части информации без регистрации)
- АИС Проектное управление [4]
- ГИС Индустриальные технопарки [5]
- ИС Научно-техническая библиотекта [6]
- Реестр композитов [7]
- Детализированный бюджет Минпромторга [8] который, почему-то, не отмечен у них как информационная система. Неужели подается как часть официального сайта?
- АИС "Внешнеторговая информация", создана в после решения Правительства в 2005 году, в 2011 году сдана в эксплуатацию и в 2016 году проходила последнее обновление.
- Система ситуационного анализа Минпромторга России (АИС "Прогноз")
- ... и я еще могу долго продолжать.

Я все же не отговариваю вас сходить и не прокликликать все галочки в опросе. Может быть и от этого будет польза и Минпрромторг раскроет больше данных. Хотя и не стоит удивляться потом когда их представители будут говорить о том что их данные никто не использует. Потому что, похоже, даже они сами не обследовали того какие данные у них есть.

Ссылки:
[1] http://minpromtorg.gov.ru/open_ministry/od_form/
[2] http://minpromtorg.gov.ru/ministry/infosys/gisp/
[3] https://gisp.gov.ru/
[4] https://aispu.minprom.gov.ru
[5] https://www.gisip.ru/
[6] http://minpromtorg.gov.ru/ministry/infosys/#ntb2
[7] http://minpromtorg.gov.ru/ministry/infosys/#comp
[8] http://budget.minpromtorg.gov.ru

#opendata #minpromtorg

В ComputerWeekly вышла редакторская статья "GDS is ‘sidelined’ and government as a platform ‘is dead’, says Francis Maude" [1] о том почему Government Digital Services в Великобритании в 2015 году покинул Mike Bracken [2] и о текущем состоянии концепции "Government-as-a-platform".

В основном со слов бывшего министра Francis Maude [3], который с 2010 по 2016 год был министром и главой казначейства (Paymaster General [4]) в Правительстве Великобритании. В 2015 году он был назначен на должность министра государственной ) торговли и инвестиций (Minister of State for Trade and Investment) - это аналог должности министра экономического развития в России где проработал до апреля 2016 года.

Именно Francis Maude в 2011 году создал Government Digital Services, подразделение отвечающее за цифровую трансформацию правительства Великобритании.
Возвращаясь к статье, можно узнать что с момента его ухода значительная часть созданного тогда отыгрывается назад. Не в том что касается открытости, но, в первую очередь, в том что касается консолидации управления цифровыми сервисами и ИТ в одном подразделении. Значительная часть министерств пытается вернуть себе полномочия по управлению своими ИТ проектами, бюджетами и имуществом и именно это Mike Bracken и называет причиной своего ухода с поста директора GDS в 2015 году.

Это важная история потому как лучшие примеры цифровой трансформации - Сингапур и Эстония, это довольно небольшие страны с небольшим госаппаратом. Великобритания - это один из лидеров экономики, цифровой экономики и реформы госуправления, одна из немногих стран сравнимая с Россией по размеру и масштабам развития ИТ.

То как будет меняться государственное управление в России в после выборов в 2018 году столкнется с неизбежным сопротивлением со стороны ИТ подразделений ФОИВов и отдельный вопрос в том как это будет решаться в России.

Ссылки:
[1] http://www.computerweekly.com/news/450426316/GDS-is-being-sidelined-and-government-as-a-platform-is-dead-says-Francis-Maude
[2] http://mikebracken.com/blog/co-operation-collaboration-and-membership-2/
[3] https://en.wikipedia.org/wiki/Francis_Maude
[4] https://en.wikipedia.org/wiki/Paymaster_General
[5] https://en.wikipedia.org/wiki/Government_Digital_Service

#opendata #opengov #gds #uk #digitalgov

Недавно вышел обновленный приказ Управделами Президента про использование VIP залов официальными лицами.

Недавно вышел обновленный приказ Управделами Президента про использование VIP залов официальными лицами. В новой редакции [1] , он оказался неоправданно оставшийся незамеченным прессой и всеми кто исследует наше любимое государство. Кто-то еще помнит, этот приказ впервые выходил в 2010 году и его старая редакция доступна [2]

За прошедшие семь лет с момента прошлого приказа изменилось многое и немногое. Немногое в том что к списку категорий лиц добавилось всего 26 категорий: было 354, стало 380, а многое потому как у более чем половины категорий поменялось описание, у многих появились уточнения про сопровождающих их лиц.

Для беглого анализа списки были превращены в CSV файлы и сделано беглое сравнение с поиском отличий. Все данные можно найти на хабе открытых данных [3].

Основные направления изменений можно выделить следующие:
- Номенклатура субъектов федерации, вроде уполномоченных по правам ребенка субъекта федерации
- Международная и межгосударственная бюрократия.
Госкорпорации
- Крупнейшие религиозные объединения
- Общественники (общественная палата).
и далее подробнее на Medium https://medium.com/@ibegtin/aero-vip-c2cf51cc2351

Ссылки:
[1] https://rg.ru/2017/06/09/a1413583-dok.html
[2] https://rg.ru/2010/08/24/aerozal-dok.html
[3] https://hubofdata.ru/dataset/vip-aero

#opendata #opengov

В США заработал в бета-режиме US Crime Data Explorer [1], аналитический сайт-навигатор по преступности с США, разработанный ФБР совместно с командой 18F и основанный на данных которые в ФБР собирает Crime Statistics Management Unit [2] добровольно предоставляемых полицейскими подразделениями отдельных штатов и графств в США.

Уровень детализации данных на портале достигает конкретного полицейского подразделения, а для отдельных штатов можно увидеть не только общую статистику, но и в разрезе расы, национальности и пола.

У проекта есть API к данным [3] и базы в виде наборов данных [2]

Это хороший пример того что хотелось бы сделать в России на данных криминальной статистики.

Ссылки:
[1] https://crime-data-explorer.fr.cloud.gov/
[2] https://crime-data-explorer.fr.cloud.gov/downloads-and-docs
[3] https://crime-data-explorer.fr.cloud.gov/api

#opendata #opengov

Если Вы еще не видели нашего поста на хабр про опрос тех кто делает проекты на финансовых данных, то обязательно загляните и посмотрите .https://habrahabr.ru/company/infoculture/blog/338468/

От себя я добавлю что мы уже знаем несколько десятков компаний в России зарабатывающих только на открытых данных или же чья бизнес модель их активно использует.

Но хочется понять всех ли мы знаем и что нужно тем кто еще не начал бизнес в этом направлении.

#opendata #opengov

В блоге Гугл интересный обзор текущего состояния журналистики данных [1]. Что характерно, исследование было довольно обстоятельно, они сделали 56 глубоких интервью и в 900 ньюсрумах в 4-х странах провели опросы.

Главный тезис - теперь "Дата журналистика" это и есть журналистика.

Главные выводы:
- 14% журналистов используют данные ежедневно
- 42% журналистов используют данные не менее 2-х раз в неделю
- более 50% журналистов не считаю что журналистика данных требует специальных навыков
- а среди журналистов работающих в области технологий таких более 70%
- более 50% респондентов указали что у них есть журналисты работающие именно с данными (dedicated data journalists)
- более всего журналистика данных используется для визуализаций связанных с политикой и с финансами
- более 2/3 дата историй во Франции создаются не дольше 1 дня
и так далее.

Подробнее можно узнать в отчете в PDF [2].

Ссылки:
[1] https://www.blog.google/topics/journalism-news/data-journalism-2017/
[2] https://newslab.withgoogle.com/assets/docs/data-journalism-in-2017.pdf

#opendata #opengov #datajournalism

Обратите внимание на проект "Our world in data" [1] в нем собрано много данных из баз всемирного банка [2], ООН [3] и многих других источников.

В то же время там используется гибридная модель - совмещения лонг-рида, инфографики и интерактивных таблиц и научной формы подачи материала.
Получается проект более похожий на укороченные научные статьи с хорошей визуализацией чем относительно привычные лонг-риды.
У интерактивных визуализаций в проекте открытый код [4].

Это один из примеров проектов который может быть источником вдохновения для тех кто хочет создать что-то свое.
Например, что-то близкое по форме подачи, но про Россию и ее регионы.

Ссылки:
[1] https://ourworldindata.org/
[2] https://data.worldbank.org
[3] http://data.un.org
[4] https://github.com/owid/owid-grapher
#opendata #visualization

Регулярное напоминание про множество всего что мы в Инфокультуре делаем

1. Идет конкурс BudgetApps на который есть еще чуть более месяца для подачи заявок - http://budgetapps.ru Идеи для проектов собраны нами тут https://github.com/infoculture/budgetapps/issues/ и наверняка есть у Вас!

2. Мы проводим опрос про открытые финансовые данные - прошу не полениться и потратить 10 минут https://ru.surveymonkey.com/r/BVKG6B2

3. Многочисленные идеи по проектам которые можно создать на открытых данных мы собрали в специальном репозитории на Github https://github.com/infoculture/datatasks/issues

4. 28 сентября мероприятие "Наркопреступления" о том как анализируются данные по преступности в этой сфере https://www.facebook.com/events/305274293274711/?fref=ts

5. Рассылка Инфокультуры - это хороший способ узнавать наши новости заранее http://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05

6. Очень много открытых данных мы накопили в хабе открытых данных https://hubofdata.ru - это проект который давно существует и который мы планируем развивать далее.

#opendata #opengov

О секретах популярности языка Python в сентябрьском исследовании от StackOverflow [1]. В качестве спойлера - главная причина в pandas [2], проекте поддерживаемом NUMFocus [3], организации поддерживающей качественные open source проекты полезные для науки.

В исследовании Stack Overflow это хорошо заметно, значительный прирост пользователей у Python происходит из аудитории "Academics" - это преподаватели, студенты и исследователи из университетской среды. Что и говорить, pandas - это отличный продукт по работе данными и полезный для любых задач анализа и обработки данных.

Ссылки:
[1] https://stackoverflow.blog/2017/09/14/python-growing-quickly/
[2] http://pandas.pydata.org/
[3] https://www.numfocus.org/open-source-projects/

#opendata #python #data

Вчера на одном совещании повесткой было было "а нужно ли вообще открытое правительство" после мая 2018 года. Не буду говорить где был разговор, но как минимум один федеральный министр там присутствовал.

В прошлом году я писал статью близкую к этой теме [1].

И подумываю написать свою позицию более развернуто однажды. Может быть даже в виде статьи.

Пока же сформулирую тезисы:
1. Текущие функции "министерства по открытому правительству" можно разделить на те которые относятся к деятельности в сфере общественных связей и к характеристикам основного, базового правительства.

2. Открытость не может быть "чужеродным наростом" системы государственного управления. Это характеристика, атрибут, "цифрового правительства", а не некая субстанция рядом.

3. Деятельность в направлении общественных связей - это, по сути, роли "министра по взаимодействию с гражданским обществом" или "министра по общественным связям". Нужна ли такая роль в будущем кабинете министров - я судить не берусь. Возможно, не повредит, но к открытости она имеет малое отношение.

4. Открытость основного правительства не может быть выделено в функцию/орган/проектный офис. Это доктрина которая должна быть неотъемлимой характеристикой государственного управления.

5. Реальности такова что в ближайшие годы (возможно десяток лет) Россия не вступит в ОЭСР, не вступит в Open Government Partnership, не исполняет G8 Open Data Charter (Хартии открытых данных Большой восьмерки) и не участвует в Хартии Открытых Данных (Open Data Charter). Иначе говоря - есть очень малое число международных обязательств в рамках которых может существовать сама доктрина открытости государства.

6. Но она существует, поскольку это явление которое лишь описывает запросы общества и бизнеса на взаимодействие с государством. Потребность в нем гораздо более фундаментально чем сам термин "открытость" который мы употребляем.

7. Лично у меня много претензий к открытому правительству в части слабой и неэффективной госполитики по открытым данным, но и я не уверен что его отсутствие сделает мир проще, лучше и тд.

8. Могу лишь точно сказать что чтобы ни пришло ему на смену - это не может быть очередное лоббистской структурой. Лишь прозрачность финансирования, деятельности, принятия решений и последовательность в этом - способно вызвать доверие гражданского и экспертного сообществ.

Ссылки:
[1] http://www.rbc.ru/opinions/politics/30/08/2016/57c542999a7947542d3df910

#opendata #opengov

В рубрике "их нравы" хочу отметить публикацию в блоге Sunlight Foundation о том как меняются государственные информационные ресурсы в США и как с них исчезает информация [1]. В Sunlight Foundation разработали классификацию того как чиновники удаляют информацию [2].

По их оценке это происходит следующими способами:
1. Изменение или удаление текстов и другого контента
2. Изменение или удаление ссылок
3. Перемещение целой страницы или коллекции страниц или установление редиректов
4. Изменение или удаление значимой секции веб-страницы или коллекции веб-страниц
5. Удаление целой страницы или документа
6. Удаление сайта целиком
7. Изменение или удаление веб-порталов пригодных для поиска
8. Изменение или удаление наборов данных

В посте много примеров и ссылок для тех кто хочет подтверждений.

Ссылки:
[1] https://sunlightfoundation.com/2017/10/04/classifying-changes-to-public-access-to-information-on-us-government-websites/
[2] http://sunlightfoundation.com/wp-content/uploads/2017/10/How-to-classify-changes-to-government-websites.pdf

#opendata #opengov #digitalpreservation

Совсем свежая новость - Президентская библиотека занялась созданием сетевого архива [1] и архивирует многочисленные государственные сайты с 2017 года.

Теперь я не могу утвержать что наш проект "Национальный цифровой архив" Инфокультуры [2] является единственным, но пока еще могу говорить что он является единственным открытым поскольку пока Президентская библиотека нигде не анонсировала доступа к этим накопленным архивным данным.

В любом случае - это хорошая новость и я рад что мои разговоры на конференциях и с библиотечным сообществом как-то подтолкнули коллег.

Я могу сказать что для архивации данных самое главное - это инфраструктура и методика. Я очень надеюсь что коллеги расскажут об этом подробнее. Есть много проектов кроме нашего кто хотел бы сформировать партнерство в сохранении современного цифрового наследия.

Ссылки:
[1] https://www.prlib.ru/news/689438
[2] https://archive.infoculture.ru

#digitalpreservation

В рубрике "Вы меня не спрашивали, но я отвечу (с)"

Один из результатов работы экспертного совета при Генпрокуратуре РФ - это утвержденная концепция цифровой трансформации [1]

Экспертный совет принимал участие в ее проработке и теперь это, насколько я знаю, это первый подобный документ принятый органом власти в России.

Там много специфичного именно для правоохранительной системы и тем важнее что эта трансформация начинается уже сейчас.

Ссылки:
[1] http://genproc.gov.ru/documents/orders/document-1253244/

#digitalgov

Новости в мире открытых данных одним обзором:

1. Решение Совета ЕС о публикации документов в формате открытых данных [1] на их портале открытых данных Евросоюза [2]. Кстати, не все знают что у Евросоюза 2 портала открытых данных. Второй выступает как агргератор [3]

2. Крупнейший кооператив Великобритании планирует опубликовать информацию о более 4000 грантах выданных им местным сообществам [4]. Раскрытие будет происходить через портал 360Giving [5] где уже раскрывают данные о грантах десятки фондов.

3. Transparency Int и МИД Франции проводят совместный конкурс: Цифровой и прозрачный [6] по использованию открытых данных по противодействию коррупции. Представить себе подобное в России, пожалуй, невозможно. Не обязательно с Transparency, но по сути российская политика по противодействию коррупции пока далека от вовлечения граждан.

4. Французский кадарстр теперь доступен в формате GeoJSON, о чем пишут в блоге Etalab [7] и сам кадастр можно скачать с французского государственного портала открытых данных [8]


Ссылки:
[1] http://www.consilium.europa.eu/en/press/press-releases/2017/10/09-open-data-digital-services/
[2] http://data.europa.eu/euodp/en/data/publisher/consil
[3] https://www.europeandataportal.eu/
[4] https://blog.coop.co.uk/2017/10/09/were-sharing-data-on-our-co-ops-support-for-local-causes/
[5] http://www.threesixtygiving.org/about/
[6] https://www.transparency.org/prix-num%C3%A9rique-et-transparence
[7] https://www.etalab.gouv.fr/service-public-de-la-donnee-les-donnees-du-cadastre-sont-maintenant-disponibles-sur-data-gouv-fr
[8] http://www.data.gouv.fr/fr/datasets/cadastre/

#opendata #opengov