Открытые данные - это не только общественное достояние, но и складывающийся рынок сервисов по обеспечению прозрачности.

На сегодняшний день, можно сказать что в мире его делять 3 основных игрока:
- OpenGov [1]
- Socrata [2]
- OpenDataSoft [3]

OpenGov - это изначально проект по SaaS сервисам открытости бюджетов/расходов, а теперь и предлагающий создание порталов открытости, открытых данных.

Socrata - это один из наиболее давних игроков на рынке публикации данных, со своей платформой и сервисами по визуализации. Они охватывают значительное число штатов в США и множество стран.

OpenDataSoft - это французский стартап который сейчас вышел на американский рынок и сразу с заявкой на охват 500 городов в проекте Open Data America [4]

Если сравнить их по объему инвестиций, то Socrata смогли привлечь 54,5 млн. USD [5], OpenDataSoft 6.5 млн. USD [6], а OpenGov все 80 млн. USD [7]

При этом все они конкурируют, в основном, с бесплатными решениями такими как CKAN, DKAN и другими открытыми продуктами для каталогов открытых данных.

Сейчас все еще трудно предсказать в какую сторону будет развиваться рынок сервисов для открытых данных - консолидации данны на национальном уровне, платформ для разработчиков или как-то иначе, но можно говорить о наличии компаний вполне успешно зарабатывающих на их использовании.

И это только те кто создает инфраструктуру, без учета значительного большего и куда сложнее измеримого сектора пользователей открытых данных.

Ссылки:
[1] http://opengov.com
[2] http://socrata.com/
[4] http://statescoop.com/french-startup-piloting-open-data-portals-for-500-u-s-cities
[5] https://www.crunchbase.com/organization/socrata
[6] https://www.crunchbase.com/organization/opendatasoft
[7] https://www.crunchbase.com/organization/opengov

#opendata #opengov

Для тех кто мог упустить - 25 ноября пройдет Общероссийский гражданский форум [1] программа которого стала доступна онлайн и Вы там можете обнаружить секции про открытость государства и открытые данные и многое другое не менее интересное.

Мой день там будет очень плотно расписан, но немного свободного времени тоже будет, если Вы захотите меня там выловить - лучше напишите заранее.

И, кстати, зарегистрироваться еще не поздно зарегистрироваться, завтра последний день регистрации - не пропустите его!

[1] https://www.civil-forum.ru
[2] https://www.civil-forum.ru/forums/2017/programm/
[3] http://2017.civil-forum.ru/

#opendata #opengovernment #civicforum

О том как на базе данных делают работу исследователи-журналисты данных в публикации Paul Bradshow [1]

Он разбирает 4 истории:
1. Анализ 300 тысяч песен из MusicNotes и выявление певцов с наиболее широким диапазоном голосом и публикация в The Mirror [2]
2. She Giggles, He Gallops (Она хихикает, он скачет). Гендерные диалоги в фильмах [3] , исследование Julia Silge с анализом более 2000 диалогов из фильмов с выявлением гендерных стереотипов.
3. Исследование BuzzFeed по теннисным матчам [4]
4. ... и работа David Robinson о том как и кто публикует твиты Дональда Трампа [5], вплоть до выявления времени когда больше вероятности что твит написал он сам и когда, наоборот, пишут его помощники.

И у того же Paul Bradshow есть отличная публикация о том как делать красивые графики прямо в тексте используя шрифт AtF Spark [6]. Я пока не видел ни одного российского издания которое бы его использовало. Так что это может быть забавной фичей. Подробнее о шрифте и его создателях у них на сайте [7]

Ссылки:
[1] https://medium.com/@paulbradshaw/introducing-computational-thinking-to-journalists-23d7c260ef16
[2] http://www.mirror.co.uk/news/uk-news/singer-best-vocal-range-uk-4323076
[3] https://pudding.cool/2017/08/screen-direction/
[4] https://www.buzzfeed.com/johntemplon/how-we-used-data-to-investigate-match-fixing-in-tennis?utm_term=.xyqaBVVBXJ#.jxYYaMMaXp
[5] http://varianceexplained.org/r/trump-tweets/
[6] https://medium.com/@paulbradshaw/how-to-use-the-atf-spark-font-to-create-charts-with-just-text-6925b978fed3
[7] http://aftertheflood.co/projects/atf-spark

#opendata #datajournalism

На финальной стадии конкурса BudgetApps у нас есть отдельная номинация зрительского голосования, так что обязательно заходите и голосуйте http://budgetapps.ru

Кстати, конкурс уже скоро завершается - его итоги будут подведены и про самые интересные проекты я расскажу отдельно.

#opendata #budgetapps

The GovLab открыли проект Crowd Law [1] с большим числом материалов и примеров проектов по гражданскому нормотворчеству (citizen lawmaking). Материалов по этой теме давно уже много, а тут еще и сведенные в рамках одного ресурса, систематизировано и со множеством примеров.

Обратите внимание на приложение [2] со списоком из 25 проектов с систематизацией инициатив по разным характеристикам и приложение с разбором отдельных кейсов [3].

Обратите особенно внимание на проекты:
- Barcelona Decidim
- Labhacker (Brasil)
- EUCrowd

Конечно там нехватает российских проектов, но, будем честны, здесь есть два важных ограничения. Первое в том что текущий проект regulation.gov.ru откровенно слабый и на citizen participation полноценно не тянет, а старые проекты вроде zakon.government.ru и попытки играть в гражданское нормотворчество давно уже выпали из деятельности Открытого правительства и погублены в рамках работы текущего.

В принципе, в России беда с открытостью как процесса нормотворчества так и самих законов. В реестрах открытых данных сложнее всего найти данные о законах и нормативных документов:
- ни Минюст, ни Госдума, ни ФСО (владельцы портала pravo.gov.ru) не отдают нормативные документы в форматах открытых данных.
- отсутствуют действующие проекты по гражданскому нормотворчеству
- прошлые проекты довольно быстро были удалены из сети
- госполитика в этой области полностью отсутствует.

При этом нельзя сказать что открытость законотворчества никому не нужна, но есть много групп влияния не заинтересованных в развитии этой темы. Начиная с монополистов рынка нормативно-правовых документов, продолжая частью депутатов и чиновников теряющих эксклюзивное влияние на проектирование и разработку документов.

Ссылки:
[1] https://crowd.law
[2] https://docs.google.com/spreadsheets/d/1Eaw3-rpi8wyANCKvM37F4SqOGF3TSUyTmqkY1ky31h0/edit#gid=0
[3] https://docs.google.com/document/d/1O78APjyL2wArEUgsZLYjnDnbWY23eh7NNjiVfLBvXZU/edit#heading=h.geni25cr68kj
[4] https://www.decidim.barcelona/
[5] http://labhackercd.leg.br/
[6] https://avoinministerio.fi/eucrowd/

#opendata #opengov

Сегодня проходила конференция РБК по защите персональных данных
Конференция интересная, но, привычно, без представителей Роскомнадзора

А я там говорил о раскрытии перс данных госорганами, а чтобы не обижать больно федералов, приводил примеры того как это делает правительство любимого города.

Скриншот одного такого висящего в открытом доступе документа (далеко не единственного), но очень очевидного. Фамилии, паспорта и суммы я там вымарал https://www.facebook.com/photo.php?fbid=10155111277923263&set=a.491523343262.260793.625298262&type=3.

Этот и многие другие документы находятся в открытом доступе.

Если кратко то на уровне Москвы персданные граждан раскрываются минимум на 2-х публичных ресурсах, если расширенно, то число государственных систем в которых, по разным причинам, раскрывают паспортные данные граждан более чем велико.

Это, пожалуй, все что я бы хотел сказать о качестве государственного регулирования темы персональных данных

#privacy #opendata

Если иногда может показаться что все российские федеральные органы власти резко взялись за открытые данные и рапортуют об их доступности - не верьте. Не все.

Помимо нескольких прекрасных ФОИВов не публикующих практически ничего, до сих пор встречаются особо экзотические случаи когда под видом XML файлов выдают файлы MS Office XML (экспорт из Microsoft Word).

Вот пример набора данных Роснедр паспорт данных http://www.rosnedra.gov.ru/opendata/7703518529-prover
и файл XML http://www.rosnedra.gov.ru/opendata/7703518529-prover/data-1-structure-1.xml

Для тех кто не знает что это такое поясню. Microsoft Word позволяет сохранять .doc файлы в формате XML для разметки. У файла сохраняется расширение .xml, но это не машиночитаемый файл, это специальный файл с разметкой текста. Вы не сможете с его помощью работать с данными, но всеми признаками открытых данных он обладает, кроме смысла.

Файл был опубликован 27 октября 2016 года, всего лишь год назад. Да, то что набор данных не обновлялся год - это тоже важно, но речь не об этом.

Таких случаев много, их мало кто отслеживает, и мало по той причине что большая часть данных госорганов опять же бесполезны.

#opendata

Один из давних проектов Инфокультуры - это оценка простоты и читабельности русского языка (PlainRussian) [1]. Простой сервис который по формулам адаптированным для русского языка оценивает для какой аудитории он написан.

Сейчас мы запустили в работу специального телеграм бота который выдает эту оценку. Вот тут - @PlainRussianBot можно с помощью одной из двух команд /text или /url

Также можно туда кинуть .doc файл и по нему он тоже выдаст справку по всему тексту внутри него.

Бот эксприментальный так что предложения по работе бота, API и проекту в целом можно направлять в github или мне на @ibegtin или в чат @begtinchat

И несколько скриншотов примеров.

Ссылки:
[1] http://plainrussian.ru
[2] https://github.com/infoculture/plainrussian/issues

#opendata #plainlang #api

На общероссийском гражданском форуме пройдет обсуждение стандарта открытости НКО, разработка которого была инициирована нами АНО "Информационная культура" совместно с Форумом Доноров.

Черновую версию стандарта уже можно прочитать по ссылке http://www.donorsforum.ru/projects/tochka-otschyota/informatsionnaya-otkrytost/ и она была представлена на конференции Форума Доноров пару недель назад.

А вот тут опрос для некоммерческих организаций о том что Вы думаете об этом стандарте
https://docs.google.com/forms/d/e/1FAIpQLScs95xd3DzZZ8GuLcao57-5QgRifgCigZrw7B5STB6UJKpyhw/viewform

А у меня к этому вопросу продолжение:
1. Нужен ли аналогичный стандарт открытости для СМИ? Или, не нужен, потому что СМИ должны соблюдать стандарт открытости для НКО?
2. Все ли мы в стандарте учли?

Пишите мне на [email protected], в чат @begtinchat или напрямую на @ibegtin

#opendata #ngo

GovInsider пишет про 3-х летний итальянский план по реформе ИТ в государстве [1].

Вкратце он звучит как: mobile-first, responsive government, powered by APIs and with advanced levels of security

Внутри - переход к открытой разработке на Github, вовлечение внешних разработчиков, акцент на API и гибких моделях разработки.

На английском подробно ICT стратегия переведена машинным и удивительно точным переводом [2].

Подробнее в публикации Diego Piacentini [3], цифрового комиссара Правительства Италии.

Обратите также внимание на:
- блог Diego Piacentini [4]
- блог Team per la Trasformazione Digitale [5]

Но там большая часть текстов на итальянском языке, что может быть нелегко для прочтения.

Также обратите внимание на сообщество Italia в github [6] и портал Developers.Italia.It [7]

И тут я хочу отдельно остановиться на искаженной картине мира которую я наблюдаю не только у себя, но и у многих коллег. Знание, в основном, английского языка приводит к тому что подавляющее число примеров по госполитике в ИТ и не только в ИТ приводятся из опыта США, Великобритании, Канады, Австралии и Новой Зеландии.

А интересный опыт есть в самых разных странах и Италия тем более красноречивый пример. Можно ли рассчитывать на появление developers.gov.ru в ближайшие годы? Увы, пока шансов мало.

Помимо того что российское госуправление не готово к открытой разработке (а это больше чем просто открытый код), еще и есть проблема с национальной политикой отказа от зарубежных сервисов. А аналогов связки Github с другими сервисами, увы, для открытой разработки совсем немного.

Ссылки:
[1] https://govinsider.asia/smart-gov/exclusive-italys-mission-to-simplify-government/
[2] http://pianotriennale-ict.readthedocs.io/en/latest/index.html
[3] https://medium.com/team-per-la-trasformazione-digitale/three-year-digital-transformation-plan-italian-public-administration-guidelines-design-development-8bdb440f940d
[4] https://medium.com/@diegopia
[5] https://medium.com/team-per-la-trasformazione-digitale
[6] https://github.com/italia
[7] https://developers.italia.it/

#opendata #opengov #api #govasaplatform

Сервис выдачи бесплатных TLS сертификатов для доменов Let's Encrypt [1] еще в феврале 2017 года стал наиболее популярным сервисом создания сертификатов, а в этом месяце достинг планки в 35%, это доля сертификатов выдаваемых Let's Encrypt, по оценке NetTrack [2]. Напомню что в мае 2016 года Let's Encrypt начинал свой взлет, но у него была доля в только 5% всех сертификатов.

Практически все коммерческие сервисы такие как Godaddy, Geotrust и Comodo теряют свою долю и пользователи все чаще подключают сертификаты Let's encrypt автоматически.

Эта история важна еще и тем что базовая безопасность перестала восприниматься как услуга и стала восприниматься как инфраструктура. В ситуации когда TLS должно быть базовым протоколом работы сети, то и раздачей сертификатов должна заниматься общественная организация. Пока все идет к тому что у коммерческих игроков через пару лет не останется тут вообще никаких шансов на заработок.

Но единственная ли это область где качественный недорогой некоммерческий сервис способен "убить рынок" ? Что будет если такие сервисы появились бы для электронного документооборота или бухгалтерских услуг?

Когда-то таким образом переструктурировался весь рынок электронной почты. Когда раздавая бесплатные почтовые аккаунты крупнейшие цифровые сервисы практически убили все сервисы платной электронной почты. На какое-то время.


Ссылки:
[1] https://letsencrypt.org/
[2] https://nettrack.info/ssl_certificate_issuers.html
[3] https://en.wikipedia.org/wiki/Let%27s_Encrypt

#internet #web #security

Похоже что скоро в добавление к коммерческой тайне, гостайне, перс данным и куче всего остального у нас появится еще один вид тайн "Сведения которые не подлежат размещению в информационно-телекоммуникационной сети "Интернет"" согласно решению Правительства Российской Федерации".

Чуть позже об этом подробнее, пока только ссылка. [1]
P.S. Обратите особое внимание на раздел с закрытыми торгами.

Ссылки:
[1] http://sozd.parlament.gov.ru/bill/318825-7

Вышла версия 2.8 одного из наиболее удобных инструментов полу-ручной, полу-автоматической обработки данных Open Refine [1].
Основные изменения:
- больше стабильности UI
- фильтрация по тексту на исключение
- поддержка метаданных
- импорт из Wikitables
и многое другое.

OpenRefine особенно удобен тем кому Excel'я давно мало, а программирование под каждый набор данных непривычно. Проект вырос из проекта Google Refine, несколько лет назад перестал развиваться, но вот, новая команда выпускает давно ожидаемый релиз.

Ссылки:
[1] https://github.com/OpenRefine/OpenRefine/releases/tag/2.8

#opendata #datawrangling

В блоге на Medium я подробнее написал про изменения которые нам грозят в связи с законопроектом 318825-7
https://medium.com/@ibegtin/less-data-1a2910587dd8

#opendata #opengov #closeddata