Если иногда может показаться что все российские федеральные органы власти резко взялись за открытые данные и рапортуют об их доступности - не верьте. Не все.

Помимо нескольких прекрасных ФОИВов не публикующих практически ничего, до сих пор встречаются особо экзотические случаи когда под видом XML файлов выдают файлы MS Office XML (экспорт из Microsoft Word).

Вот пример набора данных Роснедр паспорт данных http://www.rosnedra.gov.ru/opendata/7703518529-prover
и файл XML http://www.rosnedra.gov.ru/opendata/7703518529-prover/data-1-structure-1.xml

Для тех кто не знает что это такое поясню. Microsoft Word позволяет сохранять .doc файлы в формате XML для разметки. У файла сохраняется расширение .xml, но это не машиночитаемый файл, это специальный файл с разметкой текста. Вы не сможете с его помощью работать с данными, но всеми признаками открытых данных он обладает, кроме смысла.

Файл был опубликован 27 октября 2016 года, всего лишь год назад. Да, то что набор данных не обновлялся год - это тоже важно, но речь не об этом.

Таких случаев много, их мало кто отслеживает, и мало по той причине что большая часть данных госорганов опять же бесполезны.

#opendata

Один из давних проектов Инфокультуры - это оценка простоты и читабельности русского языка (PlainRussian) [1]. Простой сервис который по формулам адаптированным для русского языка оценивает для какой аудитории он написан.

Сейчас мы запустили в работу специального телеграм бота который выдает эту оценку. Вот тут - @PlainRussianBot можно с помощью одной из двух команд /text или /url

Также можно туда кинуть .doc файл и по нему он тоже выдаст справку по всему тексту внутри него.

Бот эксприментальный так что предложения по работе бота, API и проекту в целом можно направлять в github или мне на @ibegtin или в чат @begtinchat

И несколько скриншотов примеров.

Ссылки:
[1] http://plainrussian.ru
[2] https://github.com/infoculture/plainrussian/issues

#opendata #plainlang #api

На общероссийском гражданском форуме пройдет обсуждение стандарта открытости НКО, разработка которого была инициирована нами АНО "Информационная культура" совместно с Форумом Доноров.

Черновую версию стандарта уже можно прочитать по ссылке http://www.donorsforum.ru/projects/tochka-otschyota/informatsionnaya-otkrytost/ и она была представлена на конференции Форума Доноров пару недель назад.

А вот тут опрос для некоммерческих организаций о том что Вы думаете об этом стандарте
https://docs.google.com/forms/d/e/1FAIpQLScs95xd3DzZZ8GuLcao57-5QgRifgCigZrw7B5STB6UJKpyhw/viewform

А у меня к этому вопросу продолжение:
1. Нужен ли аналогичный стандарт открытости для СМИ? Или, не нужен, потому что СМИ должны соблюдать стандарт открытости для НКО?
2. Все ли мы в стандарте учли?

Пишите мне на [email protected], в чат @begtinchat или напрямую на @ibegtin

#opendata #ngo

GovInsider пишет про 3-х летний итальянский план по реформе ИТ в государстве [1].

Вкратце он звучит как: mobile-first, responsive government, powered by APIs and with advanced levels of security

Внутри - переход к открытой разработке на Github, вовлечение внешних разработчиков, акцент на API и гибких моделях разработки.

На английском подробно ICT стратегия переведена машинным и удивительно точным переводом [2].

Подробнее в публикации Diego Piacentini [3], цифрового комиссара Правительства Италии.

Обратите также внимание на:
- блог Diego Piacentini [4]
- блог Team per la Trasformazione Digitale [5]

Но там большая часть текстов на итальянском языке, что может быть нелегко для прочтения.

Также обратите внимание на сообщество Italia в github [6] и портал Developers.Italia.It [7]

И тут я хочу отдельно остановиться на искаженной картине мира которую я наблюдаю не только у себя, но и у многих коллег. Знание, в основном, английского языка приводит к тому что подавляющее число примеров по госполитике в ИТ и не только в ИТ приводятся из опыта США, Великобритании, Канады, Австралии и Новой Зеландии.

А интересный опыт есть в самых разных странах и Италия тем более красноречивый пример. Можно ли рассчитывать на появление developers.gov.ru в ближайшие годы? Увы, пока шансов мало.

Помимо того что российское госуправление не готово к открытой разработке (а это больше чем просто открытый код), еще и есть проблема с национальной политикой отказа от зарубежных сервисов. А аналогов связки Github с другими сервисами, увы, для открытой разработки совсем немного.

Ссылки:
[1] https://govinsider.asia/smart-gov/exclusive-italys-mission-to-simplify-government/
[2] http://pianotriennale-ict.readthedocs.io/en/latest/index.html
[3] https://medium.com/team-per-la-trasformazione-digitale/three-year-digital-transformation-plan-italian-public-administration-guidelines-design-development-8bdb440f940d
[4] https://medium.com/@diegopia
[5] https://medium.com/team-per-la-trasformazione-digitale
[6] https://github.com/italia
[7] https://developers.italia.it/

#opendata #opengov #api #govasaplatform

Сервис выдачи бесплатных TLS сертификатов для доменов Let's Encrypt [1] еще в феврале 2017 года стал наиболее популярным сервисом создания сертификатов, а в этом месяце достинг планки в 35%, это доля сертификатов выдаваемых Let's Encrypt, по оценке NetTrack [2]. Напомню что в мае 2016 года Let's Encrypt начинал свой взлет, но у него была доля в только 5% всех сертификатов.

Практически все коммерческие сервисы такие как Godaddy, Geotrust и Comodo теряют свою долю и пользователи все чаще подключают сертификаты Let's encrypt автоматически.

Эта история важна еще и тем что базовая безопасность перестала восприниматься как услуга и стала восприниматься как инфраструктура. В ситуации когда TLS должно быть базовым протоколом работы сети, то и раздачей сертификатов должна заниматься общественная организация. Пока все идет к тому что у коммерческих игроков через пару лет не останется тут вообще никаких шансов на заработок.

Но единственная ли это область где качественный недорогой некоммерческий сервис способен "убить рынок" ? Что будет если такие сервисы появились бы для электронного документооборота или бухгалтерских услуг?

Когда-то таким образом переструктурировался весь рынок электронной почты. Когда раздавая бесплатные почтовые аккаунты крупнейшие цифровые сервисы практически убили все сервисы платной электронной почты. На какое-то время.


Ссылки:
[1] https://letsencrypt.org/
[2] https://nettrack.info/ssl_certificate_issuers.html
[3] https://en.wikipedia.org/wiki/Let%27s_Encrypt

#internet #web #security

Похоже что скоро в добавление к коммерческой тайне, гостайне, перс данным и куче всего остального у нас появится еще один вид тайн "Сведения которые не подлежат размещению в информационно-телекоммуникационной сети "Интернет"" согласно решению Правительства Российской Федерации".

Чуть позже об этом подробнее, пока только ссылка. [1]
P.S. Обратите особое внимание на раздел с закрытыми торгами.

Ссылки:
[1] http://sozd.parlament.gov.ru/bill/318825-7

Вышла версия 2.8 одного из наиболее удобных инструментов полу-ручной, полу-автоматической обработки данных Open Refine [1].
Основные изменения:
- больше стабильности UI
- фильтрация по тексту на исключение
- поддержка метаданных
- импорт из Wikitables
и многое другое.

OpenRefine особенно удобен тем кому Excel'я давно мало, а программирование под каждый набор данных непривычно. Проект вырос из проекта Google Refine, несколько лет назад перестал развиваться, но вот, новая команда выпускает давно ожидаемый релиз.

Ссылки:
[1] https://github.com/OpenRefine/OpenRefine/releases/tag/2.8

#opendata #datawrangling

В блоге на Medium я подробнее написал про изменения которые нам грозят в связи с законопроектом 318825-7
https://medium.com/@ibegtin/less-data-1a2910587dd8

#opendata #opengov #closeddata

Открытые стандарты, открытые данные - да и открытость в целом - это далеко не только государство.

Проект Open Repair [1] - это альянс 5 организаций занимающихся починкой техники: Restart [2], The Repair Cafe Foundation [3], iFixit [4], Anstiftung Foundation и Fixit Clinic [5]. Все они занимаются починкой электроники, кто-то как медиа, кто-то работой с сообществом.
Например, у Repair Cafe есть 1421 представительство [6].

Альянс занимается, в том числе, разработкой открытого стандарта починки [7] и выпустил его первую версию [8]

Ссылки:
[1] https://openrepair.org/
[2] http://therestartproject.org/
[3] https://repaircafe.org/en/
[4] http://ifixit.com/
[5] http://www.fixitclinic.org/
[6] https://repaircafe.org/en/visit/
[7] https://openrepair.org/open-standard/
[8] https://openrepair.org/data-standard/open-repair-data-standard-version-0-1/

#opendata #opendstandard

А вот это интересно, все больше проектов по персональным данным.

В начале 2018 года в Германии будет запущена платформа Verimi (от verify me), предоставляющая единый безопасный ключ для входа в сетевые приложения, а также позволяющая пользователям управлять своими персональными данными. Инициаторами проекта выступили такие корпорации, как Allianz, Axel Springer, Daimler, Deutsche Bank, Postbank и Here. Позже присоединились Lufthansa, Deutsche Telekom, и IT компания Bundesdruckerei. Таким образом они хотят противостоять монополии на пользовательские данные американских интернет-гигантов. https://www.verimi.com/

Обратите внимание на канал Дата публикации https://yangx.top/data_publication который ведет Андрей Дорожный. Мне нравится такой формат непрерывно идущего конкурса по визуализации данных и журналистике данных. Я, напомню, что данные - это возможность трансформации СМИ в современный формат. Один из возможных и весьма востребованных форматов.

Вчера прошел Общероссийский гражданский форум и я там работал в столь плотном режиме что никак не имел возможности транслировать происходящее. Расскажу сегодня по итогам:

1. На форуме мы представили проект Открытые НКО [1] и проект Открытые СМИ (ссылки не будет, проект во внутреннем бета тестировании) посвященные открытости финансирования НКО и СМИ соответственно. Я в очередной раз обращаю внимание на то что проекты которые мы создаем в Инфокультуре имеют внутренний стандарт предусматривающий публикацию API и/или открытых данных наборами данных, а также раскрытие всего кода если нет каких то внешних обязательств. Мы таким образом публикуем открытые данные Госзатрат [2] и API Госзатрат [3], а теперь и API в Открытых НКО [4].

В открытом аккаунте Инфокультуры на github [5] есть открытый код значительного числа наших проектов.

2. На форуме было много разговоров о судьбе Открытого Правительства. Моя позиция проста - Открытому правительству в текущем виде осталось существовать 4-5 месяцев. Его никогда не было и нет в федеральном бюджете, оно изначально было построено как внешнее по отношению к органам власти и единственно правильная модель существования это когда характеристики открытости относятся к базовому, по умолчанию закрытому, правительству.

3. Я и коллеги говорили о качестве данных Министерства юстиции, в которых отсутствуют данные о более чем 60 тысячах НКО - у которых не указаны реквизиты или указаны с ошибками. И то что министерство совершенно не торопится их исправлять.

Было и многое другое, все транслировалось онлайн и уверен что скоро будут записи секций и дискуссий на сайте ОГФ.

Ссылки:
[1] http://openngo.ru
[2] https://clearspending.ru/opendata/
[3] https://clearspending.ru/page/for-developers/
[4] http://openngo.ru/api-docs/
[5] https://github.com/infoculture

#opendata #opengov #infoculture

В Японии в городе Кавасаки ищут решение по предсказанию цунами с помощью искусственного интеллекта [1]. Проект ведет Fujitsu и он был представлен на World Bosai Forum International Disaster and Risk Conference 25-28 ноября [2].

Это то что можно назвать наиболее практическим применением большим данных в области управления рисками.
Можно ли что-то подобное применять в более сухопутных странах вроде России? Как минимум в части предупреждения катастроф таких как лесные пожары, засухи.

Ссылки:
[1] https://govinsider.asia/digital-gov/japan-predict-tsunamis-ai/
[2] http://www.fujitsu.com/global/about/resources/news/press-releases/2017/1124-01.html

#opendata #japan

1% редакторов Википедии создали более 77% всех статей и правок в них, согласно статье в Motherboard от Daniel Oberhaus [1]
При том что всего у Википедии 132 тысячи авторов, а в день создается до 600 новых статей, но костяк авторов хотя и меняется со временем, но может быть измерян в 1300 человек.

В статье же упоминается снижение числа активных редакторов и риски которые возникают по этой причине, поскольку Википедия активно используется алгоритмами AI для всевозможных проектов.

Ссылки:
[1] https://motherboard.vice.com/en_us/article/7x47bb/wikipedia-editors-elite-diversity-foundation

#opendata #opengov

Talend [1], разработчики ETL продуктов по работе с данными, покупают стартап Restlet [2] ориентированный на создание удобной документации и описания API по стандарту Swagger (Open API).

Как давний пользователь Restlet надеюсь что это послужит развитию сервиса, а не потерей им каких-либо текущих функций.

Ссылки:
[1] https://www.talend.com
[2] http://restlet.com/company/blog/2017/11/27/restlet-is-now-part-of-talend/

#opendata #opengov #openapi