NACTO (National Association of City Transportation Officials) и Open Transport Partnership стартовали прекрасный проект — Shared Streets, платформу, в которую все муниципалитеты, департаменты транспорта, транспортные агентства или частные компании-перевозчики могли бы загружать даные и анализировать ситуацию в городе. Основная фишка в том, что можно пересекать различные данные от разных источников на одной карте (с точностью до участка дороги) и видеть инсайты о том, что происходит с транспортом в городе.

http://sharedstreets.io/

Подробнее о проекте на CityLab:
https://www.citylab.com/transportation/2018/02/a-powerful-map-promises-to-help-cities-keep-streets-free/553739/

Завтра вечером я выступаю на экономфакультете МГУ с лекцией про открытые данные. Не знаю пускают ли туда кого-то кроме студентов экономфака, но на всякий случай ссылка https://www.econ.msu.ru/students/Article.20180219181322_2745/

🔔 Программа Open Data Day в Москве, секция «Дата-журналистика».

3 марта
*Руслан Газиханов, Инфометр, доклад «Российские источники открытых данных и их качество»
*Екатерина Староверова, Кино Mail.ru «Считаем и рисуем: как журналисту не облажаться с данными»
*Алексей Кнорре, социолог, «Исследование наркопреступности в России: как академический продукт превратить в медийный?»
*Александра Поливанова, Сергей Бондаренко «Происхождение баз данных на основе исторических архивов»
*Александра Поливанова, Михаил Сергиенко, проект «Topos.memo»

4 марта
*Александр Богачев, РБК (мастер-класс), «Создание мультиграфиков (small multiples) в Excel»
*Игорь Лошиц, Яндекс.Исследования: «Исследования Яндекса: как жизнь отражается в данных»
*Андрей Дорожный, Сергей Устинов, «Дата-журналистика в России: опыт Mediagun»
*Алексей Новичков, ТАСС (мастер-класс), «Оперативная инфографика в Figma»
*Роман Анин, «Новая Газета», «Как работать с открытыми базами данных»

Регистрация 👉 : http://msk.opendataday.ru/

Серьёзные дела творятся в МВД уже давно [1] с Андрея Нечаева, бывшего главу их ФГУПа министерство требует 1.4 миллиарда рублей потраченных на систему ИСОД.

Ссылки:
[1] http://gov.cnews.ru/news/top/2018-02-26_mvd_trebuet_ot_sotrudnika_14_milliarda_za_nedochety
#opendata

Небольшого анонса пост
—-
Мне хотелось сделать сюрприз, но то что я хочу сделать трудно сделать сюрпризом. Так что пишу в этом канале.

Есть общедоступная статистика по социальному профилю преступности в том числе в гендерном и возрастном разрезе. Я ищу специалиста(-ов) по инфографике кто бы на основе этих данных сделал бы красивый, броский, яркий плакат с конкретными цифрами.

Данные есть с сайта crimestat.ru в удобном виде. Сделать надо оперативно, поэтому мини конкурс мы скорее всего не успеем, день открытых данных съедает всё возможное время.
А заказать качественную работу да.

Пишите мне на [email protected] или тут на @ibegtin или в чат @begtinchat

#opendata #opengov

3-4 марта пройдет традиционное, ежегодное, главное событие года в мире открытых данных - День открытых данных!

Мы собрали очень разносторонний набор докладов по направлению "государственные данные". В процессе подготовки направления меня удивила отзывчивость госорганов, их готовность выступать с презентациями, центром которых является работа с данными, внутренние рабочие процессы, реальные кейсы.

Откроет направление выступление Максима Панина и Тимура Алейникова из Минкультуры России, которые на примере своих данных и информационных систем расскажут, "Как министерству производить данные, а не дам".

Иван Бегтин из АНО "Инфокультура" поделится опытом нахождения "скрытых данных" - всего того, что опубликовано на гос. сайтах, но не афишируется (API, сканы документов, файлы).

Дмитрий Дубинин из Минкомсвязи России поделится "предложениями по формированию подходов к методическому и организационному обеспечению деятельности в области открытых данных".

Представитель от МИД России расскажет об открытых данных Министерства иностранных дел и планах по открытости.

Ирина Анисимова из Роструда поделится опытом создания порталов, данные которых используются десятками проектов, а Андрей Заводчиков из АЦ "Форум" (Проектный центр Открытого правительства) расскажет об анонимизации данных перед публикацией, с последующим обсуждением взаимодействия граждан с госорганами.

Завершится первый день междисциплинарным круглым столом "Новые технологии в правоохранительной сфере".

Если первый день состоит из докладов госорганов, то второй полностью посвящен докладам некоммерческих проектов и организаций.

Мы с Ксения Орлова расскажем о данных по госфинансам - количестве, качестве, гос. контрактах и публикации бюджетов региональными финансовыми органами.

О международном опыте раскрытия данных внешнеполитических ведомств расскажет Олег Шакиров из ЦСР.

Созданию машиночитаемых открытых данных посвящены сразу три доклада: Андрей Жвирблис из Декларатор расскажет о преобразовании деклараций в машиночитаемый вид и о том, почему "отсутствие стандарта раскрытия дискредитировало идею прозрачности"; Марина Смыслова из НПО "Криста" поделится опытом интеграции данных о региональных и муниципальных бюджетах, часть из которых мы уже в этом году сможем скачивать с портала электронного бюджета budget.gov.ru; Денис Савельев из Института проблем правоприменения выступит с презентацией об "открытом корпусе текстов российского законодательства" - машиночитаемые данные о 400 тысчах НПА.

Завершат направление гос. данные выступления Руслана Газиханова из Инфометра о рейтинге и качестве публикации данных ФОИВов в 2017 году и мастер-класс "Открытые и почти открытые данные об инфраструктуре Интернета" от Александра Исавнина из РосКомСвободы.

Регистрация на мероприятие пока еще открыта, но скоро закроется http://msk.opendataday.ru

А вот это очень интересные данные

Компания Skyhook, которая составляет базу общедоступных устройств Wifi и обслуживает запросы на определение местоположения по идентификаторам этих устройств, выложила в общий доступ данные о запросах пользователей (в анонимизированном виде, разумеется). Эти данные, как вы понимаете, неплхо репрезентуют активность и перемещения жителей в городе. Помимо визуализации данные можно скачать и использовать для своих проектов 😻

Ниже цитирую технические детали, для тех кому интересно:
OpenTIDE represents on-the-ground mobile device activity by measuring location requests from mobile devices throughout the world. These anonymous location requests are aggregated in time and space to produce a request count per hour in areas around the world in which Skyhook receives location requests.

The data are summarized to tiled areas approximately 100m x 100m (.000976 decimal degrees). For each of these areas mobile device activity is summarized across each of the 168 hours of a week. In other words, for every hour of the week in which Skyhook received location requests for an area, a value will be computed describing how much location request traffic was registered at that time and place. For example, a particular bar on Monday at 3 pm might have an Activity Count of 12, while that same Tile might have an Activity Count of 384 on Friday night at 9 pm.

These data sets are produced on an ongoing daily basis

http://skyhook.carto.com/

via Oleg Kiselev

В Ъ вышла статья про новые требования к региональным властям об обязательном раскрытии данных по ряду направлений, почти все данные инфраструктурные [1].

Честно говоря, в статье из полезного - только комментарии бизнеса. Написана она совсем без погружения в предметную область.

Списки требуемые к раскрытию - это "открытость по белым списком". Можно назвать это opendata whilelisting, а в мире стандарт требований это opendata by default. Не короткий список того что обязательно, а всё должно публиковаться в машиночитаемом виде. Opendata whitelisting - это плохая практика. Это практика при которой большая часть важной информации не публикуется, данные раскрываются постепенно и дозированно.

По поводу перечня раскрываемых данных, как бы помягче сказать, он оторван от реальности. Даже если все регионы эти данные начнут публиковать, то ни социальный ни экономический эффект от их публикации не изменится.

Есть основные продукты деятельности государства, в том числе региональных правительств, которые не публикуются или публикуются в неполном/искажённом объеме и которые наиболее чувствительны. Это всё что касается качества жизни, это результаты санитарных проверок, данные по заболеваемости, экологии, пожарам, преступности и многое другое.

А эти списки прописанные как обязательные - это инфраструктурные данные. Кстати, часть комментаторов от бизнеса в статье это понимают, потому и упоминают данные не в субъектах, а тот же Россреестр который в этот список не попадает.

Я напомню что у нас даже по подписанной ВВП в 2013 году хартии открытых данных [2] не выполнено более половины обязательства.

Это такие наборы данных как:
Companies Company/business register
Crime and Justice Crime statistics, safety
Earth observation Meteorological/weather, agriculture, forestry, fishing, and hunting
Education List of schools; performance of schools, digital skills
Energy and Environment Pollution levels, energy consumption
Finance and contracts Transaction spend, contracts let, call for tender, future tenders, local budget, national budget (planned and spent)
Geospatial Topography, postcodes, national maps, local maps
Global Development Aid, food security, extractives, land
Government Accountability and Democracy Government contact points, election results, legislation and statutes, salaries (pay scales), hospitality/gifts
Health Prescription data, performance data
Science and Research Genome data, research and educational activity, experiment results
Statistics National Statistics, Census, infrastructure, wealth, skills
Social mobility and welfare Housing, health insurance and unemployment benefits
Transport and Infrastructure Public transport timetables, access points broadband penetration

А, например, список из 8-ФЗ, ну вот честно скажем - слабый. Он не про информационные системы, а про публикацию того что и так должно было быть на сайтах (вакансии, подведы и тд) и просто перевести машиночитаемый вид. Эти данные - это до 500 килобайт в объёме в совокупности, для большинства органов. Ключевые данные как были так и остаются в государственных информационных системах.

Доступность данных оттуда - это обязательные списки ГИСов из которых они должны публиковаться, это рабочие группы по этим ГИСам или тематическим группам ГИСов и это Chief Data Officer'ы в органах.

При всём желании, я никак не могу сказать что белые обязательные списки - это благо. Всё можно было бы делать совсем иначе.

Ссылки:
[1] https://www.kommersant.ru/doc/3560627
[2] https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and-technical-annex

#opendata #opengov

Ранее лидировал Закон Самарской области от 25.02.2005 N 58-ГД «Об установлении границ муниципального района Волжский Самарской области» (принят Самарской Губернской Думой 22.02.2005) http://samara.news-city.info/docs/sistemsa/dok_ieyzzb.htm и там это было самое длинное предложение русского языка из 9387 слов, 61061 знака. Впрочем в словах и знаках постановление из Санкт-Петербурга по не измерялось, но несомненно оно является выдающимся памятником современной бюрократической российской культуры.

Комитет по соцполитике посрамил Толстого и Джойса фразой длиной 13 страниц
Одно-единственное предложение в распоряжении комитета по социальной политике Смольного растянулось на рекордные 13 страниц, которые вместили в себя пять с половиной тысяч слов. Документ за номером 62-р от 21 февраля неделей позже опубликовали на портале публикования нормативных документов Петербурга. http://www.fontanka.ru/2018/03/01/012/

В качестве data рефлекции на прозвучавшее послание Президента России, несколько ссылок про данные, инфографику и историю.

В архиве Johnston'а [1] большая общедоступная база по ядерным испытаниям, оружию и исследованиям. Визуализация по ядерному оружию есть на Our world in data [2] и показывает реальные мировые масштабы.

А также важно помнить что часы судного дня, ещё до послания, в январе 2018 года были переведены на без 2 минут до полуночи [3] о чём можно узнать подробнее в Bulletin of the Atomic Scientists [4].

Отдельно хочу напомнить что:
- в России нет специализированных образовательных ресурсов подготовки к ядерному взрыву аналогичных Ready.gov [4] в США
- нет единой системы оповещения и поиска убежищ
- государственная программа строительства ядерных убежищ не в входит в государственные стратегии 2020, 2025 и 2035
- подготовка к ядерной войне не включена в обязательную школьную программу

И многое другое.

Ссылки:
[1] http://www.johnstonsarchive.net/nuclear/index.html
[2] https://ourworldindata.org/nuclear-weapons
[3] https://www.nytimes.com/2018/01/25/world/americas/doomsday-clock-nuclear-scientists.html
[4] https://thebulletin.org/2018-doomsday-clock-statement
[5] https://www.fema.gov/media-library-data/1518630553964-bcdba2109ed603f4b4083bb7b2d6adbf/FEMA_InfoSheet_Nuclear_Explosion_02.05.18_508.pdf

#opendata

Сегодня я весь день провёл на дне открытых данных. Завтра проведу его точно также, уже на секции бизнесу будут рассказывать про наш проект APICrafter.ru

Пока же для тех кто не смог принять участие, моя презентация о скрытых данных. Больше подробностей будут в видеозаписи на нашем канале Инфокультуры. Про остальные выступления я расскажу завтра вечером в сводном посте после ОДД

👌🏻Сегодня в 13:00 на дне открытых данных будем рассказывать про опыт mediagun в дата-журналистике. Трансляция: https://youtube.com/watch?v=kP6zFf_w0Wk&feature=youtu.be

Особенность открытых научных данных заключается в том что они представляют ценность не только в пределах страны, а, как правило, они международны и востребованы учёными разных стран. С другой стороны очень часто о наличии открытых данных в конкретных областях науки мало что знают те кто в эту науку не посвящён.

Тем не менее, именно научные данные составляют основной объём публикуемых данных в мире, а в некоторых странах, и открытого кода. Россия не является исключением, хотя и никто внутри государственных органов до сих пор не систематизировал того что и как раскрывается в виде данных научными коллективами.

Например, в астрономии. Проект RCSED [1] представляет собой базу данных по галактикам где данные опубликованы в формате FITS [2] в открытом доступе или базы данных космической погоды [3] или каталоги рассеяных скоплений [4].

Аналогично в физике, химии, биологии, лингвистике и других науках создаются тысячи баз данных многие из которых опубликованы или в ином виде находятся в открытом доступе.
Значительный объём открытых данных на портале data.gov [5] в США - это данные научных лабораторий.

Один из итогов работы нынешнего правительства - это отсутствие чёткой научной политики в части раскрытия информации. Ни в Минобрнауки, ни в ФАНО, ни в "Открытом Правительстве" тема доступности научных данных не обрела жизни и поддержки.

Ссылки:
[1] http://rcsed.sai.msu.ru
[2] http://rcsed.sai.msu.ru/data/
[3] http://213.131.1.8/smdc/structure.py
[4] http://ocl.sai.msu.ru/
[5] https://catalog.data.gov

#opendata #opengov #openscience

В США завершился редизайн сайта FOIA.gov [1] помогавший гражданам направлять запросы на раскрытие информации гражданами к органам власти. С самого начала этот сайт существовал ещё до развитие идеи открытых государственных данных и позволял запросить данные у федеральных органов США в любом формате, а они чаще всего отдавали документами или сканами.

Сайт существовал в довольно архаичном виде, но наконец-то команда 18F его переделала и сейчас он основан на открытых данных, открытом коде и современных стандартах дизайна веб-сайтов.

Наличие права на доступ к информации и централизованного ресурса, который не только позволяет запросить информацию, но и предоставляет API [2] и данные - это очень важно с точки зрения практической открытости государства.

Я напомню, свобода доступа к информации, идёт ДО открытых данных, не всякая информация государства машиночитаема. Но открытые данные имеют измеримый экономический и социальный эффект когда такое право реализуется потому как по мере раскрытия реестров в машиночитаемом виде снижается число запросов на информацию из них.

В России право на запрос информации формально есть в 8-ФЗ, но нет, ни единого ресурса, ни ведомства, ни учёта обращений, ни статистики, ни измерения обратной связи. Люди запрашивающие информацию от органов власти не рассматриваются как "референтные группы" или аудитория.

Как и многие другие важные темы открытости государства - эта тема выпала из деятельности "Открытого Правительства". Вы не найдете её ни в стандарте открытости органов исполнительной власти [3], ни на сайте открытого правительства [4], ни в деятельности правительственных комиссий, государственных программах и не только.

И раздел запросов данных на портале открытых данных ничуть не близок к этому, поскольку не делает ни один запрос официальным или обязательным к исполнению.

Лично для меня формирование нового правительства в апреле-мае - это ещё и детальная ревизия активности старого. А поскольку когда открытое правительство появлялось в 2012 году я принимал экспертное участие в его деятельности, то это и ревизия, насколько возможно объективная, всего того что было сделано и не сделано.

Ссылки:
[1] http://www.govtech.com/…/Whats-New-in-Civic-Tech-US-Justice…
[2] https://www.foia.gov/developer/
[3] http://openstandard.ru/
[4] http://open.gov.ru

#opendata #opengov

Для тех у кого не заблокирован Slideshare можно увидеть мою презентацию про скрытые данные тут https://www.slideshare.net/ivbeg/ss-90477593 и файл я ранее кидал в канал

Я рассказывал о них на дне открытых данных и это тема о которой говорить не принято, потому что она на стыке общедоступности и не общедоступности. Эдакая пограничная зона

#opendata

«Городские проекты» и ребята из NextGIS опубликовали карту смертей в ДТП. Напомню, «Городские проекты» взялись за эту тему в этом году достаточно плотно и тема с данными, один из шагов их программы.

Цитирую из fb Городских проектов:
«Cделали открытую карту смертей в ДТП. С помощью этой карты московские активисты и муниципальные депутаты смогут находить неблагополучные перекрестки в своих районах. Следующим шагом напишем, что с ними дальше делать.

Как вы помните, мы готовим полевое исследование и воркшоп по перепроектированиюсамый самого опасного перекрестка Москвы — пересечения Каширского шоссе и улицы Шипиловской. Документируем каждый шаг и делимся наработками в блоге Горпроектов. К нам уже присоединились активисты из Красноярска и Кирова, которые применяют наши наработки в своих городах.»

Карта: http://gorproekty.nextgis.com/resource/93/display