Новости в мире открытых данных одним обзором:

1. Решение Совета ЕС о публикации документов в формате открытых данных [1] на их портале открытых данных Евросоюза [2]. Кстати, не все знают что у Евросоюза 2 портала открытых данных. Второй выступает как агргератор [3]

2. Крупнейший кооператив Великобритании планирует опубликовать информацию о более 4000 грантах выданных им местным сообществам [4]. Раскрытие будет происходить через портал 360Giving [5] где уже раскрывают данные о грантах десятки фондов.

3. Transparency Int и МИД Франции проводят совместный конкурс: Цифровой и прозрачный [6] по использованию открытых данных по противодействию коррупции. Представить себе подобное в России, пожалуй, невозможно. Не обязательно с Transparency, но по сути российская политика по противодействию коррупции пока далека от вовлечения граждан.

4. Французский кадарстр теперь доступен в формате GeoJSON, о чем пишут в блоге Etalab [7] и сам кадастр можно скачать с французского государственного портала открытых данных [8]


Ссылки:
[1] http://www.consilium.europa.eu/en/press/press-releases/2017/10/09-open-data-digital-services/
[2] http://data.europa.eu/euodp/en/data/publisher/consil
[3] https://www.europeandataportal.eu/
[4] https://blog.coop.co.uk/2017/10/09/were-sharing-data-on-our-co-ops-support-for-local-causes/
[5] http://www.threesixtygiving.org/about/
[6] https://www.transparency.org/prix-num%C3%A9rique-et-transparence
[7] https://www.etalab.gouv.fr/service-public-de-la-donnee-les-donnees-du-cadastre-sont-maintenant-disponibles-sur-data-gouv-fr
[8] http://www.data.gouv.fr/fr/datasets/cadastre/

#opendata #opengov

У нас есть такой особый жанр мероприятий - называется open data sprint. Это формат при котором мы готовим очень конкретные и четкие задания участникам и просим в течении 1 дня сделать как можно больше этих заданий от начала и до конца.

Побеждает тот кто лучше и быстрее сделает проекты по этим задачам.

Формат очень хорошо работает когда задачи четкие и конкретные. А они у нас такие и будут. В общем - это как спортивное программирование. Но, часто задачи с визуализацией и не только.

Я приглашаю всех кто не участвовал - приходить и поучаствовать, но прошу не приходить "просто посмотреть". Тут надо будет не смотреть, а очень и очень быстро оттачивать навыки:)

Записаться можно тут https://budget-apps.timepad.ru/event/591219/ и 15-го числа приходить.

#opendata #opengov #budgetapps

Обзор новостей открытых данных:

1. Большая коллекция инструментов по открытости государства, открытым данным и цифровизации государства на OGP Toolbox [1]. Более 1300 инструментов собрано от более чем 560 организаций.

2. В KyivPost публикация "Kateryna Onyiliogwu: Open Data in Ukraine – the good, the bad and the ugly?" [1] о состоянии открытых данных на Украине. Уникальных инсайдов нет, все как везде - есть те кто за, те кто сопротивляется и общее низкое качество данных.

3. Open Data Privacy Playbook [3] книга была опубликована еще в феврале 2017, полезна для всех кто занимается продвижением идеи открытости данных. Посвящена ограничениям приватности которые часто возникают при открытии наборов данных.

4. Книги опубликованные в США между 1923 и 1941 годах теперь будут публиковаться в открытом доступе в Archive.org [4]

5. Для тех кто ищет международные данные список - Awesome public datasets [5]

Ссылки:
[1] https://ogptoolbox.org/en/
[2] https://www.kyivpost.com/article/opinion/op-ed/kateryna-onyiliogwu-good-bad-ugly-developments-open-data.html
[3] https://cyber.harvard.edu/publications/2017/02/opendataprivacyplaybook
[4] https://blog.archive.org/2017/10/10/books-from-1923-to-1941-now-liberated/
[5] https://github.com/caesar0301/awesome-public-datasets

#opendata #opengov #privacy

Наконец-то мы можем анонсировать проект над которым давно работали и работать продолжаем - это проект Открытые НКО http://openngo.ru в котором собраны все данные по НКО, пока по финансам НКО, которые у нас были собраны за это время.

Там пока далеко не все данные и далеко не весь заявленный функционал, но очень многое уже сделано.

А вот тут презентации о проекте, об открытости НКО и о том как мы работали с данными для этого проекта https://komitetgi.ru/news/news/3468/
Будут вопросы, предложения и так далее - пишите на [email protected]

#opendata #opengov

С некоторым запозданием, но все же надо анонсировать.

Чуть меньше чем через час я буду вести вебинар [1] по бюджетам, субсидиям, госконтрактам и другим данным, а завтра в это же время буду рассказывать про налоговые и таможенные данные.

Я буду рассказывать о том как использовать данные сразу со многих точек зрения.

Рассказывать буду в интерактивном режиме, показывая как работать с теми или иными онлайн ресурсами.

Это вебинары про то "где-найти-нужные-мне-данные".
Будет полезно всем кто хочет что-то интересное делать на финансовых данных.

Ссылки:
[1] https://www.facebook.com/events/1146986132099492/

#opendata #opengov

В Эстонии маленькая-большая криптокатастрофа

Из за выявленной уязвимости в генераторе случайных чисел библиотеки RSA огромное число систем требуют обновления, а ведь некоторые используются, например, для идентификации граждан. Обо всем этом пишет Arstechnica в статье "Millions of high-security crypto keys crippled by newly discovered flaw" [1] где упоминается и необходимость перевыпуска 750 тысяч идентификационных карточек в Эстонии и другие последствия.

Ссылки:
[1] https://arstechnica.com/information-technology/2017/10/crypto-failure-cripples-millions-of-high-security-keys-750k-estonian-ids/

#privacy #security

Комиссия по ценным бумагам (SEC) в США предлагает превратить корпоративные страницы с документами в данные [1]. Это касается не только финансовых, но и нефинансовых данных об организациях. Тут можно вспомнить что SEC одним из первых агентств внедряло открытые данные в свою работу и доступность многочисленной корпоративной информации была обеспечена благодаря публикации базы EDGAR много лет назад [2]

Ссылки:
[1] https://www.datacoalition.org/sec-proposes-to-transform-corporate-cover-pages-from-documents-into-data/
[2]https://www.sec.gov/edgar.shtml

#opendata #opengov

Немного политоты в канал.
Актуальная сегодняшняя новость в том что Генеральная прокуратура не выявила нарушений закона в процессе создания фильма "Матильда", его финансирования и получения прокатного удостоверения [1] . Что немаловажно мы узнаем что депутат Наталья Поклонская сумела написать целых 43 депутатских запросов в Генпрокуратуру.

И тут то возникает небезинтересный вопрос, а сколько запросов и куда направляют наши депутаты? Не секрет что с ослаблением законодательной власти запросы являются одним из главных ресурсов в арсенале депутатов. Не пора ли Госдуме задуматься о собственной прозрачности и публиковать все без исключения запросы депутатов во все органы власти.

Кстати, для тех кто не знает, у Госдумы еще с 2012 года есть открытое API, с 2012 года не обновлявшееся [2] содержащее информацию о деятельности депутатов. К сожалению какое-либо дополнительной раскрытие информации об их деятельности с той поры не ведется.

Ссылки:
[1] http://www.interfax.ru/russia/583748
[2] http://api.duma.gov.ru/

#opendata #opengov

Не только в России у больших государственных систем могут отсутствовать резервные копии. База наличных и имущества в виде доказательств в департаменте полиции Нью-Йорка (NYPD) оказалась в центре скандала с выявившейся ситуацией отсутствия резервной копии [1].

Ситуация выяснилась во время судебного разбирательства [2] по запросу о свободе доступа к информации от Bronx Defenders, некоммерческой группы заинтересовавшейся исследованием содержания этой базы, однако в NYPD сослались на техническую сложность предоставления такого доступа

Об этой системе Property and Evidence Tracking System (PETS) писали еще год назад [3] и тогда выянилось что NYPD не могут даже подсчитать объем изъятых наличных которые они хранят. При том что сама система основана на SAP ERP в Capgemini [4] и на нее было потрачено 25.5 миллиона долларов с 2009 по 2012 годы (1 миллиард 453,5 миллиона рублей по курсу ЦБ на 20.10.2017) и резонный вопрос в том как же возникла вся эта ситуация.

Если у вас есть интересные материалы по открытым данным, данным вообще и цифровизации госуправления, пишите мне на @ibegtin или в чат @begtinchat и я включать их в обзоры.

Ссылки:
[1] https://arstechnica.com/information-technology/2017/10/nypd-database-that-tracks-seized-evidence-and-cash-has-no-backup/
[2] https://www.courthousenews.com/no-forfeiture-database-backup-millions-line-nypd-admits/
[3] https://arstechnica.com/information-technology/2016/09/nypd-cant-count-cash-theyve-seized-because-it-would-crash-computers/
[4] https://www.capgemini.com/fr-fr/wp-content/uploads/sites/2/2017/07/nypd_successfully_implements_property_and_evidence_tracking_system_0.pdf b

#opendata #opengov

Afisha (неожиданно) пишет [1] о гонорарах и конфликтах интересов среди руководителей театров. Эта статья транслирует свежее расследование Transparency Int. в России о нарушениях в театрах о чем можно прочитать у них на сайте здесь [2] и в спецпроекте [3].

Среди качественных не-политических расследований - это одно из наиболее проработанных и детальных. Главная тема - это конфликт интересов когда художественные руководители совмещают свою должность с должностью директора организации и заключают договора, по сути, сами с собой.

И хотя расследование не дает ответа за дело или не за дело сидит Кирилл Серебренников, но определенно оно задает новые вопросы - не рискуют ли и другие руководители театров нашей любимой родины.

Я добавлю от себя лично, что давно не веду сам подобных расследований, наша команда занимается созданием порталов/сервисов/инструментов работы с данными. Отчасти это связано с тем что сделать расследование и не политизировать его - это большое искусство. И тем лучше что такие расследования есть в России.

Ссылки:
[1] https://daily.afisha.ru/news/11975-transperensi-interneshnl-uznal-kak-rukovoditeli-gosudarstvennyh-teatrov-platyat-gonorary-sami-sebe/
[2] https://transparency.org.ru/projects/konflikt-interesov/transperensi-interneshnl-rossiya-obnaruzhili-narusheniya-v-teatrakh.html
[3] https://transparency.org.ru/special/teatr/

#opendata #opengov #procurement #spending

Еще одна иллюстрация к вопросу о качестве и достоверности государственных баз данных.

Пара живых примеров.

1. Репозитарий
Контракт N 2591902626917000023 [1] [2] от 2016-12-23 на 10 тыс. руб. на оказание услуг общедоступной электрической связи для нужд структурного подразделения по г. Березники был заключен между Государственным казенным учреждением Пермского края социального обслуживания населения "Центр помощи детям оставшимся без попечения родителей г. Соликамска" и, по регистрационной карточке контракта, с Акционерным обществом "Новый регистратор" (ИНН: 7719263354 КПП: 771801001).

Однако при проверке по документам оказывается что это договор между Пермским филиалом Ростелекома и данным ГБУ. Это видно по первой и последней странице и реквизитам в госконтракте [3].

Как реквизиты организации выступающей в роли репозитария ценных бумаг оказались в реквизитах госконтракта на поставку электросвязи в Березникам - для меня загадка.

Как минимум тут признаками аномалии является:
1. Не соответствие профиля деятельности поставщика профилю контракта (несовпадение кодов ОКДП/ОКПД и ОКВЭД), наличие у подрядчика особого статуса/особой роли
2. Несоответствие профиля поставщика 44-ФЗ, нет потребностей по 44-ФЗ которые могли бы закупаться у репозитариев работающих с ценными бумагами.
3. Значительное удаление поставщика от места исполнения при контрактах требующих поставки товаров, работ и услуг по месту нахождения заказчика.

2. Сокрытие информации о фактическом исполнителе

Контракт N 57750004150150002690000 [4] Внешэкономбанка от 2015-10-23 на 390 млн. руб на
услуги по аренде или лизингу, включая собственный или арендуемый нежилой фонд с неизвестной организацией поскольку в карточке контракта указана организация "Исполнитель" с кодом ИНН 0000000000

Сложно предполагать что эта информация скрыта по закону о перс данных в виду значительной суммы контракта и маловероятности заключения его с физическим лицом.

И это не единственный подобный их контракт, аналогичные были заключены и на большие суммы. Например контракт N 57750004150160000090000 на поставку консалтинговых услуг на 722 млн. рублей [6] [7]

Что является аномальным в данном случае:
1. Недостоверная информация в реестре контрактов, отсутствие достоверных реквизитов организации, неуказание ее наименование и кодов ИНН/КПП
2. Если, что было бы странно, подобное сокрытие реквизитов все таки законно, то неуказание нормативного-документа по которому они скрыты и обоснования сокрытия реквизитов.

Эти примеры - это лишь верхушка айсберга которая всплывает при работе с государственными базами данных, их очисткой и анализом.

Например, в рамках проекта КГИ "Госзатраты" [8] у нас нет возможности провести такую тотальную очистку, но мы предоставляем всю базу данных, для тех кому удобно с этими данными работать. На сегодняшний день - это одна из крупнейших систем раскрытия информации о госконтрактах в открытом доступе.

А в рамках нашего коммерческого API проекта - APICrafter (http://apicrafter.ru) [9] мы агрегируем данные из значительного объема других источников информации и осуществляем постепенную, но последовательную кросс-проверку данных. В APICrafter'е данные по закупкам - это лишь один из его модулей, развитие проекта предполагает значительно больший и широкий объем данных. Уже сейчас мы работаем над второй версией где появятся дополнительные базы данных.

Однако, во всех случаях и наших проектах, и других проектах работающих с открытыми источниками, вопрос управления качеством данных является краеугольный. Далеко не во всех проектах возможен полный отказ от ответственности. К примеру в том же APICrafter'е - пока мы делаем API над первичными данными, мы можем отказываться от ответственности. Когда мы начинаем сводить базы вместе, то совсем отказаться от нее не так просто, при сведении данных выявляется много странностей и разночтений среди которых те что я привожу в пример не являются чем-то исключительным.

Ссылки:
[1] https://clearspending.ru/contract/2591902626917000023/
[2] http://zakupki.gov.ru/epz/contract/contractCard/payment-info-and-target-of-order.html?reestrNumber=2591902626917000023
[3] http://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=2591902626917000023
[4] https://clearspending.ru/contract/57750004150150002690000/
[5] http://zakupki.gov.ru/223/contract/public/contract/view/general-information.html?id=2314556
[6] https://clearspending.ru/contract/57750004150160000090000/
[7] http://zakupki.gov.ru/223/contract/public/contract/view/general-information.html?id=2314556&viewMode=FULL
[8] http://clearspending.ru
[9] http://apicrafter.ru

#opendata #opengov #spending

Для многих непонятно что происходит в правоохранительной системе в России. За исключением общего ощущение что "все не так" и "все не работает" есть еще и огромный пласт личного опыта людей когда-либо оказавшихся жертвами или свидетелями преступлений и понимающих что и полиция и суды, часто никак не помогут.

Одна из ключевых проблем находящихся в корне всей этой ситуации - это палочная система в МВД, именно она и приводит к систематическому искажению статистики, утаиванию преступлений, попыткам накрутить раскрываемость и сознательным искажениям статистики.

В Коммерсанте вышла статья [1] с комментариями Олега Инсарова (руководитель главного управления правовой статистики и информационных технологий Генпрокуратуры России) и с кратким моим комментарием о том почему учет преступлений - это именно так область где внедрение цифровых технологий является первоочередной задачей

А я хочу напомнить о другом проекте КГИ "Открытая полиция" в котором, мы, в Инфокультуре, в рамках темы "Понятная полиция" сделали много материалов о том как устроена правоохранительная система и как добиваться защиты собственных прав.

Ссылки:
[1] https://www.kommersant.ru/doc/3448048
[2] http://openpolice.ru
[3] https://openpolice.ru/pages/ponyatnaya-policiya/

#opendata #opengov #openpolice

Можно ли заниматься вопросами гражданского общества в России сейчас? Если да то как именно? Один из форматов - это Зимняя школа Университета КГИ где в течении 4-х дней под Звенигородом участники изучают лучшие практики того как развиваются региональные и местные сообщества.

Как вы понимаете расхваливаю я школу не просто так, а поскольку сам выступал на ней в прошлом году и аудитория мне очень понравилась и по настрою и готовности к созданию нового.

Записаться можно до 16 ноября тут http://winter.kgischools.ru/

#opengov #kgi

Если кто-то пропустил это 2 года назад мы помогали Новым облачным технологиям сделать исследование Росгоспочта по по тому какими почтовыми сервисами пользуются госслужащие.

Сейчас тот сайт уже недоступен, но само исследование осталось [1]

А у нас давно уже есть методика по которой мы анализировали эти сотни тысяч email адресов и почтовых серверов госорганов, но никак не доходят руки повторить такое исследование в углубленном формате.

Кстати, если кто-то думает что сильно что-то стало лучше за эти годы, то ответ - нет, сильно лучше не стало. По прежнему большая часть официальных контактов органов власти - это почтовые адреса на mail.ru и yandex.ru, а внутри ведомств почти повсеместно используется Microsoft Exchange.

Разговоры про импортозамещение, поэтому, слушать интересно, а вот верится с трудом. Уже давно есть желание сделать аналогичные исследования по документам, по серверному ПО, но просто не доходят руки. А пока просто напоминание о таком исследовании несколько лет назад. Оно было раньше моего канала и тут я ранее его не транслировал.

Ссылки:
[1] https://www.infoculture.ru/2017/10/24/issledovanie-ispolzovanie-jelektronnoj-pochty-v-gosudarstvennoj-infrastrukture-rf/

#opendata #opengov #privacy

Какие данные использует бизнес, граждане, все потребители информации? Исследование Capgemini "Re-using Open Data" [1] дает часть ответов на эти вопросы.

Из исследования мы можем узнать что чаще всего используются статистические данные, после них данные геопространственные и уже на 3-м месте данные о компаниях.

Конечно надо учитывать ситуацию что в Евросоюзе и зрелость и готовность потребителей к использованию данных гораздо выше, а в России тема открытых данных устроена значительно иначе. Что, в любом случае, не отменяет полезности исследования.

Ссылки:
[1] https://www.europeandataportal.eu/sites/default/files/re-using_open_data.pdf

#opendata #opengov

Многочисленные напоминания и в них приходится отходить от стилистики выноса ссылок в конец поста.

1. Прием заявок на конкурс BudgetApps продлен до 5 ноября https://www.facebook.com/budgetappsru/ и http://budgetapps.ru подробности. Еще есть время доделать недоделанное и улучшить неулучшенное!

2. Мы регулярно проводим мероприятия в DataSreda http://datasreda.ru/ в котором интересные лекторы рассказывают об открытых данных и тому как ими пользоваться. Акцент на темах близких к медиа и СМИ, но главное - на данных, не только открытых, кстати, но и данных социальных сетей. Совместный проект НИУ ВШЭ, Инфокультуры и SocialDataHub

3. Мой канал в телеграме https://yangx.top/begtin посвящен темам данных, госуправления и современных технологий. То о чем я пишу можно обсудить в чате https://yangx.top/begtinchat

4. Обратите внимание на раздел "Приложения" на проекте КГИ Госзатраты https://clearspending.ru/apps/ мы добавляем туда новые и если у Вас есть проекты именно на данных Госзатрат или его API - присылайте нам и мы добавим его туда в раздел и разрекламируем. Любой проект использующий API - всячески приветствуется. Готовы продвигать рекламировать и не только. Если мы упустили Ваш проект - не стесняйтесь, пишите нам на [email protected]

5. В нашем проекте "Открытая полиция" в последний год многое сдвинулось от открытости данных к понятности, но вопрос открытости тоже не исчез. Если у Вы знаете интересные данные правоохранительной системы и готовы нам их скинуть - пишите нам на [email protected]

6. В специальном репозитории мы собираем задачи на открытых данных которые могут помочь Вам лучше разобраться в том как они устроены - https://github.com/infoculture/datatasks/issues
Если у Вас наоборот, есть задачи которые Вы бы хотели предоставить другим - пишите на [email protected] или в телеграм на https://yangx.top/ibegtin

7. В репозиториях https://github.com/infoculture/awesome-opendata-rus и https://github.com/infoculture/awesome-datajournalism мы собираем ссылки на все ресурсы по открытым данным на русском языке и по дата журналистике. Ищите интересное для себя и предлагайте новое что там не упомянуто.

8. Хаб открытых данных - наш огромный репозиторий данных https://hubofdata.ru поможет найти данные которых там нехватает. Он обновляется реже чем нам бы хотелось и мы готовы партнерствовать со всеми кто готов выгружать оттуда данные и загружать свои. Пишите на [email protected] или https://yangx.top/ibegtin

Я не упомянул еще о десятках проектов и ресурсов создаваемых нами и нашими друзьями и партнерами. Так что еще не раз буду делать эти регулярные напоминания.

#opendata #opengov #openpolice