В Эстонии маленькая-большая криптокатастрофа

Из за выявленной уязвимости в генераторе случайных чисел библиотеки RSA огромное число систем требуют обновления, а ведь некоторые используются, например, для идентификации граждан. Обо всем этом пишет Arstechnica в статье "Millions of high-security crypto keys crippled by newly discovered flaw" [1] где упоминается и необходимость перевыпуска 750 тысяч идентификационных карточек в Эстонии и другие последствия.

Ссылки:
[1] https://arstechnica.com/information-technology/2017/10/crypto-failure-cripples-millions-of-high-security-keys-750k-estonian-ids/

#privacy #security

Комиссия по ценным бумагам (SEC) в США предлагает превратить корпоративные страницы с документами в данные [1]. Это касается не только финансовых, но и нефинансовых данных об организациях. Тут можно вспомнить что SEC одним из первых агентств внедряло открытые данные в свою работу и доступность многочисленной корпоративной информации была обеспечена благодаря публикации базы EDGAR много лет назад [2]

Ссылки:
[1] https://www.datacoalition.org/sec-proposes-to-transform-corporate-cover-pages-from-documents-into-data/
[2]https://www.sec.gov/edgar.shtml

#opendata #opengov

Немного политоты в канал.
Актуальная сегодняшняя новость в том что Генеральная прокуратура не выявила нарушений закона в процессе создания фильма "Матильда", его финансирования и получения прокатного удостоверения [1] . Что немаловажно мы узнаем что депутат Наталья Поклонская сумела написать целых 43 депутатских запросов в Генпрокуратуру.

И тут то возникает небезинтересный вопрос, а сколько запросов и куда направляют наши депутаты? Не секрет что с ослаблением законодательной власти запросы являются одним из главных ресурсов в арсенале депутатов. Не пора ли Госдуме задуматься о собственной прозрачности и публиковать все без исключения запросы депутатов во все органы власти.

Кстати, для тех кто не знает, у Госдумы еще с 2012 года есть открытое API, с 2012 года не обновлявшееся [2] содержащее информацию о деятельности депутатов. К сожалению какое-либо дополнительной раскрытие информации об их деятельности с той поры не ведется.

Ссылки:
[1] http://www.interfax.ru/russia/583748
[2] http://api.duma.gov.ru/

#opendata #opengov

Не только в России у больших государственных систем могут отсутствовать резервные копии. База наличных и имущества в виде доказательств в департаменте полиции Нью-Йорка (NYPD) оказалась в центре скандала с выявившейся ситуацией отсутствия резервной копии [1].

Ситуация выяснилась во время судебного разбирательства [2] по запросу о свободе доступа к информации от Bronx Defenders, некоммерческой группы заинтересовавшейся исследованием содержания этой базы, однако в NYPD сослались на техническую сложность предоставления такого доступа

Об этой системе Property and Evidence Tracking System (PETS) писали еще год назад [3] и тогда выянилось что NYPD не могут даже подсчитать объем изъятых наличных которые они хранят. При том что сама система основана на SAP ERP в Capgemini [4] и на нее было потрачено 25.5 миллиона долларов с 2009 по 2012 годы (1 миллиард 453,5 миллиона рублей по курсу ЦБ на 20.10.2017) и резонный вопрос в том как же возникла вся эта ситуация.

Если у вас есть интересные материалы по открытым данным, данным вообще и цифровизации госуправления, пишите мне на @ibegtin или в чат @begtinchat и я включать их в обзоры.

Ссылки:
[1] https://arstechnica.com/information-technology/2017/10/nypd-database-that-tracks-seized-evidence-and-cash-has-no-backup/
[2] https://www.courthousenews.com/no-forfeiture-database-backup-millions-line-nypd-admits/
[3] https://arstechnica.com/information-technology/2016/09/nypd-cant-count-cash-theyve-seized-because-it-would-crash-computers/
[4] https://www.capgemini.com/fr-fr/wp-content/uploads/sites/2/2017/07/nypd_successfully_implements_property_and_evidence_tracking_system_0.pdf b

#opendata #opengov

Afisha (неожиданно) пишет [1] о гонорарах и конфликтах интересов среди руководителей театров. Эта статья транслирует свежее расследование Transparency Int. в России о нарушениях в театрах о чем можно прочитать у них на сайте здесь [2] и в спецпроекте [3].

Среди качественных не-политических расследований - это одно из наиболее проработанных и детальных. Главная тема - это конфликт интересов когда художественные руководители совмещают свою должность с должностью директора организации и заключают договора, по сути, сами с собой.

И хотя расследование не дает ответа за дело или не за дело сидит Кирилл Серебренников, но определенно оно задает новые вопросы - не рискуют ли и другие руководители театров нашей любимой родины.

Я добавлю от себя лично, что давно не веду сам подобных расследований, наша команда занимается созданием порталов/сервисов/инструментов работы с данными. Отчасти это связано с тем что сделать расследование и не политизировать его - это большое искусство. И тем лучше что такие расследования есть в России.

Ссылки:
[1] https://daily.afisha.ru/news/11975-transperensi-interneshnl-uznal-kak-rukovoditeli-gosudarstvennyh-teatrov-platyat-gonorary-sami-sebe/
[2] https://transparency.org.ru/projects/konflikt-interesov/transperensi-interneshnl-rossiya-obnaruzhili-narusheniya-v-teatrakh.html
[3] https://transparency.org.ru/special/teatr/

#opendata #opengov #procurement #spending

Еще одна иллюстрация к вопросу о качестве и достоверности государственных баз данных.

Пара живых примеров.

1. Репозитарий
Контракт N 2591902626917000023 [1] [2] от 2016-12-23 на 10 тыс. руб. на оказание услуг общедоступной электрической связи для нужд структурного подразделения по г. Березники был заключен между Государственным казенным учреждением Пермского края социального обслуживания населения "Центр помощи детям оставшимся без попечения родителей г. Соликамска" и, по регистрационной карточке контракта, с Акционерным обществом "Новый регистратор" (ИНН: 7719263354 КПП: 771801001).

Однако при проверке по документам оказывается что это договор между Пермским филиалом Ростелекома и данным ГБУ. Это видно по первой и последней странице и реквизитам в госконтракте [3].

Как реквизиты организации выступающей в роли репозитария ценных бумаг оказались в реквизитах госконтракта на поставку электросвязи в Березникам - для меня загадка.

Как минимум тут признаками аномалии является:
1. Не соответствие профиля деятельности поставщика профилю контракта (несовпадение кодов ОКДП/ОКПД и ОКВЭД), наличие у подрядчика особого статуса/особой роли
2. Несоответствие профиля поставщика 44-ФЗ, нет потребностей по 44-ФЗ которые могли бы закупаться у репозитариев работающих с ценными бумагами.
3. Значительное удаление поставщика от места исполнения при контрактах требующих поставки товаров, работ и услуг по месту нахождения заказчика.

2. Сокрытие информации о фактическом исполнителе

Контракт N 57750004150150002690000 [4] Внешэкономбанка от 2015-10-23 на 390 млн. руб на
услуги по аренде или лизингу, включая собственный или арендуемый нежилой фонд с неизвестной организацией поскольку в карточке контракта указана организация "Исполнитель" с кодом ИНН 0000000000

Сложно предполагать что эта информация скрыта по закону о перс данных в виду значительной суммы контракта и маловероятности заключения его с физическим лицом.

И это не единственный подобный их контракт, аналогичные были заключены и на большие суммы. Например контракт N 57750004150160000090000 на поставку консалтинговых услуг на 722 млн. рублей [6] [7]

Что является аномальным в данном случае:
1. Недостоверная информация в реестре контрактов, отсутствие достоверных реквизитов организации, неуказание ее наименование и кодов ИНН/КПП
2. Если, что было бы странно, подобное сокрытие реквизитов все таки законно, то неуказание нормативного-документа по которому они скрыты и обоснования сокрытия реквизитов.

Эти примеры - это лишь верхушка айсберга которая всплывает при работе с государственными базами данных, их очисткой и анализом.

Например, в рамках проекта КГИ "Госзатраты" [8] у нас нет возможности провести такую тотальную очистку, но мы предоставляем всю базу данных, для тех кому удобно с этими данными работать. На сегодняшний день - это одна из крупнейших систем раскрытия информации о госконтрактах в открытом доступе.

А в рамках нашего коммерческого API проекта - APICrafter (http://apicrafter.ru) [9] мы агрегируем данные из значительного объема других источников информации и осуществляем постепенную, но последовательную кросс-проверку данных. В APICrafter'е данные по закупкам - это лишь один из его модулей, развитие проекта предполагает значительно больший и широкий объем данных. Уже сейчас мы работаем над второй версией где появятся дополнительные базы данных.

Однако, во всех случаях и наших проектах, и других проектах работающих с открытыми источниками, вопрос управления качеством данных является краеугольный. Далеко не во всех проектах возможен полный отказ от ответственности. К примеру в том же APICrafter'е - пока мы делаем API над первичными данными, мы можем отказываться от ответственности. Когда мы начинаем сводить базы вместе, то совсем отказаться от нее не так просто, при сведении данных выявляется много странностей и разночтений среди которых те что я привожу в пример не являются чем-то исключительным.

Ссылки:
[1] https://clearspending.ru/contract/2591902626917000023/
[2] http://zakupki.gov.ru/epz/contract/contractCard/payment-info-and-target-of-order.html?reestrNumber=2591902626917000023
[3] http://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=2591902626917000023
[4] https://clearspending.ru/contract/57750004150150002690000/
[5] http://zakupki.gov.ru/223/contract/public/contract/view/general-information.html?id=2314556
[6] https://clearspending.ru/contract/57750004150160000090000/
[7] http://zakupki.gov.ru/223/contract/public/contract/view/general-information.html?id=2314556&viewMode=FULL
[8] http://clearspending.ru
[9] http://apicrafter.ru

#opendata #opengov #spending

Для многих непонятно что происходит в правоохранительной системе в России. За исключением общего ощущение что "все не так" и "все не работает" есть еще и огромный пласт личного опыта людей когда-либо оказавшихся жертвами или свидетелями преступлений и понимающих что и полиция и суды, часто никак не помогут.

Одна из ключевых проблем находящихся в корне всей этой ситуации - это палочная система в МВД, именно она и приводит к систематическому искажению статистики, утаиванию преступлений, попыткам накрутить раскрываемость и сознательным искажениям статистики.

В Коммерсанте вышла статья [1] с комментариями Олега Инсарова (руководитель главного управления правовой статистики и информационных технологий Генпрокуратуры России) и с кратким моим комментарием о том почему учет преступлений - это именно так область где внедрение цифровых технологий является первоочередной задачей

А я хочу напомнить о другом проекте КГИ "Открытая полиция" в котором, мы, в Инфокультуре, в рамках темы "Понятная полиция" сделали много материалов о том как устроена правоохранительная система и как добиваться защиты собственных прав.

Ссылки:
[1] https://www.kommersant.ru/doc/3448048
[2] http://openpolice.ru
[3] https://openpolice.ru/pages/ponyatnaya-policiya/

#opendata #opengov #openpolice

Можно ли заниматься вопросами гражданского общества в России сейчас? Если да то как именно? Один из форматов - это Зимняя школа Университета КГИ где в течении 4-х дней под Звенигородом участники изучают лучшие практики того как развиваются региональные и местные сообщества.

Как вы понимаете расхваливаю я школу не просто так, а поскольку сам выступал на ней в прошлом году и аудитория мне очень понравилась и по настрою и готовности к созданию нового.

Записаться можно до 16 ноября тут http://winter.kgischools.ru/

#opengov #kgi

Если кто-то пропустил это 2 года назад мы помогали Новым облачным технологиям сделать исследование Росгоспочта по по тому какими почтовыми сервисами пользуются госслужащие.

Сейчас тот сайт уже недоступен, но само исследование осталось [1]

А у нас давно уже есть методика по которой мы анализировали эти сотни тысяч email адресов и почтовых серверов госорганов, но никак не доходят руки повторить такое исследование в углубленном формате.

Кстати, если кто-то думает что сильно что-то стало лучше за эти годы, то ответ - нет, сильно лучше не стало. По прежнему большая часть официальных контактов органов власти - это почтовые адреса на mail.ru и yandex.ru, а внутри ведомств почти повсеместно используется Microsoft Exchange.

Разговоры про импортозамещение, поэтому, слушать интересно, а вот верится с трудом. Уже давно есть желание сделать аналогичные исследования по документам, по серверному ПО, но просто не доходят руки. А пока просто напоминание о таком исследовании несколько лет назад. Оно было раньше моего канала и тут я ранее его не транслировал.

Ссылки:
[1] https://www.infoculture.ru/2017/10/24/issledovanie-ispolzovanie-jelektronnoj-pochty-v-gosudarstvennoj-infrastrukture-rf/

#opendata #opengov #privacy

Какие данные использует бизнес, граждане, все потребители информации? Исследование Capgemini "Re-using Open Data" [1] дает часть ответов на эти вопросы.

Из исследования мы можем узнать что чаще всего используются статистические данные, после них данные геопространственные и уже на 3-м месте данные о компаниях.

Конечно надо учитывать ситуацию что в Евросоюзе и зрелость и готовность потребителей к использованию данных гораздо выше, а в России тема открытых данных устроена значительно иначе. Что, в любом случае, не отменяет полезности исследования.

Ссылки:
[1] https://www.europeandataportal.eu/sites/default/files/re-using_open_data.pdf

#opendata #opengov

Многочисленные напоминания и в них приходится отходить от стилистики выноса ссылок в конец поста.

1. Прием заявок на конкурс BudgetApps продлен до 5 ноября https://www.facebook.com/budgetappsru/ и http://budgetapps.ru подробности. Еще есть время доделать недоделанное и улучшить неулучшенное!

2. Мы регулярно проводим мероприятия в DataSreda http://datasreda.ru/ в котором интересные лекторы рассказывают об открытых данных и тому как ими пользоваться. Акцент на темах близких к медиа и СМИ, но главное - на данных, не только открытых, кстати, но и данных социальных сетей. Совместный проект НИУ ВШЭ, Инфокультуры и SocialDataHub

3. Мой канал в телеграме https://yangx.top/begtin посвящен темам данных, госуправления и современных технологий. То о чем я пишу можно обсудить в чате https://yangx.top/begtinchat

4. Обратите внимание на раздел "Приложения" на проекте КГИ Госзатраты https://clearspending.ru/apps/ мы добавляем туда новые и если у Вас есть проекты именно на данных Госзатрат или его API - присылайте нам и мы добавим его туда в раздел и разрекламируем. Любой проект использующий API - всячески приветствуется. Готовы продвигать рекламировать и не только. Если мы упустили Ваш проект - не стесняйтесь, пишите нам на [email protected]

5. В нашем проекте "Открытая полиция" в последний год многое сдвинулось от открытости данных к понятности, но вопрос открытости тоже не исчез. Если у Вы знаете интересные данные правоохранительной системы и готовы нам их скинуть - пишите нам на [email protected]

6. В специальном репозитории мы собираем задачи на открытых данных которые могут помочь Вам лучше разобраться в том как они устроены - https://github.com/infoculture/datatasks/issues
Если у Вас наоборот, есть задачи которые Вы бы хотели предоставить другим - пишите на [email protected] или в телеграм на https://yangx.top/ibegtin

7. В репозиториях https://github.com/infoculture/awesome-opendata-rus и https://github.com/infoculture/awesome-datajournalism мы собираем ссылки на все ресурсы по открытым данным на русском языке и по дата журналистике. Ищите интересное для себя и предлагайте новое что там не упомянуто.

8. Хаб открытых данных - наш огромный репозиторий данных https://hubofdata.ru поможет найти данные которых там нехватает. Он обновляется реже чем нам бы хотелось и мы готовы партнерствовать со всеми кто готов выгружать оттуда данные и загружать свои. Пишите на [email protected] или https://yangx.top/ibegtin

Я не упомянул еще о десятках проектов и ресурсов создаваемых нами и нашими друзьями и партнерами. Так что еще не раз буду делать эти регулярные напоминания.

#opendata #opengov #openpolice

Для тех кто любит работать с данными, интересуется открытыми данными и работает в области кибербезопасности, отличный awesome list посвященный теме машинного обучения в кибербезопасности [1].

Я бы выделил отдельно, база вредоносных урлов [2], база лаборатории в Лос Аламо [3].

Также не могу не упомянуть Censys.io [4], крупнейшую общедоступную базу с открытыми данными по киберинфраструктуре - IP адресам, веб серверам и не только.

Ссылки:
[1] https://github.com/jivoi/awesome-ml-for-cybersecurity
[2] http://sysnet.ucsd.edu/projects/url/
[3] https://csr.lanl.gov/data/
[4] https://censys.io/

#opendata #cybersecurity

От Knights Foundation вышло большое исследование "Scaling civic tech" [1] посвященное развитию гражданских технологий.

Поскольку термин не четкий, с самого начала исследований они уточняют что
Civic tech: Technology used to inform, engage and connect residents with government and one another to advance civic outcomes.

Что по русский означает что: "Гражданские технологии: Технологии используемые для информирования, вовлечения и взаимодействия граждан с органами власти и друг с другом для развития социального эффекта".

Исследование интересное и не пропустите в нем раздел "Landscape analysis: Open data and transparency" [2] посвященный открытым данным.


Ссылки:
[1] https://knightfoundation.org/features/civictechbiz
[2] https://knightfoundation.org/features/civictechbiz#step-12

#opendata #opengov #civictech

Open Knowledge International (OKI) выиграли грант от Open Data Institute (Великобритания) на создание Open Data publication toolkit [1]

Фактически это будет набор инструментов и стандартов по публикации открытых данных в удобных форматах.

Всячески могу посоветовать следить за результатами их работы, OKI невероятно круты в создании подобных инструментов. Многие из их продуктов, такие как CKAN, используются по всему миру.

И, конечно, нельзя не посетовать на российские доморощенные методические рекомендации Минэкономразвития по публикации открытых данных. Они устарели уже более 4 лет назад, но внутри государства сейчас нет сильного драйвера работы с открытыми данными. Открытое правительство вместо методической работы, занимается не пойми чем, а с остальными центрами притяжения в области госданных не сильно лучше.

Ссылки:
[1] https://blog.okfn.org/2017/10/31/oki-wins-funds-from-odi-to-create-open-data-publication-toolkit/

#opendata #opengov #oki

Вот, видите! Их профессура готова к бою, а наша только и может смотреть в микроскопы и бабочек ловить! (с) Дежавю, фильм, 1989 г.

В США прямо сейчас проходит большой конкурс с Hidden Signals Challenge[1] с призовым фондом в 300 тысяч долларов и посвященный выявлению биоугроз и с большим объемом открытых научных и иных данных для этой задачи [2].

Конкурс проводит US Department of Homeland Security, так похожий на российские аналогичные службы безопасности и охраны граждан. Можно только удивиться готовности их органов безопасности вовлекать общество в совместное решение важнейших проблем и неготовность российских к аналогичной работе.

Ссылки:
[1] https://www.hiddensignalschallenge.com/
[2] https://www.hiddensignalschallenge.com/additional-resources/

#opendata #opengov

Вчера, 2 ноября, в США офис доходов от национальных ресурсов Департамента внутренних дел подписал о выходе США из соглашения EITI (Extractive Industries Transparency Initiatives) созданного для раскрытия информации о доходах, налогах и деятельности организаций добывающих природные ресурсы, а также анонсировали закрытие проекта. Причем выход происходит с большим числом оговорок о том что США поддерживают инициативу, о том как это важно, но, тем не менее, выходят из организации из-за "несоответствия ее требований и законодательства США". Подробнее об этом в публикации на сайте Publish what you pay us [1], организации продвигающей стандарт EITI [2] в мире и в США.

Сейчас EITI охватывает 52 страны [3], а также существует множество связанных с ним инициатив охватывающих другие области финансовой деятельности добывающиз компаний. Часть из них приведена на проекте Extract-a-fact [4].

Из них я бы выделил такие проекты как:
- Resource Contracts [5] - A directory of Petroleum & Mineral Contracts
- Resource Projects [6] - A repository of open-source data on oil, gas and mining projects
- OpenOil [7] - imagine an open oil industry...

Все эти проекты созданы, в том числе, используя данные раскрываемые в рамках EITI странами и отдельными компаниями.

К вопросу о теме, в России она актуальна не менее, если не более. Но нет, Россия не участвует в EITI и других проектах по прозрачности добывающего сектора.

Я даже не могу представить себе чтобы кто-то сейчас решился и сделал бы такой проект в России и о России, слишком уж много тут личных рисков возникает. Но мало есть чего-то более актуального чем эта тема.

Ссылки:
[1] http://www.pwypusa.org/pwyp-news/trump-administration-further-erodes-us-leadership-on-combatting-corruption/
[2] https://eiti.org
[3] https://eiti.org/countries
[4] http://www.extractafact.org/data-tools.html
[5] http://www.resourcecontracts.org/
[6] http://www.resourceprojects.org/
[7] http://openoil.net/

#opendata #opengov #realdata #gaz #oil #extractives