Что очень странно так то что около 1-3% email адресов госорганов Украины по прежнему на хостингах mail.ru и yandex.ru . Не такой масштаб как в России, но заметный.
#opendata

Похоже что #panamapapers по масштабам раскрытия превзойдёт Wikileaks и все предыдущие утечки документов. Сразу несколько проектов http://panamapapers.sueddeutsche.de/en/ , https://www.occrp.org/en/panamapapers , https://panamapapers.icij.org и, наконец, визуализация, static.fusion.net/shell-companies/network.html одно очень жаль что сами датасеты они не публикуют. #opendata #leaks

Кто-то выложил в интернет базу по 50 миллионам жителям Турции http://185.100.87.84/ и это очень серьёзная история. Посмотрите на то какой небольшой это объём в чистых данных. Всего 1.5 гигабайта в сжатом виде и то какие последствия это может произвести. #opendata #privacy #leaks

Депутат Яровая и сенатор Озеров предлагают законопроект обязывающий провайдеров 3 года хранить переписку пользователей и телефонные звонки http://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=1039149-6

Выглядит это так
---
Статья 7
Пункт 1 статьи 64 Федерального закона от 7 июля 2003 года № 126-ФЗ
«О связи» (Собрание законодательства Российской Федерации, 2003, № 28,
ст. 2895) изложить в следующей редакции:
«1. Операторы связи обязаны хранить на территории Российской
Федерации в течение трех лет информацию о фактах приема, передачи,
доставки и (или) обработки голосовой информации и текстовых сообщений,
включая их содержание, а также изображения, звуки или иные сообщения
пользователей услугами связи и предоставлять уполномоченным
государственным органам, осуществляющим оперативно-разыскную
деятельность или обеспечение безопасности Российской Федерации,
указанную информацию, информацию о пользователях услугами связи и об
оказанных им услугах связи и иную информацию, необходимую для
выполнения возложенных на эти органы задач, в случаях, установленных
федеральными законами.».
---
Что это будет означать на практике? Появится закон или подзаконный акт который расширит реестр операторов связи на сервисы почты и социальные сети и мессенжеры. После чего обяжет всех кто их делает и предоставляет быть зарегистрированными в данном реестре. После чего начнут блокировать "незарегистрированных операторов связи". Сделают это за 2-3 года максимум.

PublishWhatYouFund публикуют очередной годовой индекс открытости данных о межгосударственной помощи развивающимся странам. Aid Transparency Index http://ati.publishwhatyoufund.org/

Лидирует там UNDP, а плохие результаты у 5 национальных агентств.

На каком уровне там Россия? Россия вне категорий! Россия не оказывает помощи развивающимся странам и у нас нет агентства международного развития. Вместо него эти функции возложены на Россотрудничество, но оно не публикует никаких данных в стандарте IATI http://iatistandard.org/ в отличии от 398 организаций http://iatiregistry.org/publisher по всему миру

#opendata #opengov

Конгресс США рассматривает возможность введения правила "открытые данные по умолчанию" для федеральных органов власти США http://sunlightfoundation.com/blog/2016/04/14/congress-to-consider-making-open-data-the-default-in-federal-government/ #opendata #opengov

Это хорошая новость. Плохая новость в том что в России пока ничего подобного и не предвидится.

Department of Homeland Security в США выдал свои комментарии к предложению публиковать исходный код подрядчиков по госконтрактам. Вот тут подробности https://github.com/WhiteHouse/source-code-policy/issues/152# Самый убийственный довод, самый первый
---
Government-specific examples: citizenship anti-fraud rules that are coded into software, identification of special codes used to flag law enforcement actions, APT threat indicator scripts, Mafia having a copy of all FBI system code, terrorist with access to air traffic control software, etc. How will this be prevented?
---
Все силовые органы во всём мире одинаковые. А комментарию про мафию просто прекрасен #‎opendata
Ну а тем временем, просто на заметку. Пока в России играют в импортозамещение, причём играют крайне криво и непоследовательно. Тем временем в США во всю внедряют Federal Source Code Policy https://github.com/WhiteHouse/source-code-policy

Очень интересный отчёт Government Accountability Office в США о том как можно экономить средства при госрасходах http://www.gao.gov/assets/680/676473.pdf если сравнить его с отчётами аналогичными в России, то просто небо и земля. А в контексте управления данными - они же пишут про многочисленные проблемы в том как органы власти с данными работают #government #opengov #opendata

В Китае создают так называют "pre-crime network" обеспечивающую predictive policing, предсказание возникновение криминальных инцидентов и других нарушений общественной безопасности об этом пишет Telegraph http://www.telegraph.co.uk/technology/2016/03/09/minority-report-style-technology-to-predict-crime-in-china/ со ссылкой на мартовскую статью в Bloomberg http://www.bloomberg.com/news/articles/2016-03-03/china-tries-its-hand-at-pre-crime

В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно http://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.

 Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol http://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года http://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития

Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice

Тем временем в Филлипинах произошла утечка персональных данных о 55 миллионах избирателей http://cnnphilippines.com/news/2016/04/21/Comelec-hack-data-registered-Filipino-voters.html #privacy и стоят за этим Anonymous Philippines. Похоже что в мире набирает тренд по взлому баз избирательных комиссий.

Британская библиотека опубликовала 1 миллион изображений из своих архивов. Всё для свободного использования (public domain) и доступно через сервис Flickr https://www.flickr.com/photos/britishlibrary/ . Подробнее на сайте Британской библиотеки http://britishlibrary.typepad.co.uk/digital-scholarship/2013/12/a-million-first-steps.html , в блоге Flickr http://blog.flickr.net/en/2013/12/16/welcome-the-british-library-to-the-commons/

Этот набор фотографий - это часть проекта The Commons https://www.flickr.com/commons организованного Flickr и через который более 100 архивов по всему миру публикуют свои изображения как общественное достояние.

Открытость банков - это миф или неизбежное будущее ? http://bosfera.ru/bo/zakrytyy-mir-otkrytyh-dannyh #‎opendata
Моя статья в банковском обозрении о том что в мире постепенно развивается тема открытости банков. Единственное что я там не затронул - это то что с развитием альтернативных платежных систем банки могут просто не успеть.

Тем временем многие проекты на открытых данных связанных с бизнес информацией активно монетизируются. OpenCorporates запустили серию продуктов с базами с коммерческой информацией. Они предоставляют данные по организациям в виде датасетов. По сути - это продажа баз данных и их ежемесячного обновления. https://opencorporates.com/products #opendata

"A Political Economy Framework for the Urban Data Revolution" новое исследование от The Urban Institute посвящённое выработке последовательной политики в работе с городскими данными. В исследовании много примеров из области политической экономии и изменения практик городского управления для выработки политики для создания и анализа данных. http://www.urban.org/sites/default/files/alfresco/publication-pdfs/2016.04.26%20Political%20Economy%20of%20the%20Urban%20Data%20Revolution_FINAL.pdf #opendata #urbandata

Вышло исследование "The Effects of Income Transparency on Well-Being Evidence from a Natural Experiment" проведённое Ricardo Perez-Truglia из Microsoft Research и посвящённая эффекту от раскрытия данных о доходах, налоговых данных граждан, в Норвегии в 2001 году.

В исследовании подробно рассказывается об опросах об удовлетворенности жизнью проведенных в Норвегии с 1985 по 2013 годы.
А также упоминается, например, о том что данные о налогах граждан раскрываются в Норвегии с середины 19-го века, но тогда, это было в виде публикаций в газетах, то сейчас в виде специального сайта.

Также в исследовании есть тезис что современные норвежцы чаще ищут декларации друг друга чем видео на Youtube.

Публикация http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2657808
#opendata #transparency

О АРХИВАХ САЙТОВ МВД и ФМС

Думал на майских успеть сделать копии сайтов упраздняемых агентсв. ФСКН получается, Росфиннадзор получается, а вот с ФМС беда.

Вместо их сайта http://www.fms.gov.ru/ теперь заглушка с перенаправлением на сайт МВД.

Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru. Все архивы с отчетами чтобы были доступны просто исчезли.

Это всё о том как к информации относятся российские госорганы. Так как будто они тут ненадолго.

Только ЦБ РФ архивирует документы с 1998 года и сохранил сайты ФСФР http://cbr.ru/finmarkets/?PrtId=archive

Но это уникальная ситуация, большая часть других всё или многое уничтожают без архивации при смене сайта или орг реформах.

Какие ещё ресурсы надо срочно архивировать? Пишите мне на @ibegtin. Также я продолжаю искать тех кто поможет мне создать интерфейс над уже накопленными архивами сайтов за последние лет 5