Кто-то выложил в интернет базу по 50 миллионам жителям Турции http://185.100.87.84/ и это очень серьёзная история. Посмотрите на то какой небольшой это объём в чистых данных. Всего 1.5 гигабайта в сжатом виде и то какие последствия это может произвести. #opendata #privacy #leaks
April 4, 2016
Депутат Яровая и сенатор Озеров предлагают законопроект обязывающий провайдеров 3 года хранить переписку пользователей и телефонные звонки http://asozd2.duma.gov.ru/main.nsf/(Spravka)?OpenAgent&RN=1039149-6
Выглядит это так
---
Статья 7
Пункт 1 статьи 64 Федерального закона от 7 июля 2003 года № 126-ФЗ
«О связи» (Собрание законодательства Российской Федерации, 2003, № 28,
ст. 2895) изложить в следующей редакции:
«1. Операторы связи обязаны хранить на территории Российской
Федерации в течение трех лет информацию о фактах приема, передачи,
доставки и (или) обработки голосовой информации и текстовых сообщений,
включая их содержание, а также изображения, звуки или иные сообщения
пользователей услугами связи и предоставлять уполномоченным
государственным органам, осуществляющим оперативно-разыскную
деятельность или обеспечение безопасности Российской Федерации,
указанную информацию, информацию о пользователях услугами связи и об
оказанных им услугах связи и иную информацию, необходимую для
выполнения возложенных на эти органы задач, в случаях, установленных
федеральными законами.».
---
Что это будет означать на практике? Появится закон или подзаконный акт который расширит реестр операторов связи на сервисы почты и социальные сети и мессенжеры. После чего обяжет всех кто их делает и предоставляет быть зарегистрированными в данном реестре. После чего начнут блокировать "незарегистрированных операторов связи". Сделают это за 2-3 года максимум.
Выглядит это так
---
Статья 7
Пункт 1 статьи 64 Федерального закона от 7 июля 2003 года № 126-ФЗ
«О связи» (Собрание законодательства Российской Федерации, 2003, № 28,
ст. 2895) изложить в следующей редакции:
«1. Операторы связи обязаны хранить на территории Российской
Федерации в течение трех лет информацию о фактах приема, передачи,
доставки и (или) обработки голосовой информации и текстовых сообщений,
включая их содержание, а также изображения, звуки или иные сообщения
пользователей услугами связи и предоставлять уполномоченным
государственным органам, осуществляющим оперативно-разыскную
деятельность или обеспечение безопасности Российской Федерации,
указанную информацию, информацию о пользователях услугами связи и об
оказанных им услугах связи и иную информацию, необходимую для
выполнения возложенных на эти органы задач, в случаях, установленных
федеральными законами.».
---
Что это будет означать на практике? Появится закон или подзаконный акт который расширит реестр операторов связи на сервисы почты и социальные сети и мессенжеры. После чего обяжет всех кто их делает и предоставляет быть зарегистрированными в данном реестре. После чего начнут блокировать "незарегистрированных операторов связи". Сделают это за 2-3 года максимум.
April 8, 2016
PublishWhatYouFund публикуют очередной годовой индекс открытости данных о межгосударственной помощи развивающимся странам. Aid Transparency Index http://ati.publishwhatyoufund.org/
Лидирует там UNDP, а плохие результаты у 5 национальных агентств.
На каком уровне там Россия? Россия вне категорий! Россия не оказывает помощи развивающимся странам и у нас нет агентства международного развития. Вместо него эти функции возложены на Россотрудничество, но оно не публикует никаких данных в стандарте IATI http://iatistandard.org/ в отличии от 398 организаций http://iatiregistry.org/publisher по всему миру
#opendata #opengov
Лидирует там UNDP, а плохие результаты у 5 национальных агентств.
На каком уровне там Россия? Россия вне категорий! Россия не оказывает помощи развивающимся странам и у нас нет агентства международного развития. Вместо него эти функции возложены на Россотрудничество, но оно не публикует никаких данных в стандарте IATI http://iatistandard.org/ в отличии от 398 организаций http://iatiregistry.org/publisher по всему миру
#opendata #opengov
ati.publishwhatyoufund.org
Aid Transparency Index
The 2016 Publish What You Fund Aid Transparency Index
April 14, 2016
Конгресс США рассматривает возможность введения правила "открытые данные по умолчанию" для федеральных органов власти США http://sunlightfoundation.com/blog/2016/04/14/congress-to-consider-making-open-data-the-default-in-federal-government/ #opendata #opengov
Это хорошая новость. Плохая новость в том что в России пока ничего подобного и не предвидится.
Это хорошая новость. Плохая новость в том что в России пока ничего подобного и не предвидится.
Sunlight Foundation
Congress to consider making open data the default in federal government
Rep. Derek Kilmer, D-Wash., talks about the potential of open government data. The arc of U.S. history is long, but it bends toward machine-readability. This morning, we saw positive signs on the long road to baking open data into the way the federal government…
April 15, 2016
Department of Homeland Security в США выдал свои комментарии к предложению публиковать исходный код подрядчиков по госконтрактам. Вот тут подробности https://github.com/WhiteHouse/source-code-policy/issues/152# Самый убийственный довод, самый первый
---
Government-specific examples: citizenship anti-fraud rules that are coded into software, identification of special codes used to flag law enforcement actions, APT threat indicator scripts, Mafia having a copy of all FBI system code, terrorist with access to air traffic control software, etc. How will this be prevented?
---
Все силовые органы во всём мире одинаковые. А комментарию про мафию просто прекрасен #opendata
Ну а тем временем, просто на заметку. Пока в России играют в импортозамещение, причём играют крайне криво и непоследовательно. Тем временем в США во всю внедряют Federal Source Code Policy https://github.com/WhiteHouse/source-code-policy
---
Government-specific examples: citizenship anti-fraud rules that are coded into software, identification of special codes used to flag law enforcement actions, APT threat indicator scripts, Mafia having a copy of all FBI system code, terrorist with access to air traffic control software, etc. How will this be prevented?
---
Все силовые органы во всём мире одинаковые. А комментарию про мафию просто прекрасен #opendata
Ну а тем временем, просто на заметку. Пока в России играют в импортозамещение, причём играют крайне криво и непоследовательно. Тем временем в США во всю внедряют Federal Source Code Policy https://github.com/WhiteHouse/source-code-policy
GitHub
Email Comment: Department of Homeland Security Office of the Chief Information Officer and Components · Issue #152 · WhiteHouse/source…
[Email Comment, received on 4/11/2016 at 1:52PM ET]
Open Source Software Policy Comments (DHS Consolidated).xlsx
Open Source Software Policy Comments (DHS Consolidated).xlsx
April 15, 2016
April 15, 2016
Очень интересный отчёт Government Accountability Office в США о том как можно экономить средства при госрасходах http://www.gao.gov/assets/680/676473.pdf если сравнить его с отчётами аналогичными в России, то просто небо и земля. А в контексте управления данными - они же пишут про многочисленные проблемы в том как органы власти с данными работают #government #opengov #opendata
April 15, 2016
В Китае создают так называют "pre-crime network" обеспечивающую predictive policing, предсказание возникновение криминальных инцидентов и других нарушений общественной безопасности об этом пишет Telegraph http://www.telegraph.co.uk/technology/2016/03/09/minority-report-style-technology-to-predict-crime-in-china/ со ссылкой на мартовскую статью в Bloomberg http://www.bloomberg.com/news/articles/2016-03-03/china-tries-its-hand-at-pre-crime
В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно http://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.
Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol http://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года http://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития
Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice
В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно http://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.
Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol http://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года http://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития
Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice
The Telegraph
'Minority Report'-style technology to predict crime in China
China is developing an advanced crime detection system out of its extensive surveillance network.
April 21, 2016
April 21, 2016
Тем временем в Филлипинах произошла утечка персональных данных о 55 миллионах избирателей http://cnnphilippines.com/news/2016/04/21/Comelec-hack-data-registered-Filipino-voters.html #privacy и стоят за этим Anonymous Philippines. Похоже что в мире набирает тренд по взлому баз избирательных комиссий.
CNN Philippines
Website claims: Registered voters' sensitive data easily searchable
A website claims it carries the sensitive data — such as full name, complete address, and passport number — of at least 70 million registered Filipino voters.
April 22, 2016
Британская библиотека опубликовала 1 миллион изображений из своих архивов. Всё для свободного использования (public domain) и доступно через сервис Flickr https://www.flickr.com/photos/britishlibrary/ . Подробнее на сайте Британской библиотеки http://britishlibrary.typepad.co.uk/digital-scholarship/2013/12/a-million-first-steps.html , в блоге Flickr http://blog.flickr.net/en/2013/12/16/welcome-the-british-library-to-the-commons/
Этот набор фотографий - это часть проекта The Commons https://www.flickr.com/commons организованного Flickr и через который более 100 архивов по всему миру публикуют свои изображения как общественное достояние.
Этот набор фотографий - это часть проекта The Commons https://www.flickr.com/commons организованного Flickr и через который более 100 архивов по всему миру публикуют свои изображения как общественное достояние.
Flickr
British Library
Explore British Library’s 1,073,563 photos on Flickr!
April 24, 2016
Открытость банков - это миф или неизбежное будущее ? http://bosfera.ru/bo/zakrytyy-mir-otkrytyh-dannyh #opendata
Моя статья в банковском обозрении о том что в мире постепенно развивается тема открытости банков. Единственное что я там не затронул - это то что с развитием альтернативных платежных систем банки могут просто не успеть.
Моя статья в банковском обозрении о том что в мире постепенно развивается тема открытости банков. Единственное что я там не затронул - это то что с развитием альтернативных платежных систем банки могут просто не успеть.
Банковское обозрение
Закрытый мир открытых данных
В последние годы тема открытых данных стала если не очень хорошо известной, то хотя бы регулярно обсуждаемой политиками, активистами и предпринимателями. Наиболее часто она звучит в контексте Big
April 27, 2016
Тем временем многие проекты на открытых данных связанных с бизнес информацией активно монетизируются. OpenCorporates запустили серию продуктов с базами с коммерческой информацией. Они предоставляют данные по организациям в виде датасетов. По сути - это продажа баз данных и их ежемесячного обновления. https://opencorporates.com/products #opendata
Opencorporates
OpenCorporates :: The Open Database Of The Corporate World
Free and Open Company Data on millions of companies and corporations in over 20 countries, including UK, Spain, US, ...
April 28, 2016
"A Political Economy Framework for the Urban Data Revolution" новое исследование от The Urban Institute посвящённое выработке последовательной политики в работе с городскими данными. В исследовании много примеров из области политической экономии и изменения практик городского управления для выработки политики для создания и анализа данных. http://www.urban.org/sites/default/files/alfresco/publication-pdfs/2016.04.26%20Political%20Economy%20of%20the%20Urban%20Data%20Revolution_FINAL.pdf #opendata #urbandata
May 2, 2016
May 2, 2016
May 2, 2016
Вышло исследование "The Effects of Income Transparency on Well-Being Evidence from a Natural Experiment" проведённое Ricardo Perez-Truglia из Microsoft Research и посвящённая эффекту от раскрытия данных о доходах, налоговых данных граждан, в Норвегии в 2001 году.
В исследовании подробно рассказывается об опросах об удовлетворенности жизнью проведенных в Норвегии с 1985 по 2013 годы.
А также упоминается, например, о том что данные о налогах граждан раскрываются в Норвегии с середины 19-го века, но тогда, это было в виде публикаций в газетах, то сейчас в виде специального сайта.
Также в исследовании есть тезис что современные норвежцы чаще ищут декларации друг друга чем видео на Youtube.
Публикация http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2657808
#opendata #transparency
В исследовании подробно рассказывается об опросах об удовлетворенности жизнью проведенных в Норвегии с 1985 по 2013 годы.
А также упоминается, например, о том что данные о налогах граждан раскрываются в Норвегии с середины 19-го века, но тогда, это было в виде публикаций в газетах, то сейчас в виде специального сайта.
Также в исследовании есть тезис что современные норвежцы чаще ищут декларации друг друга чем видео на Youtube.
Публикация http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2657808
#opendata #transparency
Ssrn
The Effects of Income Transparency on Well-Being: Evidence from a Natural Experiment
In 2001, Norwegian tax records became easily accessible online, allowing everyone in the country to observe the incomes of everyone else. According to the incom
May 2, 2016
О АРХИВАХ САЙТОВ МВД и ФМС
Думал на майских успеть сделать копии сайтов упраздняемых агентсв. ФСКН получается, Росфиннадзор получается, а вот с ФМС беда.
Вместо их сайта http://www.fms.gov.ru/ теперь заглушка с перенаправлением на сайт МВД.
Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru. Все архивы с отчетами чтобы были доступны просто исчезли.
Это всё о том как к информации относятся российские госорганы. Так как будто они тут ненадолго.
Только ЦБ РФ архивирует документы с 1998 года и сохранил сайты ФСФР http://cbr.ru/finmarkets/?PrtId=archive
Но это уникальная ситуация, большая часть других всё или многое уничтожают без архивации при смене сайта или орг реформах.
Какие ещё ресурсы надо срочно архивировать? Пишите мне на @ibegtin. Также я продолжаю искать тех кто поможет мне создать интерфейс над уже накопленными архивами сайтов за последние лет 5
Думал на майских успеть сделать копии сайтов упраздняемых агентсв. ФСКН получается, Росфиннадзор получается, а вот с ФМС беда.
Вместо их сайта http://www.fms.gov.ru/ теперь заглушка с перенаправлением на сайт МВД.
Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru. Все архивы с отчетами чтобы были доступны просто исчезли.
Это всё о том как к информации относятся российские госорганы. Так как будто они тут ненадолго.
Только ЦБ РФ архивирует документы с 1998 года и сохранил сайты ФСФР http://cbr.ru/finmarkets/?PrtId=archive
Но это уникальная ситуация, большая часть других всё или многое уничтожают без архивации при смене сайта или орг реформах.
Какие ещё ресурсы надо срочно архивировать? Пишите мне на @ibegtin. Также я продолжаю искать тех кто поможет мне создать интерфейс над уже накопленными архивами сайтов за последние лет 5
May 3, 2016
Голландский Гринпис опубликовали утечку из более половины проекта соглашения между США и Евросоюзом https://www.ttip-leaks.org/ так называемое TTIP соглашение (Transatlantic Trade and Investment Partnership).
После чего 1-го мая выпустили пресс-релиз http://www.greenpeace.org/international/en/press/releases/2016/Leaked-TTIP-documents-confirm-major-risks-for-climate-environment-and-consumer-safety/ в котором обращают внимание на то что соглашение ограничивает исследования по изменению климата, снимает принцип евросоюза по допуску еды на рынки только после проверки, снимает несколько приниципов защиты окружающей среды
Arstechnica обращает внимание http://arstechnica.co.uk/tech-policy/2016/05/ttip-to-fail-leak-reveals-us-isds-gmos-demands/ что не только окружающая среда, но и многие технологические аспекты подозрительны в этом соглашении. Например, телекоммуникационные компании получают право игнорировать европейское законодательство о чём пишет группа EDRi после исследования соответствующего раздела TTIP https://edri.org/breaking-ttip-leaks-confirm-dangers-for-digital-rights/
После панамских бумаг и многих малых утечек очень похоже на то что этот год превзойдёт все предыдущие по вытаскиванию правды на свет. Всё тайное стало очень тяжело сохранять тайным.
#privacy #digitalrights
После чего 1-го мая выпустили пресс-релиз http://www.greenpeace.org/international/en/press/releases/2016/Leaked-TTIP-documents-confirm-major-risks-for-climate-environment-and-consumer-safety/ в котором обращают внимание на то что соглашение ограничивает исследования по изменению климата, снимает принцип евросоюза по допуску еды на рынки только после проверки, снимает несколько приниципов защиты окружающей среды
Arstechnica обращает внимание http://arstechnica.co.uk/tech-policy/2016/05/ttip-to-fail-leak-reveals-us-isds-gmos-demands/ что не только окружающая среда, но и многие технологические аспекты подозрительны в этом соглашении. Например, телекоммуникационные компании получают право игнорировать европейское законодательство о чём пишет группа EDRi после исследования соответствующего раздела TTIP https://edri.org/breaking-ttip-leaks-confirm-dangers-for-digital-rights/
После панамских бумаг и многих малых утечек очень похоже на то что этот год превзойдёт все предыдущие по вытаскиванию правды на свет. Всё тайное стало очень тяжело сохранять тайным.
#privacy #digitalrights
trade-leaks.org
Greenpeace TRADE-leaks.org
BREAKING: Leak of new secret trade deal between the EU and the MERCOSUR countries: Argentina, Brazil, Paraguay and Uruguay. The MERCOSUR deal is a major threat to the climate and the preservation of the Amazon. More info on www.trade-leaks.org. Get informed.…
May 3, 2016
Полный архив Panama Papers ещё недоступен, но то что ранее публиковали уже активно переводят в наборы данных
И вот наборы данных по панамским бумагам
- в CSV https://github.com/amaboura/panama-papers-dataset-2016
- данные для Neo4J http://www.thereportertimes.com/panama-papers-icij-offshore-leaks-database-documents/23489/
И самое главное. База https://offshoreleaks.icij.org со всеми засвеченными при утечке организациями.
Думаю что 1-2 недели и найдутся активисты которые переделают её в наборы данных
#opendata #opengov #panamapapers
И вот наборы данных по панамским бумагам
- в CSV https://github.com/amaboura/panama-papers-dataset-2016
- данные для Neo4J http://www.thereportertimes.com/panama-papers-icij-offshore-leaks-database-documents/23489/
И самое главное. База https://offshoreleaks.icij.org со всеми засвеченными при утечке организациями.
Думаю что 1-2 недели и найдутся активисты которые переделают её в наборы данных
#opendata #opengov #panamapapers
GitHub
GitHub - amaboura/panama-papers-dataset-2016: Structured data about Panama papers collected from official ICIJ website
Structured data about Panama papers collected from official ICIJ website - GitHub - amaboura/panama-papers-dataset-2016: Structured data about Panama papers collected from official ICIJ website
May 12, 2016