Очень интересный отчёт Government Accountability Office в США о том как можно экономить средства при госрасходах http://www.gao.gov/assets/680/676473.pdf если сравнить его с отчётами аналогичными в России, то просто небо и земля. А в контексте управления данными - они же пишут про многочисленные проблемы в том как органы власти с данными работают #government #opengov #opendata
В Китае создают так называют "pre-crime network" обеспечивающую predictive policing, предсказание возникновение криминальных инцидентов и других нарушений общественной безопасности об этом пишет Telegraph http://www.telegraph.co.uk/technology/2016/03/09/minority-report-style-technology-to-predict-crime-in-china/ со ссылкой на мартовскую статью в Bloomberg http://www.bloomberg.com/news/articles/2016-03-03/china-tries-its-hand-at-pre-crime
В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно http://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.
Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol http://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года http://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития
Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice
В самом Китае не используют термин "платформа больших данных" (big data platform) вместо этого определяют систему как "объединенная информационная среда" (united information environment) в Великобритании технологии предсказания преступления внедряются уже давно http://www.telegraph.co.uk/news/uknews/law-and-order/10059121/Minority-Report-policing-comes-to-the-UK.html и активно используются для профилактики преступлений.
Аналогичные технологии внедряются во многих городах и штатах США. Такие компании как PredPol http://www.predpol.com/ активно продают свои решения полицейским департаментам, а в исследовании RAND от 2013 года http://www.rand.org/content/dam/rand/pubs/research_reports/RR200/RR233/RAND_RR233.pdf рассказывается об основных технологиях и путях развития
Вопрос который можно было бы задать себе, как всегда, возможны ли подобные технологии в России ? Способны ли российские правоохранительные органы к их внедрению и принесёт ли это пользу обществу? Как соблюсти баланс безопасности и манипулирования обществом при наличии "машинок предсказания" ? Эти вопросы пока остаются без ответа #opendata #bigdata #policing #openpolice
The Telegraph
'Minority Report'-style technology to predict crime in China
China is developing an advanced crime detection system out of its extensive surveillance network.
Тем временем в Филлипинах произошла утечка персональных данных о 55 миллионах избирателей http://cnnphilippines.com/news/2016/04/21/Comelec-hack-data-registered-Filipino-voters.html #privacy и стоят за этим Anonymous Philippines. Похоже что в мире набирает тренд по взлому баз избирательных комиссий.
CNN Philippines
Website claims: Registered voters' sensitive data easily searchable
A website claims it carries the sensitive data — such as full name, complete address, and passport number — of at least 70 million registered Filipino voters.
Британская библиотека опубликовала 1 миллион изображений из своих архивов. Всё для свободного использования (public domain) и доступно через сервис Flickr https://www.flickr.com/photos/britishlibrary/ . Подробнее на сайте Британской библиотеки http://britishlibrary.typepad.co.uk/digital-scholarship/2013/12/a-million-first-steps.html , в блоге Flickr http://blog.flickr.net/en/2013/12/16/welcome-the-british-library-to-the-commons/
Этот набор фотографий - это часть проекта The Commons https://www.flickr.com/commons организованного Flickr и через который более 100 архивов по всему миру публикуют свои изображения как общественное достояние.
Этот набор фотографий - это часть проекта The Commons https://www.flickr.com/commons организованного Flickr и через который более 100 архивов по всему миру публикуют свои изображения как общественное достояние.
Flickr
British Library
Explore British Library’s 1,073,563 photos on Flickr!
Открытость банков - это миф или неизбежное будущее ? http://bosfera.ru/bo/zakrytyy-mir-otkrytyh-dannyh #opendata
Моя статья в банковском обозрении о том что в мире постепенно развивается тема открытости банков. Единственное что я там не затронул - это то что с развитием альтернативных платежных систем банки могут просто не успеть.
Моя статья в банковском обозрении о том что в мире постепенно развивается тема открытости банков. Единственное что я там не затронул - это то что с развитием альтернативных платежных систем банки могут просто не успеть.
Банковское обозрение
Закрытый мир открытых данных
В последние годы тема открытых данных стала если не очень хорошо известной, то хотя бы регулярно обсуждаемой политиками, активистами и предпринимателями. Наиболее часто она звучит в контексте Big
Тем временем многие проекты на открытых данных связанных с бизнес информацией активно монетизируются. OpenCorporates запустили серию продуктов с базами с коммерческой информацией. Они предоставляют данные по организациям в виде датасетов. По сути - это продажа баз данных и их ежемесячного обновления. https://opencorporates.com/products #opendata
Opencorporates
OpenCorporates :: The Open Database Of The Corporate World
Free and Open Company Data on millions of companies and corporations in over 20 countries, including UK, Spain, US, ...
"A Political Economy Framework for the Urban Data Revolution" новое исследование от The Urban Institute посвящённое выработке последовательной политики в работе с городскими данными. В исследовании много примеров из области политической экономии и изменения практик городского управления для выработки политики для создания и анализа данных. http://www.urban.org/sites/default/files/alfresco/publication-pdfs/2016.04.26%20Political%20Economy%20of%20the%20Urban%20Data%20Revolution_FINAL.pdf #opendata #urbandata
Вышло исследование "The Effects of Income Transparency on Well-Being Evidence from a Natural Experiment" проведённое Ricardo Perez-Truglia из Microsoft Research и посвящённая эффекту от раскрытия данных о доходах, налоговых данных граждан, в Норвегии в 2001 году.
В исследовании подробно рассказывается об опросах об удовлетворенности жизнью проведенных в Норвегии с 1985 по 2013 годы.
А также упоминается, например, о том что данные о налогах граждан раскрываются в Норвегии с середины 19-го века, но тогда, это было в виде публикаций в газетах, то сейчас в виде специального сайта.
Также в исследовании есть тезис что современные норвежцы чаще ищут декларации друг друга чем видео на Youtube.
Публикация http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2657808
#opendata #transparency
В исследовании подробно рассказывается об опросах об удовлетворенности жизнью проведенных в Норвегии с 1985 по 2013 годы.
А также упоминается, например, о том что данные о налогах граждан раскрываются в Норвегии с середины 19-го века, но тогда, это было в виде публикаций в газетах, то сейчас в виде специального сайта.
Также в исследовании есть тезис что современные норвежцы чаще ищут декларации друг друга чем видео на Youtube.
Публикация http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2657808
#opendata #transparency
Ssrn
The Effects of Income Transparency on Well-Being: Evidence from a Natural Experiment
In 2001, Norwegian tax records became easily accessible online, allowing everyone in the country to observe the incomes of everyone else. According to the incom
О АРХИВАХ САЙТОВ МВД и ФМС
Думал на майских успеть сделать копии сайтов упраздняемых агентсв. ФСКН получается, Росфиннадзор получается, а вот с ФМС беда.
Вместо их сайта http://www.fms.gov.ru/ теперь заглушка с перенаправлением на сайт МВД.
Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru. Все архивы с отчетами чтобы были доступны просто исчезли.
Это всё о том как к информации относятся российские госорганы. Так как будто они тут ненадолго.
Только ЦБ РФ архивирует документы с 1998 года и сохранил сайты ФСФР http://cbr.ru/finmarkets/?PrtId=archive
Но это уникальная ситуация, большая часть других всё или многое уничтожают без архивации при смене сайта или орг реформах.
Какие ещё ресурсы надо срочно архивировать? Пишите мне на @ibegtin. Также я продолжаю искать тех кто поможет мне создать интерфейс над уже накопленными архивами сайтов за последние лет 5
Думал на майских успеть сделать копии сайтов упраздняемых агентсв. ФСКН получается, Росфиннадзор получается, а вот с ФМС беда.
Вместо их сайта http://www.fms.gov.ru/ теперь заглушка с перенаправлением на сайт МВД.
Силовики вообще мастера заметать следы в публичном пространстве. Не могу забыть как в 2011 году МВД уничтожило одномоментно все официальные сайты УВД субъектов и создало новые в поддомене mvd.ru. Все архивы с отчетами чтобы были доступны просто исчезли.
Это всё о том как к информации относятся российские госорганы. Так как будто они тут ненадолго.
Только ЦБ РФ архивирует документы с 1998 года и сохранил сайты ФСФР http://cbr.ru/finmarkets/?PrtId=archive
Но это уникальная ситуация, большая часть других всё или многое уничтожают без архивации при смене сайта или орг реформах.
Какие ещё ресурсы надо срочно архивировать? Пишите мне на @ibegtin. Также я продолжаю искать тех кто поможет мне создать интерфейс над уже накопленными архивами сайтов за последние лет 5
Голландский Гринпис опубликовали утечку из более половины проекта соглашения между США и Евросоюзом https://www.ttip-leaks.org/ так называемое TTIP соглашение (Transatlantic Trade and Investment Partnership).
После чего 1-го мая выпустили пресс-релиз http://www.greenpeace.org/international/en/press/releases/2016/Leaked-TTIP-documents-confirm-major-risks-for-climate-environment-and-consumer-safety/ в котором обращают внимание на то что соглашение ограничивает исследования по изменению климата, снимает принцип евросоюза по допуску еды на рынки только после проверки, снимает несколько приниципов защиты окружающей среды
Arstechnica обращает внимание http://arstechnica.co.uk/tech-policy/2016/05/ttip-to-fail-leak-reveals-us-isds-gmos-demands/ что не только окружающая среда, но и многие технологические аспекты подозрительны в этом соглашении. Например, телекоммуникационные компании получают право игнорировать европейское законодательство о чём пишет группа EDRi после исследования соответствующего раздела TTIP https://edri.org/breaking-ttip-leaks-confirm-dangers-for-digital-rights/
После панамских бумаг и многих малых утечек очень похоже на то что этот год превзойдёт все предыдущие по вытаскиванию правды на свет. Всё тайное стало очень тяжело сохранять тайным.
#privacy #digitalrights
После чего 1-го мая выпустили пресс-релиз http://www.greenpeace.org/international/en/press/releases/2016/Leaked-TTIP-documents-confirm-major-risks-for-climate-environment-and-consumer-safety/ в котором обращают внимание на то что соглашение ограничивает исследования по изменению климата, снимает принцип евросоюза по допуску еды на рынки только после проверки, снимает несколько приниципов защиты окружающей среды
Arstechnica обращает внимание http://arstechnica.co.uk/tech-policy/2016/05/ttip-to-fail-leak-reveals-us-isds-gmos-demands/ что не только окружающая среда, но и многие технологические аспекты подозрительны в этом соглашении. Например, телекоммуникационные компании получают право игнорировать европейское законодательство о чём пишет группа EDRi после исследования соответствующего раздела TTIP https://edri.org/breaking-ttip-leaks-confirm-dangers-for-digital-rights/
После панамских бумаг и многих малых утечек очень похоже на то что этот год превзойдёт все предыдущие по вытаскиванию правды на свет. Всё тайное стало очень тяжело сохранять тайным.
#privacy #digitalrights
trade-leaks.org
Greenpeace TRADE-leaks.org
BREAKING: Leak of new secret trade deal between the EU and the MERCOSUR countries: Argentina, Brazil, Paraguay and Uruguay. The MERCOSUR deal is a major threat to the climate and the preservation of the Amazon. More info on www.trade-leaks.org. Get informed.…
Полный архив Panama Papers ещё недоступен, но то что ранее публиковали уже активно переводят в наборы данных
И вот наборы данных по панамским бумагам
- в CSV https://github.com/amaboura/panama-papers-dataset-2016
- данные для Neo4J http://www.thereportertimes.com/panama-papers-icij-offshore-leaks-database-documents/23489/
И самое главное. База https://offshoreleaks.icij.org со всеми засвеченными при утечке организациями.
Думаю что 1-2 недели и найдутся активисты которые переделают её в наборы данных
#opendata #opengov #panamapapers
И вот наборы данных по панамским бумагам
- в CSV https://github.com/amaboura/panama-papers-dataset-2016
- данные для Neo4J http://www.thereportertimes.com/panama-papers-icij-offshore-leaks-database-documents/23489/
И самое главное. База https://offshoreleaks.icij.org со всеми засвеченными при утечке организациями.
Думаю что 1-2 недели и найдутся активисты которые переделают её в наборы данных
#opendata #opengov #panamapapers
GitHub
GitHub - amaboura/panama-papers-dataset-2016: Structured data about Panama papers collected from official ICIJ website
Structured data about Panama papers collected from official ICIJ website - GitHub - amaboura/panama-papers-dataset-2016: Structured data about Panama papers collected from official ICIJ website
для тех кто ищет данные с исчезающих сайтов госорганов и правоохранительных органов в частности на хабе открытых данных теперь есть группа данных которая так и называется "Архивы сайтов правоохранительных органов России"
http://hubofdata.ru/group/lawenfarchive
Там сейчас архивы только 4-х сайтов:
- ФМС России fms.gov.ru
- ФСКН России fskn.gov.ru
- Сайт внутренних войск МВД vvmvd.ru
- Портал правоохранительных органов 112.ru
Из них портал 112.ru уже не существует в сети, архив сайта ФМС сделан со старой копии по адресу 92.fms.gov.ru, остальные пока еще временно доступны.
Все доступно в виде полных архивов сайтов с выкачанными страницами и документами. В формате WARC и в виде архива для распаковки на файловой системе.
Осталось еще примерно 26 сайтов внести в эту группу, их архив давно сделаны.
Сейчас больше времени уходит на то чтобы вручную их вносить в хаб со всеми метаданными #opendata #opengov #webarchive
Напомню что если есть сайты госорганов или же общественно значимых проектов находящихся под угрозой их исчезновения - пишите мне в фэйсбуке на facebook.com/ibegtin, в телеграме telegram.me/ibegtin или же по почте на [email protected]
http://hubofdata.ru/group/lawenfarchive
Там сейчас архивы только 4-х сайтов:
- ФМС России fms.gov.ru
- ФСКН России fskn.gov.ru
- Сайт внутренних войск МВД vvmvd.ru
- Портал правоохранительных органов 112.ru
Из них портал 112.ru уже не существует в сети, архив сайта ФМС сделан со старой копии по адресу 92.fms.gov.ru, остальные пока еще временно доступны.
Все доступно в виде полных архивов сайтов с выкачанными страницами и документами. В формате WARC и в виде архива для распаковки на файловой системе.
Осталось еще примерно 26 сайтов внести в эту группу, их архив давно сделаны.
Сейчас больше времени уходит на то чтобы вручную их вносить в хаб со всеми метаданными #opendata #opengov #webarchive
Напомню что если есть сайты госорганов или же общественно значимых проектов находящихся под угрозой их исчезновения - пишите мне в фэйсбуке на facebook.com/ibegtin, в телеграме telegram.me/ibegtin или же по почте на [email protected]
Моя статья в РБК «Темная сторона открытости: почему не все данные стоит раскрывать» http://www.rbc.ru/opinions/technology_and_media/16/05/2016/5739b2639a79474f9a96e10f о том какие данные можно и какие наоборот рискованно публиковать. Для многих неожиданность когда я выступаю в амплуа не открытости, а рисков открытости. Хотя в мире как раз всё так и устроено и вопросы персональных данных всегда идут рядом с вопросами открытости. Правильный баланс и гибкое управление рисками при раскрытии информации это необходимое условие. #opendata #privacy
РБК
Темная сторона открытости: почему не все данные стоит раскрывать
Новые технологии позволяют гражданам узнавать о злоупотреблениях чиновников, но одновременно усиливают проблему информационного неравенства
В Исландии пиратская партия выходит в парламентские лидеры с 36% поддержкой со стороны избирателей. В Arstechnica гадают какое будущее Исландию ждёт http://arstechnica.co.uk/tech-policy/2016/05/icelandic-pirate-party-snowden-whistleblowers/
Теперь высока вероятность что Исландия предоставит гражданство Эдварду Сноудену, о чём уже говорили представители Пиратской партии, и то что там начнут внедрять прямую демократию, полную декриминализацию наркотиков и 35 часовую рабочую неделю.
Ещё один вероятный результат - это внедрение в Исландии идеи Transparency Haven https://en.immi.is/immi-resolution/ с защитой для журналистов по всему миру.
За этим не только интересно будет пронаблюдать, но и всё больше хочется в этом принять участие #opendata #privacy
Теперь высока вероятность что Исландия предоставит гражданство Эдварду Сноудену, о чём уже говорили представители Пиратской партии, и то что там начнут внедрять прямую демократию, полную декриминализацию наркотиков и 35 часовую рабочую неделю.
Ещё один вероятный результат - это внедрение в Исландии идеи Transparency Haven https://en.immi.is/immi-resolution/ с защитой для журналистов по всему миру.
За этим не только интересно будет пронаблюдать, но и всё больше хочется в этом принять участие #opendata #privacy
Ars Technica UK
Pirate Party set to be kingmaker in next Icelandic parliament—polls
Pirate Party war chest receives official funding boost as it rides high in opinion polls.
«Гниение ссылок» (Reference rot) - это важная проблема работы с научной и юридической информацией на которую обращают внимание Гарвардские исследователи в статье «Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations» http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2329161
Более 70% в журналах на которые ссылаются авторы электронных статей устаревают. Дословно:
«We documented a serious problem of reference rot: more than 70%
of the URLs within the above mentioned journals, and 50% of the
URLs within U.S. Supreme Court opinions suffer reference rot —
meaning, again, that they do not produce the information originally
cited.»
И это коллосальная проблема связанная ещё и с регулярным обновленеим ПО официальных сайтов многих государственных органов. Все они забывают о «ссылочной целостности» при этих операциях. И не только в США, но и в России. #opendata #archives
Более 70% в журналах на которые ссылаются авторы электронных статей устаревают. Дословно:
«We documented a serious problem of reference rot: more than 70%
of the URLs within the above mentioned journals, and 50% of the
URLs within U.S. Supreme Court opinions suffer reference rot —
meaning, again, that they do not produce the information originally
cited.»
И это коллосальная проблема связанная ещё и с регулярным обновленеим ПО официальных сайтов многих государственных органов. Все они забывают о «ссылочной целостности» при этих операциях. И не только в США, но и в России. #opendata #archives
Ssrn
Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations by Jonathan L. Zittrain, Kendra Albert…
We document a serious problem of reference rot: more than 70% of the URLs within the Harvard Law Review and other journals, and 50% of the URLs found within Uni
Тем временем в Калифорнии принимают закон о переводе всех результатов работы госорганов под копирайт. Об этом пишут в Electronic Frontier Foundation https://www.eff.org/deeplinks/2016/04/ab-2880 это затрагивает все виды документов и материалов: отчёты, карты, аудио и видео
В Калифорнии уже был случай когда городской округ Inglewood подали в суд за нарушение копирайта на одного из жителей который загрузил видео с критикой мэрии на основе одного из роликов городского совета http://www.latimes.com/opinion/opinion-la/la-ol-inglewood-copyright-lawsuit-20150602-story.html
Проблема копирайта как цензура становится всё более актуальной и открытость государства постоянно подвергается рискам что этой открытости существовать осталось недолго #opengov #opendata
В Калифорнии уже был случай когда городской округ Inglewood подали в суд за нарушение копирайта на одного из жителей который загрузил видео с критикой мэрии на основе одного из роликов городского совета http://www.latimes.com/opinion/opinion-la/la-ol-inglewood-copyright-lawsuit-20150602-story.html
Проблема копирайта как цензура становится всё более актуальной и открытость государства постоянно подвергается рискам что этой открытости существовать осталось недолго #opengov #opendata
Electronic Frontier Foundation
California's Legislature Wants to Copyright All Government Works
AB 2880 will give state and local governments dramatic powers to chill speech, stifle open government, and harm the public domain.
О том что сейчас происходит с открытостью данных в России на примере портала открытых данных Москвы.
Чтобы понять какая текущая ситуация в России с открытыми госданными стоит взглянуть на один из лучших (из российских) порталов - портал Открытых данных Москвы data.mos.ru
За большими средствами на его создание, рекламную кампанию, современным дизайном скрывается всего-ничего - 463 набора данных из которых более 100 - это "справочная информация" из органов власти http://data.mos.ru/opendata?categoryId=21&IsActual=true по 3-10 строки в каждом наборе данных.
Есть ли в городе данные которые можно было бы открыть? Сложно ли это сделать?
Только поверхностный анализ выявляет более 10 тысяч только Excel файлов со всевозможными реестрами, справочниками, статистикой и перечнями опубликовали департаменты и учреждения Москвы за эти годы. Реально же их большее количество поскольку многие файлы Excel находятся внутри ZIP архивов и их оттуда надо вытаскивать.
Все они могут быть, могли бы быть, сконвертированы в открытые данные в сравнительно короткие сроки. При неспешной, аккуратной работе 1 человека и 20 минутах на один набор - по 24 набора данных могли бы добавляться ежедневно.
И это, напомню, не какие-то новые данные, а те что уже публиковались ранее и то что не требует дополнительных согласований. Это простая, постоянная рутинная работа которую никто не делает.
Та же ситуация в большинстве, если не во всех, российских регионах и в органах власти. Те наборы данных опубликованные в рамках "обязательного списка" - это толика в море реально доступных данных которые могли бы быть переведены в машиночитаемый вид.
У федералов ситуация не лучше ни коим образом. Федеральный портал на котором у многих ведомств вообще ничего не опубликовано, а уже если говорить про опубликованное то он не выполняет ни функций агрегатора, нет и половины регионов, ни функций по консолидации открытых данных ФОИВов.
В итоге и по сей день большую часть ключевых данных те кому они нужны собирают скрейпингом или преобразованием Excel'вских реестров.
#opendata #opengov
Чтобы понять какая текущая ситуация в России с открытыми госданными стоит взглянуть на один из лучших (из российских) порталов - портал Открытых данных Москвы data.mos.ru
За большими средствами на его создание, рекламную кампанию, современным дизайном скрывается всего-ничего - 463 набора данных из которых более 100 - это "справочная информация" из органов власти http://data.mos.ru/opendata?categoryId=21&IsActual=true по 3-10 строки в каждом наборе данных.
Есть ли в городе данные которые можно было бы открыть? Сложно ли это сделать?
Только поверхностный анализ выявляет более 10 тысяч только Excel файлов со всевозможными реестрами, справочниками, статистикой и перечнями опубликовали департаменты и учреждения Москвы за эти годы. Реально же их большее количество поскольку многие файлы Excel находятся внутри ZIP архивов и их оттуда надо вытаскивать.
Все они могут быть, могли бы быть, сконвертированы в открытые данные в сравнительно короткие сроки. При неспешной, аккуратной работе 1 человека и 20 минутах на один набор - по 24 набора данных могли бы добавляться ежедневно.
И это, напомню, не какие-то новые данные, а те что уже публиковались ранее и то что не требует дополнительных согласований. Это простая, постоянная рутинная работа которую никто не делает.
Та же ситуация в большинстве, если не во всех, российских регионах и в органах власти. Те наборы данных опубликованные в рамках "обязательного списка" - это толика в море реально доступных данных которые могли бы быть переведены в машиночитаемый вид.
У федералов ситуация не лучше ни коим образом. Федеральный портал на котором у многих ведомств вообще ничего не опубликовано, а уже если говорить про опубликованное то он не выполняет ни функций агрегатора, нет и половины регионов, ни функций по консолидации открытых данных ФОИВов.
В итоге и по сей день большую часть ключевых данных те кому они нужны собирают скрейпингом или преобразованием Excel'вских реестров.
#opendata #opengov