Open Knowledge Foundation получили грант в $ 700 000 на разработку стандартов публикации научных данных http://blog.okfn.org/2016/02/29/sloan-foundation-funds-frictionless-data-tooling-and-engagement-at-open-knowledge/ #opendata

весьма короткая по смыслу и прекрасная по содержанию история о том как открытость госорганов может вредить журналистам

В Нью Йорке власти города планируют публиковать все запросы на открытие информации (FOI Requests) и ответы на них на специальном портале через 10 дней после получения.

В этом есть большой резон поскольку многие запросы могут дублироваться, а в стране где считают трудозатраты госслужащих - это будет существенной экономией.

Обещают ускорение рассмотрения запросов и вообще удобства и прогресс. Только вот рынок медиа в Нью Йорке настолько конкурентен что многие журналисты опасаются что публикация их запросов выдаст другим те расследования которыми они занимаются.

А Вы что думаете, надо ли публиковать все запросы на раскрытие информации или как раз их публиковать не нужно?

Подробности тут
http://www.ny1.com/nyc/all-boroughs/news/2016/02/26/city-s-plan-to-launch-online-foil-request-portal-raises-concerns-from-reporters.html #opendata #opengov

(задать мне вопрос или связаться со мной можно через Telegram, на @ibegtin)

Для тех кто ищет данные по ИТ инфраструктуре на https://censys.io/ выложены 135 гигабайт по инфраструктуре IPv4 https://censys.io/data/ipv4 , 12.6 гигабайт по Alexa top 1 million websites https://censys.io/data/domain и 97 гигабайт по сертификатам веб-сайтов https://censys.io/data/certificates а также много исторических наборов данных и датасетов по отдельным сетевым сервисам #opendata

Технологии отслеживания потребителей приходят и к отслеживанию избирателей. Dstillery в США собрали данные по цифровым устройствам избирателей на кокусах в Айове и выявили несколько закономерностей, например то что те кто любят грилль и свои лужайки голосуют за Трампа. Подробнее http://www.marketplace.org/2016/02/10/business/new-frontier-voter-tracking Что характерно так то что современные технологии позволят очень скоро не только обеспечить электронное голосование на выборах, но и вывести технологии манипулирования избирателями на принципиально иной уровень. #bigdata #privacy

Статья Karen Levy посвящённая "интимной слежке" о появлении большого числа приложений для телефонов и гаджетов позволяющих отслеживать супружескую неверность, когда человек занимается сексом, беременность у женщин и отслеживают ПМС. Причём это уже рынок активно коммерциализируемый, но, в то же время всё актуальнее вопрос о "интимной приватности" и готовности сообщать другим о своём сексуальном поведении. Текст статьи https://www.uidaho.edu/~/media/UIdaho-Responsive/Files/law/law-review/articles/volume-51/51-3-levy-karen-ec.ashx #privacy

Не испытывая большой любви к "круглым датам", напомню про одну некруглую 1558 дней назад, 27 ноября 2011 года, на встрече с Дмитрием Медведевым, не поверите, посвящённой противодействию коррупции, я предложил создать проект "Открытое правительство", а в перспективе "Открытое государство".

И даже видеосвидетельство этого сохранилось
https://www.1tv.ru/news/social/192075

Предлагал я это ещё исходя из того что Медведев пойдёт на второй срок. Но на второй срок он не пошёл, а что получилось в итоге все мы и так наблюдаем с завидной регулярностью.

Окончательные итоги подводить ещё рано, но они обязательно ещё будут подведены #opendata #opengov

Свежий отчёт от Civicus "Changing what counts" http://blog.okfn.org/2016/03/03/changing-what-counts/ о том как сбор данных людьми меняет принципы официальной статистики и официальных способов сбора данных. Это не первый подобный отчёт. Не так давно выходил "A world that counts. Data revolution report" от ООН http://www.undatarevolution.org/report/ и другой отчёт Civicus “Citizen-Generated Data and Governments: Towards a Collaborative Model” http://civicus.org/images/citizen-generated%20data%20and%20governments.pdf а также “Democratising the Data Revolution” от OKF https://assets.okfn.org/files/reports/DemocratisingDataRevolution.pdf

#opendata #civicdata
(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)

Пример проекта на журналистике данных "The migrant files" http://www.themigrantsfiles.com/ с охватом масштабов миграционных потоков, расходов евросоюза и количества разрегистрированных смертей мигрантов. Координируется проект командой из Journalism++ http://www.jplusplus.org/ Лично для меня этот проект наглядное подтверждение тому что сейчас вопрос стоит так что журналистика данных должна быть не просто частью обучения журналистов, а так что обучение журналистов без неё станет просто невозможным. То что я смотрю по образовательным программам в этой области в США и Европе, там идёт активнейшая трансформация обучения в сторону "технологической журналистики" по умолчанию. #opendata #ddj

(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)

Работа исследователей из GA Tech о том что разработчики мобильных приложений, в силу специфики платформ, получают доступ к содержанию мобильной рекламы которую они транслируют. Как результат, они имеют возможность с высокой вероятностью идентифицировать информацию о человеке. С вероятностью 75% пол и с вероятностью 66% наличие детеей. А также возраст, политические предпочтения и многое другое. http://www.news.gatech.edu/2016/02/22/georgia-tech-discovers-how-mobile-ads-leak-personal-data #privacy

Те кто лгут чаще делают движения руками, пытаюстся говорить более четко и заглядывают в глаза тому с кем разговаривают. Это лишь одни из критериев по которым работает специальное ПО разработанное исследователями Университета Мичигана на основе анализа 120 видеозаписей судебных заседаний и сопоставления выступления свидетелей с реальными результатами дела где их слова подтверждались или опровергались. Это почти как кодификация "трюков" из фильма "Lie to Me" с Тимом Ротом в главной роли, но вместо него умный алгоритм. Главное отличие от технологий вроде полиграфа в том что анализ можно проводить не имея физического доступа к субъекту, на основе видеозаписей. Подробнее https://record.umich.edu/articles/new-lie-detecting-software-u-m-uses-real-court-case-data

Это интересная технология и вплотную подбирающаяся к вопросам приватности и дополненной реальности. Предположим алгоритмы распознавания будут встроены в VR интерфейсы дополненной реальности. Это может моментально изменить целый пласт социальных отношений. От выявления лжи прямо в разговорах, до ложных обвинений тех кто просто всегда так разговаривает. #privacy

Подробная публикация от International Budget Partnership о таком явлении как "социальный аудит" когда организации некоммерческого сектора проводят внешний аудит деятельности органов власти.
Вот тут подробности http://www.internationalbudget.org/2016/03/social-audits-in-south-africa-can-they-deliver/ и ссылка на подробный гайд http://www.internationalbudget.org/wp-content/uploads/social-audits-in-south-africa-guide-2015.pdf

Я писал об этом в статье "От общественного контроля к общественному аудиту" http://www.vedomosti.ru/opinion/articles/2016/02/11/628492-ot-obschestvennogo-kontrolya-obschestvennomu-auditu

Это гораздо более правильная история чем просто отслеживать "странные закупки", потому что она о том насколько представители государства сами соблюдают законы. И там есть много примеров из южной африки когда активисты обошли множество общественных туалетов и сопоставили списки на бумаге и те что реально работали и сопоставили сметы сколько государство выделяло средств. Много других примеров я приводил в статье и в нашем докладе http://www.infoculture.ru/wp-content/uploads/2016/01/public_control_2015.pdf


#opendata #opengov #publicfinances

данные переписи как фундамент общественных проектов в инициативе президента США The Opportunity Project http://opportunity.census.gov/

Подробнее в видео Белого дома https://www.youtube.com/watch?v=rwES25_sL0E и публикации https://www.whitehouse.gov/the-press-office/2016/03/07/fact-sheet-white-house-launches-opportunity-project-utilizing-open-data

Там уже есть с десяток проектов и скоро явно будет больше. Все посвящённые гиперлокальным данным.

Как получается что граждане создают такие проекты? Как им это удаётся?

Например, одна из причин в появлении CitySDK https://uscensusbureau.github.io/citysdk/

специального ПО для работы с геоданными и использующем Census API (программный интерфейс для доступа к данным переписи).

Вдогонку:
- репозитории открытого кода бюро переписи США https://github.com/uscensusbureau
- API бюро переписи США http://www.census.gov/developers/

Возможно ли подобное в России? А на этот вопрос предлагаю каждому ответить для себя самостоятельно.


#opendata #opengov #census

Результаты исследования и оценки проектов по бюджетам соучастия (participatory budgeting) в США и Канаде http://www.publicagenda.org/pages/research-and-evaluation-of-participatory-budgeting-in-the-us-and-canada . Партисипаторное бюджетирование - это одна из важнейших тем в открытости бюджетов государства, но лично я считаю её вторичной к гражданскому/общественному аудиту. А, в некоторой идеальной конфигруации, они должны друг друга дополнять #opengov #publicfinances #budgets

В MIT разработали технологию Polaris для ускорения загрузки веб-страниц путём приоритизации объектов на странице и загрузке их по мере необходимости для визуализации браузером http://techcrunch.com/2016/03/09/mit-develops-a-new-technique-to-load-webpages-faster/ и прогнозируют более чем 30% ускорение.

Я давно и долго думал над тем как можно было бы ускорить загрузку ресурсов и оптимизировать работу с сайтами, но все самые радикальные изменения требуют изменений к которым нынешние разработчики сайтов и браузеров не готовы.

1. Создание внутреннего CDN внутри браузера
Эдакого "доверенного хранилища" для браузера в котором хранить наиболее популярные библиотеки скриптов разных версий и другие используемые ресурсы.
Добавление в доверенное хранилище только после модерации разработчиками браузера.

Плюсы: уменьшение загрузок библиотек, большая мотивация разработчиков к использованию данных именно оттуда

Минусы: меньше возможностей отслеживать пользователей, возможное увеличение потребления RAM

2. Push уведомления при изменениях в DNS
Изменение взаимодействия с DNS серверами от постоянных запросов на разрешение имён к передаче Push уведомлений изменений в DNS наиболее популярных сайтов.

Плюсы: снижение числа запросов к DNS серверам при просмотре веб-страниц

Минусы: нарушается архитектура DNS, требуется повышенный акцент на безопасности для того чтобы не воспользовались этим механизмом злоумышленники

---
Плюс многое можно добавить путём микропрогнозирования того куда пользователь может захотеть пойти при посещении сайта, но не путём обращений к этим ресурсам, а получения push уведомлений от самих ресурсов.

Более всего меня удивляет именно отсутствие CDN'а внутри браузера. Это кажется абсолютно естественным явлением, странно что Google до сих пор не добавил это в Chrome.

Демократическими выборами можно манипулировать с помощью выдачи в поисковых системах, такой вывод содержится в работе Robert Epstein and Ronald E. Robertson "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections" опубликованной в августе 2015 года http://www.pnas.org/content/112/33/E4512.full.pdf в работе приходят к выводу что тот факт что поисковые системы сейчас не регулируются приводится к возможности манипуляцией мнением людей и это приводит к существенной угрозе демократически проводимым выборам. В качестве мрачного предсказания, если оппозиция в России продемонстрирует высокий шанс выиграть выборы или даже где-то выиграют не прогосударственные кандидаты, то стоит ждать аналогичных исследований и ускоренного введения регулирования в России.

Если у кого-то есть зуб на Яндекс, то достаточно провести аналогичное исследование в России (обойдётся в несколько сотен тысяч рублей максимум, а скорее дешевле) и ужесточение регулирования станет ещё более неизбежным.

#government #elections #publicpolicy #seme

== О рейтингах и тех кто их делает ==
Когда в публичном пространстве появляется какой-либо новый/обновленный старый рейтинг чего бы то ни было, компаний, школ, бензоколонок или официальных сайтов, то прежде чем его цитировать, очень важно понимать кто эти рейтинги составляет и с какой целью они составляются.

А этих целей не так уж много и все они вполне понятны.

Цель первая. Влияние

Это рейтинги которые, как правило, создаются некоммерческими структурами в целях продвижения и развития какой-либо темы. Главные отличительные характеристики таких рейтингов:
a) У организации есть отдельный, не зависящий от объектов рейтинга, бюджет на его проведения
б) У организации есть тема, направление деятельности которую она считает жизненно важной и приоритетной.

Пример такого рейтинга, рейтинг Transparency по восприятию коррупции. Объектами оценки являются правительства стран (страны), при этом финансируется он из независящих от объектов стран источников и является одним из инструментов освещения антикоррупционной политики по всему миру.

Главными адресатами таких рейтингов являются доноры некоммерческих организаций. Результативность рейтинга можно измерить в медийном освещении и в упоминаемости в речах представителей рейтингуемых объектов

Цель вторая. Управление

Зачастую одни органы власти очень хотят влиять и управлять другими, но в силу многих причин напрямую не могут этого сделать. Особенно это относится к разным уровням власти. Поэтому, периодически, возникают рейтинги оценки, внутренних подразделений органов власти или же смежных органов власти другими в целях, например, изменения уровня их вовлечённости в госполитику в какой-то области.

Главными характеристиками таких рейтингов является:
1) Рейтингование от лица органа власти или окологосударственной организации.
2) Использование результатов рейтинга как инструмента государственного управления с последующим поощрением и наказанием лучших и худших объектов рейтингования

Примером такого рейтинга можно привести рейтинг финансового менеджемента Минфина где они рейтингуют другие ведомства по тому насколько те соблюдают сроки подготовки бюджетных заявок, бюджетную дисциплину и так далее.

Аудитория такого рейтинга - это лица принимающие решения. Результативность их измерить сложнее, можно лишь по мере «роста» рейтингуемых в самом рейтинге.

Цель третья. Продажа экспертизы и сопутствующих услуг и товаров

Это не редкие рейтинги выпускаемые как коммерческими компаниями, так и НКО. Их цель демонстрация себя как мозговых центров или центров экспертизы или продуктов коммерческих компаний.

Например Open Knowledge Foundation (OKF) проводит проводит перепись и рейтингование стран по открытию данных их правительствами. При этом OKF оказывают консультации органам власти по внедрению платформы CKAN и, например, помогают правительству Великобритании в поддержке data.gov.uk на коммерческой основе.

Это рейтинг и влияния и продажи экспертизы.

Аналогичным образом делают рейтинги такие организации как EIRIS (Country Sustainability Ratings) и их цель заявить свою экспертизу через вброс в медиа рейтинг по их профилю.

Эти рейтинги характерны тем что:
1) Осуществляются игроком на рынке
2) Максимально публичны и изначально нацелены на популярность

Аудитория здесь максимально широкая. Результативность в частоте просмотров и упоминаний.

Цель четвёртая. Продажа консалтинга роста в позиции в рейтинге

Это наименее приличный вид рейтингов, проводимых как НКО, так и коммерческими компаниями с целью последующей продажи консалтинговый услуг объектам рейтингования по повышению себя в рейтинге.

Это самый распространённый вид рейтингов который только можно встретить и наименее доверительный поскольку де-факто рейтингующая организация преследует свои коммерческие цели, а не цели изменения экосистемы или среды. Единственное что может повысить доверие к подобному рейтингу - это наличие конкретных людей с безупречной репутацией. Но они то как раз в таких рейтингах не участвуют.

Такие рейтинги отличаются тем что:
1) Организации их публикующие активно указывают свои контакты для обратной связи везде где м

огут в самом рейтинге
2) Услуги предоставляемые организацией даже по названиям очень близки к названию рейтинга.
3) Организация не имеет других значимых источников дохода кроме как консалтинга
4) Чаще всего рейтинг публично подаётся не как рейтинг ООО ИксИксИкс, а как рейтинг Проекта ИгрекИгрекИгрек

Вот такие 4 классификации являются самыми распространёнными. Под них подпадают практически все ренкинги и рейтинги.
Лично для меня 4-й вид цели рейтинга, сравним с профессиональным преступлениям. По этой причине я столь критично отношусь к рейтингам прозрачности госсайтов от Инфометра (ранее - Институт свободы информации), потому что знаю количество их контрактов заключёнными с субъектами их рейтингов именно на консалтинг. Но одни ли они такие? Безусловно нет.

#ratings #thoughts