данные переписи как фундамент общественных проектов в инициативе президента США The Opportunity Project http://opportunity.census.gov/

Подробнее в видео Белого дома https://www.youtube.com/watch?v=rwES25_sL0E и публикации https://www.whitehouse.gov/the-press-office/2016/03/07/fact-sheet-white-house-launches-opportunity-project-utilizing-open-data

Там уже есть с десяток проектов и скоро явно будет больше. Все посвящённые гиперлокальным данным.

Как получается что граждане создают такие проекты? Как им это удаётся?

Например, одна из причин в появлении CitySDK https://uscensusbureau.github.io/citysdk/

специального ПО для работы с геоданными и использующем Census API (программный интерфейс для доступа к данным переписи).

Вдогонку:
- репозитории открытого кода бюро переписи США https://github.com/uscensusbureau
- API бюро переписи США http://www.census.gov/developers/

Возможно ли подобное в России? А на этот вопрос предлагаю каждому ответить для себя самостоятельно.


#opendata #opengov #census

Результаты исследования и оценки проектов по бюджетам соучастия (participatory budgeting) в США и Канаде http://www.publicagenda.org/pages/research-and-evaluation-of-participatory-budgeting-in-the-us-and-canada . Партисипаторное бюджетирование - это одна из важнейших тем в открытости бюджетов государства, но лично я считаю её вторичной к гражданскому/общественному аудиту. А, в некоторой идеальной конфигруации, они должны друг друга дополнять #opengov #publicfinances #budgets

В MIT разработали технологию Polaris для ускорения загрузки веб-страниц путём приоритизации объектов на странице и загрузке их по мере необходимости для визуализации браузером http://techcrunch.com/2016/03/09/mit-develops-a-new-technique-to-load-webpages-faster/ и прогнозируют более чем 30% ускорение.

Я давно и долго думал над тем как можно было бы ускорить загрузку ресурсов и оптимизировать работу с сайтами, но все самые радикальные изменения требуют изменений к которым нынешние разработчики сайтов и браузеров не готовы.

1. Создание внутреннего CDN внутри браузера
Эдакого "доверенного хранилища" для браузера в котором хранить наиболее популярные библиотеки скриптов разных версий и другие используемые ресурсы.
Добавление в доверенное хранилище только после модерации разработчиками браузера.

Плюсы: уменьшение загрузок библиотек, большая мотивация разработчиков к использованию данных именно оттуда

Минусы: меньше возможностей отслеживать пользователей, возможное увеличение потребления RAM

2. Push уведомления при изменениях в DNS
Изменение взаимодействия с DNS серверами от постоянных запросов на разрешение имён к передаче Push уведомлений изменений в DNS наиболее популярных сайтов.

Плюсы: снижение числа запросов к DNS серверам при просмотре веб-страниц

Минусы: нарушается архитектура DNS, требуется повышенный акцент на безопасности для того чтобы не воспользовались этим механизмом злоумышленники

---
Плюс многое можно добавить путём микропрогнозирования того куда пользователь может захотеть пойти при посещении сайта, но не путём обращений к этим ресурсам, а получения push уведомлений от самих ресурсов.

Более всего меня удивляет именно отсутствие CDN'а внутри браузера. Это кажется абсолютно естественным явлением, странно что Google до сих пор не добавил это в Chrome.

Демократическими выборами можно манипулировать с помощью выдачи в поисковых системах, такой вывод содержится в работе Robert Epstein and Ronald E. Robertson "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections" опубликованной в августе 2015 года http://www.pnas.org/content/112/33/E4512.full.pdf в работе приходят к выводу что тот факт что поисковые системы сейчас не регулируются приводится к возможности манипуляцией мнением людей и это приводит к существенной угрозе демократически проводимым выборам. В качестве мрачного предсказания, если оппозиция в России продемонстрирует высокий шанс выиграть выборы или даже где-то выиграют не прогосударственные кандидаты, то стоит ждать аналогичных исследований и ускоренного введения регулирования в России.

Если у кого-то есть зуб на Яндекс, то достаточно провести аналогичное исследование в России (обойдётся в несколько сотен тысяч рублей максимум, а скорее дешевле) и ужесточение регулирования станет ещё более неизбежным.

#government #elections #publicpolicy #seme

== О рейтингах и тех кто их делает ==
Когда в публичном пространстве появляется какой-либо новый/обновленный старый рейтинг чего бы то ни было, компаний, школ, бензоколонок или официальных сайтов, то прежде чем его цитировать, очень важно понимать кто эти рейтинги составляет и с какой целью они составляются.

А этих целей не так уж много и все они вполне понятны.

Цель первая. Влияние

Это рейтинги которые, как правило, создаются некоммерческими структурами в целях продвижения и развития какой-либо темы. Главные отличительные характеристики таких рейтингов:
a) У организации есть отдельный, не зависящий от объектов рейтинга, бюджет на его проведения
б) У организации есть тема, направление деятельности которую она считает жизненно важной и приоритетной.

Пример такого рейтинга, рейтинг Transparency по восприятию коррупции. Объектами оценки являются правительства стран (страны), при этом финансируется он из независящих от объектов стран источников и является одним из инструментов освещения антикоррупционной политики по всему миру.

Главными адресатами таких рейтингов являются доноры некоммерческих организаций. Результативность рейтинга можно измерить в медийном освещении и в упоминаемости в речах представителей рейтингуемых объектов

Цель вторая. Управление

Зачастую одни органы власти очень хотят влиять и управлять другими, но в силу многих причин напрямую не могут этого сделать. Особенно это относится к разным уровням власти. Поэтому, периодически, возникают рейтинги оценки, внутренних подразделений органов власти или же смежных органов власти другими в целях, например, изменения уровня их вовлечённости в госполитику в какой-то области.

Главными характеристиками таких рейтингов является:
1) Рейтингование от лица органа власти или окологосударственной организации.
2) Использование результатов рейтинга как инструмента государственного управления с последующим поощрением и наказанием лучших и худших объектов рейтингования

Примером такого рейтинга можно привести рейтинг финансового менеджемента Минфина где они рейтингуют другие ведомства по тому насколько те соблюдают сроки подготовки бюджетных заявок, бюджетную дисциплину и так далее.

Аудитория такого рейтинга - это лица принимающие решения. Результативность их измерить сложнее, можно лишь по мере «роста» рейтингуемых в самом рейтинге.

Цель третья. Продажа экспертизы и сопутствующих услуг и товаров

Это не редкие рейтинги выпускаемые как коммерческими компаниями, так и НКО. Их цель демонстрация себя как мозговых центров или центров экспертизы или продуктов коммерческих компаний.

Например Open Knowledge Foundation (OKF) проводит проводит перепись и рейтингование стран по открытию данных их правительствами. При этом OKF оказывают консультации органам власти по внедрению платформы CKAN и, например, помогают правительству Великобритании в поддержке data.gov.uk на коммерческой основе.

Это рейтинг и влияния и продажи экспертизы.

Аналогичным образом делают рейтинги такие организации как EIRIS (Country Sustainability Ratings) и их цель заявить свою экспертизу через вброс в медиа рейтинг по их профилю.

Эти рейтинги характерны тем что:
1) Осуществляются игроком на рынке
2) Максимально публичны и изначально нацелены на популярность

Аудитория здесь максимально широкая. Результативность в частоте просмотров и упоминаний.

Цель четвёртая. Продажа консалтинга роста в позиции в рейтинге

Это наименее приличный вид рейтингов, проводимых как НКО, так и коммерческими компаниями с целью последующей продажи консалтинговый услуг объектам рейтингования по повышению себя в рейтинге.

Это самый распространённый вид рейтингов который только можно встретить и наименее доверительный поскольку де-факто рейтингующая организация преследует свои коммерческие цели, а не цели изменения экосистемы или среды. Единственное что может повысить доверие к подобному рейтингу - это наличие конкретных людей с безупречной репутацией. Но они то как раз в таких рейтингах не участвуют.

Такие рейтинги отличаются тем что:
1) Организации их публикующие активно указывают свои контакты для обратной связи везде где м

огут в самом рейтинге
2) Услуги предоставляемые организацией даже по названиям очень близки к названию рейтинга.
3) Организация не имеет других значимых источников дохода кроме как консалтинга
4) Чаще всего рейтинг публично подаётся не как рейтинг ООО ИксИксИкс, а как рейтинг Проекта ИгрекИгрекИгрек

Вот такие 4 классификации являются самыми распространёнными. Под них подпадают практически все ренкинги и рейтинги.
Лично для меня 4-й вид цели рейтинга, сравним с профессиональным преступлениям. По этой причине я столь критично отношусь к рейтингам прозрачности госсайтов от Инфометра (ранее - Институт свободы информации), потому что знаю количество их контрактов заключёнными с субъектами их рейтингов именно на консалтинг. Но одни ли они такие? Безусловно нет.

#ratings #thoughts

Такие рейтинги отличаются тем что:
1) Организации их публикующие активно указывают свои контакты для обратной связи везде где могут в самом рейтинге
2) Услуги предоставляемые организацией даже по названиям очень близки к названию рейтинга.
3) Организация не имеет других значимых источников дохода кроме как консалтинга
4) Чаще всего рейтинг публично подаётся не как рейтинг ООО ИксИксИкс, а как рейтинг Проекта ИгрекИгрекИгрек

Вот такие 4 классификации являются самыми распространёнными. Под них подпадают практически все ренкинги и рейтинги.
Лично для меня 4-й вид цели рейтинга, сравним с профессиональным преступлениям. По этой причине я столь критично отношусь к рейтингам прозрачности госсайтов от Инфометра (ранее - Институт свободы информации), потому что знаю количество их контрактов заключёнными с субъектами их рейтингов именно на консалтинг. Но одни ли они такие? Безусловно нет.

#ratings #thoughts

Обновился портал открытых данных Всемирного банка http://beta.data.worldbank.org/ там ещё и много систематизированного по тому что Всемирный банк делает в этой области в мире. У них немало данных и все они становятся всё более доступными #opendata #opengov

Чарльз Фишман в колонке "Water is broken. Data can fix it" в The New York Times пишет о том как плохо устроены данные в воде в США и то что они собираются раз в 5 лет небольшой группой исследователей путём опросов недостаточно для умного регулирования использования воды и предотвращения кризисов в связи с её использованием. В пример он приводит энергетическую отрасль где высокая доступность данных чуть ли не в реальном времени позволяет изменить госполитику. Для воды эта политика может изменится в 3-х направлениях: формирование спроса на качественные данные, изменение принципов потребления воды, создание инновационного рынка. Подробнее http://www.nytimes.com/2016/03/17/opinion/the-water-data-drought.html

Лично по мне так безусловно существующие сейчас способы сбора данных в современных государствах всё ещё очень архаичны. Меня поразило что в на коллегии Росстата я не услышал ни слова о технологизации сбора информации. Фактически, по прежнему, автоматизируют только труд переписчиков и то только путём покупки им "защищённых планшетов". #opendata #data #water

Государственная политика в США в области открытого исходного кода https://sourcecode.cio.gov/ Просто удивительно сколько правительства стран за последние годы раскрыли исходного кода. В лидерах США, Великобритания, Канада и англоязычные страны (англосфера) целиком. В России уже сложились группы добивающиеся от государства открытия данных и свободных лицензий (общественного достояния), но, на удивление, слабо представлено open source сообщество. #opensource

отдельный портал/сайт с открытыми данными Администрации Президента США https://open.whitehouse.gov/
Много данных о подотчетности, например, о зарплатах и статусе сотрудников аппарата, о вносимых бюджетах, об отчетах в конгресс, о назначениях и не только.
#‎opendata

Хорошую идею придумали ребята из Plume Labs, повесить голубям на спину ранцы с датчиками загрязнения воздуха и выпустить над Лондоном http://www.pigeonairpatrol.com/ и они же собирают на него средства http://www.crowdfunder.co.uk/crowdsource-air-pollution-in-london #opendata #sensors #IOT

О том что правительство США собирается публиковать больше данных о рабочей силе и об образовании http://www.huffingtonpost.com/dj-patil/open-data-can-transform-j_b_9375960.html и о том как это изменит рынок труда и создаст инструменты для career decision-making.

Что ещё важнее, они создатут Workforce Data Science and Innovation Fund на 500 миллионов долларов.
Кстати, в США идёт кампания по повышению качества данных об образовании и о рабочей силе http://www.workforcedqc.org/

#opendata

О бизнесе на открытых данных.
Motorola Solutions и Socrata работают над обновлением портала CrimeReports где объединяют:
- открытые данные о преступлениях
- сообщения от граждан о сведениях о преступлениях
- зарегистрировать камеру
- дополнительные сервисы для полицейских управлений
Новая версия портала доступна https://preview.crimereports.com
Кстати, у Motorola Solutions в принципе много продуктов в направлении вовлечения граждан и самое что ни на есть актуальное - это анонимки со сведениями о преступниках и других наводках http://www.motorolasolutions.com/…/citizen-eng…/tipsoft.html
#‎opendata

Свежий рейтинг стран по открытости данных http://odin.opendatawatch.com/ на сей раз данных официальных статистических ведомств. Россия на 7-м месте, а в лидерах Мексика, Молдавия и Монголия. При этом оцениваются только развивающиеся страны поэтому, конечно, стран Евросоюза, ОЭСР и др. там нет. Всё это делает Open Data Watch (http://opendatawatch.com/about/) на деньги от UN Foundation вместе с проектом http://data2x.org/ и Фонда Хьюлета которые выдали им чуть меньше чем 2 миллиона долларов на операционные расходы в 2015 году на 3 года. С точки зрения развития открытых данных в мире - это хорошо, тема развивается в повестке ООН и других межгосударственных и международных организаций. #opendata #opengov #un

Европейские чиновники открыли не так давно портал открытых данных Евросоюза http://www.europeandataportal.eu/en и пишут о нём подробнее http://theodi.org/blog/guest-post-europes-onestop-shop-for-public-sector-information-is-on-the-move кроме самих данных там несомненную ценность представляют обзоры и отчёты об использовании данных http://www.europeandataportal.eu/en/content/training-library/library но, в целом, конечно. Онлайн ресурсы евросоюза по забюрократизированности и неудобству уступают только ресурсам ООН. Хочется найти там что-то полезное и светлое, а надо перерыть множество документов прежде чем это сделать. #opendata #opengov

смотрю на то что в Украине делаю по прозрачности госзакупок и госрасходов, их проекты prozorro.gov.ua и spending.gov.ua
Первый очень хорошо выглядит и по смыслу, и по архитектуре и по открытости. Взяли за основу Open Contracting Data Standard и активно делают в режиме открытой разработки https://github.com/openprocurement и даже с некоторой претензией на создание универсальной платформы для e-Procurement
Со spending.gov.ua - похуже, данных маловато и они не в формате открытых данных, хотя и видно что уже есть те кто оттуда их "выковыривает"
Самые заметные отличия по сравнению с раскрытием данных в России:
- гораздо меньше контрактной информации чем в России. Фактически сейчас её пока просто нет, только протоколы торгов и транзакции.
- мало информации идентифицирующей поставщиков
- "информационные разрывы" между данными бюджета, планами закупок, торгов и транзакций. В транзакциях нет бюджетных кодов, например
- нет систематизированных реестров бюджетов получателей бюджетных средств аналогичных российским реестрам госучреждений
С другой стороны:
- есть практика раскрытия даже очень малых транзакций (в России такого нет)
- множество НКО и активистов делают сейчас проекты по анализу госраходов и проектов будет только больше, похоже что скоро там будет расцвет общественных проектов в этой области
- с самого начала идет практика не только открытых данных, но и открытой разработки
#‎opendata #‎openprocurement #‎ukraine

Что очень странно так то что около 1-3% email адресов госорганов Украины по прежнему на хостингах mail.ru и yandex.ru . Не такой масштаб как в России, но заметный.
#opendata

Похоже что #panamapapers по масштабам раскрытия превзойдёт Wikileaks и все предыдущие утечки документов. Сразу несколько проектов http://panamapapers.sueddeutsche.de/en/ , https://www.occrp.org/en/panamapapers , https://panamapapers.icij.org и, наконец, визуализация, static.fusion.net/shell-companies/network.html одно очень жаль что сами датасеты они не публикуют. #opendata #leaks