Актуальная новость дня Trump removes “Open Government” from White House website [1], Администрация свежеизбранного Президента США убрала сразу же все упоминания об открытости государства и открытых данных [2].

Сохранится на повестке новой администрации неизвестно. США были и остаются участником и инициатором многих международных инициатив в открытости, начиная с OGP, продолжая обязательствами в рамках Большой Восмерки.

Это важный вопрос поскольку все время существования в мире инициатив по открытым данным США были одним из основных их спонсоров и, наряду с Великобританией, лидером в раскрытии данных.

Ссылки:
[1] https://g0v.news/trump-removes-open-government-from-white-house-website-5f7c4feb7c18
[2] https://search.whitehouse.gov/search?query=open+data&op=Search&affiliate=wh

#opendata #opengov #trump

В. В. Путин подписал поручение правительству определить единственного поставщика для разработки Единой Информационной Системы (ЕИС) в госзаказе [1]. Хорошая ли это новость или плохая?

Годовые расходы на эксплуатацию ЕИСа значительно выше тех 350 миллионов рублей о которых шла речь в потенциальном ежегодном доходе оператора и разработчика ЕИСа.

Если решение о выборе единственного исполнителя приведет к созданию единой электронной торговой площадки, то доходы оператопа вырастут до 3 миллиардов рублей в год. Главный вопрос в том останутся ли данные по государственным и муниципальным закупкам/контрактам доступными после передачи системы Ростеху.

Ссылки:
[1] http://www.vedomosti.ru/economics/articles/2017/01/23/674407-rosteh-zakaz-sistemu-zakupok

#procurement #goszakaz #opendata

4 февраля пройдет хакатон по теме культуры [1] организуемый АНО "Инфокультура", Министерством культуры РФ,
НИУ «Высшая школа экономики» Магистерская программа «Журналистика данных» и компанией SocialDataHub

Приходите, будет много интересных открытых данных и большая тусовка тех кто ими интересуется.
Кстати, для хакатона, мы всегда предлагаем использовать наши данных из проекта Госзатраты где есть данные по всем госконтрактам [2]

Ссылки:
[1] https://www.facebook.com/events/393132777694057/?acontext=%7B%22ref%22%3A%22108%22%2C%22action_history%22%3A%22null%22%7D
[2] https://clearspending.ru

#opendata #opengov #culture

Это будет один из немногих постов без ссылок.

Поиск и анализ открытых данных может давать, иногда, удивительные находки. Например, анализ открытого списка жертвователей одного крупного благотворительного фонда помощи детям выявил одного из федеральных министров который каждый месяц за последние 2 года жертвовал туда значительные суммы. В общей сложности это было, примерно, по 4.5 миллионоа рублей за 2015 и за 2016 годы - всего 9 миллионов рублей.

Называть, ни фонд, ни министра мне бы не хотелось. Но не могу не отметить насколько многие люди не на своем месте. Не берусь гадать жертвует ли он всю свою зарплату или только часть. Если зарплату, то можно таким образом судить о его официальных доходах. Может быть даже посмотреть на публичную декларацию.

Считать чужие деньги всегда неблагодарное дело, хотя и в данном случае скорее позволяет найти хорошее чем плохое. Сколько еще подобного много узнать из косвенных источников данных? Очень много

#opendata #charity

Как я и обещал, напишу о том что же за такой проект "Архивация государства" которым я занимаюсь уже более 5 лет и который один из наименее публичных проектов Инфокультуры да и я сам пишу о нем значительно реже чем про открытые данные, госзакупки и многое другое.

Еще очень давно я столкнулся с тем что при реорганизации ведомств в России и даже просто при смене их руководителей, старые сайты очень быстро исчезают, а на новых остается далеко не вся информация.

Пример - МВД России в 2012 году обновили свой сайт и "снесли" все региональные сайты заменив их на новые в формате "25.мвд.рф" даже не перенеся туда большей части архивных материалов.

Другой пример - сайты ликвидированных ведомств. Федеральный сайт ФМС [1] закрыт в день ликвидации, территориальные сайты ликвидировались в течении нескольких дней.

Таких примеров очень много, единственный пример того как грамотно была организована доступность архивных сайтов - это Федеральная служба по финансовым рынкам, а далее ЦБ РФ хранили все сайты всех ведомств которые были до них с 2003 года [2].

Но в России нет такого явления как цифровые государственные архивы, аналогичный Библиотеке Конгресса в США или Национальные архивы в Великобритании [3].

Причем эти архивы, в первую очередь, создаются как архивы веб-сайтов, поскольку именно архивы веб-сайтов содержат большую часть публичной государственной информации.
В мире много таких проектов и неполный их список есть в Википедии [4]

Для того чтобы такой проект вести нужно немало ресурсов которые уходят на несколько направлений:
- собрать ссылки и расставить приоритеты о том какие сайты надо архивировать - это работа с сообществом, чаще всего
- собрать данные с сайтов и заархивировать их в специальный формат WARC разработанный для хранения архивов
- обеспечить их долгосрочное хранение и доступность
- дать возможность просматривать архивные страницы как это делает Интернет архив (archive.org)

Все это требует особой инфраструктуры. Специально развернутой оболочки которая называется Heritrix и с настройками его под те цифровые коллекции которые создаются. Именно Heritrix используется в большинстве интернет-архивов, это большое тяжелое ПО на Java которое еще и надо адаптировать под славянские языки.

Альтернативой ему является подход команды ArchiveTeam [5] когда группа энтузиастов не делает интерфейсов на собранных данных, вместо этого они собирают данные с сайтов с помощью специального настроенного краулера wget адаптированного для скриптов на языке Lua и таким образом они создают WARC файлы из архивных сайтов, но потом только складируют их для общего доступа, но не делают над ними веб-интерфейс.

Для исследователей этот формат вполне удобен, для рядовых пользователей куда меньше, разбираться с техническими файлами архивов не так просто.

Для проекта который веду я никогда не было внешнего финансирования, он был сделан по модели ArchiveTeam, но без такого же числа волонтеров и с приоритетом на сайты государства.

Со временем эти приоритеты немного расширились и коллекции которые я собирал и собираю попали исчезающие общественные явления, такие как сайты банков (особенно ликвидируемых), крупнейшие ресурсы забаненые Роскомнадзором, разного рода антинаучные сайты и значимые общественные проекты.

На сегодня архив состоит из:
- 1.4 терабайта веб архивов включая:
- 345 сайтов банков
- 39 сайтов международного мемориала
- 9 сайтов крупных международных конференций в России
- 5 сайтов выборов
- 10 сайтов политиков и политических партий в периоды выборных кампаний
- 20 сайтов Олимпиады в Сочи
- 20 сайтов Открытого правительства, РВК, ФРИИ, АСИ и других институтов развития и государственных структур реформ
- 55 сайтов РИА Новостей до приходу туда новой команды Д. Киселева
- все сайты региональных арбитражных судов до слияния с Верховным Судом

- около 500 сайтов органов власти
- множество отдельных наборов данных, порталов открытых данных и коллекций собранных другими
- это около 15 терабайт в разжатом виде и несколько краулеров которые регулярно что-то качают.

У всего проекта мало описания. С архивами ситуация хуже - каждый раз архивируя обычно суетишься так чтобы успеть сохранить что-то до того как сайт снесли. Например, между отзывом лицензии у банка и ликвидации его сайта может быть всего пара часов, а может и их не быть. Поэтому для многих архивов нет метаданных с описаниями.

Но все что есть собрано на Github'е https://github.com/infoculture/preserved-russia/wiki, на старом сайте про открытые данные https://opengovdata.ru/projects/govarchive/ и в Google Drive https://drive.google.com/drive/u/0/folders/0B5haFpvgzsyhYW1lOHBiT1hrRG8 с информацией по текущему скачанному и описанному (скачано куда больше, нет рук описывать).

Особенность и отличие от Интернет архива в том что я собираю все материалы, а не только веб страницы. Выкачиваются все документы, видео, аудио и технические файлы. Все что только есть на сайте.

В текущей форме этот проект может существовать вечно. Пока я буду находить на него 1-2 часа времени в неделю. Может ли он стать чем-то большим? Возможно, но только если когда-либо удасться собрать команду тех кто будет считать что архивация рунета - это действительно важная задача. Может быть это один из тех проектов которые надо отделить в отдельный фонд и заниматься фандрайзингом средств, а может быть найти на него средств в текущей активности Инфокультуры.

Главная потребность в ресурсах следующая:
- хостинг: это 1-2 сервера для краулинга и условно неограниченное хранилище + трафик. Сейчас он выходит в 100-200 евро в месяц, в зависимости от того как много качают. Все хранится на Hetzner'е что дает относительно дешевый хостинг и не самую большую надежность;
- проектирование того как должна быть устроена архитектура такого проекта;
- развертывание Heritrix'а и интерфейса над архивами для рядовых пользователей;
- программирование сервиса резервного копирования архивов с сохранением на Archive.org, Backblaze и Amazon Drive и другие сервисы (возможно);
- развернуть отдельный экземпляр CKAN'а и туда загрузить ссылки на все архивные файлы с метаданными и тем самым сделать поиск хотя бы по описаниям архивов.

И, конечно, самое главное - приоритезация того что надо краулить и сохранять.

Пока же:
- если у Вас есть какие-то архивные данные/материалы которыми Вы были бы рады поделиться;
- если Вы хотите организовать веб-архивацию в своей области или в своей теме и ищите совета;
- если Вы готовы помочь проекту хостингом;
- если Вы готовы помочь проекту финансово или же есть какие-либо другие предложения;

То пишите мне на [email protected]

Ссылки:
[1] https://www.fms.gov.ru
[2] http://www.cbr.ru/finmarkets/?PrtId=archive
[3] http://www.nationalarchives.gov.uk/
[4] https://en.wikipedia.org/wiki/List_of_Web_archiving_initiatives
[5] http://www.archiveteam.org/index.php?title=Main_Page

#archives #opendata

В продолжение прошлой публикации я таки закончил форму заявки на архивацию сайтов - ее можно заполнить по ссылке https://docs.google.com/forms/d/e/1FAIpQLSesJ-9BQieL9k6s7WeVX6dQgAwcpo81-gfDS8I7VZzNZkhHbw/viewform

Специально для тех кто регулярно сталкивается с тем что информация может исчезнуть и не факт что останется в Интернет-архиве. Сейчас это обобщенная заявка, без наполнения конкретных коллекций, в первую очередь хочется понять кому нужна архивация сайтов и кто готов участвовать в этой работе хотя бы давая ссылки на ресурсы которые могут быть потеряны.

#opendata #governmentarchives #archives

С 2016 года США потеряли статус "full democracy" (полной демократии) и получили статус "flawed democracy" (демократия с искажениями). В индексе демократий мира от The Economist Intelligence Unit отдельно темой проходит "Brexit, Trump and the 2016 revolt against the elites".

Бунт против элит как бунт против демократии - это не новое явление. Много лет уже идут разговоры о том что классическая демократия в эпоху масс-медиа перестала быть универсальным способом управления государством. Но, как и много веков назад, объективно и тщательно проработанных альтернатив нет и по сей день.

Доклад полностью доступен на сайте EIU [1] и, конечно, охватывает гораздо больше вопросов чем избрание Трампа президентом.

Ссылки:
[1] http://pages.eiu.com/Jan-2017-Democracy-Index_reg.html

#opendata #opengovernment

На ОТР (Общественное телевидение) в передаче отражение вчера я выступал примерно полчаса про госзакупки и их прозрачность. Подробнее можно прочитать и увидеть тут [1]

Не удивляйтесь только опечатке в моей фамилии. Обещают исправить.

Ссылки:
[1] https://otr-online.ru/programmi/segodnya-v-rossii-27580/goszakupki-pitayutsya-vivesti-64679.html

#opendata #opengov #procurement

Страхи того что администрация Дональда Трампа может закрыть многие данные оказались небезосновательны.
Его администрация потребовала от агентства по защите окружающей среды в США публиковать данные только после их анализа политическими сотрудниками администрации. Об этом пишет The Guardian в статье "Trump administration: EPA studies, data must undergo political review before release" [1]

В другой статье The Guardian упоминается что сотрудникам EPA запретили публиковать данные и пользоваться социальными сетями [2]

В CNN пишут о том что администрация Трампа запретила отправлять твиты национально
й парковой службе [3] и похожая история происходит в Департамента транспорта [4].

А в HuffingtonPost вышла заметка о том что всех федеральных служащих обязали приостановить активность в соц сетях [5].

Сейчас рано говорить, какие шаги Дональда Трампа пойдут на благо США, какие приведут к усилению внутреннего протеста в госаппарате, но точно видны шаги идущие против долгосрочного тренда на открытость власти.

Ссылки:
[1] https://www.theguardian.com/environment/2017/jan/25/donald-trump-epa-gag-order-political-review
[2] https://www.theguardian.com/us-news/2017/jan/24/epa-department-agriculture-social-media-gag-order-trump
[3] http://edition.cnn.com/2017/01/21/politics/trump-national-park-service-tweets/index.html
[4] http://www.politico.com/story/2017/01/transportation-department-social-media-on-hold-234044
[5] http://www.huffingtonpost.com/entry/trump-communication-freeze_us_58878b3ae4b0441a8f7114e

#opendata #opengov #EPA #trump

National Consortium for the Study of Terrorism and Responses to Terrorism (коротко - START) опубликовали на Kaggle базу 150 000 террористических атаках за 49 лет [1]. В общей сложности - это 27 мегабайт ZIP файл. Опубликовали относительно недавно, в июле 2016 года, а на днях вышла заметка [2] Erin Miller с подробностями о том как работать с этими данными.

Обратите внимание на системный подход при формировании этой базы. На ее сайте [3] размещена полная методология сбора и со множеством пояснений [4], разработан образовательный курс [5] и доступны множество публикаций [6] команды работающей с этими данными.

Ссылки:
[1] https://www.kaggle.com/START-UMD/gtd
[2] http://blog.kaggle.com/2017/01/26/open-data-spotlight-the-global-terrorism-database/
[3] http://www.start.umd.edu/gtd/
[4] http://www.start.umd.edu/gtd/downloads/Codebook.pdf
[5] http://www.start.umd.edu/education/using-global-terrorism-database
[6] http://www.start.umd.edu/publications

#opendata #opengov #datasets

Прокуратура Казахстана переходит в цифровой формат [1] - это новость телеканала Мир с выступлением Генпрокурора Казахстана, который, кстати, упоминает и предсказание преступлений, и big data, и многие другие инновации в правоохранительной сфере.

О том же на первом канале Казахстана [2] и о том же в выступлении Ергали Мабиева, Заместителя председателя Комитета правовой статистики ГП РК [3] гораздо подробнее.

Еще раньше ГП РК представила систему "Зандылык" в виде информационно-аналитической системы надзора за уголовными делами и не только.

От себя я могу добавить что Казахстан с их сервисом правовой статистики [4] уже сейчас предоставляет цифровых услуг и данных больше чем многие другие страны мира.

Например, в Казахстане есть публичные карты преступности [5] с детализацией до каждого преступления и до каждого дома.

Если бы мы проводили наши хакатоны в рамках проекта "Открытая полиция" там, то у нас бы точно были данные. Но пока получается что данные у нас появятся только когда Генпрокуратура в России будет публиковать аналогичную информацию на российском портале Crimestat.ru [6].

Четыре месяца назад я писал об этом портале и всей российской ситуации в статье в Форбс "Почему в России недоступна информация о преступлениях" [7].

Приятно наблюдать что открытость в Казахстане активно развивается и очень хочется, вот действительно очень, чтобы прогресс был бы и в России.

Ссылки:
[1] http://mir24.tv/news/society/15640947
[2] https://1tv.kz/?p=16935
[3] http://24.kz/ru/tv-projects/intervyu/item/158784-intervyu-ergali-mabiev
[4] http://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[5] http://infopublic.pravstat.kz/crime/
[6] http://crimestat.ru
[7] http://www.forbes.ru/mneniya/siloviki/327227-pochemu-v-rossii-nedostupna-informatsiya-o-prestupleniyakh

#opendata #opengov #crimestat

Мои предсказания на 2017 год
В России:
- Начнут блокировать все мессенжеры без полной идентификации пользователя
- Запретят и начнут блокировать Tor
- Государство попытается залезть в конечные устройства потребителей - государство озаботится мобильным приложением для госуслуг и будет навязывать его для "базовой" конфигурации всех продаваемых в России устройств на базе Androin и IOS
- некоторые министерства и другие федеральные органы перестанут существовать. Я ставлю на исчезновение 2-х ФОИВов до конца года.

В США:
- США выйдут из Open Government Partnership и свернут финансирование значительной части международных инициатив и проектов не несущих экономического смысла
- Устроят импичмент Дональду Трампу до конца года или хотя бы очень попытаются. Тут будет все - митинги, петиции конгрессменам, попытки отозвать несогласных конгрессменов, а у сторонников разочарованный лозунг "Make Trump Great Again"

В мире:
- Блокчейн перестанет быть мантрой, произойдет 2-3 события которые приведут к большей сдержанности его сектантов
- Произойдет хотя бы один крупный теракт с применением бытовых дронов
- Бытовых дронов используют в преступных целях, помимо скрытой видео-фотосъемки. Они начнут фигурировать в уголовной хронике.
- Глобальная фрагментация Интернета продолжится и тренд здесь сохранится.
- Новости о том что искусственный интеллект лишает работы людей будут все чаще.
- Борьба за личный контроль за своими личными данными станет эпической. Обязательно дойдет до ООН и попыток принять международную декларацию
#futures

Давно хочу написать о проекте OpenFoodFacts [1] - это открытая база данных по продуктам питания собираемая через краудсорсинг. Ведется она французской НКО с аналогичным названием Open Food Facts [2], публикует все данные в форматах CSV, RDF, JSON API и дампы MongoDB [3] и включают в базу записи по 117581 продуктам по всему миру [4].

Глядя на этот проект я понимаю что, в каком-то смысле, его автор, Stéphane Gigandet, проделал большую работу над тем чтобы помочь тысячам людей любящим не просто еду, но хорошую еду. А в Вики проекта можно узнать подробности по тому как он организован, как работать с его данными и API [5]

Конечно же, открытый исходный код всего проекта и под проектов [6] позволяет использовать его API для Python, Ruby или любого другого языка, для многих из которых уже готовы библиотеки для легкого подключения.

По России в проекте собрано 1196 продуктов [7], но ничто не ограничивает нас с вами добавлять туда новые описания.

Сейчас авторы запустили еще один проект "Open Beauty Facts" [8] где собирают базу космететических товаров и их ингредиентов.

Все это - пример успешного краудсорсингового проекта по созданию баз данных силами тысяч добровольцев. Они много меньше чем Википедия или OpenStreetMap, но может стать сравнимым с ними по значимости.

Глядя именно на эти проекты я и утверждаю что открытые данные не связаны и не зависят от государства. Однако именно таких проектов нам в России и не хватает, тех которые создают данные, а не только потребляют. Те которые формируют сообщество и существуют вне зависимости от чьей-то политической воли или ее отсутствия.

Ссылки:
[1] https://www.openfoodfacts.org/
[2] https://ru.openfoodfacts.org/legal
[3] https://ru.openfoodfacts.org/data
[4] https://world.openfoodfacts.org/
[5] https://en.wiki.openfoodfacts.org/Main_Page
[6] https://github.com/openfoodfacts/
[7] https://ru.openfoodfacts.org/
[8] https://world.openbeautyfacts.org/

#opendata #crowdsourcing

Для всех кто интересуется тем как устроен государственный заказ изнутри вышла первая из серии заметок на портале Госвопрос про то как оно все "на самом деле" http://www.gosvopros.ru/job/professionalnye-navyki/goszakupki-1/

Название статьи, конечно, вызывающее, но пусть останется таким какое оно есть;) Открытость и прозрачность в этой области, действительно, внедрялись так чтобы нанести больше вреда чем пользы.

Это не последняя статья, будут и продолжения там же на ГосВопрос. Вопросы задавать можно мне на канале https://yangx.top/begtinchat

#opendata #opengov #procurement

Новости дайджестом

Подразделение WPP "The Government & Public Sector Practice" выпустило доклад "The future of government communication". Доклад сжатый и больше ориентированный на продажу их услуг, но там есть интересные цифры из опыта анализа 40 стран и их практик коммуникаций с гражданами. Подробности тут http://wpp.com/govtpractice/leaders-report (требует регистрации)

Петиция о запрете государственного визита Дональда Трампа в Великобританию собрала 1 миллион 772 тысячи подписей (на 1 февраля). 20 февраля Парламент Великобритании будет ее рассматривать. Подробнее - https://petition.parliament.uk/petitions/171928/ Кстати, посмотрите на замечательные карты которые показывают сколько избирателей отдало голос за петицию http://petitionmap.unboxedconsulting.com/?petition=171928
А вот параллельно идущая петиция о том что, наоборот, Трампа надо приветствовать в Великобритании собрала всего 187 тысяч подписей - https://petition.parliament.uk/petitions/178844 и тоже будет рассматриваться 20 февраля парламентом.

В блоге UK Government Digital Services заметка о том как важно собирать и предоставлять данные опираясь на потребности потребителей, о пользе метаданных и об открытых реестрах. Подробнее https://gds.blog.gov.uk/2017/01/31/what-you-can-learn-from-making-data-user-centred/

Команда 18F пишет о том что делают новый проект с избирательной комиссией США по тому чтобы их данных были бы удобны. Напомню что 18F - это внутренний стартап в агентстве общего управления Правительства США. Подробнее о проекте - https://18f.gsa.gov/project/fec-gov/

#opendata #opengov #digitalgov

Напомню что в ближайшие субботу и воскресение в Москве пройдет хакатон по культурным данным организованным Министерством Культуры РФ, Факультетом медиа и коммуникаций НИУ ВШЭ, АНО Инфокультура, Social Data Hub и многими другими партнерами.

Подробнее о хакатоне - http://data.socialdatahub.com , регистрация на таймпаде - https://hakaton-kultura-v-sovreme.timepad.ru/event/435460/

Я лично буду на хакатоне рассказывать про открытые данные (как всегда), но в культурном плане. Тема "Тайны данных в лабиринтах культуры" специально нестандартная, чтобы у меня не было соблазна взять свою привычную презентацию. Буду рассказывать о том о чем раньше не рассказывал.

И я лично буду ментором на хакатоне.

#opendata #opengov

Для тех кто любит визуализировать данные и не хочет разбираться в очень сложных движках - еще один сервис Raw Graphs сильно облегчит жизнь - http://rawgraphs.io/

Умеет визуализировать таблицы и Excel файлами многими разными способами

Рекламировать его не жалко, потому как у него и код открыт и онлайн его можно опробовать.

#opendata #dataviz

Сразу две новости про госзакупки которыми я занимаюсь в основное время (да - открытые данные это форма общественной деятельности).

1. Для всех кто хочет лучше знать о том как устроены закупки рекомендую вторую заметку по теме в журнале "Госвопрос" http://www.gosvopros.ru/job/professionalnye-navyki/begtin-2/

2. Сегодняшнее утро я провел за модерацией круглого стола про госзакупки. Вот тут видео http://pressmia.ru/pressclub/20170202/951399847.html не могу сказать что модерация - это то что я люблю, болтать я люблю больше, но беседа была насыщенная


#opendata #goszakaz #procurement

One Angry Bird [1] - прекрасный проект по визуализации эмоций последних 10 инаугурационных речей президентов США. Группа исследователей из Periscopic [2] проанализировали видео выступления на инаугурации президентов и зафиксировали эмоции и аплодисменты.

Для распознавания эмоций использовали Microsoft Emotion API [3] и анализ вручную для апплодисментов.

На мой взгляд совершенно прекрасный проект. Политика - есть, контекст - есть, новые технологии - есть, сложные алгоритмы - есть.

Может быть когда-нибудь кто-нибудь додумается, например, использовать технологии распознавания лиц при анализе видео заседаний российского правительства - автоматически создавая базу того кто как сидит. Или, наконец-то, хоть кто-то создаст базы вокабуляров публичных персон выступающих регулярно.

Ссылки:
[1] http://emotions.periscopic.com/inauguration/
[2] http://periscopic.com/
[3] https://www.microsoft.com/cognitive-services/en-us/emotion-api

#opendata #hightech #recognition #emotions