Василий Гатов в FB написал хорошо связанные сжатые предложения [1] о том как можно изменить/трансформировать медиа в России.

Я бы, честно говоря, только ими не ограничивался. Есть отдельные, не менее важные аспекты такие как:
- региональная и муниципальная материальная поддержка СМИ;
- государственное владение и регулирование инфраструктурой и общими ресурсами необходимыми для работы широковещательных СМИ;
- декриминализация работы журналистов.
Реформа медиа так или иначе будет связана другими давно назревшими реформами.
Например, предположим что будет трансформация налоговой и бюджетной политики и больше средств будет оставляться на региональном и муниципальном уровнях власти. К чему это приведёт? В первую очередь к усилению расходов губернаторов и мэров на "PR-сопровождение". Достаточно вспомнить резкий рост расходов на СМИ от Администрации Сахалинской области [2].

Другой пример - РТРС [3] - "федеральная сеть башен" и разрешения на частоты для радио и телевещания. Да, постепенно не-Интернет СМИ будут ослабевать, но их влияние всё ещё велико и государство имеет рычаги владения на них владея всей инфраструктурой их вещания.

Третий пример - использование "Роскомнадзора" как дубины против онлайн СМИ. Самоцензура - это вполне действенный механизм когда есть что терять. А потерять можно сейчас довольно быстро, например, в случае блокировки сайта СМИ хотя бы на несколько дней.

Ссылки:
[1] https://www.facebook.com/prinzip/posts/10155235573249689
[2] https://rg.ru/2015/03/10/gubernator.html
[3] http://rtrs.ru

#spending #government

Какими визуальными инструментами пользоваться тем кто хочет анализировать данные всерьёз и для практической цели ?

Вот краткий список:
- Orange - http://orange.biolab.si/
- Rapidminer - https://rapidminer.com
- R Analytic Flow - http://r.analyticflow.com/
- R Studio - https://www.rstudio.com/
- Deducer - http://www.deducer.org/pmwiki/pmwiki.php…
- Alterix - http://www.alteryx.com/ (платное)
- Microsoft R Server - https://www.microsoft.com/en-us/cloud-platform/r-server (платное)
- Daidaku DSS - http://www.dataiku.com/ (платное)

#opendata #data #datamining

В рамках проекта GODAN (Global Open Data in Agriculture & Nutrition) - глобальные открытые данные в сельском хозяйстве и потреблении еды выходит всё больше интересных материалов о международной кооперации в области данных.

Команда The Engine Room [1] в лице Lindsay Ferris и Zara Rahman подготовили брошюру Responsible Data in Agriculture [2] о востребованности и особенностях открытых данных в сельском хозяйстве и производстве и потреблении еды.

Исследователи Dean Allemang и Bobbin Teegarden из Working Ontologist [3] подготовили документ A Global Data Ecosystem for Agriculture and Food [4] с акцентом на интеграцию данных создаваемых в многочисленных исследовательских центрах.

И от Jeremy de Beer из Университета Оттавы документ «Ownership of Open Data: Governance Options for Agriculture and Nutrition» [5] о том кто и как владеет открытыми данными и как необходимо менять законодательство и международные соглашения чтобы это изменить.

На сегодняшний день России и стран постсоветского пространства нет в этом проекте ни в какой форме. Проект был запущен в 2013 году на саммите OGP и существует в форме 5 летнего проекта с общим бюджетом в $6.5 миллионов долларов на при 5 постоянных позициях. Финансирование обеспечивают: Правительства США и Великобритании и группой межгосударственной и международных организаций [6]. Все это происходит в партнёрстве с 380 организациями по всему миру [7]

Из интересных результатов я бы уже отметил VEST Agroportal Map of Standards [8] и Agroportal [9], каталоги стандартов работы с данными в сельском хозяйстве. Можно увидеть как сельское хозяйство претерпевает те же изменения что и биология ранее. Биология разделилась на «мокрую» и «сухую» в которой существенное место заняло биоинформатика. Сейчас большие данные и принципы биоинформатики формируют сельхозинформатику или агроинформатику и новую профессию agricultural data scientist [10].

Ссылки:
[1] https://www.theengineroom.org/
[2] http://www.godan.info/documents/responsible-data-agriculture
[3] http://workingontologist.com/
[4] http://www.godan.info/documents/data-ecosystem-agriculture-and-food
[5] http://www.godan.info/documents/ownership-open-data-governance-options-agriculture-and-nutrition-0
[6] http://www.godan.info/pages/resources-and-financing
[7] http://www.godan.info/partners
[8] http://vest.agrisemantics.org
[9] http://agroportal.lirmm.fr
[10] http://www.indeed.com/q-Agriculture-Technology-Platform-Data-Scientist-jobs.html

#opendata #opengov #nutrition #agriculture

На днях произошла интереснейшая утечка большого объёма данных - структуры доменной зоны сайтов Северной Кореи [1] включающей множество ссылок на существующие веб-сайты в этой стране, включая сайты корпораций, госорганов и университетов.

Удалось это из-за некорректно настроенных доменных серверов что удалось узнать автору утечки во время своего проекта TLDR [2] (A Continuously Updated Historical TLD Records Archive).

Чем это закончится внутри самой кореи - кто знает, а вот посмотреть на некоторые их интернет ресурсы - очень интересно.


Ссылки:
[1] https://github.com/mandatoryprogrammer/NorthKoreaDNSLeak
[2] https://github.com/mandatoryprogrammer/TLDR

#opendata #internet #northkorea

Сегодня на Радио Метрикс эфик про открытые данные и большие данные с моим участием - https://www.youtube.com/watch?v=_C-JeQ_GHIc

В этот раз, как и уже часто в последнее время, вопросы возникают не только по открытости данных в принципе, но и про персональные данные, те данные которые нельзя раскрывать и не только.

#opendata #opengov

Минкосвязи России анонсировало появление портала «Безопасные дороги» [1] с картой и большим объёмом данных по происшествиям на дорогах. Портал любопытный, это впервые происходит так что выкладывается подобный объём гиперлокальных данных. Это позволит не только проводить исследования по качеству дорожной обстановки, но и создать множество интересных визуализаций для журналистов и сопоставлять цифры с данными официальной статистики.

Тут важно напомнить и про появление другого похожего портала от ГИБДД [2] сравнительно недавно, однако с меньшим объёмом данных о происшествиях.

Могу лишь добавить что вскоре мы (скорее всего я лично) выложим переработанный набор данных который должен быть удобнее для пользователей чем то что было представлено на сегодня.

Ссылки:
[1] http://minsvyaz.ru/ru/events/35738/
[2] http://stat.gibdd.ru

#opendata #opengov

Минкомсвязи+МВД предоставили данные по авариям на дорогах на портале безопасныедороги.рф, но данные которые там опубликованы категорически неудобны для работы. Это один гигантский JSON файл в гигабайт.

Публикую набор данных на данных по ДТП с их сайта в котором сделаны следующие изменения:
- добавлены геометки
- добавлен дамп в BSON (формат для загрузки в MongoDB)
- добавлена выгрузка в JSON с каждым объектом как отдельной строкой
- добавлена выгрузка по всем субъектам федерации по отдельности - можно теперь анализировать данные только по выбранной области. С той оговоркой что у половины данных по ДТП нет привязки к региону и есть только адрес, надо будет в будущем проделать работу по распознаванию региона (геокодированию). Это не очень сложно, оставляю пока как факультативную работу.

Ссылка на набор данных:
- https://hubofdata.ru/dataset/roadcrash

Ссылка на данные и, далее код, на github'е - https://github.com/infoculture/transport-data

Все данные публикуются в открытом репозитории.

#opendata #opengov

Recode пишут [1] про массивную утечку данных более чем 200 миллионов пользователей Yahoo начиная с 2012 года. Информация об этом, просочилась ещё в августе [2] когда хакер с ником «Peace» начал продавать их в «тёмном вебе» за $1800. А теперь Yahoo официально подтвердили эту утечку.

Данные содержат логины, даты рождения, адреса электронной почты и легко расшифрованные пароли пользователей.

Это уже не первая крупная утечка ведущих сервисов для пользователей - ранее подобные случались у MySpace и LinkedIn.

Ссылки:
[1] http://www.recode.net/2016/9/22/13012836/yahoo-is-expected-to-confirm-massive-data-breach-impacting-hundreds-of-millions-of-users
[2] https://motherboard.vice.com/read/yahoo-supposed-data-breach-200-million-credentials-dark-web

#hacking #data #leaks #darkweb #yahoo

Для разнообразия, в этот раз дайджест актуальных новостей, а не отдельные новости по теме открытых данных.

О том как сделать так чтобы data.gov.uk стал лучше, пишет Owen Botswarva в своём блоге критикуя текущую реализацию и дефицит политической поли у Британского правительства
http://mapgubbins.tumblr.com/post/150404545090/how-to-fix-datagovuk-or-at-least-make-it-suck

На него ссылается Phil Archer из блога W3C предлагаю свои идеи для реализации в порталах на откртыых данных
https://www.w3.org/blog/2016/09/just-how-should-we-share-data-on-the-web/

The Atlantic пишет о проблемах у Sunlight Foundation и о их вкладе в открытость
http://www.theatlantic.com/technology/archive/2016/09/sunlight-sunset/501071/

О судьбе Sunlight Labs появился пост в их блоге. Всё не то чтобы радужно. Всё меньше становится civic tech идущих не от государства
http://sunlightfoundation.com/blog/2016/09/21/whats-next-for-sunlight-labs/

Ролик 5 years of OGP на Youtube с обзором о том что было сделано в OGP за 5 лет
https://www.youtube.com/watch?v=ab_oi-NJGJo

Пилотный проект по краудсорсингу в Агентстве по статистике Канады начнётся 17 октября 2016 года.
http://www.statcan.gc.ca/eng/crowdsourcing

Краудсорсинг конституции Европы в статье Deutche Welle
http://www.dw.com/en/crowdsource-europe-wants-people-to-write-their-own-constitution/a-19549472

#opendata #opengov

Где получать больше новостей про открытые данные? Откуда я собираю их сам?

1. Основной источник информации для меня - это созданный автоматический сервис Open Government Daily http://opengovdaily.com на базе Paper.li - простой и полезный источник автоматически собираемых новостей

2. Open Governmeny Daily в Scoop.it http://www.scoop.it/t/opengovdaily - это похожий проект на базе сервиса куда можно отправлять ссылки и сайты из разных источников и автоматически собираемые. Я забросил его с июня месяца, но периодически проверяю рекомендуемые сервисом новости.

3. Там же в Scoop.it у меня есть множество подписок на темы про данные и открытые данные http://www.scoop.it/u/ivan-begtin/followed-topics и там множество сервисов на которые можно подписаться за новостями.

4. Аналогично через сервис Nuzzel http://nuzzel.com/ibegtin практически все на кого я подписан в Twitter занимаются открытыми данными и доступны через этот сервис. Похоже на Paper.li

Это не полный список, но это наиболее автоматизированные сервисы. Ну а про открытые данные на русском языке - можно подписаться на мой канал в Telegram - http://telegram.me/begtin

(вопросы можно задавать мне через чат к этому каналу в Telegram https://telegram.me/begtinchat)

#opendata #opengov

Дата-журналистика популярная тема в современных медиа стартапах, но с ней вполне успешно конкурирует краудсорсинг и все формы его использования.

Относительно недавний, вот уже 2-х летний стартап Fresco News [1] сводит вместе медиа которые ищут видео и фото событий и людей с камерами которые рядом с этими событиями. И платят тем кто предоставит им свой контент.

Идея, безусловно, не нова. И тот же LifeCorr [2], приложение российского издания Life имеет куда больший охват, однако в случае Fresco News интересен подход платформы как посредника между изданиями и поставщиками медиа в лице неограниченного числа лиц. Это заодно и решает проблему заимствования материалов из социальных сетей.

Из других интересных медиа-стартапов я бы выделил:
- Scoop Analytics [3] - выявление новостей из соц сетей до того как они станут новостями
- Typewriter Plus [4] - редактора для ваших текстов по запросу онлайн
- FOIA Mapper [5] - сервис и база запросов к органам власти в США для работы журналистов

Ссылки:
[1] https://fresconews.com/
[2] https://play.google.com/store/apps/details?id=com.babo.lifefun
[3] https://www.scoopanalytics.com/
[4] https://www.typewriter.plus/
[5] https://foiamapper.com

#opengov #datajournalism #journalism

Чем отличаются открытые данные в России от открытых данных в США? Тем что в США - это госполитика на уровне Белого дома и Администрация Президента организует Data Innovation Summit [1] определяя его повестку, а в саму тему пришло немало бизнесов и консультантов которые напрямую и через Data Foundation [2] поддерживают инициативы. Хороша ли такая зрелость для темы открытых данных? Как знать, но нам до неё ещё точно далеко.

Ссылки:
[1] http://www.data.gov/event/white-house-open-data-innovation-summit/
[2] http://www.datafoundation.org/supporters/

#opendata #opengov

Я всё думал и думал и я всё таки это напишу. Проблема во всей этой гиперактивной "архаизации" общественных отношений не столько социальная, сколько экономическая.

Ну, например, идея гетеросексуальной классической семьи индустриальной эпохи - это очень привлекательный образ, романтизированный не одним поколением писателей, художников, авторов пьес и не только.

Возврат к "классическим» общественным ценностям для многих, очень многих может казаться приятной ностальгией. Также как мы сейчас романтизируем индустриальную эпоху 18-19 века, также как романтизируется все более ранние века.

Вот только проблема в том что мир меняется, меняется стремительно и на скорость этих изменений мы не можем повлиять. В центре этих изменений, и новые технологии, и изменения в социальном укладе, и глобализация знаний, людей и возможностей. При всём, даже очень большом желании, мы не можем переселиться на какую-нибудь удалённую планету или параллельный необитаемый мир и основать там своё православно-аграрно-монархическое государство. При всей привлекательности самой возможности такого события.

Цена каждой новой попытки де-либерализации общества, ограничения свободы выбора - в ущербе для экономики. Запрет абортов? Беларусь к этому уже готова, достаточно просто заключить договор и иметь при себе нужную сумму денег. [1].
Запрет порнографии? Порнография двигала индустрии вперёд ещё до интернета, а уж профинансировать массовые сервисы анонимайзеров порнографы не поленятся. Но, конечно, все деньги останутся вне России.

Что бы ни было дальше - закончится это просто, деньги будут уходить из страны. И как бы кому не не нравилась порнография или факт совершения абортов - запреты срабатывают хуже.
Наша, российская, относительно возможная технологическая конкурентноспособность разбивается о совершенную неадаптированность к современным реалиям.

Хотите знать что нам реально нужно? Нам нужны не «Территории опережающего развития» [2], а «Территории опережающего либерализма». С максимально возможной либерализацией всего что только возможно - абортов, гей-браков, казино, проституцию, экспериментов над людьми (по их доброй воле), свободное владением оружием, применением ряда "лекарств" в медицинских целях и так далее. Пополняйте этот список. Но всё, конечно, под чутким, но не репрессивным государственным оком.

Почему? Потому что вы даже не представляете сколько людей будут готовы пожертвовать политическими свободами, ради свобод экономических и социальных. Свобода стала товаром более ценным чем многое другое. Свободы нехватает не только в России, но и в странах которые мы уже не хотим брать в пример. И путь свободы - это не путь анархии, это путь осознания того что возможно нам скоро будет нечего предложить миру кроме неё.

Ссылки:
[1] http://www.kp.by/daily/26586.5/3602216/

[2] https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%80%D1%80%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D1%8F_%D0%BE%D0%BF%D0%B5%D1%80%D0%B5%D0%B6%D0%B0%D1%8E%D1%89%D0%B5%D0%B3%D0%BE_%D1%80%D0%B0%D0%B7%D0%B2%D0%B8%D1%82%D0%B8%D1%8F

Федеральные власти заговорили и всё чаще поднимают вопрос о государственно-частном партнёрстве в эксплуатации государственных информационных систем [1]. К сожалению, эта история может оказатья для многих из нас очень нежелательной в случае её неуправляемого развития. Основной способ монетизации - это использование данных и тем самым крайне высока вероятность потерять открытые данные и получить историю с сильными ограничениями к доступу к информации для потребителей данных.

Пример похожей проблемы - приватизация Ordnance Survey в Великобритании [2]. С самого начала приватизации общественные активисты выступали против неё, главная проблема - это то что данные собираемые Ordnance Survey переставали быть общественным достоянием.

Ссылки:
[1] http://www.vedomosti.ru/technology/articles/2016/09/30/659086-gosudarstvennii-soft-kontsessii
[2] https://weownit.org.uk/evidence/why-ordnance-survey-should-stay-public

#opendata #opengov

Сейчас, когда конкурс BudgetApps закончился и скоро итоги будут общедоступны. Так вот сейчас я могу рассказать всем про идеи которые я специально не публиковал до поры до времени, надеясь что участники сами догадаются, но увы, так что давайте я вам расскажу про идеи которые будет ещё не поздно делать в этом году и в следующем. Не обязательно в рамках BudgetApps'а, а по собственной инициативе или, например, в рамках хакатонов которые мы будем делать от проекта ГосЗатраты.

Основная мысль в проектах создающих _новое качество_. Не просто визуализация того что есть, а как найти то чего нет? Как придать форму тому чего нехватает? Как наполнить новым содержанием или _найти неочевидное_.
Вот несколько примеров:
1. Расширенная бюджетная классификация. Существующий бюджет можно разрисовать по официальным классификациям Минфина России - ГРБСам, функциональной классификации, госпрограммам, видам расходов и так далее. Но, самое интересное что это финансово-учётная классификация, она не ориентирована на простоту понимания. Всю структуру бюджета можно перерисовать например, по направлениям расходов: "студентам", "пенсионерам", "малообеспеченным гражданам", "малым предприятиям" и так далее. Его можно разрисовать по адресам получения. Надо лишь пару-тройку дней внимательно посидеть над бюджетной росписью.
2. Глубина финансов. Я вот уже много лет не встречаю ни одного проекта по визуализации госденег от бюджета и полной иерархией - получатели, госзадания, субсидии и так далее. Любую госпрограмму можно разрисовать как перевернутое дерево от бюджетных строк, до ГРБСов, до учреждений, до исполнителей контрактов , до владельцев исполнителей контрактов и до объектов имущества созданных в итоге.
3. Выявление нарушений. Я ранее писал и выкладывал код выявления латиницы в госзакупках автоматическим образом. Тот самый проект "слепые закупки". Он является иллюстративным примером того что можно автоматизировать выявление типовых и атипичных нарушений в госфинансах.
4. Краудсорсинг. Смотришь на бюджетную строку, на серию госконтрактов и идешь и фотографируешь или находишь фотографии в сети или делаешь платформу на которой каждый может осуществлять аудит того что было сделано, построено и так далее.

Это более сложные проекты и список неполон. Практически все некоммерческие. Некоторые требуют больших усилий по пониманию предметной темы и большого желания их реализовать.
Некоторые из идей мы сами обсуждали их реализацию в рамках Госзатрат, некоторые совершенно новые.

#opendata #opengov #budgets

Исследовательская НКО GrantCraft [1] в партнёрстве с The GovLab [2] выпустили исследование «Innovation in Open Grantmaking» [3]. Исследование полностью посвящено открытости процессов распределения грантов правительством США.

В отчёте раскрыты вопросы необходимости раскрытия грантовой информации в форматах открытых данных, поощрение открытости результатов научных и исследовательских грантов.

Для справки: Ежегодно правительство США распределяет грантами до 4.1 триллиона долларов. Эти гранты распределяются между штатами, графствами, ведомствами, коммерческими организациями и физ. лицами. Информация о них собрана на специальном портале [4].

Чем отличается грантовая политика США от России? То что в США распределяется грантами, в России распределяется субсидиями. Лишь малая часть из российских субсидий имеет за собой конкурентную историю с распределением средств. Достаточно беглого анализа расходов по субсидиям на специальном портале Минфина [4] и можно увидеть что практически все основные бюджетными средства распределяются решениями Правительства или иными нормативными документами завязанными, опять же, на Правительство.

Это и есть то что называется «ручным управлением» в государстве и в первую очередь оно отражается на государственных финансах.

Ссылки:
[1] http://www.grantcraft.org/
[2] http://thegovlab.org
[3] http://www.grantcraft.org/guides/innovations-in-open-grantmaking
[4] http://grants.gov
[5] http://rs.budget.gov.ru

#opendata #opengov #grants #openfinances

Коллеги, в связи с участившимися вопросами отвечаю.

Единственное отношение которое я имею к курсу Открытого правительства по открытым данным http://odc.open.gov.ru/ это то что я выступил в качестве лектора. Это было год назад, после чего его создатели пропали и не выходили на связь. То как этот курс выглядит сейчас - это исключительно их уровень компетенции.

К авторам этого курса я себя не отношу, то что получилось в итоге мне не нравится - это сборная солянка из лекций, разного уровня, качества и фактуры.

Поэтому на сайте в качестве автора меня более нет. И на вопросы о том почему там что-то работает/не работает ответить не могу и не собираюсь.
В рамках Инфокультуры и Университета КГИ мы будем выпускать лекции, семинары и курсы сфокусированные на определенные темы. Как по своей инициативе так и on-demand.
#opendata #opengov