Ivan Begtin
8.1K subscribers
2.03K photos
3 videos
102 files
4.76K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
加入频道
Василий Гатов в FB написал хорошо связанные сжатые предложения [1] о том как можно изменить/трансформировать медиа в России.

Я бы, честно говоря, только ими не ограничивался. Есть отдельные, не менее важные аспекты такие как:
- региональная и муниципальная материальная поддержка СМИ;
- государственное владение и регулирование инфраструктурой и общими ресурсами необходимыми для работы широковещательных СМИ;
- декриминализация работы журналистов.
Реформа медиа так или иначе будет связана другими давно назревшими реформами.
Например, предположим что будет трансформация налоговой и бюджетной политики и больше средств будет оставляться на региональном и муниципальном уровнях власти. К чему это приведёт? В первую очередь к усилению расходов губернаторов и мэров на "PR-сопровождение". Достаточно вспомнить резкий рост расходов на СМИ от Администрации Сахалинской области [2].

Другой пример - РТРС [3] - "федеральная сеть башен" и разрешения на частоты для радио и телевещания. Да, постепенно не-Интернет СМИ будут ослабевать, но их влияние всё ещё велико и государство имеет рычаги владения на них владея всей инфраструктурой их вещания.

Третий пример - использование "Роскомнадзора" как дубины против онлайн СМИ. Самоцензура - это вполне действенный механизм когда есть что терять. А потерять можно сейчас довольно быстро, например, в случае блокировки сайта СМИ хотя бы на несколько дней.

Ссылки:
[1] https://www.facebook.com/prinzip/posts/10155235573249689
[2] https://rg.ru/2015/03/10/gubernator.html
[3] http://rtrs.ru

#spending #government
September 14, 2016
Какими визуальными инструментами пользоваться тем кто хочет анализировать данные всерьёз и для практической цели ?

Вот краткий список:
- Orange - http://orange.biolab.si/
- Rapidminer - https://rapidminer.com
- R Analytic Flow - http://r.analyticflow.com/
- R Studio - https://www.rstudio.com/
- Deducer - http://www.deducer.org/pmwiki/pmwiki.php
- Alterix - http://www.alteryx.com/ (платное)
- Microsoft R Server - https://www.microsoft.com/en-us/cloud-platform/r-server (платное)
- Daidaku DSS - http://www.dataiku.com/ (платное)

#opendata #data #datamining
September 19, 2016
В рамках проекта GODAN (Global Open Data in Agriculture & Nutrition) - глобальные открытые данные в сельском хозяйстве и потреблении еды выходит всё больше интересных материалов о международной кооперации в области данных.

Команда The Engine Room [1] в лице Lindsay Ferris и Zara Rahman подготовили брошюру Responsible Data in Agriculture [2] о востребованности и особенностях открытых данных в сельском хозяйстве и производстве и потреблении еды.

Исследователи Dean Allemang и Bobbin Teegarden из Working Ontologist [3] подготовили документ A Global Data Ecosystem for Agriculture and Food [4] с акцентом на интеграцию данных создаваемых в многочисленных исследовательских центрах.

И от Jeremy de Beer из Университета Оттавы документ «Ownership of Open Data: Governance Options for Agriculture and Nutrition» [5] о том кто и как владеет открытыми данными и как необходимо менять законодательство и международные соглашения чтобы это изменить.

На сегодняшний день России и стран постсоветского пространства нет в этом проекте ни в какой форме. Проект был запущен в 2013 году на саммите OGP и существует в форме 5 летнего проекта с общим бюджетом в $6.5 миллионов долларов на при 5 постоянных позициях. Финансирование обеспечивают: Правительства США и Великобритании и группой межгосударственной и международных организаций [6]. Все это происходит в партнёрстве с 380 организациями по всему миру [7]

Из интересных результатов я бы уже отметил VEST Agroportal Map of Standards [8] и Agroportal [9], каталоги стандартов работы с данными в сельском хозяйстве. Можно увидеть как сельское хозяйство претерпевает те же изменения что и биология ранее. Биология разделилась на «мокрую» и «сухую» в которой существенное место заняло биоинформатика. Сейчас большие данные и принципы биоинформатики формируют сельхозинформатику или агроинформатику и новую профессию agricultural data scientist [10].

Ссылки:
[1] https://www.theengineroom.org/
[2] http://www.godan.info/documents/responsible-data-agriculture
[3] http://workingontologist.com/
[4] http://www.godan.info/documents/data-ecosystem-agriculture-and-food
[5] http://www.godan.info/documents/ownership-open-data-governance-options-agriculture-and-nutrition-0
[6] http://www.godan.info/pages/resources-and-financing
[7] http://www.godan.info/partners
[8] http://vest.agrisemantics.org
[9] http://agroportal.lirmm.fr
[10] http://www.indeed.com/q-Agriculture-Technology-Platform-Data-Scientist-jobs.html

#opendata #opengov #nutrition #agriculture
September 20, 2016
На днях произошла интереснейшая утечка большого объёма данных - структуры доменной зоны сайтов Северной Кореи [1] включающей множество ссылок на существующие веб-сайты в этой стране, включая сайты корпораций, госорганов и университетов.

Удалось это из-за некорректно настроенных доменных серверов что удалось узнать автору утечки во время своего проекта TLDR [2] (A Continuously Updated Historical TLD Records Archive).

Чем это закончится внутри самой кореи - кто знает, а вот посмотреть на некоторые их интернет ресурсы - очень интересно.


Ссылки:
[1] https://github.com/mandatoryprogrammer/NorthKoreaDNSLeak
[2] https://github.com/mandatoryprogrammer/TLDR

#opendata #internet #northkorea
September 20, 2016
September 21, 2016
September 21, 2016
September 22, 2016
Recode пишут [1] про массивную утечку данных более чем 200 миллионов пользователей Yahoo начиная с 2012 года. Информация об этом, просочилась ещё в августе [2] когда хакер с ником «Peace» начал продавать их в «тёмном вебе» за $1800. А теперь Yahoo официально подтвердили эту утечку.

Данные содержат логины, даты рождения, адреса электронной почты и легко расшифрованные пароли пользователей.

Это уже не первая крупная утечка ведущих сервисов для пользователей - ранее подобные случались у MySpace и LinkedIn.

Ссылки:
[1] http://www.recode.net/2016/9/22/13012836/yahoo-is-expected-to-confirm-massive-data-breach-impacting-hundreds-of-millions-of-users
[2] https://motherboard.vice.com/read/yahoo-supposed-data-breach-200-million-credentials-dark-web

#hacking #data #leaks #darkweb #yahoo
September 22, 2016
September 25, 2016
Где получать больше новостей про открытые данные? Откуда я собираю их сам?

1. Основной источник информации для меня - это созданный автоматический сервис Open Government Daily http://opengovdaily.com на базе Paper.li - простой и полезный источник автоматически собираемых новостей

2. Open Governmeny Daily в Scoop.it http://www.scoop.it/t/opengovdaily - это похожий проект на базе сервиса куда можно отправлять ссылки и сайты из разных источников и автоматически собираемые. Я забросил его с июня месяца, но периодически проверяю рекомендуемые сервисом новости.

3. Там же в Scoop.it у меня есть множество подписок на темы про данные и открытые данные http://www.scoop.it/u/ivan-begtin/followed-topics и там множество сервисов на которые можно подписаться за новостями.

4. Аналогично через сервис Nuzzel http://nuzzel.com/ibegtin практически все на кого я подписан в Twitter занимаются открытыми данными и доступны через этот сервис. Похоже на Paper.li

Это не полный список, но это наиболее автоматизированные сервисы. Ну а про открытые данные на русском языке - можно подписаться на мой канал в Telegram - http://telegram.me/begtin

(вопросы можно задавать мне через чат к этому каналу в Telegram https://telegram.me/begtinchat)

#opendata #opengov
September 27, 2016
Дата-журналистика популярная тема в современных медиа стартапах, но с ней вполне успешно конкурирует краудсорсинг и все формы его использования.

Относительно недавний, вот уже 2-х летний стартап Fresco News [1] сводит вместе медиа которые ищут видео и фото событий и людей с камерами которые рядом с этими событиями. И платят тем кто предоставит им свой контент.

Идея, безусловно, не нова. И тот же LifeCorr [2], приложение российского издания Life имеет куда больший охват, однако в случае Fresco News интересен подход платформы как посредника между изданиями и поставщиками медиа в лице неограниченного числа лиц. Это заодно и решает проблему заимствования материалов из социальных сетей.

Из других интересных медиа-стартапов я бы выделил:
- Scoop Analytics [3] - выявление новостей из соц сетей до того как они станут новостями
- Typewriter Plus [4] - редактора для ваших текстов по запросу онлайн
- FOIA Mapper [5] - сервис и база запросов к органам власти в США для работы журналистов

Ссылки:
[1] https://fresconews.com/
[2] https://play.google.com/store/apps/details?id=com.babo.lifefun
[3] https://www.scoopanalytics.com/
[4] https://www.typewriter.plus/
[5] https://foiamapper.com

#opengov #datajournalism #journalism
September 29, 2016
Чем отличаются открытые данные в России от открытых данных в США? Тем что в США - это госполитика на уровне Белого дома и Администрация Президента организует Data Innovation Summit [1] определяя его повестку, а в саму тему пришло немало бизнесов и консультантов которые напрямую и через Data Foundation [2] поддерживают инициативы. Хороша ли такая зрелость для темы открытых данных? Как знать, но нам до неё ещё точно далеко.

Ссылки:
[1] http://www.data.gov/event/white-house-open-data-innovation-summit/
[2] http://www.datafoundation.org/supporters/

#opendata #opengov
September 29, 2016
Я всё думал и думал и я всё таки это напишу. Проблема во всей этой гиперактивной "архаизации" общественных отношений не столько социальная, сколько экономическая.

Ну, например, идея гетеросексуальной классической семьи индустриальной эпохи - это очень привлекательный образ, романтизированный не одним поколением писателей, художников, авторов пьес и не только.

Возврат к "классическим» общественным ценностям для многих, очень многих может казаться приятной ностальгией. Также как мы сейчас романтизируем индустриальную эпоху 18-19 века, также как романтизируется все более ранние века.

Вот только проблема в том что мир меняется, меняется стремительно и на скорость этих изменений мы не можем повлиять. В центре этих изменений, и новые технологии, и изменения в социальном укладе, и глобализация знаний, людей и возможностей. При всём, даже очень большом желании, мы не можем переселиться на какую-нибудь удалённую планету или параллельный необитаемый мир и основать там своё православно-аграрно-монархическое государство. При всей привлекательности самой возможности такого события.

Цена каждой новой попытки де-либерализации общества, ограничения свободы выбора - в ущербе для экономики. Запрет абортов? Беларусь к этому уже готова, достаточно просто заключить договор и иметь при себе нужную сумму денег. [1].
Запрет порнографии? Порнография двигала индустрии вперёд ещё до интернета, а уж профинансировать массовые сервисы анонимайзеров порнографы не поленятся. Но, конечно, все деньги останутся вне России.

Что бы ни было дальше - закончится это просто, деньги будут уходить из страны. И как бы кому не не нравилась порнография или факт совершения абортов - запреты срабатывают хуже.
Наша, российская, относительно возможная технологическая конкурентноспособность разбивается о совершенную неадаптированность к современным реалиям.

Хотите знать что нам реально нужно? Нам нужны не «Территории опережающего развития» [2], а «Территории опережающего либерализма». С максимально возможной либерализацией всего что только возможно - абортов, гей-браков, казино, проституцию, экспериментов над людьми (по их доброй воле), свободное владением оружием, применением ряда "лекарств" в медицинских целях и так далее. Пополняйте этот список. Но всё, конечно, под чутким, но не репрессивным государственным оком.

Почему? Потому что вы даже не представляете сколько людей будут готовы пожертвовать политическими свободами, ради свобод экономических и социальных. Свобода стала товаром более ценным чем многое другое. Свободы нехватает не только в России, но и в странах которые мы уже не хотим брать в пример. И путь свободы - это не путь анархии, это путь осознания того что возможно нам скоро будет нечего предложить миру кроме неё.

Ссылки:
[1] http://www.kp.by/daily/26586.5/3602216/

[2] https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%80%D1%80%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D1%8F_%D0%BE%D0%BF%D0%B5%D1%80%D0%B5%D0%B6%D0%B0%D1%8E%D1%89%D0%B5%D0%B3%D0%BE_%D1%80%D0%B0%D0%B7%D0%B2%D0%B8%D1%82%D0%B8%D1%8F
September 29, 2016
Федеральные власти заговорили и всё чаще поднимают вопрос о государственно-частном партнёрстве в эксплуатации государственных информационных систем [1]. К сожалению, эта история может оказатья для многих из нас очень нежелательной в случае её неуправляемого развития. Основной способ монетизации - это использование данных и тем самым крайне высока вероятность потерять открытые данные и получить историю с сильными ограничениями к доступу к информации для потребителей данных.

Пример похожей проблемы - приватизация Ordnance Survey в Великобритании [2]. С самого начала приватизации общественные активисты выступали против неё, главная проблема - это то что данные собираемые Ordnance Survey переставали быть общественным достоянием.

Ссылки:
[1] http://www.vedomosti.ru/technology/articles/2016/09/30/659086-gosudarstvennii-soft-kontsessii
[2] https://weownit.org.uk/evidence/why-ordnance-survey-should-stay-public

#opendata #opengov
September 30, 2016
October 1, 2016
Исследовательская НКО GrantCraft [1] в партнёрстве с The GovLab [2] выпустили исследование «Innovation in Open Grantmaking» [3]. Исследование полностью посвящено открытости процессов распределения грантов правительством США.

В отчёте раскрыты вопросы необходимости раскрытия грантовой информации в форматах открытых данных, поощрение открытости результатов научных и исследовательских грантов.

Для справки: Ежегодно правительство США распределяет грантами до 4.1 триллиона долларов. Эти гранты распределяются между штатами, графствами, ведомствами, коммерческими организациями и физ. лицами. Информация о них собрана на специальном портале [4].

Чем отличается грантовая политика США от России? То что в США распределяется грантами, в России распределяется субсидиями. Лишь малая часть из российских субсидий имеет за собой конкурентную историю с распределением средств. Достаточно беглого анализа расходов по субсидиям на специальном портале Минфина [4] и можно увидеть что практически все основные бюджетными средства распределяются решениями Правительства или иными нормативными документами завязанными, опять же, на Правительство.

Это и есть то что называется «ручным управлением» в государстве и в первую очередь оно отражается на государственных финансах.

Ссылки:
[1] http://www.grantcraft.org/
[2] http://thegovlab.org
[3] http://www.grantcraft.org/guides/innovations-in-open-grantmaking
[4] http://grants.gov
[5] http://rs.budget.gov.ru

#opendata #opengov #grants #openfinances
October 4, 2016