Ivan Begtin
9.13K subscribers
2.04K photos
3 videos
102 files
4.78K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
加入频道
Forwarded from Anton
Не знаю интересно ли это, но вот по поводу последнего поста в канале, о геномных данных в России и мире, хотелось бы добавить, что есть более ли менее рабочий проект, который жив на данный момент, на сколько мне известно.
http://genomerussia.spbu.ru/?lang=en
А еще пример использования геномных данных при проведении расследования в России есть - это раследование проведеное после теркта в Домодедово, что то написано про это вот тут
http://vigg.ru/fileadmin/user_upload/Yankosvky_DNAid.pdf
Поскольку хотя бы раз в неделю я пишу о нашем некоммерческом проекте Национального цифрового архива, то пора выделить это в отдельное направление/сообщество Facebook'е

По адресу - https://facebook.com/ruarxive теперь страница проекта, а по адресу https://www.facebook.com/groups/403186046816539/ группа для дискуссии.

Актуальные новости, скриншоты сохранённого, важность архивации и тд, будут публиковаться на странице. В группе будут обсуждения того как, что, какими инструментами надо обеспечивать цифровую архивацию в России.

В отличие от многих других проектов НП "Информационная культура" этот мы пока делаем без какой-то внешней поддержки и финансирования. Поиск спонсоров и организаций готовых его поддержать идёт параллельно и пока никак не препятствует развитию самого проекта.

Если Вам нужно что-либо заархивировать то пишите и этот сайт будет сохранён

#digitalpreservation
В блоге Financial Times статья о протекционизме данных [1] о том насколько во многих странах существует множество ограничений на трансграничную передачу и хранение данных за пределами границ стран.

Лидирует Китай принуждающий международные корпорации в обязательном порядке локализовать данные о их бизнесе в Китае (финансы, бухучёт, персональные данные и тд), но похожие правила есть не только в Китае, но и в России, Индонезии, Вьетнаме и многих других странах.

И, конечно, упоминается вступающий с 25 мая в силу GDPR который также накладывает ограничения на потоки данных связанные с бизнесом в Евросоюзе.

Это важная тема и, зная склонность российских законодателей к импортозамещению, лучше готовиться к усилению местного российского законодательства ограничивающего хранение данных за пределами России по самым разным темам и областям. Это может затронуть и Интернет-вещей, и CRM системы и многое другое,

Ссылки:
[1] https://medium.com/financial-times/data-protectionism-the-growing-menace-to-global-business-f994da37e9e2

#data #datarestrictions
Состояние ограничений на трансграничную передачу данных на апрель 2017 года (без учёта GDPR)
Вдогонку к публикации к FT, иллюстрация которую они использовали из доклада ITIF [1] "Cross-Border Data Flows: Where Are the Barriers, and What Do They Cost? " о сетевой нейтральности и региональных запретах. Там неплохой (хотя и неполный) обзор существующих ограничений. Полезный для понимания того что ограничения в России возникают на фоне аналогичных или худших ограничений в других странах. Такими темпами стран с относительной свободой работы с данными останется вскоре совсем немного.

Ссылки:
[1] http://www2.itif.org/2017-cross-border-data-flows.pdf
Министерству цифрового развития, связи и массовых коммуникаций Российской Федерации (К.Ю.Носкову), Минэкономразвития России (М.С.Орешкину), Минвостокразвития России (А.А.Козлову), Минкавказу России (С.В.Чеботареву) подготовить в соответствии со сферами ведения совместно с Минэкономразвития России и Минфином России и представить в Правительство Российской Федерации предложения по направлению «цифровая экономика», содержащие:

- динамику значений целевых показателей по годам;
- уточнение перечня задач, обеспечивающих достижение целей и целевых показателей;
- определение промежуточных и конечных контрольных точек («вех»), обеспечивающих выполнение задач;
- определение источников и параметров финансирования с учетом разграничения полномочий между различными уровнями власти в Российской Федерации и их финансирования из средств бюджетов различного уровня;
- разработку обеспеченных финансовыми ресурсами 3-летних детальных планов мероприятий, обеспечивающих достижение контрольных точек («вех»);
- определение ответственности за реализацию национальных проектов (программ), в том числе на уровне руководства федеральных органов исполнительной власти, с учетом формирования необходимой нормативной и методической базы, за разработку (корректировку) и реализацию национальных проектов (программ) на уровне руководства федеральных органов исполнительной власти.

Срок - до 29 июня 2018 года.
Обеспечить совместно с федеральным проектным офисом, Минэкономразвития России, Минфином России с участием Минвостокразвития России, Минкавказа России, органов государственной власти субъектов Российской Федерации разработку соответствующих национальных проектов (программ) и планов мероприятий по их реализации и представить в Правительство Российской Федерации:
- проекты соответствующих национальных проектов (программ) - до 15 августа 2018 года;
- проекты планов мероприятий по их реализации - до 1 октября 2018 года.
Поручение Министерству цифрового развития, связи и массовых коммуникаций, направленное на обеспечение реализации Указа Президента России «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года»
http://government.ru/dep_news/32641/
Яндекс опубликовал статистику запросов о Пушкине [1] за что им спасибо, но совсем не спасибо за то что Яндекс категорически отказывается публиковать данные даже в тех вопросах которые не затрагивают его бизнес интересы.

Вместо этого куча маленьких xlsx файлов.
Это проблема со многими если не совсем информационными бизнесами основанными на данных. Невосприятие необходимости их публикации как механизма репутации.

По этой причине тот же Google даёт скачивать данные их Transparency Report [2] в CSV, а Яндекс не публикует даже гораздо менее "чувствительные" данные.

Ссылки:
[1] https://mediafeeds.yandex.ru/specprojects
[2] https://transparencyreport.google.com/government-removals/overview

#opendata
Китайские исследователи обнаружили способ управления голосовыми помощниками с помощью ультразвуковых команд [1].

Называется это DolphineAttack и довольно несложно в реализации.

Из прекрасного в статье "... He wrote one of the first papers on audio attacks, which he titled “Cocaine Noodles” because devices interpreted the phrase “cocaine noodles” as “O.K., Google.”

Всячески рекомендую к прочтению _до_ покупки систем аудиопомощников.

Ссылки:
[1] https://www.nytimes.com/2018/05/10/technology/alexa-siri-hidden-command-audio-attacks.html

#privacy #security
Написал насколько смог краткий текст о том почему "Открытое правительство" стало тем чем оно стало https://begtin.tech/failed-gov/
Kepler.gl - проект Uber по созданию красивых карт [1]. Выглядит очень хорошо и демо вроде карты передвижения такси в Нью Йорке [2], карты высот Сан-Франциско [3], карты населения Нью-Йорка [4], все они наглядны и показательны.

Причём это не сервис, а проект с открытым исходным кодом [5], требует Node v6 и выше и может использоваться в любом открытом или закрытом проекте для визуализаций.

Внутри там находится deck.gl [6], библиотека по визуализации, также от Uber и основанная на активном использовании GPU.

Ссылки:
[1] https://uber.github.io/kepler.gl/#/
[2] https://uber.github.io/kepler.gl/#/demo/nyctrips
[3] https://uber.github.io/kepler.gl/#/demo/sfcontour
[4] https://uber.github.io/kepler.gl/#/demo/nyc_census
[5] https://github.com/uber/kepler.gl
[6] http://uber.github.io/deck.gl/#/

#datavis

[6] http://uber.github.io/deck.gl/#/
В блоге Steve Song [1] основателя африканского Village Telco [2], стартапа по созданию дешёвых mesh сетей Wi-FI, появился подробный текст про Open Telecom Data [3].

Он поднимает важный вопрос общественной ценности телекоммуникационной инфраструктуры и необходимости открытости данных о ней, включая данные о каналах связи, подводных каналах, наземных оптических кабелях и спектра радиочастот.

Тема актуальная и в её контексте хочу напомнить про многие проекты в этой области.
Это:
- OpenCellID [4] - крупнейшая в мире база башен сотовой связи
- AfterFibre [5] - карта африканских наземных и подводных кабелей
- данные о распределении радиочастот в канаде (открытые данные) [6]
- RadioCells [7] ещё одна пользовательская карта башен сотовой связи, особенно детально охватывает Германию
- Open Telecom Data на github [8] и прототип визуализации [9]
- данные Telecom Italia 2014 года [10] для конкурса на больших данных

Всё это неполный список инициатив связанных с телекоммуникационной инфраструктурой. В России тоже можно найти немало телекоммуникационных данных, однако общественных проектов в этой области пока маловато.

Ссылки:
[1] https://manypossibilities.net
[2] https://villagetelco.org/
[3] https://manypossibilities.net/2018/05/open-telecom-data-moving-forward/
[4] https://www.opencellid.org
[5] https://afterfibre.nsrc.org/
[6] http://sms-sgs.ic.gc.ca/eic/site/sms-sgs-prod.nsf/eng/h_00010.html
[7] https://www.radiocells.org/
[8] https://github.com/stevesong/open-telecom-data
[9] https://opentelecomdata.org/spectrum-chart/
[10] https://dandelion.eu/datamine/open-big-data/

#opendata #opentelecom
Искусство красиво рассказывать о провалившихся проектов - это особый художественный жанр который можно ощутить читая документ о проекте городского портала обмена данными Копенгагена. В документе "City Data Exchange - Lessons Learned from a public/private data collaboration" [1] в 13 страницах подробно излагаются причины неудачи и дальнейшее будущее этого проекта.

Ссылки:
[1] https://cphsolutionslab.dk/content/2-what-we-do/3-data-platforms/3-city-data-exchange/1-learnings-from-the-city-data-exchange-project/city-data-exchange-cde-lessons-learned-from-a-public-private-data-collaboration.pdf?1527149474

#opendata
Для тех кто интересуется какие данные организации ООН и организации работающие с ООН публикуют в открытом доступе, они публикуют их на портале Humanitarian Data Exchange и там есть раздел по России [1]

Ссылки:
[1] https://data.humdata.org/search?groups=rus&q=&ext_page_size=25

#opendata
Пока в России блокируют Телеграм, в Казахстане Телеграм бот оказывает Госуслуги [1]

За неделю со дня запуска услуг через Telegram-бот [2], на @EgovKzBot подписалиcь 2135 человек.
Общее количество запросов составило - 3222.

Ссылки:
[1] http://egov.kz/cms/ru/news/Teper-Telegram-bot-okazyvaet-uslugi-na-kazahskom-yazyke
[2] https://yangx.top/EgovKzBot

#privacy
Сейчас мы в Инфокультуре проводим опрос/сбор/исследование всех небольших технологических проектов ориентированный на общественное благо и социальный эффект. Это когда пользу принести хочется другим, а сам проект может быть и не про заработок. Очень много их возникло в результате конкурсов и хакатонов за последние годы, а также самостоятельно. Если Вы такие знаете - поделитесь ими с нами: https://docs.google.com/forms/d/e/1FAIpQLSfCu4nzHg8m5zhRpYVK1UO5XC08DTkLJHG3pDE-5yYU3Yw-lQ/viewform

Цель сбора их не секретна - мы опубликуем обзор подобных проектов ищем тех кто может рассказывать о своём опыте и в далёком дне открытом данных через год и в других мероприятиях этого года

Результаты опроса мы опубликуем обязательно

#opendata #openprojects