Ivan Begtin
9.13K subscribers
2.04K photos
3 videos
102 files
4.77K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
加入频道
Полиции Нидерландов удалось взломать IronChat [1], приложение когда-то разрекламированное Эдвардом Сноуденом как безопасное для переписки [2]. Причём полиция ещё и отключила сервер IronChat (или так совпало что он внезапно ушёл в оффлайн) [3] и сумели расшифровать 258 тысяч сообщений между преступниками.

Всё это о том что если что-то невозможно расшифровать сейчас, то это не означает что нельзя будет расшифровать в будущем и всё то что накапливается сейчас у провайдеров по закону Яровой может быть рано или поздно расшифровано.

Ссылки:
[1] https://ru.wikinews.org/w/index.php?curid=192631
[2] https://web.archive.org/web/20180825222626/http://blackbox-security.com/index_new.php
[3] https://www.politie.nl/en/news/2018/november/02-apeldoorn-police-have-achieved-a-breakthrough-in-the-interception-and-decryption-of-crypto-communication.html

#privacy
Ожидаемая история про закон о больших данных [1], его похоже что раскритикова ли все включая Роскомнадзор. Но все мы уже пуганые и были уже законопроекты которые проходили все три чтения за несколько дней, поэтому "бить в набат" надо сразу да и чует моё сердце, это ещё не конец истории.

Ссылки:
[1] https://www.kommersant.ru/doc/3793839

#data
Что читать про открытость государства, открытые данные, рынок данных и другие темы о которых я пишу у себя на канале?

Вот лишь несколько источников которые я читаю регулярно:
- The GovLab Digest http://thegovlab.org/govlab-digest/ - регулярный дайджест новостей об открытых данных, открытости государства и краудсорсинге. Хороший подбор ссылок на публикации, в том числе научные по этой теме
- Data Elixir https://dataelixir.com/ - большая рассылку по data science, много новостей о инструментах работы с данными
- Towards Data Science https://towardsdatascience.com/ - регулярные новости мира data science, с акцентом на практические вопросы
- Блог Open Data Institute https://theodi.org/knowledge-opinion/blog/ и их рассылка https://theodi.org/knowledge-opinion/the-week-in-data/ - о разных аспектах открытых данных


#opendata #data #opengov
Что делать когда Ваш начальник алгоритм? / When Your Boss Is an Algorithm ?
Эта свежая статья в New York Times [1] от Алекса Розенблата посвящена тому как Uber манипулирует водителями, а сам автор статьи является также автором книги Uberland: How Algorithms Are Rewriting the Rules of Work. которая гораздо подробнее рассказывает о том же.

Автор провел интервью со 125 водителями Uber и много времени провёл на форумах и группах обсуждения водителей в Uber и пишет очень важные вещи о внутреннем устройстве Uber-экономики.

Вот лишь несколько важнейших тезисов для понимания:
1. Uber активно использует схему upfront pricing когда показывает водителям и пассажирам разные цены чтобы больше маржи оставлять себе. Это касается всех ценовых манипуляций для пассажиров и важное тут в том что водители просто не в курсе этих манипуляций.
2. Пока мы только обсуждаем китайскую модель социальных рейтингов - для водителей в Uber она уже работает по полной. Рейтинг из 5 звёзд очень условен потому что водителей "деактивируют" после падения рейтинга менее 4.5. Это резко поменяло рынок превратив из рынка продавца в рынок клиента (и посредника - Uber) в результате водители оказались вынуждены терпеть отвратительное поведение пассажиров из-за страха потерять в рейтинге.
3. Итоговый вывод из статьи и книги - неутешителен. Хотим мы этого или нет, а алгоритмы манипулируют нами. И если для таких сервисов как Uber и его аналогов мире такси - этому есть не только противники, но и сторонники для которых рынок меняется от рынка продавца к рынку покупателя. То для других областей применения алгоритмов, например, для мониторинга KPI сотрудников, для областей строительства, производства и др., алгоритмические боссы способны заменить средний менеджемент.

Всё это важно не только для государства как регулятора и НКО сфокусированных на этике алгоритмов, но и для самого бизнеса который если не найдёт способ саморегулирования в этой области, то может столкнуться с сильным общественным и регуляторным противодействием.

Ссылки:
[1] https://www.nytimes.com/2018/10/12/opinion/sunday/uber-driver-life.html

#privacy #data
Для тех кто читает мой канал в поисках новостей о цифровой трансформации рекомендую канал @digitaltransit где близкая к тому о чём я пишу тематика и, если я пишу часто очень субъективно, то в этом канале всё куда более обезличено.
This media is not supported in your browser
VIEW IN TELEGRAM
Вчера портал открытых данных Цюриха опубликовал 50 тысяч 3D-моделей зданий города bit.ly/2PTdQ9r
Вышло свежее исследование НИУ ВШЭ (Институт статистических исследований и экономики знаний) по ИКТ сектору [1]

Из важного:

В России производство ИКТ формирует лишь 0,3% ВВП.

Наиболее весома доля производства ИКТ в ВДС предпринимательского сектора в Республике Корея (7,2%), Швеции, Финляндии, Венгрии, Японии, США (1,6–2,4%). Российский уровень (0,4%) немного превышает показатели Канады, Латвии, Бельгии, Испании (0,3%).

В последние годы объем производства отечественной ИКТ-промышленности устойчиво снижается. В 2017 г. падение по сравнению с 2016 г. составило 8%. Отрицательную динамику определили организации, осуществляющие производство коммуникационного оборудования (82% к уровню 2016 г.), бытовой электроники (87%) и технических носителей информации (90%). При этом объем продаж собственной продукции организаций, осуществляющих производство компьютеров и периферийного оборудования, вырос на 18%, производство элементов электронной аппаратуры и печатных схем (плат) — на 5%.

В товарной структуре производства ИКТ преобладают коммуникационное оборудование (43,1% отгруженной продукции собственного производства), а также компоненты, части ИКТ-товаров — интегральные схемы, диоды и транзисторы, печатные платы и другие элементы (27,8%). Десятая часть реализованной продукции — компьютеры и периферийное оборудование. Занимаются организации ИКТ-промышленности также оказанием ИТ-услуг — их доля составила немногим более 2%.

UPD. Как правильно уточняют коллеги, это цифры не про всё ИКТ, а про его производственную часть. Что не меняет незначительность его производственной части в любом случае

Ссылки:
[1] https://issek.hse.ru/news/227732702.html

#it
Пока другие органы власти ищут разного рода специалистов и говорят про цифровую экономику, коллеги из Счетной палаты ищут крутых дата-инженеров в свою команду в ФКУ ЦЭАИТ СП.

4 вакансии на Headhunter'е и все про данные и про разработку на данных:
- https://hh.ru/vacancy/28816458
- https://hh.ru/vacancy/28816087
- https://hh.ru/vacancy/28812187
- https://hh.ru/vacancy/28811935

Хорошо ли это? Безусловно. In-house команды нужны любой крупной организации работающей с данными. Даже если часть работы аутсорсится внешним командам.

#data #jobs
📈Ого! Вконтакте разрешил скачивать пользователям свои личные данные в машиночитаемом виде. В датасете есть все: история посещений, фотографии, видео и твоя переписка с одноклассницей в 2008 году. Запросить данные: https://vk.com/data_protection?section=rules#archive
Свежее европейское исследование по зрелости работы с открытыми данными Open Data Maturity in Europe. Report 2018 [1].
Разбирают много аспектов включая:
- правовую неопределенность публикуемых данных
- практику взимания платы за доступ к данным
- использование API
и многое другое.

Исследование очень обстоятельное, с большим числом примеров. Поэтому его очень рекомендую.
Ссылки:
[1] https://www.europeandataportal.eu/sites/default/files/edp_landscaping_insight_report_n4_2018.pdf

#opendata
о правовой неопределённости данных
Как устроено и может быть устроено управление данными в других странах? Как устроена их госполитика? Рассмотрим пример Австралии.

В мае 2017 года австралийская Productivity Comission выпустила отчёт "О доступности и использовании данных", Data Availability and Use [1] [2]. В котором очень подробно проанализировала текущее состояние государственных, частных, открытых, научных и иных видов данных. В итоговом отчёте, который также был направлен в Правительство Австралии, были приведены рекомендации по изменению госполитики и формированию новой экосистемы данных на государственном уровне.

В ответ на это исследование австралийское правительство опубликовало официальный ответ на эти рекомендации. Он так и называется "The Australian Government’s response to the Productivity Commission Data Availability and Use Inquiry" [3] в котором взяло на себя обязательства по исполнению многих из рекомендаций.

Рассмотрим лишь некоторые важные части этих предложений и их исполнения
1. Право потребителя на его данные (The Consumer Data Right)
Заключается в принятии закона позволяющего гражданина запросить любые его данные из государственных и коммерческих информационных систем.

2. Управление национальной системой данных (Governing the national data system)
Правительство создало должность National Data Comissioner, создало совет по национальным данным и возложило на статистическое бюро Австралии осуществлять тех поддержку комиссионера и совета

3. Аккредитованные операторы данных (Accredited Data Authorities )
Организации выступающие в роли хабов собирающих с одной стороны доверенных пользователей, а с другой владельцев данных. С 2009 года эти организации аккредитуются австралийской стат службой.

4. Особо значимые наборы данных (Designated Datasets—a special class of high-value datasets)
Это наборы данных имеющих особое социальное значение в рамках национальных интересов.

А также многое другое. Но всё построено вокруг нескольких ключевых тем: защита прав потребителей граждан, открытые данные, работа с доверенными потребителями.


Ссылки:
[1] https://www.pc.gov.au/inquiries/completed/data-access/report
[2] https://www.pc.gov.au/inquiries/completed/data-access/report/data-access.pdf
[3] http://dataavailability.pmc.gov.au/sites/default/files/govt-response-pc-dau-inquiry.pdf
Упомянутый мной ранее австралийский доклад Data Availability and Use [1] обошёлся австралийским налогоплательщикам в 1,37 миллиона австралийских долларов, в рублях это 66,3 миллиона рублей.

Увидим ли мы что-то сравнимое от Аналитического центра по итогам разработки НСУДа в конце этого года?
Будет ли вообще что-либо кроме презентации?

Ссылки:
[1] https://www.pc.gov.au/inquiries/completed/data-access/report/data-access.pdf

#data
В США несколько федеральных органов власти совместно запустили разработку федеральной стратегии данных (Federal Data Strategy). Её разработка - это часть повестки Президента по управлению.
Эта повестка состоит из 3-х направлений:

- Современные ИТ технологии (Modern information technology (IT))
- Данные, подотчетность и прозрачность (Data, accountability, and transparency)
- Современная рабочая сила (A modern workforce)

Подробнее о федеральной стратегии данных в США у меня в блоге [1].

Ссылки:
[1] https://begtin.tech/usa-federal-data-strategy/

#data #datastrategy #opendata
Китайские социальные рейтинги - это гораздо более гуманная модель манипуляции людьми чем российские "чёрные списки". Вот хотя бы в свежем Коммерсанте о черных списках учителей в Москве [1].

Кстати вот Вам моё предсказание на 2019 год. До конца 2019 года появится хотя бы одна более-менее публичная и проработанная инициатива по социальным рейтингам в России которая будет преподносится как гуманистическая. Заменяющая один или несколько запретительных механизмов в России.

Ссылки:
[1] https://www.kommersant.ru/doc/3814596

#socialratings #blacklists
Вышел отчёт Счётной палаты о реализации 365-го постановления Правительства «О координации мероприятий по использованию информа-ционно-коммуникационных технологий в деятельности государственных органов» при реализации расходов на информационно-коммуникационные технологии в рамках планов информатизации на 2018 год и плановый период 2019 и 2020 годов и при составлении проектов планов информатизации на 2019 год и плановый период 2020 и 2021 годов»

Чуть позже напишу свои комментарии с подробностями, пока же рекомендую его прочитать всем кто интересуется информатизацией в России [1]

Ссылки:
[1] http://audit.gov.ru/activities/bulleten/933/35235/

#it #govit
Второй обзор национальных стратегий в работе с данными на примере Австралии и штата Виктория [1]
Здесь не только то что я ранее писал об Австралийском опыте на уровне страны, но и на примере штата Виктория стратегия работы с данными региона.

Ссылки:
[1] https://begtin.tech/aus-data-reform/

#data #datastrategy #reform
Государственной стратегией в работе с данными в Индии можно назвать принятое в 2012 году NDSAP, National Data Sharing and Accessibility Policy [1].

В котором были сформулированы такие как:
- четкое разграничение госданных на 3 типа: открытые данные (open access), данные регламентированного доступа (registered access) с чётко описанными условиями доступа и данными органиченного доступа (restricted access) доступными только по специальному разрешению
- право органов власти взимать плату за данные при условии четко описанных, общедоступных условий оплаты
- создание индийского портала данных data.gov.in [2]

Пожалуй наиболее заметным результатом принятия NDSAP является портал data.gov.in где сейчас собраны сотни тысяч наборов данных, более 7 тысяч API и контакты более 200 Chief Data Officers.

Также в Индии создан реестр мастер данных, под которыми они понимают базовые справочники, такие как справочники министерств и территорий vocab.nic.in [3]

Особенность именно Индии в наличии CDO, Chief Data Officers, в каждом органе власте и их общедоступный каталог с контактами [4]. В функции CDO, в том числе, входит загрузка данных на data.gov.in. Портал является краеугольным камнем госактивностей в Индии по теме данных.

Ссылки:
[1] https://data.gov.in/sites/default/files/NDSAP.pdf
[2] https://data.gov.in/
[3] http://vocab.nic.in
[4] https://data.gov.in/datacontrollers

оригинал обзора в блоге https://begtin.tech/india-data-policy/
#data #datastrategy
Лет 6 назад проекты государственных жалобных книг вроде gorod.mos.ru и gorod.gov.spb.ru - были сильной новацией в России и таких проектов было очень мало в мире. Сейчас всё стремительно меняется и, например, Южноафриканский стартап GovChat [1] даёт возможность оставить жалобу/обращение к чиновникам через мобильное приложение.

Оно построено поверх мессенжера WhatsUp и работает преимущественно в модели чата.

Приложение создано Южноафриканским правительством совместно с Open Government Partnership в виде специализированного Ltd.

Они, конечно, не единственные в мире кто такое делает. Из коммерческих вендоров можно отметить SeeClickFix [2]
и CitySourced [3] которые создают 311 apps, приложения заменяющие звонки на номер 311, обслуживающий такие запросы от жителей в США. В основном они продают это отдельным городам и мало где есть внедрение на уровне страны.

Ссылки:
[1] https://govchat.org/
[2] https://en.seeclickfix.com/
[3] https://www.citysourced.com/

#citizenengagement
Для справки, на сайте Минэкономразвития раздел "Открытые данные" пропал с главной страницы, а если его всё таки поискать и найти по адресу http://economy.gov.ru/opendata то обнаружится что данные там не обновлялись где-то по 2 года, а где-то и сразу по 4, с 2014 года.

Хотя именно Минэкономразвития до сих пор формально отвечает за тему открытых данных в России в государстве и за портал data.gov.ru

#opendata