Amazon получили на 800% больше запросов от государств на раскрытие данных пользователей за 2-й кварта 2020 года [1] в безусловных лидерах запрашивающих Германия - власти страны сделали 42% всех запросов. И тут важно помнить что Amazon - это давно уже не только интернет-магазин, это огромное количество продуктов интернета-вещей собирающих данные в централизованное хранилище компании: Echo, Fire и Ring примеры таких устройств.

В каком-то смысле это неизбежное событие, но в каком-то и пугающее потому что полной и достоверной картины то какие данные собирают эти устройства и какие дополнительные знания собираются из собранного / как данные обогащаются - мы просто не знаем.

Ссылки:
[1] https://techcrunch.com/2021/02/01/amazon-government-demands-spiked/

#amazon #privacy

РБК пишут [1] что Минцифры России разрабатывают законопроект который позволит правоохранительным органам получать данные о координатах абонентов сотовой связи без судебного решения.

Многие уже написали и прокомментировали, я добавлю то о чём, по моему, ещё никто не написал:
1. Самое главное - отказ от необходимости получения решения суда меняет статус режима доступа к информации и открывает возможность к её потоковой машинной обработке об условно неограниченном числе людей. Вернее ограниченно лишь в части стоимости инфраструктуры и её готовности к такому режиму работы. Появляется возможность создавать панели мониторинга тысяч людей в реальном времени, отслеживать и устанавливать уведомления при их появлении в определенных местах или нахождении совместно и так далее.
2. Правоохранительные органы не только разыскивают других людей, и не только следят за относительно небольшим числом оппозиционеров и митингующих, сбор данных без решения суда позволит следить за сотрудниками госорганов, предпринимателями и тд. Иначе говоря получать информацию которую потом они же, правоохранители, могут эффективно "монетизировать".
3. Нерегулируемый доступ МВД к этим данным может создать черный рынок пробива по конкретным лицам, в первую очередь, в рамках тех же журналистских расследований. Примеры этого уже были когда журналисты имеют возможность "пробить сведения" о сотрудниках спецслужб, самих правоохранителях, чиновниках и олигархах. Но даже если предположить что доступ журналистов к этим сведениям - это не так плохо для общества, этот же доступ будет у преступников, мошенников, иных групп людей с далеко не благими намерениями.


Ссылки:
[1] https://www.rbc.ru/technology_and_media/03/02/2021/601ad28e9a7947bef8ef1f2b?from=newsfeed

#privacy

Вдогонку к предыдущей публикации о том что Минцифра меняет закон о тайне связи для обеспечения доступа к данных о местонахождении абонента, всегда найдутся те кто скажет "А как людей спасать? Как же главный аргумент про пропавших людей?" и мне есть об этом рассказать.

Российское регулирование, как хорошее, так и всё чаще плохое, имеет одну кардинально неприятную черту - отсутствие диалога и непомерная скорость его введения. Любое профессиональное регулирование решает некую общественную проблему, на эту тему я недавно давал ссылку на курс Solving Public Problems [1] и есть книги, исследования, публикации и много международной практики. Оно начинается с определения проблемы. Вот есть проблема - пропадают люди в стране, предположим есть граждане и НКО которые об этом пишут. Что необходимо сделать чтобы её решить?
1. Понять масштабы и природу явления. Как люди пропадают? Где? В каких ситуациях? Как это выясняют? Какими способами их находят и как ищут? Понимание масштаба и природы идет или через исследования, или через дискуссии и разговоры с теми кто делает это каждый день, или через это всё и иные формы формирования знаний.
2. Когда проблема идентифицирована ищутся решения. Каждое из них должно пройти оценку по множеству критериев: насколько оно эффективно, сколько оно стоит, каковы шансы/возможность на достижение результата, как это меняет и в какую сторону сложившуюся ситуацию, наносит ли это решение вред и если да то не превосходит ли этот вред достигаемый результат.
3. Навскидку я бы назвал несколько решений которые никогда даже не озвучивались:
- Можно было бы сделать так чтобы сотовые операторы отдавали без суда данные только тех граждан кто дал на это явное согласие. Мы знаем что есть люди верящие государству, они могут явным образом указать это в своем личном кабинете сотового оператора или в его мобильном приложении
- Можно было бы сделать то же самое как госуслугу на портале госуслуг. Тем более что госуслуги для Минцифры родной проект
- Можно было бы разработать специальное государственное приложение которое _добровольно_ и только добровольно могли бы поставить себе граждане опасающиеся что они пропадут или родители детей которые могут пропасть
- Можно было выдать субсидии отечественным ИТ компаниям которые бы разработали спектр таких приложений и существовали бы в конкурентной среде, заодно стало бы понятно насколько это надо самим гражданами
- Можно было бы выдать гранты НКО специализирующихся на поиске людей на разработку их приложений для помощи пропавшим без вести
4. Этот список не исчерпывающий и будь такая публичная дискуссия или проработка решения подобной проблемы - у неё нашлось бы эффективное и обоснованное решение. И я очень сомневаюсь что этим решением было бы предоставить силовым органам доступ к данным о геолокации неограниченного числа граждан без решения суда и в любое время.

Поэтому прежде чем декларировать решение социальных проблем через регуляторные изменения надо убедиться что эти изменения нацелены на их решение, а не прикрываются социальными проблемами которые, на самом деле, не решают.


Ссылки:
[1] https://course.solvingpublicproblems.org/

#regulation

Data Journalism Handbook [1] книга о журналистике данных за авторством Liliana Bounegru и Jonathan Gray выйдет в конце марта 2021 года, а пока доступна для предзаказа.

Значительная её часть и ранее была доступна онлайн [2] на DataJournalism.com вместе с другими курсами и руководствами созданными в European Journalism Centre при поддержке Google News Initiative

Ссылки:
[1] https://www.aup.nl/en/book/9789462989511/the-data-journalism-handbook
[2] https://datajournalism.com/read/handbook/two

#datajournalism #data

Для тех кто работает с данными и хочет разнообразить свой опыт, среди многих инструментов для работы с данными применяют не только Python и, например, для Jupyter Notebook существует множество ядер на других языках, позволяющих делать исполняемые публикации с помощью любимых, а не общепринятых языков программирования.

- IJulia - ядро для языка Julia
- IRKernel - ядро для языка R
- Wolfram Language for Jupiter - ядро для языка Wolfram Script
- Almond - ядро для языка Scala
- Xeus Cling - ядро для языка C++
- Jupiter NodeJS - ядро для языка Javascript (NodeJS)
- Kotlin kernel for Jupiter - ядро для языка Kotlin

существуют также ядра для PHP, C#, Go, OCaml, Powershell и десятков других

На мой взгляд, правда, мало что сравнится с Python по гибкости и доступности инструментов и готового кода, но многое обгонит по скорости. Для команд которым Python не является основным языком использование готовых ядер для Jyupiter может помочь в аналитической работе.

#datascience #jupiter #tools #overview

Проекту «Госзатраты» исполнилось 7 лет!

Все эти годы наша команда работает над повышением прозрачности и доступности данных о госфинансах.

Мы продолжаем развиваться и в этом году готовим к запуску исторический спецпроект: собираем архив документов о госфинансах — от бюджетов, отчетов и перечней цен до статистических сводок и учебников. Материалы архива планируем оцифровать и опубликовать в свободном доступе. Приглашаем принять участие в формировании цифрового архива по госфинансам. Будем признательны всем, кто сможет предоставить материалы для оцифровки или пришлет сканы, веб-ссылки на архивы или наборы данных с исторической ретроспективой.

Несколько полезных ссылок:

Телеграм-канал проекта: @clearspending

Телеграм-бот для получения статистики госзаказа организации по ИНН: @csParticipantStatsBot

Расширение для браузера: bit.ly/clearspending_ext

И, конечно, большое спасибо команде проекта, которая вопреки качеству открытых финансовых данных и их регулярному закрытию продолжает развивать проект! ^_^

National Resources Revenue Data [1] портал Офиса доходов от природных ресурсов США с данными и аналитикой доходов бюджета от сдачи в аренду земельных участков для добычи полезных ископаемых, а также о том как эти доходы распределяются по отдельным штатам и территориям США.

Неплохая региональная аналитика, актуальная для любой большой страны с существенной долей доходов от добычи полезных ископаемых таких как нефть и газ, например, такой как Россия.

Данные обновляются ежемесячно, доступны через API и для выгрузки как набор данных.

При этом объёмно их не так много, но это тот случай когда значение имеет не объём данных, а их содержание.

Ссылки:
[1] https://revenuedata.doi.gov/

#govfinances #budgets #usa #spending

Приложение от МВД будет включать запрос на доступ к контактам. Хорошо ещё что оно пока ещё не обязательно к предустановке гражданам России. Пока ещё. А я не могу не напомнить про наше исследование https://privacygosmobapps.infoculture.ru/ и про инструменты государственной слежки их прокачку и развитие.

В мобильном приложении МВД, которое позволяет экстренно вызвать полицию, появится сервис для борьбы с мошенническими звонками. Чтобы воспользоваться сервисом, пользователю придется дать приложению доступ к своей телефонной книге.

Инициатива правоохранителей может усложнить работу телефонных мошенников, но несет риски и для пользователей: их контакты будут полностью открыты полиции и могут оказаться в свободном доступе в случае утечки.

Обзор топ 5 трендов работы с данными в 2021 году [1] в Towards Data Science. Автор сооснователь продукта Atlan по ведению каталогов данных поэтому, конечно, тренды с большим акцентом на его рынок и бизнес интересы, тем не менее обратить на них внимание стоит.

1. Конвергенция хранилищ данных и озер данных
2. Современный стек технологий работы с данными
3. Новые роли - лидер цифровой платформы и инженер аналитики
4. Перерождение управления метаданными (metadata 3.0)
5. Инструменты контроля качества данных на подъёме

По каждой из тем можно писать и говорить долго, в области корпоративного управления данными да эти 5 трендов присутствуют. Являются ли они единственными? Возможно нет

Ссылки:
[1] https://towardsdatascience.com/the-top-5-data-trends-for-cdos-to-watch-out-for-in-2021-e230817bcb16

#data #trends

Алексей Лукацкий пишет [1] про наше исследование о том что государственные мобильные приложения передают данные в другие юрисдикции [2].

Он делает акцент на том что эта практика, вообще-то, нарушает отечественные законы и эти данные подпадают под персональные данные.

А тем временем за последние 3 дня у меня было несколько разговоров на тему: "А можете ли Вы привести примеры когда реально данные передавались и какие?". Я обращаю внимание всех что цель нашего исследования была не обвинить Минцифру или ДИТ Москвы, они творят немало плохого, хорошего или странного, а в, в первую очередь, обратить внимание на нарастающий тренд появления госприложений и последствия этого в виде:
- формирования новой экосистемы государственной слежки
- передачу данных из госприложений в экосистемы AdTech
- полное отсутствие регуляторной политики в этой области.

Но реакции Минцифры или Роскомнадзора или ФСТЭК или даже депутатов именно как регуляторов не последовали, а цель была именно в этом.

Ну а если бы у меня были факты, вернее если я и коллеги, хотели бы сделать акцент на фактах передачи персональных данных, а не на регуляторных проблемах, то прежде чем публиковать доклад эти факты следовало бы направлять в Роскомнадзор, Генпрокуратуру и ФСТЭК так как я ранее делал это с докладом по утечкам общедоступных данных из государственных информационных систем.

А пока давайте я обозначу - с 1 апреля 2021 года станет обязательной предустановка приложений на мобильные устройства.
С этого момента не только компании разработчики этих приложений, но и регулятор утвердивший их список - Минцифры России, Правительство РФ и далее по цепочке берут на себя ответственность за передачу данных в них сторонним компаниям, включая передачу данных в другие юрисдикции.

Выпустим ли мы по ним исследование к 1 апреля? Может быть. А может быть это сделает кто-то ещё, а мы сделаем исследование на другую тему.


Ссылки:
[1] https://lukatsky.blogspot.com/2021/02/google-analytics.html
[2] https://privacygosmobapps.infoculture.ru/

#privacy #regulation #mobile #research

Большая практическая статья [1] о методах измерения открытости объектов научных данных (RDA, Research Data Objects). Она несколько далека от российских реалий поскольку начинается со слов Funders and policy makers have strongly recommended the uptake of the FAIR principles in scientific data management. Чего в России сейчас и в помине нет, ни регулятор(-ы), ни органы финансирующие научные разработки не проповедуют принципы открытости и качества работы с данными FAIR для исследований и не требуют обязательной публикации данных полученных в результате исследований [2]

В странах же где соблюдение этих принципов для исследователей стало частью их работы, теперь переходят к оценке соответствия, не одним, но множеством способов.

Ссылки:
[1] https://datascience.codata.org/articles/10.5334/dsj-2021-004/
[2] https://www.go-fair.org/fair-principles/

#opendata #openaccess #FAIR

В Nature статья о запросе учёных на полностью открытый обмен данными о коронавирусе [1]. 29 января сотнями ведущих учёных было подготовлено и подписано открытое письмо [2] о том что данные о расшифровке геномов штаммов SARS-CoV-2 должны публиковаться на портале International Nucleotide Sequence Database Collaboration (INSDC) [3] и быть доступными всем желающим.

Это необходимо потому что без этого невозможно поддерживать высокий темп разработки мер противодействия COVID-19.

Откуда возникло это письмо? В статье подробно рассматривается текущая инфраструктура раскрытия геномных данных. Основным порталом для их сбора является GISAID (Global Initiative on Sharing Avian Influenza Data) [4] созданный в форме государтсвенно-частной инициативы [5] правительствами Германии, США, Сингапура, Бразилии, компании Seqirus и фонда Sanofi Pasteur’s Foundation for Influenza Epidemiology.

GISAID изначально был платформой не про открытие данные, а про обмен данными (data sharing). Главная причина в том что учёные работающие над исследованиями хотят точно знать кто скачивал и использует их данные и быть уверенными что результаты их работы
не будут использованы без ссылки на них.

Авторы письма не предлагают открыть данные GISAID, но получится ли создать более полную базу данных и полностью открытую, вот в чём вопрос. Впрочем проблема COVID-19 - это, действительно, мировая проблема и хочется надеяться что принципы ограничения доступа к информации применяемые в "условно-мирное время" могут быть более открытыми во время пандемии.


Ссылки:
[1] https://www.nature.com/articles/d41586-021-00305-7
[2] https://www.covid19dataportal.org/support-data-sharing-covid19
[3] http://www.insdc.org/
[4] https://www.gisaid.org/
[5] https://www.gisaid.org/about-us/public-private-partnerships/

#opendata #openaccess #fair #covid19

Фабрика законов (La fabrique de la loi) [1] французский проект по мониторингу и визуализации производства законов французским парламентом. Самое интересное в проекте в том что они разбирают всё прохождение от законопроекта до закона, принятые/непринятые поправки, изменения в тексте и ещё многое другое. Для стран с активной парламентской жизнью такой проект очень нагляден. Правда, в данном случае, он скорее ближе к академической работе, чем к общественной или применимой лоббистами или в госуправлении. В нем нет призывов к действию или инструментов отслеживания рисков или вовлеченных сторон. Все это впрочем не отменяет его ценности и возможности развиваться в любом направлении.

Авторы проекта Regards Citoyens [2] создатели многих проектов по открытости государства и данных во Франции, включая мониторинг парламентариев NosDéputés [3] и Sciences Pro Medialab [4] междисциплинарной лабораторией исследующей влияние роли цифровых технологий на общество.

У проекта открытое API и открытые данные [5] и открытый код [6].

Ссылки:
[1] https://www.lafabriquedelaloi.fr/
[2] https://www.regardscitoyens.org
[3] https://www.nosdeputes.fr/
[4] https://medialab.sciencespo.fr/
[5] https://www.lafabriquedelaloi.fr/api/
[6] https://github.com/regardscitoyens/the-law-factory

#opendata #opengov #lawmaking #france #legaltech

Фонд Chan-Zukerberg Initiative [1] выдал грант на 190 тысяч долларов проекту Galaxy [2]. Galaxy - это платформа интенсивной работы с данными используемая, в первую очередь, для биомедицинских расчетов с 250 тысячами пользователей по всему миру, большой коллекцией больших данных и значительным числом инструментов для работы с ними [3]

В мире есть более 163 сред и инсталляций для развертывания или использования общедоступных проектов на базе Galaxy [4]. Некоторые только для внутреннего пользования, другие, как австралийский [5] поддерживаются национальным исследовательским агентством Австралии и общедоступны.

У Galaxy полностью открытый код [6] и сам проект создавался под data intesive science и пример того что часто исследователям нужны не просто данные, а сложные комплексные расширяемые среды где кроме данных есть ещё и инструменты работы с ними с учётом их специфики

Ссылки:
[1] https://chanzuckerberg.com/
[2] https://ardc.edu.au/news/chan-zuckerberg-initiative-injects-funds-into-galaxy-platform-for-biomedical-research/
[3] https://usegalaxy.org/
[4] https://galaxyproject.org/use/
[5] https://usegalaxy.org.au
[6] https://github.com/galaxyproject

#data #datascience

Знаете ли Вы что...
Германское приложение по отслеживанию контактов при COVID-19 [1]:
- сделано не Правительством Германии, а компанией SAP в консорциуме с 12 компаниями
- при этом продвигается Правительством Германии [2]
- его исходный код полностью открыт [3] и разработка ведется в открытом режиме
- в нем абсолютно нет никаких трекеров [4], включая Google Firebase и Crashlytics (привет Минцифре в приложении которого они есть [5])

Итого:
- данные собираются не государством
- код открыт и вся разработка видна и публична
- трекеров нет

Другие примеры:
- Австрия, приложение Stopp Corona [6], исходный код открыты с апреля 2020 года [7], создатели - Австрийский красный крест. Трекеров нет [8]
- Австралия, приложение COVIDSafe [9], исходный код раскрыт [10], используют один трекер [11] Google Firebase
- Индия, приложение Aarogya Setu App [12], исходный код раскрыт [13], используют те же трекеры что и российское Google Firebase и Google CrashLytics

и так ещё более 20 официальных государственных приложений для отслеживания COVID-19 разрабатываются полностью с открытым кодом. Некоторые включают трекеры, в основном, Google Firebase, но тогда их использование можно увидеть в исходном коде и уже предметно говорить с разработчиками когда это использование необосновано.

Лично я считаю что весь код созданный за средства государственных бюджетов должен раскрываться и мобильные приложения не исключение. Если даже в Марокко это делают [15], то, казалось бы, что мешает Минцифры России начать публиковать код общественно значимых проектов и перевести их разработку в открытый режим?

Ссылки:
[1] https://www.coronawarn.app/en/
[2] https://www.bundesregierung.de/breg-de/themen/corona-warn-app/corona-warn-app-englisch
[3] https://github.com/corona-warn-app/
[4] https://reports.exodus-privacy.eu.org/en/reports/de.rki.coronawarnapp/latest/
[5] https://reports.exodus-privacy.eu.org/en/reports/com.minsvyaz.gosuslugi.stopcorona/latest/
[6] https://play.google.com/store/apps/details?id=at.roteskreuz.stopcorona
[7] https://github.com/austrianredcross/stopp-corona-android
[8] https://reports.exodus-privacy.eu.org/en/reports/164043/
[9] https://covidsafe.gov.au/
[10] https://github.com/AU-COVIDSafe
[11] https://reports.exodus-privacy.eu.org/en/reports/161910/
[12] https://aarogyasetu.gov.in/
[13] https://github.com/nic-delhi/AarogyaSetu_Android
[14] https://reports.exodus-privacy.eu.org/en/reports/140895/
[15] https://github.com/Wiqaytna-app

#mobile #apps #covid19

#13. Что делать в ситуации, когда за приватность граждан никто не отвечает?
Существует давний вопрос о том, какой из российских органов должен реагировать на проблемы с текущими, потенциальными и возможными утечками данных, злоупотреблениями в использовании данными и так далее. ФСТЭК? Роскомнадзор? Минцифры? МВД? Генпрокуратура? Например, в мире этой проблемой более всего озадачены органы по защите прав потребителей. А проблема госслежки - это, в первую очередь, вопрос защиты граждан законодательной властью от произвола исполнительной.
...
Продолжение в регулярной рассылке https://begtin.substack.com/p/13

#privacy #data #government

Рыночная стоимость компаний Big Tech в США на конец 2020 года превысила $7.5 триллиона долларов, это в полтора раза больше чем на конец 2019 года когда их рыночная стоимость была чуть более $4.9 триллионов.

Крупнейшие Big Tech компании - это:
- Facebook
- Alphabet
- Amazon
- Microsoft
- Apple

А также доходы компаний выросли на 24%, более чем на $1.1 триллион долларов.

Об этом статья в Wall Street Journal [1] (требуется подписка)

Что всё это значит? Усиление регулирования, рост налообложения, усиление лоббирования и GR со стороны компаний big tech.

Сложно до конца представить мир в котором мы будем жить лет через 10 если этот тренд не изменится.

Ссылки:
[1] https://www.wsj.com/articles/how-big-tech-got-even-bigger-11612587632

#tech #bigtech

Последний раз я обновлял рейтинг и метрики стран по открытости кода 2 года назад. Расчёты и данные рейтинга сохранено на Data.world в проекте "Open source government project" [1]. Тогда открытый код публиковался 58 странами и десятками международных организаций. Сейчас их значительно больше потому что кураторы списка открытых репозиториев государства на Github [2] не учитывают госорганы публикующие свой код на других платформах и поскольку не поспевают за раскрытием кода в контексте COVID-19, многие страны начали публиковать код приложений.

Пока же вот ещё несколько стран которые точно прибавились к тому списку из 58 стран и начали публиковать исходный код в последнее время:
- Ирландия https://github.com/HSEIreland/
- Словакия https://github.com/slovak-egov
- Мадагаскар https://github.com/e-Gouvernance-Madagascar

Забегая вперед сказу скажу что России в этом списке по прежнему нет. Официально в России всё ещё нет политики раскрытия исходного кода и открытой его разработки.

Ссылки:
[1] https://data.world/ibegtin/open-source-government-project
[2] http://government.github.com/

#opensource #opengov #opendata

«Госзатраты» планируют опубликовать архив документов по истории госфинансов в России.

Уже несколько месяцев команда нашего проекта кропотливо собирает исторические документы, связанные с темой госфинансов. Среди них как уже оцифрованные материалы, так и те, которые никогда не публиковались. Мы объединим на одной общедоступной площадке самые разные исторические источники — от бюджетов, отчетов и перечней цен до статистических сводок и учебников.

Приглашаем принять участие в создании цифрового архива по истории госфинансов. Будем признательны всем, кто сможет предоставить материалы для оцифровки или пришлет готовые сканы, веб-ссылки на архивы или наборы данных с исторической ретроспективой. Если вам есть, чем поделиться — пишите Ольге Пархимович на эл. почту [email protected].