Компания Amazon сделала публичный форк (отдельную ветвь разработки) продукта Elasticsearch [1] после того как компания Elastic сменила модель лицензирования и закрыла код продукта. В ответ Elastic, разработчики, Elasticsearch обвинили их в некорректном и неэтичном поведении [2].

Почему всё это важно? В современном мире огромное значение приобретают зависимости кода и продуктов друг от друга. Elasticsearch - это продукт от которого сейчас зависит огромное число сервисов по всему миру. Конфликт между Elastic и Amazon - это конфликт между бизнес моделями open source где большую выгоду получают крупные игроки обеспечивающие инфраструктурные сервисы за счет open source продуктов.

Если Вы сделаете сейчас очень востребованный open source продукт то да, сколько бы Вы не заработали, но Amazon, Google и Microsoft заработают больше потому что они умеют лучше масштабировать, у них огромная пользовательская база и огромный штат инженеров сопровождения.

Для некоторых качественных open source проектов это осознание является большим жизненным вызовом и они отказываются от модели существования как открытого кода. Но возможно что это чуть ли не единственная возможная для них модель существования.

Эта ситуация ещё одно напоминание о важности целостной государственной/корпоративной политики управления зависимостями. Рисками того что важные компоненты ваших систем могут становиться недоступными, перестать поддерживаться или обретать иную стоимость.

Ссылки:
[1] https://aws.amazon.com/ru/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/
[2] https://www.elastic.co/blog/why-license-change-AWS

#opensource #aws

Большая утечка данных в Бразилии, в блоге компании PSafe [1] (португальский язык) упоминается о 220 миллионах лиц, а утечка, похоже, затрагивает также юридические лица и базу автомобилей. Нет подробностей о её источнике и где эти данные можно скачать, но первоисточник новости по ссылке выше, остальные, лишь ссылаются на него [2].

Ссылки:
[1] https://www.psafe.com/blog/vazamento-expoe-numero-de-cpf-de-milhoes-de-brasileiros-alerta-psafe/
[2] https://olhardigital.com.br/en/2021/01/20/safety/database-leak-exposes-cpf-of-almost-the-entire-population-of-brazil/

#leaks #brazil

Ещё один крупный стартап Logz.io написали текст с осуждением позиции Elastic [1]. Мысль их звучит довольно просто, да Elastic столкнулись с конкуренцией со стороны Amazon, но никто не мешал им привлекать инвестиции и создавать улучшенный облачный сервис. Тем более что у Elastic инвестиции составили около $162 миллионов и около $252 миллионов они заработали на IPO в октябре 2018 года.

Их не просто так называли одной из лидирующих компаний работающих с открытым кодом, но, видимо и не просто так сейчас идут очень жаркие дискуссии по поводу их шага по закрытию кода и многие задумываются об отказе от использования их продуктов в своих сервисах.

Logz.io - это стартап SaaS сервис обработки серверных логов на базе Kibana и Elasticsearch привлёкшие около $121 миллиона инвестиций. Они не конкурируют с основной бизнес моделью Elastic, но на 100% зависят от их продукта и они были одним из крупных контрибьюторов кода. Теперь же, похоже, позиция Elastic, сплачивает всех крупных пользователей их продуктов и даже если Elastic решат пойти на попятную, скорее развитие получит Open Distro for Elasticsearch [3] чем продукты Elastic.

В целом вся ситуация, во многом, о переходе компаний из среды открытого кода в закрытый код. Обычно, такие решения принимаются на старте. Например, сервер MongoDB имел лицензию SSPL изначально, их код открыт [3], но open source их лицензия не является. Это было изменено не в процессе разработки, а такой был их изначальная бизнес модель. Поэтому, кстати, крупные облачные платформы не предлагали и не предлагают MongoDB-on-demand, вместо этого они сделали свои облачные базы данных с MongoDB совместимыми интерфейсами.

Ссылки:
[1] https://logz.io/blog/open-source-elasticsearch-doubling-down/
[2] https://www.crunchbase.com/organization/elasticsearch/company_financials
[3] https://opendistro.github.io/for-elasticsearch/
[4] https://github.com/mongodb/mongo

#opensource #elastic

Проекты по открытости в России о которых часто забывают и не грех напомнить ещё раз.

- Научный агрегатор открытых репозиториев openrepository.ru - создан НЭИКОН за счёт гранта от Фонда президентских грантов. Включает данные агрегированные из научных репозиториев статей российских университетов.
- Открытый корпус opencorpora.org для русского языка, большой краудсорсинговый проект, морфологически, синтаксически и семантически размеченный корпус текстов на русском языке. Полностью открытый, с возможностью скачать собранные в нём данные
- Firststat firststat.ru большая некоммерческая база доменов в зонах .ru, .su, .рф. Несмотря на отсутствие дампов открытых данных, у проекта есть открытый код и недокументированное API которое, например, помогает в сборе всех госдоменов для проекта govdomains
- Открытые данные и API Госдумы api.duma.gov.ru документация не обновлялась около 8 лет, последние наборы данных деклараций депутатов публиковались в 2012 году. Но генератор токенов для API и само API всё ещё работает. Кроме данных по голосованию - это источник стенограмм, выступлений депутатов и ещё многих других данных Госдумы.

Если Вы знаете какие-либо интересные общественные или редко упоминаемые, но интересные госпроекты по открытости данных, напишите о них.

#opendata #opengov #openprojects

Очень скоро мы опубликуем небольшое, но ёмкое исследование о том как некоторые госорганы и госорганизации распоряжаются данными граждан. Подробности раскрывать не буду чтобы не испортить сюрприз.

А пока небольшой опрос для всех читателей канала

Если орган власти или госучреждение на регулярной основе передаёт данные о гражданах в юрисдикции других стран, например, членов НАТО, то это?
anonymous poll

Халатность высшего порядка – 99
👍👍👍👍👍👍👍 47%

И есть настоящие иностранные агенты – 79
👍👍👍👍👍👍 37%

Нормальная бизнес практика – 19
👍 9%

Ничего не значит, ничего не случится – 15
👍 7%

👥 212 people voted so far.

Норвежский регулятор "вломил" социальной сети Grindr штраф в 10% годовой выручки (не прибыли, а выручки) за несоблюдение требований GDPR [1]

Сумма штрафа - 100 миллионов норвежских крон, это 11.6 миллионов долларов США или 881 миллион рублей.

Я бы на месте Яндекса и Mail.ru крепко задумался заранее, им европейские регуляторы могут "навесить" и побольше ещё и за российское происхождение.

Ссылки:
[1] https://www.datatilsynet.no/contentassets/da7652d0c072493c84a4c7af506cf293/advance-notification-of-an-administrative-fine.pdf

#privacy #norway #eu

В контексте последней новости про Grindr не лишним будет напомнить что развязка этой истории с астрономическим штрафом в $11.6 миллиона долларов США началась ещё в начале 2020 года когда норвежская служба по правам потребителей (The Norwegian Consumer Council) провела исследование дейтинговых приложений и оформила официальные заявления не только на Grindr, но и на другие сервисы. Например, на сервисы сбора данных: Twitter`s MoPub, AT&T’s AppNexus, OpenX, AdColony и Smaato. По всем признакам можно ждать штрафов и в их адрес тоже, ну или как минимум оперативной кооперации с расследователями в Норвегии и драконовский штраф в адрес Grindr это намёк остальным, ещё не оштрафованным.

Ссылки:
[1] https://www.forbrukerradet.no/side/new-study-the-advertising-industry-is-systematically-breaking-the-law/

#privacy

Тем временем проголосовало уже 128 человек голоса. Чуть больше голосующих считает что это халатность и чуть меньше, но больше 40%, считают что это и есть инагенты. Завтра ещё будет время на голосование. А утром 28-го (чуть-чуть потерпите) будет представлена причина зачем это голосование нужно.

Большая статья в The Verge о том что внутри команды Signal идёт борьба [1], в частности не все согласны с полным отказом от модерации контента и что модель невмешательства может привести к будущим проблемам и уже сейчас вызывает этические вопросы.

Речь, в частности, идет про группы к которым кто угодно может присоединится и где используется end-to-end шифрование и сама команда Signal не может модерировать их названия, аватарки, описания и тд. по этой же причине.

И, в целом, о том что приложения обеспечивающие приватность могут использоваться экстремистами после последних событий января пишут всё чаще. Такими темпами почти все проекты с сильной криптографией и end-to-end шифрованием могут оказаться в зоне риска.

Ссылки:
[1] https://www.theverge.com/22249391/signal-app-abuse-messaging-employees-violence-misinformation

#signal #privacy

Twitter открыли их новое API для исследователей [1]. Теперь для академических целей оно бесплатно и необходимо иметь академическую аффиляцию и чёткий запрос направленный компании через специальную форму [2]

С одной стороны это хорошо, а с другой стороны, на самом деле, с каждым годом Twitter всё более закрывает своё API и облегчает доступ лишь для узких интересов таких как исследования без коммерческого применения.

Аналогично поступают и другие социальные сети, замыкая пользователей данных на их платные API.

Ссылки:
[1] https://blog.twitter.com/developer/en_us/topics/tips/2021/enabling-the-future-of-academic-research-with-the-twitter-api.html
[2] https://developer.twitter.com/en/portal/petition/academic/is-it-right-for-you

#twitter #data #opendata

В примерах того как не надо публиковать данные и вообще государственные документы есть знаковое пополнение. В реестр социальных заказов Московской области [1], помимо того что сами сведения публикуются не в машиночитаемом виде и даже не в Excel, а в виде PDF документов, так ещё и эти документы содержат только сканы с нечитаемыми текстами.

Например, список социального заказа по теме "Спортивная подготовка" [2] с 6-й страницы включает таблицы которые невозможно прочитать.

И казалось бы, чего ради, экономии пары мегабайт? Так её можно было бы достигнуть публикую хотя бы PDF не в виде скана, а ещё лучше Excel, а ещё лучше машиночитаемые форматы.


Ссылки:
[1] https://budget.mosreg.ru/reestr-socialnyx-zakazov/
[2] https://budget.mosreg.ru/reestr-socialnyx-zakazov/redirect/localhost/customResources?uuid=5a106ae2-91a1-44a9-bad6-975ac6ecbc03&version=29.12.2020%2008.46.55.108

#opendata #openfinances

Алекс Ховард, один из давних активистов в открытых данных и зам. руководителя Sunlight Foundation когда-то написал открытое письмо в адрес администрации Белого дома [1] с вопросами о том вернут ли они уровень прозрачности на уровень который обеспечивала администрация Барака Обамы.

Вопрос, действительно, актуальный. Вернется ли всё в до-Трамповскую систему раскрытия информации о посетителях и иных данных или останется по прежнему?

Ссылки:
[1] https://e-pluribusunum.org/2021/01/26/open-letter-on-open-government-to-press-secretary-psaki-and-white-house-officials/

#opendata #usa

В США есть официальный реестр государственных доменов в зоне .gov [1], его регулярно обновляют, ведомство GSA публикует обновлённый перечень, а разного рода проекты и активисты активно его используют. Ко времени окончания срока Трампа этот реестр сократился примерно на четверть, в виду госполитики по постепенному сокращению доменов и созданию поддоменов и разделов на госпорталах.

Ben Balter, старший руководитель технических программ в Github'е регулярно анализирует этот список и публикует полученные результаты. Вот и в этом году две недели назад он разместил аналитику со свежими результатами анализа [2].

Что мы можем из него узнать?
- Всего - 1121 федеральный .gov домен (есть ещё некоторое количество в ведение властей штатов и графств)
- 264 домена просто перенаправляют на другие домены
- к 845 доменам можно обращаться без www
- 95.36% доменов поддерживают HTTPS, а 44.3% доменов поддерживают HSTS
- у 669 (72.25%) есть адрес IPv6
- у 305 (32.94%) доменов идентифицируется CMS

и так далее. Полный список доменов и их профилей и данные сканирования общедоступны [3].

Напомню что в России нет официального госреестра госдоменов и большая часть доменов не в зоне .gov.ru. Неофициальный их реестр доступен в репозитории Инфокультуры [4] и там только корневых доменов более 180, а только в зоне .gov.ru с поддоменами более 941 штук.


Ссылки:
[1] https://github.com/GSA/data/tree/master/dotgov-domains
[2] https://ben.balter.com/2021/01/11/analysis-of-federal-dotgov-domains-pre-biden-edition/
[3] https://ben.balter.com/2021-analysis-of-federal-dotgov-domains/domains/
[4] https://github.com/infoculture/govdomains/tree/master/refined

#government #domains

Сегодня Privacy Day https://privacyday.ru/
там будет представление нашего доклада @infoculture о приватности государственных мобильных приложений.

Следите за новостями, оставайтесь с нами!

Приватность государственных мобильных приложений в России [1] - свежее исследование от команды @infoculture. Мы проверили 44 государственных мобильных приложения в которых 39 из них содержат код сторонних трекеров и 38 из них содержат код сторонних трекеров с юрисдикциями в США и Японии. Почитайте подробнее там, много интересного.

Об этом я сегодня буду говорить на Privacy Day, презентацию можно посмотреть по ссылке [2], а также вышла статья в РБК с комментариями представителей Минцифры и ДИТ Москвы [3]

И здесь мне тоже есть что добавить:
1. Конечно же речь идёт не только о "технических сервисах" вроде Google Firebase и Firebase Crashlytics. Многие трекеры являются совершенно необязательными и более похоже что их включили не по злому умыслу, а для удобства разработки и аналитики. Не подумав, в общем, что, впрочем, ответственных за них не оправдывает. Это такие сервисы как HockeyApp, Estimote, Flurry, AltBeacon и другие.
2. Если верить коллегам что без сервисов Google в экосистеме Android работать невозможно, то мы же понимаем что импортозамещение в этой области это просто профанация? Получается что есть экосистемные требования и у Правительства РФ нет другого пути кроме как с Google договариваться в будущем.
3. Все кто делают коммерческие мобильные приложения которые передают данные в зарубежные сервисы теперь знают что и госорганы поступают аналогично
4. Есть как минимум 5 госприложений в которых нет ни одного встроенного трекера, например, "Госуслуги.Дороги". То есть если очень хочется то можно создавать приложения и без слежки. Так почему же не всем и не всегда хочется?;)
5. Конечно, прежде чем публиковать материалы онлайн, очень хотелось бы вести профессиональный дискурс о вопросах приватности, безопасности, свободы и ограничений использования цифровых сервисов. Но вот не работает механизм дискуссий вокруг смысловых документов в России. Их приходится адаптировать под формат который был бы понятен и удобен СМИ, иначе обратной реакции от органов власти просто не возникает.
6. При этом всё очень конструктивно. У нас очень понятные рекомендации для регуляторов, контролёров, разработчиков и пользователей.
7. Это не последний обзор по этой теме, если есть какие-то приложения которые мы упустили, а они наверняка есть, то пишите, все подвергнем тщательной вивисекции.

P.S. Конечно результаты доступны и как открытые данные.
- Приложения и трекеры иностранных юрисдикций [3]
- Выборка исследуемых госприложений [4]
- Данные о трекерах госприложений [5]
- Сводные собранные данные по всем госприложениям [6] (трекеры, разрешения и т.д.)

Ссылки:
[1] https://privacygosmobapps.infoculture.ru/
[2] https://www.beautiful.ai/player/-MS6JaKYDpr8q1UCAjmA
[3] https://ngodata.ru/dataset/apps-trackers-jurisdiction
[4] https://ngodata.ru/dataset/gos-mobile-apps
[5] http://ngodata.ru/dataset/gos-apps-trackers
[6] https://ngodata.ru/dataset/gos-full-csv

#privacy #infoculture #mobileapps

для тех кто упустил опрос, напомню

Если орган власти или госучреждение на регулярной основе передаёт данные о гражданах в юрисдикции других стран, например, членов НАТО, то это?
anonymous poll

Халатность высшего порядка – 82
👍👍👍👍👍👍👍 45%

И есть настоящие иностранные агенты – 70
👍👍👍👍👍👍 39%

Нормальная бизнес практика – 16
👍 9%

Ничего не значит, ничего не случится – 13
👍 7%

👥 181 people voted so far.

Вдогонку к предыдущим публикациям, инфографика.

#privacy

Ответы на некоторые вопросы

1. Как защититься от слежки?

В отличие от баннерорезок для персональных компьютеров и браузеров для телефонов это сложнее и делается через фильтры на уровне DNS.

Два сервиса которые я могу порекомендовать это:
- Blokada [1] - бесплатый и с открытым кодом [2], создается небольшой шведскок командой за пожертвования и монетизации версии со встренным VPN.
- NextDNS [3] - стартап по приватности, на бесплатном аккаунте до 300 тысяч запросов в месяц. У меня работает на 3-х устройствах и я за планку в 300 тысяч запросов уже почти выбиваюсь так что буду оформлять платный за 149р в месяц или переключу часть устройств на Blokada.

Наверняка есть и другие варианты, эти наиболее известные.

2. Что такого в том что госприложения передают данные трекерам?

Для гражданина - в том что трекеры эти данные перепродают и фактически приложения не обеспечивают достаточной конфиденциальности. А через госприложения могут проходить взаимодействия с гос-вом о которых человек может не хотеть передавать информацию третьей стороне.

Для государства - это всё равно что подкармливать самостоятельно разведки других стран.

3. Персональные данные, на самом деле, не передаются

На самом деле они передаются потому что данных в виде IP адреса, идентификатора рекламы и минимальных доп сведений достаточно чтобы отслеживать активность пользователя смартфона. Даже отладочные сведения передаваемые в Google Firebase имеют ценность.

4. Государственные приложения малопопулярны.

Сегодня, 28 января 2021 года, приложение Госуслуги на 10-м месте по популярности для платформы Android и держится в первой десятке уже не один месяц. Почта России на 61 месте, Налоги ФЛ на 84 месте.

5. А все ли госприложения Вы учли?

Нет, мы не учитывали приложения сделанные госкомпаниями в рамках их коммерческой деятельности. Например, Сбербанк, ВТБ и др. Потому что правильнее их сравнивать с аналогичными компаниями на рынке.

6. Почему вообще смотреть на госприложения, есть ведь более популярное типа ТикТок?

Потому что государство идет по пути принудительной их предустановки и это про обязательную, а не добровольную модель использования и слежки за потребителем. Но наиболее популярные приложения тоже необходимо изучать что и делают многие регуляторы потребительского рынка по всему миру.

Ссылки:
[1] https://blokada.org
[2] https://go.blokada.org/dev_home
[3] https://nextdns.io/

#privacy

По следам нашего исследования особенно добавлю разного рода наблюдения за СМИ:
- Коммерсант опубликовали материалы исследования проигнорировав просьбу об эмбарго до 00:00 28 января и опубликовали статью https://www.kommersant.ru/doc/4663281 до того как мы доделали текст, по сырым материалам, в общем очень некрасиво. Делаю себе пометку в маленькой синей записной книжке.
- CNews "обжелтели", их заголовок "Государственные мобильные приложения кишат иностранными трекерами. Они воруют данные россиян" не соответствует действительности, конечно же, а ссылку на первоисточник ставить им, видимо, религия не позволяет https://safe.cnews.ru/news/top/2021-01-28_mobilnye_gosprilozheniya. Делаю себе ещё одну пометку в маленькой синей записной книжке что CNews кишит теми кто не ссылается на первоисточник.
- ТАСС не публикуют новость, а только реакцию госорганов на неё https://tass.ru/obschestvo/10566365.
- аналогично РИА Новости полностью ушли в журналистику реакции https://ria.ru/20210128/tekhnologii-1594910804.html
- вышел репортаж на НТВ и написали в Царьграде - извините, на них ссылаться не буду, это то чего я скорее опасался чем ожидал, потому что цель была в том чтобы обозначить проблему не сваливаясь в охранительную ментальность и повестку.

Ну и в целом, ссылаться на первоисточник никто не любит, но первое что делают СМИ когда слышат название любой организации - это пробивают учредителей и пишут новость уже с их указанием (Коммерсант), что выглядит скорее смешно, но уж таковы российские медиа реалии.

Пройдет 2-3 месяца и мы перепроверим все те приложения что проверяли в этом исследовании и напишем об этом уже кратко, посмотрим повлияло ли оно или нет.

#media #privacy