Тем кто ищет большие данные со множеством взаимосвязей и пригодных для углублённого анализа, набор данных графовой базы Software Heritage [1] - это несколько терабайт данных о исходном коде архивируемом в этом проекте. Включает данные о релизах, файлах исходного кода, авторах, каждой строке, изменениях в коде и так далее, для это есть описание схемы [2] и инструкций по развертыванию этой базы у себя.

Software Heritage [3] - это французский проект в INRIA по созданию универсального хранилища всего исходного кода человечества. У проекта довольно сильный акцент на научном использовании, авторы регулярно пишут научные статьи о сохранении исходного кода, а также есть фокус на сохранение исходного кода создаваемого в рамках научное работы. Поэтому, например, сохраняются исходные коды из системы открытых научных архивов Франции HAL [4] и многое другое.

А сам проект поддерживается Microsoft, Huawei, Intel, Societe Generale и ещё рядом крупных компаний и академических структур.

Ссылки:
[1] https://docs.softwareheritage.org/devel/swh-dataset/graph/index.html
[2] https://docs.softwareheritage.org/devel/swh-dataset/graph/schema.html#
[3] https://softwareheritage.org
[4] https://hal.archives-ouvertes.fr/

#opendata #opensource #opengov

Продолжая рефлексию на реакцию на наш доклад о приватности госприложений [1], меня больше всего удивило что нас за него никто не критиковал, потому что поводов для критики хватает и, я не скрою, изначальная задумка у нас была и, в какой-то степени, остаётся больше чем то что было опубликовано. Я обращу внимание на то что за кадром, но то что остаётся важным.

1. Совершенно точно исследование покрывает далеко не все госприложения. Искать их не так просто, либо по сайтам госорганов, либо в Google Play, но в том же Google Play поиск по разработчикам работает не всегда. Например. Поиск не работает по СПБ ГУП "СПБ ИАЦ" [2] вот из этого приложения "Наш Санкт-Петербург" [3], а московский ГКУ Информационный город [4] находит легко. Поэтому, конечно, исследование охватывает далеко не все госприложения и многие новые появятся в этом году.
2. Это исследование включает только/ самый базовый анализ. Того что можно гарантированно подтвердить по наличию кода SDK трекера в приложении. А есть многое что касается передачи данных на сервера разных контрагентов для чего нет SDK или SDK не используется. Самый простой пример - это карты и геокодеры. Например, в Стопкоронавирус.РФ [5] есть вшитый код и библиотек кода Яндекс.Карт, но базово как трекер статическим анализом они не выявляются, потому что формально трекером они не считаются (не находятся в базах Exodus Privacy), но данные туда передаются.
3. Чтобы не говорилось про госприложения в них многократно меньше трекеров чем в топ 100 самых популярных андроид приложений в России. Есть популярные мобильные приложения в которых вшито до 20 трекеров, при том что в госприложениях их 1-3, очень редко больше. Но мы специально не стали давать такого сравнения потому что есть такие важные факторы:
- нормативные органичения у госорганов из-за требований к КИИ и законе о персональных данных;
- в отличие от всех остальных приложений, госприложения монопольны, а некоторые будут предустанавливаться.
- рынок adtech хотя многим и не нравится (и мне тоже не очень то, если честно), но часто российское госрегулирование хуже даже плохих рыночных практик.
4. Создатели госприложений начали играть в обсуфскацию кода. Это когда наименование компонентов программы и тексты классов Java в приложении заменяются и преобразуются так чтобы восстановить исходный код было бы сложнее. Например, всё то же приложение Стопкоронавирус.РФ сделано с обфускацией кода. Учитывая что там нет какой-то сверхзначимой интеллектуальной собственности которую надо защищать и наоборот этот код надо бы раскрывать, то выглядит это подозрительно и как-будто целенаправлено для ограничения декомпиляции приложения общественными исследователями.
5. Почему нет анализа того какой трафик передаётся от приложений? Есть три причины:
а) Это трудоёмкая задача, требующая построения тестового стенда, даже если и виртуального, и довольно много времени на каждое приложение. Автоматическое тестирование приложений даёт только малую часть картины и тут требуется ручная проверка от нескольких дней до пары недель.
б) Многие госприложения работают только после авторизации на госуслугах, что также ограничивает тестирование их функций. Кроме того получается что тот кто тестирует приложения должен быть
в) В отличие от статического анализа, выявления факта передачи данных даёт возможность говорить о фактах передачи данных в третьим лицам и трансграничную передачу данных. Статический анализ говорит что "эй ребята мы тут нашли всякое в вашем приложении что потенциально может вредить пользователям" и даёт возможность разработчикам скорректировать приложение. А выявление факта передачи говорит уже "эй ребята, мы тут нашли что вы сливаете данные куда не надо, вами могут заинтересоваться правоохранители".