Малоизвестный, но существующий, проект OpenDRI по открытости данных в области изменения климата и природных катастроф [1]. С довольно сильным фокусом в сторону открытости городов и их планирования [2], включая проект Open Cities Africa [3] по сбору городских данных африканских крупнейших игроков.

А кроме того у OpenDRI есть индекс открытости данных [4] где ничего нет о России, но есть многое о других странах. Видно что этот индекс всё ещё в активной разработке и незавершён, хотя ему и несколько лет, но помнить о нём немаловажно, тем более что российское МЧС сложно назвать открытым ведомством да и данные по изменению климата официальные органы власти в России не то чтобы не публикуют, но системно этого не делают.

Я отмечу что многие международные проекты шаг за шагом преобразуют свои индексы и создают новые индексы сравнений стран по открытости данных и этому можно только порадоваться.

Ссылки:
[1] https://opendri.org/
[2] https://opendri.org/resource/planning-an-open-cities-mapping-project/
[3] https://opencitiesproject.org/
[4] https://index.opendri.org

#opendata #hazards #opendri

Блеск и нищета бирж торговли данными, за всё время существования множества стартапов в этой нише, большая часть не выживает. Например, в Европейском каталоге DataLandscape перечислено 14 компаний [1]. Часть из них официально закрылись, часть отключили сайты и продукты и ещё часть, на самом деле, не про биржу данных. Относительно живым выглядит только Davex [2]. Они хотя и предлагают продукт на глобальном рынке данных, но куда больше веры в том что бизнес модель у них через создание и поддержку отраслевых проектов, вроде портала торговли данными в Японии JDEX [3]

За последние пару лет я много думал о возможности существования такой бизнес модели, в принципе, и пришёл к выводу что у неё может быть всего два выхода:
1. Инфраструктурная
Когда владелец биржи данных предоставляет услугу создания озер данных или хранилищ данных для корпораций и далее, как опцию, даёт возможность своими данными торговать на его же инфраструктуре. Вне зависимости от коммерческой успешности участников торгов владелец инфраструктуры выигрывает за счёт того участники используют его технические ресурсы и платят за них.

2. Отраслевая
Когда есть, или биржа, или сильная отраслевая ассоциация или влиятельный регулятор которые запускают биржу данных от своего имени. Регуляторы пока смотрят на это с большой осторожностью, отраслевые ассоциации часто не могут договориться у себя внутри, а пример бирж, это игра на уже сложившемся рынке торговли данными в финансовой сфере, там есть много глобальных и национальных игроков. Но есть и примеры, например, Nasdaq, купивший Quandl [4], и JDEX [5] запущенный Davex с крупным японским холдингом Kanematsu.

Есть ли другие успешные примеры? По моему опыту они только на рынке альтернативных данных для финансовых рынков, тот же Quandl и другие сервисы. Специфика данных как продукта в том что их владельцы (data holders) готовы продавать их через кого-то только в случае уверенности доступа к большой аудитории, в остальных случаях возникает слишком много рисков во взаимодействии с платформой.

И, конечно, самые востребованные и постоянно торгуемые данные о потребительском поведении находятся в "серой зоне". Ими торгуют все, сервисы слежки, аналитические сервисы, производители мобильных приложений и тд., но мало кто публично.

Ссылки:
[1] https://datalandscape.eu/companies?f%5B0%5D=field_action_area%3A7
[2] https://www.dawex.com
[3] https://www.dawex.com/en/news/japan-data-exchange-data-community/
[4] https://www.quandl.com
[5] https://www.jdex.jp

#data #datamarket #dataexchanges

На фоне исхода из Facebook'а, WhatsApp и других систем быстрой связи, важно помнить что одним из ключевых изменений в коммуникациях за последние лет 10 было в то что системы обмена сообщения слились с социальными сетями и медиа платформами. Это сочетание оказалось эффективным для бизнес моделей, даже если эти бизнес модели только про инвестиционные деньги, но для пользователя это превратилось в те самые цифровые монополии.

Здесь важно напомнить что у Telegram'а эта же особенность присутствует в полной мере и исход значительной части медиапроизводителей и медиапотребителей в телеграм - это ни в коем случае не подтверждение защищённости личной переписки.

Для защищённой переписки есть специализированные инструменты:
- Signal - один из наиболее популярных защищённых мессенжеров
- Keybase - специализированная соцсеть для шифро-панков, просто для всех кто озабочен собственной безопасностью и приватностью. Команду Keybase в мае 2020 года купил Zoom. Если хотите безопасно мне написать то мой аккаунт в Keybase ibegtin
- Cyph - единственный близкий к Keybase продукт по функционалу. Активно развивается после покупки Keybase со стороны Zoom

Большая подборка защищённых мессенжеров есть на PrivacyTools

#privacy #tools

Госпрограммы стали доступнее: новый раздел портала «Госрасходы» поможет разобраться в финансировании.

На сайте проекта «Госрасходы» Счетной палаты РФ заработал новый раздел, посвященный финансированию действующих Государственных программ РФ (https://spending.gov.ru/gp/). В разделе представлены данные о 46 действующих на сегодняшний день программах, которые сгруппированы в пять направлений в соответствии с принятой классификацией. Раздел предоставляет агрегированные данные за 2016-2020 годы из трех основных источников: паспорта госпрограмм, данные соглашений о субсидиях, данные государственных закупок.

Пользователи портала-агрегатора «Госрасходы» получили доступ к сведениям о крупнейших контрактах и субсидиях в разрезе госпрограмм. В карточке каждой из них можно сравнить данные о плановом и фактическом бюджете (на основе данных Казначейства России) с суммой контрактов и субсидий за рассматриваемый период. Доступны агрегированные и детализированные сведения по соответствующим подпрограммам, главным распорядителям бюджетных средств (ГРБС), расходующим средства в рамках госпрограммы, и о получателях этих средств.

К примеру, в рамках госпрограммы «Развитие образования» основная доля расходов (57%) ожидаемо приходится на Минобрнауки и Минпросвещения. Лидеры в списке получателей средств: МГУ им. М.В. Ломоносова (38,5 млрд за 2016-2020 годы) и НИУ ВШЭ (30 млрд за тот же период).

В разделе «Аналитика» портала «Госрасходы» дополнены индикаторы, рассчитанные на основе данных о контрактах, заключаемых на федеральном уровне в рамках госпрограмм (https://spending.gov.ru/analytics/indicators/):

- Доля субъектов МСП среди исполнителей контрактов по госпрограммам;
- Распределение контрактов по суммам контрактов по госпрограммам;
- Объем и доля средств, уходящих 1% крупнейших поставщиков по госпрограммам;
- Конкурентность закупок по госпрограммам;
- Доля единственных поставщиков по госпрограммам;
- Доля социально ориентированными некоммерческими организациями (СОНКО) среди исполнителей контрактов по госпрограммам.

Индикаторы рассчитаны по годам, начиная с 2016-го. Для каждого из них приводится методика расчета, а данные для самостоятельного анализа можно скачать в формате CSV.

Может ли искусственный интеллект обманывать государство? Люди управляющие им или автоматизированными алгоритмами определённо могут. Статья AI-Powered Text From This Program Could Fool the Government [1] в Wired о том как студент-медик Гарварда автоматически нагенерировал комментарии к госпрограмме Medicaid так что люди-волонтеры не смогли отличить их от человеческих комментариев и этот случай не первый из применяемых в автоматических кампаниях поддержку или против какой-либо государственной инициативы, их несколько приводится в этой статье.

Каковы последствия ? Ускоренное введение единых механизмов авторизации, вроде ЕСИА в России или RealMe в Австралии.

Ссылки:
[1] https://www.wired.com/story/ai-powered-text-program-could-fool-government/

#privacy

В свободное время я пишу синопсисы к фантастическим рассказам и сами рассказы и собираю идеи для воплощения.

Три политико-философских тезиса которые можно было бы воплотить в фантастических рассказах о высоко-вероятностном
ближайшем будущем.

1. Цифровое отделение органов управления
Изменение общественного отношения к иститутам государственного управления локализованных в виде физических объектов, таких как "Белый дом", "Кремль", "Капитолий", "Бундестаг". Оцифровка деятельности органов власти приводит к полностью распределённой форме работы и невозможности воспрепятствовать их работе путем физического захвата/разрушения/повреждения инфраструктуры. Уже обыграно во многих других произведениям, но можно добавить красок.

2. Цифровые метрополии и контроль за данными
Контроль за данными жителей, корпораций, бизнеса и др. со стороны метрополий как гарантия не-сепаратизма территорий. Сценарий: конфликт с распадом или разделения или отделением территории от крупного государства приводит к тому что все данные остаются в метрополии что полностью парализует какую-либо экономическую активность за пределами натурального обмена. Захват территории теперь - это, в первую очередь, замена информационных систем одной метрополии на другие.

3. "Серые" люди с публичным интерфейсом в виде ИИ
Люди отказывающиеся от публичной жизни в социальных сетях и так далее, выполняющие только функции авторизации по биометрии и иных способов подтверждение что это человек, а вместо них искусственный интеллект общается, комментирует, формирует цифровой след, живёт политической жизнью и голосует.

Можно попробовать адаптировать повесть "Нос" Гоголя под современные реалии, можно придумать другой сценарий.

Для тех кто интересуется, дополнительно могу порекомендовать телеграм-канал о доказательной политике @evidence_guide, например, где рассказывается про весьма интересную публикацию Machine Coding of Policy Texts with the Institutional Grammar и многое другое.

"Грамматика институтов" - это подход к анализу институтов через фокус на синтаксических структурных элементах, которые составляют и формируют институты, воплощенные в языковой форме. К таким институтам относятся государственные политики, стратегии, законы и нормы. 

Подход был предложен Сью Кроуфорд и Элионор Остром еще в 1995 году. Вместе с тем, распространению “грамматики институтов” препятствуют значительные затраты времени и ресурсов, связанные с его применением.  Преодолению этой проблемы может помочь применение машинного обучения для классификации синтаксических элементов "грамматики институтов".

Об этом статья "Machine Coding of Policy Texts with the Institutional Grammar", принятая к публикации в журнале «Public administration».

Обзор по ссылке.

Регулярная подборка ссылок по работе с данными, открытости и приватности

На инженеров по работе с данными (data engineers) больше чем на исследователей данных (data scientists), вывод Mihail Eric по итогам анализа вакансий компаний относящихся к данным в портфеле Y-Combinator, We Don't Need Data Scientists, We Need Data Engineers [1]
Я соглашусь с этим и применительно к России тоже, сейчас много хайпа вокруг data science и ИИ, при том что есть дефицит квалифицированных специалистов и большое число джунов, но также и дефицит специалистов по инфраструктуре данных и инженерии данных.

Best-of Machine Learning with Python [2] каталог из 830 инструментов с открытым кодом по работе с данными с помощью языка Python

Открытый код мессенжера Signal для Android, iPhone, настольного приложения и сервера [3] для тех кто хочет построить собственную автономную инфраструктуру на его основе. Есть лишь сомнения в том что серверный код актуален [4] потому как новые функции в приложениях появляются, а серверный код не обновлялся несколько месяцев.

GHunt [5] - инструмент для OSINT в отношении аккаунтов на Google, извлекает Google ID, данные календаря, отзывы, общедоступную информацию и ещё много чего. Работает не только с почтой на gmail.com, но и с аккаунтами привязанными к собственным доменам. Полезен для самопроверки тем кто думает о приватности и проверке других тем кто ведет расследования.

Поддерживаемый мной список Awesome forensic tools [6] с перечнем инструментов OSINT.

GitLab получили $195 миллионов финансирования при общей оценке в $6 миллиардов [7]

Ссылки:
[1] https://www.mihaileric.com/posts/we-need-data-engineers-not-data-scientists/
[2] https://github.com/ml-tooling/best-of-ml-python
[3] https://github.com/signalapp
[4] https://github.com/signalapp/Signal-Server
[5] https://github.com/mxrch/GHunt
[6] https://github.com/ivbeg/awesome-forensicstools
[7] https://techcrunch.com/2021/01/15/gitlab-oversaw-a-195-million-secondary-sale-that-values-the-company-at-6-billion/

#data #dataengineering #datascience #privacy #opendata

Браузер Brave теперь включает встроенную поддержку IPFS [1], децентрализованного пирингового протокола доступа к контенту [2]. Для других браузеров можно использовать расширение IPFS Companion [3]

Становится интересно когда IPFS включат в Chrome, Mozilla Firefox и другие браузеры, включенная по умолчанию эта технология может оказаться тем что изменит правила игры в экосистеме блокировок, слежки за пользователями и ещё многих других атрибутов "классического веб".

Ссылки:
[1] https://brave.com/brave-integrates-ipfs/
[2] https://ipfs.io
[3] https://github.com/ipfs-shipyard/ipfs-companion

#privacy

Этот телеграм канал Министерства стихов долго скрывать бы не получилось. Пость он позабавит вас в перерывах между серьёзными новостями @ministryofpoems

Здравствуйте, начинаем наше дистанционное заседание Комиссии по делам меньшего зла
Итак, первый вопрос, статс секретарь Министерства забивания козла
Докладывает по вопросу планов министерства по злодействам на этот год
Что? Вызвали к министру. Мне вот тут пишут что сегодня он не придёт.

Очень, жаль, это был важный вопрос про планы министерства
Ну да ничего, у нас тут ещё много разного пионерства

Второй вопрос, давний и очень интересный
Как сообщать цифровым образом о злодействах
Докладчиком у нас представитель ГлавЗлодейРегистрации
Прошу Вас начинать Ваши инсинуации

Знаете, мы тут подготовили целую концепцию
Очень планировали обсудить и получить Вашу акцепцию
Но в виду смены нашего ГлавЗлодейРегистрации руководителя
Мы пока вынуждены повременить с исполнением поручения нашего властителя

Сейчас наша концепция проходит внутреннее согласование
Прошу взять паузу, извините и спасибо за внимание

Как же так, второй вопрос сегодня и тоже без обсуждения
Выражаю, как модератор, сам себе осуждение
Мы, честно говоря надеялись, обсудить вопрос обстоятельно
Ну раз так, то в следующий раз обсудим обязательно

Однако, же дорогие друзья-алкоголики
Что-то не очень у нас работает АНО "Доведения до коликов"
Третий вопрос, важная государственная веха
Обсуждаем создание ЗлодейТеха

Для тех кто может быть подзабыл о чём идёт речь
Мы себя, к сожалению, не смогли уберечь
И на нас свалилось большое поручение
Взять ЗлодейТех на попечение

От нас ждут важного ответа
Должен ли быть ЗлодейТех зелёного цвета
Хорошо танцевать, иметь хобот и большие размеры
Просирать, простите, полимеризировать особо крупные полимеры

У нас сегодня об этом расскажет представитель Алкогольного Цеха
И зелёный представитель зелёного лоббиста ЗлодейТеха
Прошу, не стесняйтесь, расскажите и ответьте на вопросы
Мы все вас очень просим

Здравствуйте, мы ранее направили все материалы
Там перечислены наши фамилии и инициалы
Мы что-то там напридумывали, пока очень абстрактно
Ваше мнение нам будет услышать очень приятно.

А можно вопрос? (голос из группы).
Каково место частных злодеев в Вашей ЗлодейТех'овской труппе?
У нас тут больше 20 лет опыта частного крупного злодейства
Работаем со всем, от адмиралтейства до плебейства
Очень хотим понять нашу будущую роль в этой системе
И как, немного больше, расскажите по теме

Спасибо за Ваш вопрос, он очень правильный и важный
Мы его запишем и ответим Вам на него однажды

А у меня вот тоже есть комментарий.
Я хоть и простой злодей-пролетарий
Но не могу не усомниться в Ваших материалах
Потому что материалов категорически мало
Расскажи подробнее о том что запланировали
Чтобы мы Ваш ЗлодейТех санкционировали

И за Ваш вопрос, спасибо, он очень правильный и важный
Мы его запишем и ответим Вам на него однажды

А я вот всячески Вас поддерживаю во всех формах
Нам региональным злодеям надоело это уже по горло
Нет нормальных типовых злодейских решений
Очень жду Ваших больших зелёных свершений

Спасибо и это вопрос тоже, он очень правильный и важный
Мы его запишем и ответим Вам на него однажды

Коллеги, время у нас выходит и прокомментирую как модератор
Представленный вопрос тоже выглядит сыровато
Какое-то у нас в этот раз немного скомканное мероприятие
Но хорошо что от вируса ни у кого нет кондратия

Попросим коллег и этот вопрос проработать альтернативы
Может быть зло может быть не только зелёным, но и синим?
Давайте предложим и другим большим танцующим травоядным
Свои предложения представить в виде приглядным

На этом всем спасибо, заканчиваем наше заседание
И до майской встречи< всем до свидания

Можно ли национализировать открытый код? Скорее всего нет. А вот построить национальную экосистему возможно что и делается в Китае. Китайские власти поддерживают местный проект Gitee как национального конкурента международным Github и Gitlab, об этом в статье [1] на Restworld.org.

В Китае уже есть OpenAtom Foundation [2] как местный аналог Linux Foundation и они вносят в Gitee многочисленные проекты такие как HarmonyOS [3].

От себя я добавлю что в последние годы идёт мощнейший прирост числа китаеязычных разработчиков [4] на Github и Китай явно
собирается развивать госполитику по возврату их в свою виртуальную юрисдикцию.

Чего ждать в России? Будет ли госполитика развития открытого кода в нашей стране? Об этом хотелось бы поговорить, но пока таких инициатив нет.

Ссылки:
[1] https://restofworld.org/2021/china-gitee-to-rival-github/
[2] https://www.openatom.org/#/projectList
[3] https://gitee.com/openharmony
[4] https://octoverse.github.com/

#opensource #china #gitee

Во Франции есть специальный чиновник, которого у нас бы назвали "уполномоченным по цифровым отношениям", а там называют "послом по цифровым отношениям" (Ambassadeur français pour le numérique)

Помимо прочей пользы этот посол ведёт проект по мониторингу условий использования крупнейших сетевых сервисов [1] таких как Google, Facebook, Twitter и ещё десятков. Все накопленные условия использования анализируются, обрабатываются и выкладываются как открытые данные в формате markdown [2]

В основе проекта данные накопленные в проекте TOSBack [3] который прекратил своё существование в 2018 году.

Также исследователи анализируют сложность и многие другие параметры этих документов [4], как ни смотри набор данных полезный для исследователей.

И, конечно, исходный код проектов посла доступен на Github [5], а сам он сотрудник Министерства иностранных дел Франции [6]

Ссылки:
[1] https://disinfo.quaidorsay.fr/en/cgus
[2] https://github.com/ambanum/CGUs-versions/releases
[3] https://tosback.org/
[4] https://disinfo.quaidorsay.fr/en/cgus/experiments
[5] https://github.com/ambanum
[6] https://en.wikipedia.org/wiki/Henri_Verdier

#france #digital #opendata

Как устроены разного рода рейтинги и рэнкинги?

В последнее время меня спрашивали о том как устроены те или иные рейтинги. Я, в первую очередь, могу немало рассказать о том что касается разного рода рейтингов открытости, но не только. Рейтинги, часто, по разному, имеют значимые отличия в причинах происхождения и по разному к ним стоит относится. К рейтингам по разному относятся и те кого рейтингуют/ранжируют или косвенно затрагивают этим ранжированием.

Здесь надо оговориться что рейтингование - это выставление оценки, а рэнкинг - это ранжирование объектов по этим оценкам. В России это обычно путают и называют рейтингами результаты рэнкинга, поэтому я буду использовать тут тоже слово “рейтинг” как основное, но держать в голове неоднозначность определения.

Итак зачем вообще делают рейтинги и рэнкинги?
...
Текст полностью в рассылке https://begtin.substack.com/p/rankings

#ratings #rankings