Опять началась широкая дискуссии по поводу анонимности в интернете.
После трагедии в Казане спикер Госдумы Вячеслав Володин предложил ограничить анонимность в Интернете. Покончить с анонимностью в соцсетях также предложили и в Общественной палате России, ссылаясь на международный опыт, в том числе опыт Австрии и Южной Кореи.

Следует сказать, что это уже не первая и не последняя попытка лишения российских пользователей анонимности. Власти и не отрицают своего желания деанонимизировать каждого в интернете, и даже несколько лет назад приняли неработающий закон об обязательной идентификации пользователей мессенджеров.

Однако все отсылки на международную практику являются не более чем манипуляцией общественным сознанием, не имеющей ничего общего с реальностью.

В 2019 году правящая партия Правительство Австрии действительно продвигала план по борьбе с языком ненависти, заставляя пользователей социальных сетей и онлайн-комментаторов сообщать подробности о своей реальной личности. Кроме того в том же году Правительство представило федеральный законопроект, получивший название «запрет на использование цифровых масок», который требовал бы от пользователей регистрацию на платформе и форумах с указанием имена и адреса, прежде чем они смогут оставить один комментарий. Однако после серьезной волны общественного обсуждения, Правительство Австрии отказалось от этих планов.

А в Южной Кореи Конституционный суд страны еще в 2012 году отменил нормы закона, обязывавшие интернет-пользователей, комментирующих сообщения, раскрывать свои настоящие имена. В постановлении было указано, что эти нормы ограничивают свободу слова в Южной Корее.

Как неоднократно отмечали в ООН, право на анонимность является фундаментальным правом человека и представляет из себя гарантию для реализации иных прав человека, в т.ч. права на свободу мнения и свободу слова.
Так что у вас есть право на анонимность. И любое наступление на это право следует воспринимать как наступление на базовые права человека, несовместимое с международными конвенциями. Не стоит обманывать себя самих. И ни в коем случае не давайте обманывать себя другим. Никакая деанонмизация не сделает нашу жизнь в онлайн или в оффлайне боле безопасной.

В рубрике интересных наборов данных данные Управления транспортной безопасности США которые еженедельно в PDF форматах публикуют статистику по пересечению границы США [1] с разбивкой до часа и конкретного терминала. ИТшник Mike Lorengo написал код по преобразованию этих документов в машиночитаемую форму и опубликовал вместе с данными [2] на Github и написал об этом всём на Reddit [3].

Причём он подошёл к делу системно, нарисовал схему сбора и обработки данных, задокументировал и визуализировал.
Для разбора PDF'ов использует Azure Form Recognizer [4], облачный сервис по распознаванию PDF форм.

Мне вспомнилось как я похожим образом анализировал данные о выездах скорой помощи в Москве около 10 лет назад. Тогда, в 2011 году существовал сайт Московского департамента здравоохранения mosgorzdrav.ru где публиковались ежесуточные сводки по выездам бригад скорой помощи. Данные там публиковались в HTML по заданному формату начиная с 2005 года, и их все я тогда выкачал и выложил в открытый репозиторий [5]. Вот так и было, открытых данных было мало, но собрать с сайтов можно было гораздо больше.

Сейчас по Москве таких данных уже и не найти. Но в PDF их публикуют, например, в ГБУЗ БСМП в Карелии в виде регулярных PDF отчетов [6] или в ГБУЗ Самарская СМП, правда, без истории, только за предыдущую неделю [7].

Надо попробовать пособирать подобные данные и обработать одним из облачных обработчиков PDF форм. Задачи то похожие.

Ссылки:
[1] https://www.tsa.gov/foia/readingroom
[2] https://github.com/mikelor/TsaThroughput
[3] https://www.reddit.com/r/datasets/comments/mx87q8/tsa_throughput_dataset_alternate_source/
[4] https://azure.microsoft.com/en-us/services/cognitive-services/form-recognizer/
[5] https://github.com/infoculture/mosgorzdrav
[6] https://muzbsmp.ru/o-gbuz-bsmp/operativnaja-informacija-o-rabote-skoroj-medicinskoj-pomocshi/informacija-o-rabote-vyezdnyh-brigad-i-dispetcherskoj-sluzhby/
[7] http://03samara.ru/page/operativnaja-svodka

#timeseries #data

Прошло обсуждение о госполитике по доступу к информации и о мировых трендах сферы

Министерство информации и общественного развития РК и Центр прикладных исследований «Талап» совместно провели в онлайн-формате круглый стол «Государственная политика доступа к информации: Ситуация в Казахстане и мировые тренды».
Во время мероприятия директор Департамента развития коммуникаций государства и общества МИОР РК Бекзат Рахимов подробно рассказал о проекте «Годовой отчет о сотоянии сферы доступа к информации в Республике Казахстан» и презентовал его основные тезисы.
С темой «Открытые и большие данные в государственном управлении» выступил руководитель ассоциации участников рынка данных России Иван Бегтин.
Запись трансляции доступна по ссылке: ⤵️
https://youtu.be/-qGpmOb8O3g

@aqparatqogam

Observable [1], проект красивых интерактивных записных книжек (notebooks) по визуализации данных открыли код их библиотеки кода для Javascript, Observable Plot [2] используемой ими в их проекте. Библиотека выглядит очень привлекательно, а открытый код позволяет использовать те же визуализации что в коммерческом продукте Observable.



Ссылки:
[1] https://observablehq.com/
[2] https://observablehq.com/@observablehq/plot

#opensource #datavis

Начну неделю с ноты юмора и почти оффтопика и раскрыть что вот уже 10 лет пишу стихи и мелкое прозаическое творчество про государство. В 2019 году в Точке Кипения в АСИ появилась выставка Музей бюрократической культуры [1] и несколько лет пишу эти стихи в телеграм канал Министерство стихов [2]. В музее тщательное отобранные, лучшие произведения, а в канале вперемешку всякого, чаще посредственное, чем шедевры, поскольку сбрасываю я туда стихи и мелкую прозу без детальной вычитки и тд.

Иногда, реже, небольшие зарисовки как, например, Выездная виза [3] появляются ещё где-то, но в основных моих рабочих каналах блогах и рассылках.

Чаще всё написано довольно иронично, иногда до сарказма, иногда, очень редко удаётся написать что-то "доброе". В любом случае все совпадения случайны, при написании стихов ни одного кота не пострадало (с).

Признаться я всё не решаюсь собрать всё это в какой-то единый ресурс, нехватает времени и есть сомнения в большой исторической ценности этого, но надеюсь что написанное порадует любителей наблюдать за современной бюрократической культурой.

—
Эй, гражданский! Ты, ты не мешкай
Важный станешь, а не просто пешкой
Да забудь ты про картины свои и скульптуры
Любуйся! Красуйся! Впитывай!
Национальный музей бюрократической культуры!

Всё настоящее, без дури и липы
Видишь сгорбленная фигура над бумагой кипы?
Заполняет не абы что, а пожарные инструкции
Требует трудового законодательства конструкция

А вот экспонат, чиновник старой закалки
Опытен, хитёр и не без смекалки
Смотри, в текстах зачищает точки и запятые
Эй, не читай, все на сложные слова заменил простые

Эй, гражданский, не беги! Это же ностальгия!
И не надо мне тут про аллергию!
А то впишу сейчас тебе административное нарушение
За несанкционированное покидание музейного помещения!
—
Ссылки:
[1] http://ivanbegtinmuseum.tilda.ws/
[2] https://yangx.top/ministryofpoems
[3] https://te.legra.ph/Vyezdnaya-viza-01-25

#poems #humour

Сразу несколько новых регуляторных документов, Постановлений Правительства про данные и информационные системы:
О генсхеме развития сетей связи и инфраструктуры хранения и обработки данных в РФ
Постановление Правительства Российской Федерации от 04.05.2021 № 703 "О федеральной государственной информационной системе "Генеральная схема развития сетей связи и инфраструктуры хранения и обработки данных Российской Федерации" [1]

О правилах проверки во ФГИС ЕФИР
Постановление Правительства Российской Федерации от 04.05.2021 № 715 "Об утверждении Правил проведения органами и организациями, указанными в статье 10 Федерального закона "О едином федеральном информационном регистре, содержащем сведения о населении Российской Федерации", проверки полноты, актуальности и достоверности сведений о населении Российской Федерации, предусмотренных в соответствии со статьей 10 указанного Федерального закона к направлению из государственных информационных систем данных органов и организаций для формирования и ведения единого федерального информационного регистра, содержащего сведения о населении Российской Федерации, а также при необходимости размещения в указанных государственных информационных системах ранее не размещенных сведений о населении Российской Федерации" [2]

А также Правительство утвердило положение о Единой информационной платформе управления данными [3] но об этом есть только новость на сайте Правительства РФ, но нет ещё самого документа. Ждём его на pravo.gov.ru.

Ссылки:
[1] http://publication.pravo.gov.ru/Document/View/0001202105130006
[2] http://publication.pravo.gov.ru/Document/View/0001202105120021
[3] http://government.ru/news/41888/

#nsud #data #regulation

Deep fake Geography (география дипфейков) это участившиеся случаи подлога спутниковых снимков с помощью искусственного интеллекта [1]. Об этом в статье A growing problem of ‘deepfake geography’: How AI falsifies satellite images [1] от Kim Eckart из Университета Вашингтона.

В статье приводится несколько примеров когда специальный алгоритм вносит в снимки несуществующие элементы которые потом невозможно доказать ненатренированному глазу. А с развитием технологий есть вероятность что и натренированному глазу и алгоритмам выявления дипфейков их не обнаружить.

Подробнее об этой проблеме в статье Deep fake geography? When geospatial data encounter Artificial Intelligence [2]

Тема довольно серьёзная, в связи с тем что многие страны до сих пор заинтересованы в сокрытии информации о многих объектах на своей территории. Например, военных объектов или тайных баз инопланетян. Как бы то ни было, есть реальный риск давления правительств некоторых стран для дипфейковости снимков некоторых участков снимаемых основными коммерческими поставщиками спутниковых данных.

Ну и, конечно, не всякому спутниковому кадру в СМИ и соцсетях можно верить.

Ссылки:
[1] https://www.washington.edu/news/2021/04/21/a-growing-problem-of-deepfake-geography-how-ai-falsifies-satellite-images/
[2] https://www.tandfonline.com/doi/full/10.1080/15230406.2021.1910075

#data #ai #deepfakes

Scheme flooding техника и одноимённый сервис [1] определения уникального идентификатора пользователя и то какие приложения установлены на его настольном компьютере. Работает через перебор протоколов по которым браузер запускает специализированные приложения такие как Zoom, Skype, Telegram и другие.

Результаты выглядят примерно вот так как на этой картинке. А подробнее в тексте авторов из [2] FingerpringJS

Работает на всех популярных браузерах кроме Opera (или с ним не тестили). Исходный код тестов открыт [3]


Ссылки:
[1] https://schemeflood.com/
[2] https://fingerprintjs.com/blog/external-protocol-flooding/
[3] https://github.com/fingerprintjs/external-protocol-flooding

#privacy #fingerprinting

Стал доступен текст Постановления Правительства РФ от 14 мая 2021 года №733 [1]. В тексте даны определения ряда понятий используемых в НСУД, в законопроекте поправок в 149-ФЗ.

Получается что сейчас постановление правительства дублирует положения проекта законопроекта. Документ уже подвергался критике экспертов [2], в том числе и довольно "циничной".


Ссылки:
[1] http://static.government.ru/media/files/UN7KKWcK3TgpjAmRcaTzRWUZezbIQQWf.pdf
[2] https://yangx.top/smart_regulation/3449
[3] https://yangx.top/CynExp/3241

#nsud #government #data

Особенность проектики проектирования регулирования данных в Великобритании, Австралии и ряда других стран анлосферы - это трёхэтапная разработка ключевых концептуальных документов.

На первом этапе инициируется создание концепции которая должна быть проработана достаточно чтобы её можно было бы обсуждать, но недостаточно для того чтобы принимать как есть.

На втором этапе интенсивный сбор обратной связи, запросами предложений и комментариев, предложений, идей и так далее. Активная работа с экспертами.

На третьем этапе подготовка Government Response на высказанные замечания, критику и идеи. В этом случае участвуют уже не только авторы первой версии концепции, но и представители власти ответственного органа.

В Великобритании только что опубликовали Government response to the consultation on the National Data Strategy [1], подробный документ-ответ на реакцию экспертов на национальную стратегию данных Великобритании, размещённую в сентябре 2020 года. Она была опубликована в начале сентября 2020 года, далее с 9 сентября по 9 декабря 2020 года (3 месяца) шёл сбор предложений и замечаний.

Это хороший пример того как работает медленная, но последовательная разработка законов в этой области.

Ссылки:
[1] https://www.gov.uk/government/consultations/uk-national-data-strategy-nds-consultation/outcome/government-response-to-the-consultation-on-the-national-data-strategy#conclusion-and-next-steps-delivering-the-national-data-strategy

#opendata #data #datastrategy

Коммерсант пишет [1] что Минцифры повторно направило в правительство законопроект, регулирующий оборот обезличенных данных в России. Согласно новому варианту, бизнес безвозмездно должен будет передавать властям такие данные россиян. Их сбор нужен государству, чтобы начать оказание цифровых услуг, считают эксперты. Но, по мнению бизнеса, инициатива затормозит развитие рынка больших данных и проектов в области искусственного интеллекта.

Если всё так, то затронет это, в первую очередь, весь крупный бизнес владельцев данных.

Интересно увидеть итоговый текст документа, если он у Вас есть - поделитесь, обсудим его вместе предметно.

Ссылки:
[1] https://www.kommersant.ru/doc/4731592

#data #regulation

В рубрике интересные наборы данных, большой набор данных Russian Open Speech To Text опубликованный на Github [1] и Azure Open Datasets [2]. Это большой набор данных используемый в задачах распознавания речи на русском языке, пригодный, в первую очередь, для задач обучения алгоритмов. Но также это один из немногих наборов данных созданный за счёт пожертвований пользователей, авторы с сентября 2019 года сумели собрать $608 [3], что может быть и не так много, но вполне неплохо для работы связанной со сбором данных.

Впрочем важнее что сам набор данных весьма интересный и довольно редкий. А если он окажется и полезным, то не жалко и поддержать его авторов.

Ссылки:
[1] https://github.com/snakers4/open_stt
[2] https://azure.microsoft.com/en-us/services/open-datasets/catalog/open-speech-to-text/
[3] https://opencollective.com/open_stt

#opendata #datasets

В рубрике интересные наборы данных, коллекция 25 Гигабайт изображений сервиса Unsplash [1]. Это больше 2-х миллионов изображений, 5 миллионов ключевых слов и 250 миллионов поисковых запросов. Если Вы разрабатываете разного рода алгоритмы распознавания образов и тд., то это хорошая точка старта, но, конечно, не единственная.

Набор данных свободен для любого некоммерческого использования.

Ссылки:
[1] https://unsplash.com/data

#opendata #images #datasets

Explorium, стартап по подготовке данных (data preparation) получил очередной раунд венчурного финансирования в 75 миллионов USD [1] что теперь составляет 127 миллионов USD вложенных инвесторами в этот продукт. Продукт у них интересный [2], в виде создания платформы для очистки, обработки и, что важно, обогащения данных для чего они используют множество открытых и коммерческих источников дополняя данные загруженные на их платформу сведениями о компаниях, статистике в геопривязке, информацию о людях и не только. У них весьма большая External Data Library [3].

Задачи которые они решают повсеместны, большинство решает их используя собственный код, а тут комплексное и, скорее всего, дорогое решение. В России, конечно,не применимое в силу импортозамещения и ограничений в обработке данных за пределами российской юрисдикции.

Интереснее то что таких инструментов всё больше и значительные инвестиции идут в облачные продукты.

Ссылки:
[1] https://venturebeat.com/2021/05/18/data-prep-platform-explorium-raises-75m/
[2] https://www.explorium.ai/
[3] https://www.explorium.ai/platform-data-engine/

#tools #software #startups

На самом деле я даже не знаю как это прокомментировать. Как то что в долларовом эквиваленте это около 7.4 миллионов и что это не так много для глобальной системы, так и то что за перечисленные работы это выглядит слегка ... многовато.

#fgis #itspending

Министерство цифрового развития, связи и массовых коммуникаций РФ заключило крупный госконтракт. 407 млн рублей из федерального бюджета потратят на развитие ФГИС «Единая система идентификации и аутентификации в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме» (ЕСИА).

Исполнителем в рамках соглашения выступает ПАО «Ростелеком». Закупка проводилась у единственного поставщика. Срок действия контракта — до 15 ноября 2021 года. За оставшиеся шесть месяцев, по условиям контракта, исполнитель среди прочего обязуется разработать дизайн-макеты для экрана раздела ЕСИА, разработать и модернизировать одну веб-страницу раздела ЕСИА, улучшить часть ее функций и мобильное приложение.

Подробности — на сайте «Госзатраты»: http://amp.gs/bvKC

Land Portal Foundation совместно с Open Data Charter опубликовали руководство по работе с открытыми данными о земле. Руководство ориентировано на власти стран ответственные за работу с земляными участками, это службы кадастров, министерства ответственные за лесную политику и так далее.

Авторы доклада одновременно являются создателями Land Portal [2], большого проекта по мониторингу использования земли по всему миру. России и развитых стран там нет, а вот страны третьего мира почти все.

А для тех кто интересуется этой темой, вдогонку, добавлю что есть такой проект ка LandMatrix [3] где осуществляют мониторинг сделок с землёй и вот тут про Россию есть данные. Например вот [4], контракт на посадку леса, похоже эти сведения собирают вручную. Судя по всему их региональный партнер на Украине, потому что именно по Украине более всего внесено сделок в восточной европе, а по России всего 381 сделка.

Вообще же проектов по мониторингу использования земли всё больше и эти два далеко не единственные.

Ссылки:
[1] https://landportal.org/library/resources/open-data-improved-land-governance
[2] https://landportal.org
[3] https://landmatrix.org
[4] https://landmatrix.org/deal/7836/

#opendata #land

Незаслуженно пропущенная мной новость, появление Berlin Declaration on Digital Society and Value-based Digital Government [1]
По русски можно перевести как берлинская декларация о цифровом обществе и Цифровом государстве (правительстве) основанном на ценностях.

Декларация про применение европейских ценностей и фундаментальных прав при реализации цифрового государства, подписана всеми странами членами Евросоюза.

В декларации чётко артикулируются вопросы открытости, в том числе поддержке развития открытости данных и открытости кода. Отдельно упоминаются value-based, human-centred AI systems (ценностные человекориентированные системы ИИ).

Документ полезный, для понимания стратегий Евросоюза, также стоит посмотреть на их интерактивную инфографику на портале открытых данных Испании [2].

Ссылки:
[1] https://digital-strategy.ec.europa.eu/en/news/berlin-declaration-digital-society-and-value-based-digital-government
[2] https://datos.gob.es/en/noticia/data-related-strategies-will-mark-2021

#opendata #opengov #opensource