NOAA сообщают что этот июль был самым жарким [1]. Похоже что текущими темпами мы застанем последствия глобального потепления гораздо раньше.

Интересно, куда двинется развитие технологий после этого? В стороны повышения эффективности сельского хозяйства? В сторону бегства человечества от реальности? В сторону тотального контроля за населением?

Ссылки:
[1] https://www.noaa.gov/news/its-official-july-2021-was-earths-hottest-month-on-record

#future

Вышел отчет Всемирного экономического форума Developing a Responsible and Well-designed Governance Structure for Data Marketplaces [1] об инициативе Data for Common Purpose Initiative [2] и фокусе на Data Marketplace
Service Providers (DMSPs) (новый термин характеризующий сервисы каталогов и рынков данных).

Заход интересен в акценте именно на Data Marketplaces, с фактически, рекомендациями регулировать именно их, в каком-то смысле, подходами близкими к регулированию бирж. Подход вполне понятный, но что-то мне подсказывает что маловероятно что он приживётся.

Ссылки:
[1] https://www.weforum.org/reports/developing-a-responsible-and-well-designed-governance-structure-for-data-marketplaces
[2] http://www3.weforum.org/docs/WEF_WP_DCPI_2021.pdf

#data #regulation #reports

Ирина Юзбекова в Forbes пишет о том что Google может, по факту, перестать выполнять 149-ФЗ если суд заставит его разблокировать Царьград [1].

Я лично ставлю на то что скорее Царьград останется заблокированным, а Google останется в России. Но гарантии этого нет, а вот уход Google с российского рынка для многих может оказаться очень болезненным.

Ссылки:
[1] https://www.forbes.ru/tehnologii/437419-google-predupredil-o-riskah-dlya-rossii-v-sluchae-proigrysha-v-sude-cargradu

#google

Напоминаю что завтра с 13:00 по Москве буду вести вебинар по организации веб-архивов.

Буду говорить о том кем, как, зачем веб-архивы ведутся. Если Вы планируете участвовать и заранее у Вас есть вопросы, можете написать их заранее и я постараюсь ответить.

Регистрация тут https://infoculture.timepad.ru/event/1733872/

#archives

В рубрике регулярные интересные наборы данных коллекция машиночитаемых текстов библий [1] в форматах XML и JSON. Тексты на 13 языках, включая синоидальный перевод на русском языке. Все данные свободны для некоммерческого использования и опубликованы под лицензией CC-BY-NC.

Ссылки:
[1] https://github.com/thiagobodruk/bible

#datasets #data #opendata

Одна из моих "любимых тем" - это культура работы госорганов с программным обеспечением и массовое использование пиратского ПО. В 2019 году я писал об этом большой пост в блоге [1] со сравнением органов власти. Если, в целом, использование пиратского ПО померять сложно, то для Microsoft Office это возможно потому что пользователи часто ставят ПО из файлопомоек и не меняет метаданные пиратских команд вшитые в эти офисные пакеты по умолчанию. Выявляются такие инсталляции через наличие меток вроде "RePack by SPecialiST, MoBIL GROUP, WareZ Provider, Dnsoft, SPecialiST RePack, NhT, Grizli777, DG Win&Soft, Reanimator Extreme Edition, DreamLair, DrAGoN CorP, Krokoz™, MultiDVD Team, SamForum.ws, diakov.net" в метаданных Company для файлов .doc, docx, xls, xlsx, ppt и pptx ну и ряда других более редких.

Годы идут, кажется что тема стала менее актуальной, но не совсем. Одно из применений цифровой архивации госсайтов которую я сейчас веду в цифровом архиве [2] - это извлечение метаданных из файлов на сайтах госорганов. Когда-то я сделал для этого утилиту metawarc [3] которая извлекает метаданные из WARC файлов веб-архивов.

Опуская дальнейшие технические подробности повторюсь что как использовали пиратское ПО так и используют. На сайте Минцифры, к примеру, как минимум 3 презентации за 2019 год имеют метку SPecialiST RePack:
- https://digital.gov.ru/uploaded/files/sistema-i-struktura-realizatsii-np-tse-na-territorii-vo.pptx
- https://digital.gov.ru/uploaded/files/byichkov-ke25-1.pptx
- https://digital.gov.ru/uploaded/files/3-tsod-gorkavenko-dmitrij.pptx

Правда, одна из них от ИКС Холдинг, другая от Правительства РСЯ, а третья от представителя Правительства Вологодской области. То есть, как бы, не сотрудники Минцифры. А вот от сотрудников Минцифры в 2020 году только один документ - https://digital.gov.ru/uploaded/files/7uvedomlenie-o-voznik-konf-interesov2020.docx
но и он по шаблону от 2015 года.

Оговорюсь лишь что это по результатам анализа 582 файлов и то что сайт не заархивирован ещё полностью и анализировались только первые 13 выгруженных гигабайт.

Статистику 2-х летней давности я публиковал на data.world [3], новые цифры будут уже в каталоге DataCrafter'а [4].

P.S. На самом деле можно всё это анализировать и без тотальной выгрузки сайтов, но такой анализ скорее развлечение чем осмысленная деятельность поэтому в приоритетах у меня другие исследования/расследования пока.

Ссылки:
[1] https://begtin.tech/government-piracy/
[2] https://ruarxive.org
[3] https://data.world/infoculture/government-piracy
[4] https://beta.apicrafter.ru

#piracy #government

Zoom поймали на лжи о end-to-end шифровании и передачи данных Facebook и Google [1].

Новость не из неожиданных, потому что Zoom уже ловили на передаче данных в Китай [2].

Много подробностей в комментариях у Брюса Шнаера [3] и, я тоже не могу не прокомментировать что единственный способ избежать ухудшения ситуации с торговлей данных - её легализация и регулирование. Особенно в отношении особо крупных "экосистем" и мегакорпораций.

Ссылки:
[1] https://arstechnica.com/tech-policy/2021/08/zoom-to-pay-85m-for-lying-about-encryption-and-sending-data-to-facebook-and-google/
[2] https://www.businessinsider.com/china-zoom-data-2020-4
[3] https://www.schneier.com/blog/archives/2021/08/zoom-lied-about-end-to-end-encryption.html

#zoom #data

VC.ru написали про приложение Минцифры AppList [1] текст в стиле "А кому оно вообще нужно?", вопрос резонный и я с ним согласен. А кому? Ну и жаль что коллеги из Минцифры не отвечают на вопросы журналистов. На мои, правда, тоже отвечают что-то редко;)

Ссылки:
[1] http://vc.ru/tech/281811

#privacy

В рубрике интересные наборы данных, базы датасетов от GWU Libraries с собранными данными из соцсетей в контексте конкретных событий [1] вроде выборов президента в США, выборов в конгресс или коронавируса.

В основном данные из Twitter'а поскольку их собрать куда проще чем из других соц. сетей.

Ссылки:
[1] https://dataverse.harvard.edu/dataverse/gwu-libraries

#opendata #datasets

Фонд президентских грантов опубликовал данные по всем заявкам и результатам их реализации в разделе открытые данные [1]. Данные в Excel, зато весьма подробные. Идеально было бы, конечно, увидеть полные данные которые есть на карточках проектов на сайте Фонда и сами данные в форматах CSV/JSON, но и эта публикация уже очень хорошо потому что зная состояние сектора для многих в среде НКО и Excel'ем то пользоваться не всегда привычно.

А тут много данных и все полезные. Мы добавим их в наши некоммерческие проекты Открытые НКО [2] и Хаб открытых данных [3], а также в DataCrafter [4]

Ссылки:
[1] https://президентскиегранты.рф/public/open-data
[2] https://openngo.ru
[3] https://hubofdata.ru
[4] https://beta.apicrafter.ru

#datasets #ngo #openngo

Хороший обзор стартапов и тренда на рост значимости качества данных (data quality) по частоте упоминания в резюме, росту инвестиций в эту отрасль и другие признаки [1].

Я ранее уже упоминал весьма любопытные стартапы Soda [2] и Anomalo [3], а в этом обзоре ещё упоминаются Aquarium [4] и Datafold [5] и многие другие.

Качество данных, действительно, одна из ключевых задач инженерии данных и большой растущий рынок для инструментов в этой области.

Ссылки:
[1] https://gradientflow.com/data-quality-unpacked/
[2] https://yangx.top/begtin/2810
[3] https://yangx.top/begtin/2388
[4] https://www.aquariumlearning.com
[5] https://www.datafold.com/

#data #dataquality

Но есть и хорошие новости.

В кои-то веки разумное регулирование, направленное на преодоление провала рынка "асимметрия информации":
"В частности, новые правила обяжут кинотеатры предупреждать зрителей о том, сколько минут будет длиться реклама и показ трейлеров перед началом самого фильма. Эта информация будет размещена в зоне кассового обслуживания. Таким образом зрители смогут лучше рассчитать своё время и не опоздать на сеанс." #MarketFailure #AcasymmetricInformation #правительство #кино
http://government.ru/news/43025/

В рубрике позорных форм публикации открытых данных актуальный пример - "Информационная система дистанционного мониторинга Федерального агентства лесного хозяйства" [1].

Сразу на главной странице вебсайта системы есть выбор открытых данных где можно выбрать данные за конкретный день (?!) и просмотреть их в форматах изображений или на карте.

К примеру, температурные аномалии представлены исключительно в форме картинки с геотермами [2], но, если эти данные ещё хоть как-то можно обосновать почему он публикуется именно так, то отчет по данным космического мониторинга [3] и погодные условия [4] выглядят исключительно как издевательство, будучи опубликованными в виде сканов таблиц из MS Word / MS Excel.

Такое невозможно сделать случайно, только осознанно чтобы снизить доступность данных для потребителей.
Аналогично с картой [5], экспортировать её можно, а получить данные по пожарам, кроме как наводя вручную, нет.

Это, конечно, никакие не открытые данные, там вообще данные не публикуются, а только некая продукция на их основе.

Казалось бы очевидные вещи, но нет, поэтому это особо показательный пример когда вроде как говорят что данные есть, а на самом деле их нет.

Чтобы данные из этой системы были доступны и востребованы они должны бы публиковаться:
- в машиночитаемых форматах CSV, XML, JSON
- с длинными рядами исторических значений за всю историю наблюдения
- с возможностью скачать всё сразу, а не по дням

Ссылки:
[1] https://public.aviales.ru/main_pages/public.shtml
[2] https://public.aviales.ru/main_pages/anom_temp.shtml?6_2021-08-17
[3] https://public.aviales.ru/main_pages/openform1.shtml?2021-08-17
[4] https://public.aviales.ru/main_pages/openform2.shtml?2021-08-17
[5] https://public.aviales.ru/mapviewer/cgi/public_tiles.pl?1629158403000

#opendata #data #rosleshos #fires

Что меня тревожит в этих вот нацпроектах, так это удивительная "тишина" в официально публикуемых материалах.

К примеру, выдался у меня интерес посмотреть материалы по Нацпроекту "Экология", а на сайте Росводресурсов последний документ за март 2020 года [1], это, позвольте, но почти 1,5 года назад.
По госпрограммам также, вот только 10 августа у Росводресурсов появился отчет на сайте [2], а до этого год тишины, с конца июля 2020 года.

А сайт национальныепроекты.рф [3] пустой, там даже новости не публикуются.

Или вот раздел Нацпроект Экология [4] на сайте Минприроды РФ, тоже пустой, только паспорт проекта не понять какой актуальности.

Очень хочется спросить - что за хрень творится то?

Ссылки:
[1] https://voda.gov.ru/activities/natsproekt-ekologiya/
[2] https://voda.gov.ru/activities/gosudarstvennye-programmy-rossiyskoy-federatsii-i-federalnye-tselevye-programmy/
[3] https://национальныепроекты.рф/projects
[4] https://www.mnr.gov.ru/activity/directions/natsionalnyy_proekt_ekologiya/

#openness #ecology

Я напомню что 2 года назад я писал про нацпроекты и не грех напомнить.

В публикации "Могут ли успешно завершиться национальные проекты?" [1] начальный текст о странностях нацпроектов и заметка "Национальные проекты или бег по кругу" [2] со сравнением ФЦП, Национальных приоритетных проектов, Госпрограмм и Национальных проектов.

А потом ещё в сентябре 2019 года я писал колонку в РБК "Информационный барьер: как нацпроекты сделали бюджет менее прозрачным" [3].

В общем-то сейчас, когда смотришь на то что предполагалось, и то как всё происходит, разница между госпрограммами и нацпроектами видна лишь в том что госпрограммы хотя бы являются документами стратегического планирования. Я вспоминаю (и у меня есть архив сайта) по приоритетным национальным проектам 2005-2008 годов и даже тогда публиковалось гораздо больше сведений о их ходе и было очень мало расходов на "пиар". А сейчас пиар виден, а документы где?

По опыту предыдущих наблюдений все эти понятия живут недолго от 4 до 8 лет и я готов поспорить что не пройдет и 1-2 лет как нацпроекты начнут заменять на что-то новое. На что именно - ещё придумают. Будут какие-нибудь "Многоцелевые умные долгосрочные акцентированные комплексные инициативы" или "Жизненно-ориентированные программы-акценты".

Но вот с качественными изменениями что-то не очень заметно, а вот отсутствие сведений и снижение прозрачности заметно очень хорошо.

Ссылки:
[1] https://begtin.tech/natprojects-failready/
[2] https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/
[3] https://www.rbc.ru/opinions/economics/20/09/2019/5d81e9f99a7947a59b1f7cea

#opendata #nationalprojects

Для тех кто интересуется приватностью и является юристом одновременно, рекомендую курсы которые организуют Digital Rights Center.

​​Интенсив для IT-юристов с 13-17 сентября

Сегодняшний мир неизбежно уходит в интернет, а вместе с ним возникает и необходимость регулировать отношения во всемирной паутине. В том числе — и в сфере цифрового права.

▪️Как правильно разместить рекламу в интернете?
▪️Как оформить и защитить права на доменное имя сайта?
▪️Что делать, если возник юридический конфликт с хостинг-провайдером?
▪️Как лучше и безопаснее всего начать освоение криптомира?

Если вы хотите лучше разбираться в этих и других вопросах — записывайтесь в «Школу киберправа»! Наш новый курс будет проходить в Москве с 13 по 17 сентября 2021 года.

Программа обучения будет состоять из 7 модулей:

1. Intermediaries & ISP
2. Tax & Ad
3. IP & Copyright & Domains
4. Big Data & AI
5. Privacy & Security
6. Forensic
7. Digital assets & crypto/blockchain

5 дней, 11 экспертов, 8 модулей, 45 академических часов актуального материала от лучших практикующих экспертов. Не только теория, но и разбор кейсов из реальной практики. По результатам обучения каждый участник курса получит удостоверение государственного образца о повышении своей квалификации в области киберправа.

В связи с непростой эпидемиологической обстановкой мы предлагаем опциональное и дистанционное участие в обучении. Таким образом вы можете выстроить свой персональный график очного/заочного посещения занятий. Задать интересующие вопросы можно по телефону +7 (926) 353-89-41, а также по электронной почте [email protected].

Старт занятий уже 13 сентября, поэтому регистрируйтесь уже сейчас: https://clck.ru/Wuunc

Мы опубликовали запись вебинара «Как организовать веб-архив и архив социальных сетей. Стандарты, инструменты и продукты» на нашем ютуб-канале.

Иван Бегтин, директор АНО «Инфокультура», рассказал:
🔹 Что такое цифровая архивация и какие международные и российские проекты существуют в этой сфере
🔹 Как организовать веб-архив
🔹 Как устроены современные веб-архивы
🔹Каковы основные веб-стратегии, стандарты и инструменты архивации
🔹Как сохранять социальные сети

🔜 Мы обязательно продолжим вебинары по этой тематике. Следите за нашими анонсами!

Росводресурсы открыли прототип системы "Водные данные" [1] о чем публикация на сайте Минприроды РФ [2].

Сам ресурс содержит сведения о:
- Водохозяйственных участках
- Водных объектах
- Водопользовании
- ГМВО (Государственном мониторинге водных объектов)

Кроме того доступны API для получения данных по формам ГВР [3], а данные в форме открытых данных доступны как CSV файлы и с цифровой подписью.

Если кратко резюмировать, то по форме представления данных всё выглядит довольно прилично.

А если немного углубиться в детали, то есть на что обратить внимание:
1. Нет такого понятия как ЭЦП в российском законодательстве уже давно, есть электронная подпись (ЭП) и она точно реализуется иначе и должна быть проверяема, например, через сервис на портале госуслуг. Сейчас эта проверка не проходит.
2. Хотя на сайте есть паспорта набора данных там нет ничего про метаданные. То есть паспорта сделаны не по метод рекомендациям опубликованным на data.gov.ru которые, хотя и весьма и весьма неидеальны, но даже их не соблюдают.
3. В том числе отсутствуют метаднные по структуре полей наборов данных. Иначе говоря данные есть, документации к ним нет.
4. Документация к API есть, но почему-то, не в формате Swagger, а просто HTML описанием без примеров.
5. Наборы данных опубликованы все через ajax, как следствие ни у одного набора данных нет отдельной веб страницы, они не будут находиться поисковыми системами.

Это было про форму публикации данных, а теперь про их качество и полноту:
- не все наборы данных опубликованы, по некоторым открываются пустые файлы. Например, набор данных " Данные о состоянии гидротехнических сооружений, находящихся в собственности" в разделе ГВМО пустой (обратите внимание что я не могу дать ссылку на сам набор потому что сайт так сделан)
- данные смешаны и в одном поле публикуется то что должно быть разделено на несколько полей для удобного поиска. Например, в данных по форме ГВР 2-6 есть поле owner_person, которое совсем не про владельца физ. лица, а про сведения о любом владельце и содержат наименование организации или физ. лица, адрес местонахождения и ИНН. Все вместе, хотя в большинстве реестров эти данные разделяют на 3 поля минимум, а максимум ещё и декомпозируют адрес и добавляют ему коды ОКАТО или ОКТМО.
- в опубликованных данных есть неполное заполнение данных. Всё в тех же данных по форме ГВР 2-6 есть 46 867 записей из которых код ИНН отсутствует у 4259, около 9% записей. Что означает что для сопоставления объекта водопользования с юр лицом придется выяснять ИНН юр. лица.
- даже в тех случаях когда ИНН указан, проверка показывает что в 507 случаях код указан с ошибкой, по некоторым кодам, очевидно сразу что они вводились как неверные. Например: часто встречается указание кода 7600000000 в отношении водопользователей Ярэнерго и других юр лиц. Что это означает? Что в системе(-ах) Росводресурсов нет форматно-логического контроля и данные вводятся с ошибками. И это только по самым очевидным случаям поддающимся автоматическому анализу, а многое можно понять уже создавать правила проверки под конкреный источник данных.

В качестве резюме, хорошо что эти данные публикуются, но много над чем есть работать.

Ссылки:
[1] https://gis.favr.ru/web/guest/opendata
[2] https://www.mnr.gov.ru/press/news/rosvodresursy_otkryli_vodnye_dannye/
[3] https://gis.favr.ru/external-api

#dataquality #opendata #waterdata #voda