В качестве регулярного напоминания, кроме всего прочего я за последние лет 15 занимался тем публиковал довольно много кода как открытый код. В основном с надеждой на вовлечение сообщества и, где-то, это получалось, а где-то не очень. Случаев когда получалось и появлялись контрибьюторы довольно много, так что почему бы и не напомнить, на случай если возникнуть желающие воспользоваться и помочь в разработке:

- newsworker - библиотека для Python для извлечения новостей из веб страниц. Один из моих экспериментов с автоматизацией парсинга HTML закончился написанием этой библиотеки которая умеет распознавать даты в любом написании, ссылки и заголовки и текст новости.
- docx2csv - библиотека для Python и утилита командной строки по извлечению таблиц внутри файлов Microsoft Word (.DOCX).
- qddate - библиотека для идентификации дат в любом написании для условно любых языков. Изначально писалась как часть newsworker, потом была отделена. Поддерживает более 300 шаблонов написания дат.
- lazyscraper - утилита командной строки для превращения массивов HTML тэгов и HTML таблиц в таблицы CSV
- russiannames - на удивление оказавшаяся востребованной библиотека для Python и база данных для имён на русском языке и распознаванию стилей их написания. Создавалась из многих открытых источников, полезна, например, для задач когда надо понять в каком формате написано ФИО и что в нём есть что
- undatum - утилита командной строки для работы с разными структурированными данными, в первую очередь JSON lines. Фактически делалось как аналог csvkit для JSON lines, лично я ей пользуюсь ежедневно хотя и её ещё надо и надо допиливать.
- govdomains - база российских госдоменов и ассоциированного с этим кода, да, да, это не только зона .gov.ru, но и многое другое. Делалось изначально для проекта Ruarxive для понимания того что надо архивировать. Список большой, но с 2022 года развиваемый в закрытую по объективным причинам, чтобы не помогать хакерам находить уязвимости.
- metacrafter - утилита и библиотека идентификации семантических типов данных. Поддерживает десятки типов данных собранных в специальном реестре, изначально это был один из внутренних инструментов в продукте Datacrafter
- apibackuper - тоже утилита которой я пользуюсь регулярно, она создавалась для того чтобы архивировать данные предоставляемые через API. Причём всё это делается через простой конфиг файл. До сих пор многие датасеты из API я генерирую с её помощью.
- wparc - утилита архивации содержания Wordpress сайтов через API Wordpress если оно не отключено.
- ydiskarc - утилита архивирования материалов на Яндекс Диске, использует, по большей части документированное официальное API, но не требует к нему токенов или авторизации
- pyiterable - попытка унифицировать работу с данными в разных форматах: CSV, JSON, JSON lines, BSON, в том числе внутри контейнеров архивов. Регулярно сам этим пользуюсь. Изначально был план переписать undatum с использованием этой библиотеки, но руки не доходят.
- datacrafter - облегчённая ETL на Python для работы с открытыми данными, используется в одноимённом проекте datacrafter.ru, аналогично я ей сам регулярно пользуюсь когда надо систематизировать извлечение данных из открытых источников. К ней множество примеров для работы с данными на российских госсайтах.

#opensource #tools #data #datatools

Свежий список компаний [1] попадающих под регулирование Евросоюза Digital Markets Act включает:
Alphabet
Amazon
Apple
ByteDance
Meta
Microsoft

А также список их продуктов. Список интересен тем что охватывает не все продукты компаний, а лишь те что значимы. Например, поиск Google там есть, а поиска Bing там нет. Также интересно что компании Маска и Twitter'а там тоже нет.

Правда этот список на 6 сентября и явно будет расти постепенно.

Учитывая что многие смотрят на регуляторов в ЕС как на пример для подражания я бы не удивился появлению схожего регулирования в Китае, не идентичного, а именно схожего по смыслу регулирования крупнейших цифровых игроков. И, с какой-то вероятностью, в России, со схожей риторикой, но достаточно жёсткими обременениями произвольного применения.

Ссылки:
[1] https://ec.europa.eu/commission/presscorner/detail/en/qanda_20_2349

#regulation #eu #datamarket #digital

В качестве вот уже регулярного вынужденного отвлечения на российское регулирование, меня недавно несколько изданий расспрашивали про то на что повлияет инициатива НПА от Минцифры про запрет и блокировки публикаций о том как обходить блокировки. Это, несомненно, такая же вредная инициатива как и многочисленные законы и законопроекты расширяющие государственную цензуру, но одновременно оно же и весьма бессмысленное, на текущей стадии.

Во первых о том как обходить блокировки могут быть совершенно невинные тексты просто о том как устроены VPN и какие продукты существуют. Нет-нет, не призывая их использовать, просто рассказать о них.

Во вторых пишут о VPN сервисах достаточно часто на русском языке те кто в российской юрисдикции никогда не находился или не находится уже давно.

И, наконец, в третьих пока не заблокировали Google, нет шансов что этот запрет будет хоть как-то эффективен.

Я же хочу обратить внимание и ещё раз сделать ключевой акцент, на том что самое неприятное это гораздо менее активно обсуждаемое насаждение госприложений и приложений компаний находящихся под прямым или опосредованным государственным контролем. В частности это касается магазина приложений RuStore.

Почему это опасно? Потому что главный, ключевой и наиболее серьёзный барьер к тотальной слежке - это отсутствие контроля за конечными устройствами. Это то что есть у глобальных корпораций и то чего нет у большинства государств. Обязательные госприложения, с системными правами, например, для просмотра установленного ПО или доступа к сетевой активности, могут в любой момент быть использованы против пользователя, а на постоянной основе создавать дополнительный контур слежки. Я сознательно не хочу описывать сценарии как это можно делать, но исключать такие сценарии нельзя.

Это как с российским корневым сервером для выдачи сертификатов для доступа к сайтам. Очень и очень плохая затея для конечных пользователей.

#privacy #security #regulation

Команда Mozilla опубликовала очередное интересное исследование по приватности, на сей раз приватности при использовании автомобилей 25 брендов и о том как вендоры собирают информацию [1] из которого можно узнать что:
- все без исключения вендоры собирают персональные данные
- 84% вендоров закладывают право передавать или продавать эти данные
- 92% вендоров не дают контроля над своими персональными данными
- 56% вендоров закладывают право передавать данные по запросу госорганов, вне зависимости официальные ли это запросы или "неформальные"
- ни один из вендоров не соответствует минимальным стандартам безопасности которые Mozilla продвигала ранее.
- Nissan, кроме всего прочего, собирает данные о сексуальной активности, не шутка.

В исследовании есть развернутая информация по каждому вендору, а анализ проходил путем изучения их условий использования, политик приватности и иных связанных с техническим оснащением документов. Иначе говоря исследователи проводили бумажный анализ, а не полевой с выявлением куда и как передаются данные, но и юридический бумажный анализ рисует вот такую неприглядную картину.

Ссылки:
[1] https://foundation.mozilla.org/en/privacynotincluded/articles/its-official-cars-are-the-worst-product-category-we-have-ever-reviewed-for-privacy/

#privacy #data #mozilla #research

More Armenian open data available. We added list of all branches of Armenian post (Haypost) [1] in Armenian, English and Russian. Data collected from Haypost public but undocumented API.

Also we added lists of Armenia related keywords [2] in Russian and, in future, in English to collect Armenia-related data from Russian data sources like Goskatalog and National Electronic Library. These lists are still in development and include mostly geographic names related to Armenia and family names related to Armenians.

We keep working to collect more interesting datasets for our upcoming open data contest that we will announce soon!

LInks:
[1] https://data.opendata.am/dataset/armenian-post-branches
[2] https://github.com/opendataam/armenian-keywords

#opendata #armenia #datasets

Открытые данные в России о которых многие не знают,

- Открытые данные ГУАП [1] ГУАП - это Санкт-Петербургский государственный университет аэрокосмического приборостроения, а на сайте у них есть раздел с API с информацией о ВУЗе. Есть внятное API, для полной открытости нехватает условий использования.
- Открытые API для сервисов Санкт-Петербурга [2] категорически малоизвестный портал Санкт-Петербурга с их официальными API к городским информационным системам. Развивают они его, почему-то, параллельно порталу открытых данных, а не совместно. Как и во многих других случаях, "забывают" написать про условия использования, но сами данные есть.
- Геопортал СВКНИИ ДВО РАН [3] и другие их ГИС сервисы [4] с картами и слоями карт по Дальнему востоку. Включает доступ к данным через открытое API сервера ArcGIS

Ссылки:
[1] https://api.guap.ru/data/
[2] https://api.petersburg.ru
[3] http://hags.north-east.ru:8080/geoportal/catalog/main/home.page
[4] http://www2.neisri.ru/index.php/ru/%D0%B3%D0%B8%D1%81-%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B.html

#opendata #datasets #api #russia #geodata

Для тех кто будет сегодня в Москве или в онлайне на конференции Smart Data 2023 напоминаю что я буду там выступать в 11:30 с докладом Common Data Index. Как построить поисковую систему по открытым данным такую же, как Google Dataset Search, но проще и быстрее [1]

Тема будет довольно необычной, систем поиска общедоступных данных в мире не так много, я буду рассказывать как про предметные, так и про технические сложности в её построении. Через какое-то время будет доступна и презентация, но, конечно, я в выступлении рассказываю значительно больше того что остаётся в слайдах.

Ссылки:
[1] https://smartdataconf.ru/talks/6d6d864c6f5840a491d1f7921e7b79c7/

#opendata #events #datasearch

Немного рефлексии после выступления на Smart Data 2023:
1. Многие говорят что надо делать поисковик по данным общедоступным даже при его текущем несовершенном виде, а там всего 3.3 миллиона датасетов в демо версии, неоптимизированный фронт, косяки с отображением описаний датасетов в HTML и тд. в общем-то всё сравнительно легко исправляется, но на всё нужно время:) Я пока затягиваю публичный анонс, но, наверное, можно будет его сделать раньше.

Пока демо версию я впервые публично показывал на Smart Data и её видело максимум пару десятков человек.

2. К выступлению в реестре каталогов данных Common Data Index уже почти 10 тысяч каталогов данных. Всё больше и больше геодкаталогов, геосерверов, геоданных. С оговоркой что количество каталогов данных - это не число самих наборов данных и не их объём.

3. По моим ощущениям аудитории моё выступление зашло, некоторые вопросы были о том можно ли оптимизировать большой пласт ручной работы. Как бы я сам хотел бы это оптимизировать! Например, как было бы круто уметь определять название организации и её тип (госструктура, университет, нко) по сайту её каталога данных и как было бы круто определять автоматически город/регион/страну для каталогов данных у которых невозможно сразу определить их по gtld.
4, Важный вопрос о том что некоторые ссылки в поисковой системе ведут в пустоту потому что каталоги меняются и отваливаются и что с этим делать. Самое правильное решение - архивировать, иметь локальную копию, предоставлять её по запросу.

Мой доклад слегка выбивался из общего списка корпоративных дата-инженерных выступлений, кстати, весьма интересных, но слушателей было немало и у меня:)

А в качестве завершения могу сказать что Smart Data, однозначно, одна из наиболее полезных конференций по данным идущих в России, ради неё стоит приезжать в Москву послушать и пообщаться вживую. Собственно и не секрет что многие дата-инженеры, программисты и аналитики приезжают на такие конференции не из России, давно уже перебравшись в близлежащие страны.

#opendata #events #thoughts

Поскольку в России, вот уже в который раз, запускают госинициативу по работе с данными, на сей раз нац. проект "Экономика данных", то я сделаю краткий экскурс текущего состояния открытых данных:
1. С момента ликвидации Открытого пр-ва в 2018 году полномочия по открытости данных остались у Минэкономразвития как министерства и аппарата Пр-ва как вышестоящей структуры. В аппарате правительства эти полномочия были у вице-премьера Григоренко, который за 5 лет ничего не предпринял в этом направлении, также как и Минэкономразвития ничего не делало, ни в регуляторике, ни в практическом применении.
2. Ключевое не сделанное - это, фактически, полностью заброшенный план по открытости данных в органах власти. Его тихо замели под ковер, по нему ничего не делали, а потом он просто перестал быть актуальным и его не обновляли.
3. Из активно сделанного в минус - это то что национальный портал data.gov.ru сначала "превратился в руины" в свалку данных, а потом просто был закрыт Минэкономразвития. Сейчас декларируется его перенос на платформу Гостех, но, как бы и Гостех это не плюс, а ещё более жирный минус. Учитывая что публичной работы над ТТ и ТЗ на портал не велось, то ожидания от потенциального нового портала не лучше чем от предыдущего.
4. Минэкономразвития России, которое отвечает формально за открытые данные, потеряло последние компетенции по работе с данными внутри себя. Их портал data.economy.gov.ru год от года уменьшался по объёму публикуемого, а также многие собственные наборы данных министерства публиковались на data.gov.ru который, внимание, они же и снесли. Это не говоря уже о том что в ведении министерства было и есть более десятка государственных информационных систем.
5. В отдельных российских ведомствах и регионах всё ещё публикуются новые и обновляются существующие наборы данных. В основном в тех где всё ещё понимают необходимость коммуникации с профессиональным сообществом, бизнесом и гражданами. В большинстве же данные не обновляются, порталы (региональные) с открытыми данными закрываются.
6. Есть отдельные положительные примеры, порталы с данными университетов, учреждений, порталы API субъектов федерации, но они лишь редко выбиваются из общей безрадостной картины.
7. Отдельная тема что работа с государством сейчас стала сверхтоксична. Многие эксперты более не взаимодействуют с любыми органами власти или нигде не афишируют это поскольку, и качество госуправления, скажем так, невысокое, и с тем что берегут свою репутацию
8. Думаю что причины сверхтоксичности государства вполне очевидны - это не только полностью провальная внешняя политика с военным конфликтом на Украине, "сливом" Арцаха, заигрыванием с наиболее одиозными диктаторами и талибаном, это ещё и нарастающая репрессивная внутренняя политика и ужесточающаяся пропаганда делающая жизнь в России всё менее комфортной. Многие из тех кто остаются делают это не благодаря, а вопреки действиям государства. А многие из тех кто уезжают, делают это не от недостатка патриотизма, а от глубокого разочарования в будущем. Впрочем это относится ко всем областям требующим осмысленных дейстий.
9. Ещё одна особенность происходящего и следствие плохого госуправления - это неспособность регуляторов услышать большую часть стейкхолдеров и то что почти всё регулирование сводится к ограниченной собственными интересами группе крупных лоббистов. У них дела, тоже, не то чтобы хорошо идут. Технологические компании в большинстве до сих пор не понимают что в России модели "мягкого лоббизма" давным давно померли и работают только модели "жёсткого лоббизма" коррупции через внедрения собственных акторов на руководящие посты.

(часть 1/2)

#opendata #russia #regulation

10. Из массовых потребностей о которых никто почти публично не говорит - это полная закрытость и торговля государства геоданными. В большинстве развитых стран сейчас наоборот геоданные максимально общедоступны. Государства не монетизируют их, а раздают в удобных форматах потому что от их доступности есть прямой и очевидный экономический эффект для всех. Может ли государство Российское сделать общедоступными Фонды пространственных данных? Могло бы, если бы было способно.
11. Аналогичная ситуация с сотнями крупнейших государственных информационных систем по которым нет внятной госполитики кроме "никому ничего не давать, а то как бы чего не случилось чего мы даже не знаем".
12. Впрочем, в текущих реалиях см пункт 8. Попытки пр-ва собирать госпроекты развития в ситуации де-факто военной экономики выглядят заведомо провально.

(часть 2/2)

#opendata #russia #regulation