Закончилась конференция SmartData, я выступал на ней с докладом "Каталог и озеро данных на базе MongoDB, собираем технологический стек по кусочкам". Мою презентацию можно посмотреть онлайн [1] или скачать по ссылке [2].

Я рассказывал о том:
- какие каталоги данных бывают
- для чего мы создаём наш каталог
- какие проблемы с этим есть
- какая архитектура решения в итоге
- какие эксперименты проводились и какие инструменты с открытым кодом существуют
- какие планы развития

Про инструменты я рассказывал о таких утилитах как:
- mongo2md [3] - автодокументирование таблиц в MongoDB
- undatum [4] - утилита командной строки для обработки BSON и JSONl
- apiready [5] - утилита автосоздания API на основе датасета
- apibackuper [6] - утилита архивации данных из API
- qddate [7] - библиотека автоматической идентификации дат в любом написании

В целом же скажу так что несмотря на то что я много лет как организую проекты, выступаю, пишу статьи, доклады, что-то организую и в целом, в основе моего заработка не программирование, я стараюсь не терять технические навыки и программировать всегда когда только могу. И всегда приятно делать что-то полезное когда это удаётся!

Ссылки:
[1] https://www.beautiful.ai/player/-MlzucmDRg7kkp2Ax2yy
[2] https://smartdataconf.ru/talks/data-catalog-and-data-lake-based-on-mongodb-building-tech-stack-from-scratch/
[3] https://github.com/datacoon/mongo2md
[4] https://github.com/datacoon/undatum
[5] https://github.com/ivbeg/apiready
[6] https://github.com/ruarxive/apibackuper
[7] https://github.com/ivbeg/qddate

#opensource #opendata #data #tools

О том как работает публикация нормативных документов на анти-примере. 11 октября ТАСС пишет [1] что Правительство РФ утвердило Единый план по достижению национальных целей развития России и ссылается официальный портал правовой информации где такое распоряжение, действительно, есть [2]... в виде одностраничного распоряжения к которому должен был быть приложен этот документ. Что в распоряжении и написано, "Утвердить представленный Минэкономразвития России ...".

Но вот маленький нюанс, сам документ в открытом доступе появился только, барабанная дробь, 14 октября в 18 часов и только на сайте Минэкономразвития, а это, на минуточку, самый главный ключевой документ определяющий жизнь страны на 9 лет вперед. Ну, как бы определяющий, на самом деле до следующего кабинета министров, если будет его ротация в очередной электоральный цикл.

По поводу распоряжения, вначале я думал что это в pravo.gov.ru такой "косяк", всё таки ненормально когда публикуется распоряжение с такой странной, неформальной, ссылкой без указания где, кем, в какой редакции и как подготовлен документ, где он размещен и, в целом, российская нормотворческая практика всегда предполагала публикацию всего НПА целиком. Чего только стоит публикация законов о бюджете в виде документов.

Поэтому я заглянул в систему регистрации НПА Минюста. Там этот документ тоже есть, тоже на одну страницу.
Почему всё выглядит так странно если не подозрительно?

Тут надо напомнить что документ готовился по поручению [4] Президента РФ и должен был быть закончен к 1 октября, но, хотя, в распоряжении Правительства РФ от 1 октября и говорится об утверждении документа Минэкономразвития, сам документ появился не раньше 8 октября, а финальная версия 14 октября. Хотя и на сайте Минэка указана дата 1 октября, это неправда. Внутри документа [5] в свойствах указаны 8 октября 2021 г. 15:36 как дата и время создания и 14 октября 2021 г. 14:30 как дата последней редакции.

Какой может быть причина почему единый план не был приложен к распоряжению Пр-ва РФ? Единственная причина которую я вижу - это то что он не был готов к 1 октября. Но так важно было формально "закрыть" поручение Президента РФ вовремя что в ТАСС вышла заметка, в pravo.gov.ru разместили распоряжение, а то что сам план был опубликован только 14 октября, так кто бы об этом вспомнил через много месяцев. Может ли быть какая-либо другая причина таких "казусов"? Не могу ничего такого представить.

Я даже не знаю как это всё комментировать.

Ссылки:
[1] https://tass.ru/ekonomika/12632805
[2] http://publication.pravo.gov.ru/Document/View/0001202110110015
[3] https://www.economy.gov.ru/material/dokumenty/edinyy_plan_po_dostizheniyu_nacionalnyh_celey_razvitiya_rossiyskoy_federacii_na_period_do_2024_goda_i_na_planovyy_period_do_2030_goda.html
[4] https://www.rbc.ru/rbcfreenews/610d379e9a79472f804922fc
[5] https://www.economy.gov.ru/material/file/ffccd6ed40dbd803eedd11bc8c9f7571/Plan_po_dostizheniyu_nacionalnyh_celey_razvitiya_do_2024g.pdf

#lawmaking #laws #legislation #documents #government

Спасибо читателю моего канала, копирую видео из сообщения из чата

Увы, Росстат это какая-то боль, за данными на сайте совсем не следят. Не только в разделе открытых данных, а и вообще в остальных блоках тоже.

#opendata #data #stats #rosstat

По поводу технологии Facepay внедряемой в Московском метрополитене [1] позволяющей оплачивать по биометрии (лицу) после привязке изображения лица к банковской карте через мобильное приложение уже многие написали [2] [3].

В качестве контекста

Разработчики технологии - компания VisionLabs [4] с 2017 года на 25.07% принадлежит Сбербанку, учреждена ВИЖНЛАБС Б. В. Рег. No 69469830 (НИДЕРЛАНДЫ). Имеет несколько публичных госконтрактов [5] с ФНС и другими структурами, легче найти по наименованию производителя чем по поставщику, поскольку с 2018 г. не все поставщики по 223-ФЗ указываются.

В чём проблемы и особенности этого внедрения
1. В отличие от биометрии по отпечатку пальца или радужной оболочке глаза, биометрия по лицу - это технология двойного применения. Она может использоваться как для аутентификации, проверки на подтверждение личности для совершения действий, так и для идентификации определения человека в целях отслеживания его действий.
2. Если, в первом случае, её применение связано с защитой от того что кто-то может выдать себя за другого, то во втором случае - это вопрос точности определения человека, часто, без его априорного знания что за ним может вестись наблюдение.
3. Добровольная регистрация в таких система - это предоставление системе аутентификации качественных фотографий что, в дальнейшем, может использоваться и уже используется во многих странах и внедрениях для массовой идентификации граждан.
4. Иначе говоря, условно упрощая себе доступ к тем или иным объектам, через аутентификацию по лицу, это, одновременно, добровольное согласие на последующее безконтактное наблюдение.
5. В некоторых случаях внедрение таких технологий аутентификации оправдано, например, для контроля периметра режимного объекта: атомной электростанции, тюрьмы, секретной лаборатории, иных объектов подлежащих усиленной защите.
5. Для систем имеющих высокий трафик применение технологий аутентификации не всегда является оправданным. Если оно может применяться для работы с индивидуальными устройствами (компьютер, телефон, планшет, иногда банкомат) где нет требований к проходимости и скорости, то на загруженных транспортных линиях внедрение этих технологий может и должно проходить всеобъемлющее тестирование и сравнение.
6. В любом случае применение технологий распознавания по лицу даёт слишком много дополнительных сведений о человеке эксплуатирующей организации. В случае Московского метрополитена проблема не только в технологии, но и в инструментах её применения. Мобильное приложение через которое пользователь идентифицируется собирает сведения о его точной геолокации [6], что даёт оператору системы много каких данных помимо биометрии.
7. Всегда есть люди которым нечего терять, не задумывающиеся что помимо усиления слежки правоохранительных органов, есть работа частных детективов, корпоративная слежка за сотрудниками и сотрудниками конкурентов, напрямую криминальное использование данных и многое другое. Даже частные компании не могут платить своим настолько большие зарплаты сотрудникам с доступом к подобным данным чтобы отбить у них желание в злоупотреблении данными.

В итоге
1. Есть сомнения в оправданности применения этой технологии на высоконагруженных станциях метро.
2. Распознавание лиц - это технология двойного назначения, в данном случае у нас очередное нерегулируемое внедрение без нормативной защиты физ.лиц, информация о которых собирается.
3. Полное отсутствие регулирования в части применения этих технологий. Не хранения, а именно наличия ограничений в их применении. Сейчас можно говорить что нет органа власти, иного общественного образования защищающего права граждан в этой области.

Ссылки:
[1] https://facepay.mosmetro.ru/
[2] https://www.dw.com/ru/face-pay-v-metro-moskvy-totalnaja-slezhka-ili-udobnyj-servis/a-59367273
[3] https://www.tadviser.ru/index.php/Проект:FacePay_-_система_оплаты_проезда_в_метро_Москвы
[4] https://www.tadviser.ru/index.php/Компания:VisionLabs_(ВижнЛабс)
[5] https://clearspending.ru/contract/?productsearch=VisionLabs&search-submit=&grbs=&regnum=&daterange=&price_gte=&price_lte=&customerregion=&address=&budgetlevel=&okdp_okpd=&sort=&fz=None&customerinn=&customerkpp=&supplierinn=&supplierkpp=
[6] https://reports.exodus-privacy.eu.org/en/reports/ru.mosmetro.metro/latest/

#privacy

В рубрике "как это у них", в Омане принято регулирование систем с искуственным интеллектом [1] в которых устанавливается:
- необходимость проводить оценку рисков при внедрении подобных систем (risk assesment)
- необходимость проверки отсутствия предубеждений у ИИ и раскрытие того как подобная система повлияет на тех кого она затрагивает
- необходимость запрашивать предварительное согласие у тех кого система ИИ затрагивает

Пока эти нормы не имеют обязательного статуса и оформлены как рекомендации Министерства транспорта, коммуникаций и информационных технологий Омана, распространяются только на государственные учреждения, органы власти и госкомпании. Также в нормах упоминается шесть принципов: инклюзивность, человеко-центричность, подочетность, честность, прозрачность и безопасность.

Продолжая тему Омана, у страны есть схожий с Россией тренд - рост числа участия государства в экономике. Как пишут WAF News Agency [2] по открытым источникам за последние 5 лет появилось 104 новых государственных предприятия, в основном через вхождение государства в значимые крупные отрасли: финансы, туризм, поставки продовольствия, энергетика, логистика.


Ссылки:
[1] https://opendata.om/2021/new-omani-government-policy-on-the-use-of-artificial-intelligence/
[2] https://bit.ly/3aQdSba

#ai #regulation #oman #government

Немного странно предупреждать об этом предпринимателей, но имейте в виду: Крипто Про CSP 4 в Windows 11 резко портит связность.

* Например, Outlook перестаёт подключаться к почтовым серверам Gmail, Яндекса и Mail.ru

* Нам рассказывают, что компы с Крипто Про не подключаются к серверам Discord и Steam (если предприниматель стильный, модный, современный и немного хипстер, конечно)

При этом новая версия Крипто Про (пятая) пока ещё в Release Candidate.

Так что если вы пользуетесь этим софтом — не обновляйтесь на Windows 11, подождите.

Свежая новость, в Аргентине украдены данные о 45 миллионах паспортов граждан [1] [2]. Взлом произошёл через VPN аккаунт Министерства здравоохранения страны и уже подтвержден Министерством внутренних дел. А сам хакер уже планирует продавать эти данные.

Честно говоря, сложно добавить к этой новости что-то кроме того что для особо крупных баз данных физ лиц нельзя использовать те же подходы что и для защиты данных меньшего объёма. Чем больше база - тем больше риск. И планы нашего правительства по ускорению создания Единого регистра населения, цифровым паспортам и тд. лично у меня вызывают очень большие опасения. Баз будет много, они будут дублировать друг друга и число людей имеющих к ним доступ растёт.

Последствия могут быть катастрофичными.

Ссылки:
[1] https://roem.ru/19-10-2021/287005/argentina-id-breach/
[2] https://therecord.media/hacker-steals-government-id-database-for-argentinas-entire-population/

#privacy #leaks #argentina

Сегодня в 15:00 я выступаю на Eurasian Data Protection Congress 2021 с докладом Слежка за гражданами через мобильные государственные приложения, а сам конгресс начнётся уже скоро, в 10:00 с трансляцией на сайте https://edpc.network

Будет много интересных спикеров, актуальных вопросов о приватности граждан, так что рекомендую даже тем кто пока ещё далек от тем приватности.

#privacy #events #surveillance

В рубрике интересных наборов данных, имена детей в Англии и Уэльсе начиная с 1996 по 2020 годы [1]. Публикуется офисом национальной статистики Великобритании, содержит сведения о более чем 16 тысячах мужских и 20 тысячах женских имён, по каждому имени есть статистика родившихся начиная с 1996 года по 2020 год, а также рейтинг имени по каждому году.

Ссылки:
[1] https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/livebirths/datasets/babynamesinenglandandwalesfrom1996

#opendata #uk #names #datasets

В рубрике интересных наборов данных, опубликованные открытые данные о полётах во время пандемии Crowdsourced air traffic data from The OpenSky Network 2020 [1]. Данные представлены в виде архивированных csv файлов слепками с 2019 года, последнее обновление было в сентябре 2021 года.

Могут быть полезны исследователям изучающим последствия COVID-19 для экономики и дата-журналистам ищущим интересные данные для визуализации.

Ссылки:
[1] https://zenodo.org/record/5557026#.YW3qSxxn2Uk

#opendata #covid-19 #flights #datasets

Моя презентация с конгресса EDPC о слежке через государственные мобильные приложения [1].
В презентации всё сказанное не передашь, так что задавайте вопросы/комментируйте в чате

Ссылки:
[1] https://www.beautiful.ai/player/-MmSXg4uXGoxpIGjBlSc

#privacy

В рубрике "как это устроено у них" технологии в госсекторе

Технологии работы с контентом
- Isomer - движок с открытым кодом по быстрому созданию контентных сайтов, создано в рамках Open Government Products подразделением GovTech Сингапура
- Federalist - платформа для создания сайтов в домене .gov в США, с открытым кодом, от команды 18F (подразделение разработки при агентстве GSA)

Официальные порталы для разработчиков правительств стран и органов власти
- Singapore Government Developer Portal - портал разработчиков с API и документацией по системам правительства Сингапура
- Canada API Store - каталог общедоступных API правительства Канады
- UK API Catalogue - каталог общедоступных правительства Великобритании
- API.GOV.AU - каталог общедоступных API правительства Австралии
- API SETU - каталог общедоступных API Министерства электроники и ИТ Индии
- API.GOUV.FR - портал с API органов власти Франции

Данные для массовой выгрузки
- Trove Bulk Download - слепки коллекций Австралийских национальных архивов, например, сканы газет с 1832 года. Публикуются через Cloudstor, специальный сервис хостинга данных/документов/иных информационных материалов для исследователей созданный консорциумом университетов и научных центров страны
- UNESCO Bulk Data Download Services (BDDS) - портал выгрузки индикаторов устойчивого развития ЮНЕСКО (на самом деле данные малого объёма)
- Eurostat Bulk Download - раздел массовой выгрузки всех показателей Евростата
- FAOSTAT Bulk Download - возможность получить все данные системы FAOSTAT от UN Food and Agriculture Organization

#government #data #api #cms

В рубрике "как это работает у них" Статистическое ведомство Канады создает базу всех зданий страны, The Open Database of Buildings (ODB) [1] в которую собирает данные с порталов открытых данных всех провинций страны.


На основе этой и других баз данных создают интегрированную базу данных зданий Integrated Canadian Building Footprints (ICBF) для которой:
- используют данные ODB
- раскрывают весь исходный код скриптов сбора и обработки данных [2]
- получают данные из OpenStreetMap (Geofabrik) [3]
- используют данные открытого набора данных Microsoft Canadian Building Footprints [4] открытого корпорацией Microsoft под свободной лицензией в 2018 году, выгружены из карт Bing
- используют файлы границ переписных участков [5] и границ территорий [6] подготовленных статведомством и раскрываемых как открытые данные

Ссылки:
[1] https://www.statcan.gc.ca/eng/lode/databases/odb
[2] https://github.com/CSBP-CPSE/ICBF-EIIC
[3] https://www.geofabrik.de/
[4] https://github.com/microsoft/CanadianBuildingFootprints
[5] https://www12.statcan.gc.ca/census-recensement/2011/geo/bound-limit/files-fichiers/2016/lcsd000b16a_e.zip
[6] http://www12.statcan.gc.ca/census-recensement/2011/geo/bound-limit/files-fichiers/2016/lpr_000a16a_e.zip

#opendata #statistics #datasets #opensource

В Великобритании энергокомпания UK Power Power Network открыли портал открытых данных [1] с 30 наборами данных о их деятельности и инфраструктуре. СМИ пишут [2] что они первая энергокомпания в Великобритании пошедшая на такой шаг. Данные, действительно, все машиночитаемы и, что подчеркивается, опубликованы под стандартной открытой лицензией CC-BY 4.0

Ссылки:
[1] https://ukpowernetworks.opendatasoft.com
[2] https://www.current-news.co.uk/news/ukpn-fostering-a-community-of-open-data-users-with-new-portal

#opendata #uk #energy #corporates

Судебный департамент блокирует доступ к ряду информационных ресурсов не с российских IP адресов. Например, при заходе на раздел "Федеральные суды общей юрисдикции" или в поиск по судебным делам. Проверялось на VPN с серверами во Франции и в Эстонии.

Удивительного в этом ничего нет, во многих странах органы власти блокируют доступ для стран и больших макрорегионов. Например, портал data.gov в США не открывается с российских IP адресов и таких примеров много.

Но, конечно, в данном случае это странно поскольку участники судебных слушаний могут быть не только внутри страны, а блокировки запросов безальтернативны, не дают ответа на каком основании они производятся м что делать.

#internet #data #courts #access

А впервые я заинтересовалась всей темой ограниченных возможностей лет пятнадцать назад, когда мы разрабатывали официальный портал Минздравсоцразвития (сейчас это ведомство разделено на два отдельных министерства). Я тогда решила, что одной из ключевых особенностей портала должна будет стать его принципиальная доступность для слабовидящих и незрячих пользователей, и тут передо мной открылся новый мир - нашелся специальный международный стандарт доступности веб-информации WCAG, который обеспечивал нормальное отображение сделанного по стандарту сайта на устройствах и программах для слабовидящих и незрячих пользователей: на всех этих экранах и принтерах Брайля, в программах для озвучивания, просто настройках операционной системы, которые используются в таких случаях. Через пару лет эта тема стала ужасно модной, что хорошо, и какое-то время все нормальные госсайты и даже сайты крупных компаний стали делаться, если не по стандарту, то хотя бы с версиями для слабовидящих, хотя эту дурацкую версию тоже когда-то придумала я, как временный костыль, пока доверстывали в стандарт, а она прижилась. Понятно почему - соответствие стандарту снаружи не видно, а социально-ответственную кнопку видно. Но вообще эту версию любили и обычные сотрудники министерства, потому что она очень четкая была и без лишнего. Я тогда еще проводила семинары про доступность, встречалась с главой соответствующего подразделения консорциума W3C, когда она приезжала из США, брала экспертизу у Всероссийского общества слепых и много консультировалась с экспертами по доступности. Можно было бы гордиться, что принесли в страну такую важную практику, потому что мы реально были первыми, кто это начал делать, но сейчас тема доступности как-то подпомеркла. Что ужасно неправильно. Не знаю, что будет, если сейчас проверить ключевые сайты на соответствие WCAG.

Объясните мне, знающие люди, зачем часть сайтов и, может быть, инфраструктуры Мэрии Москвы находится за пределами РФ? Например, хостится на серверах Hetzner, Германия. Это такой хостер-дискаунтер, хороший в своём классе, но далёкий от России.

Вот примеры:
- inno.mos.ru - IP: 78.46.71.197 (открывается пустая страница)
- cgrt.mos.ru - IP: 176.9.230.170 (не открывается)
- gk.tech.mos.ru - IP: 138.201.197.43 (заглушка на немецком языке)
- aupd-test.mos.ru - IP: 95.216.13.234 (тестовая страница Московской электронной школы)
- new.dit.mos.ru - IP: 176.9.230.170 (не открывается)

Я, конечно, всё понимаю, немецкое качество и всё такое, но как так можно случайно сделать?

Это не единственный зарубежный хостер на который указывают домены в зане mos.ru и этот список не финальный. Читающим меня сотрудникам ДИТ Москвы я бы посоветовал проверить тщательно, потому что нельзя так делать.

#privacy #security #internet #moscow