И, тот же текст, на Хабре и с опросом https://habr.com/ru/company/infoculture/blog/550302/ о том как правильно далее действовать.
Хабр
Предустановка отечественного ПО или кто теперь следит за нами?
Сегодня второе апреля и теперь уже можно серьёзно обсудить совсем нешуточное регулирование о предустановке отечественного ПО. Оно вступило в силу с 1-го апреля и...
Для тех кто интересуется как идёт работа с открытыми данными в мире, в Евросоюзе проходит их ежегодный EU Datathon [1], марафон проектов на открытых данных, повторяющийся каждый год с 2017 года. Общий призовой фонд 99 тысяч евро (8.8 миллиона рублей) по трём номинациям, максимальный приз за первое место 18 тысяч евро (1.6 миллиона рублей).
Что характерно - это правильные акценты, в EU Datathon четко артикулируется что это ежегодное соревнование по открытым данным (annual open data competition), а не просто какой-то другой конкурс или хакатон. И то что главный смысл в использовании открытых данных Евросоюза, для новых приложений или для доработки существующих.
Но, самое интересное, это возможность участвовать в их Datathon'е из других стран, в правилах прописано что The competition is open worldwide to anyone, так что ничто не ограничивает ни физ. лиц ни юр. лиц из стран за пределами Евросоюза. До 21 мая можно подать заявки и войти в короткий список который будет анонсирован 11июня.
Тут, конечно, надо оговориться что не всё так замечательно, важно учитывать два фактора:
1. К российским проектам за пределами России сейчас очень предубеждённое отношение и нельзя быть уверенными что эта предубежденность тут не сработает.
2. Европейская бюрократия - ничуть не лучше всех остальных. Ну разьве что, в отличие от российской, куда меньше пиара, зато куда точнее и эффективнее целеполагание.
3. Конечно, надо учитывать всё это российское регулирование про инагентов, поэтому от российских НКО участвовать, конечно, странно.
С другой стороны - конкурсы на весь мир - это всегда возможность показать себя за пределами национальных границ и тусовок.
А заканчивается это соревнование EU Open Data Days [2], двумя данными конференции EU Data Viz, куда также можно направить заявку на выступление и EU представлением проектов финалистов.
P.S. Кстати, должен сказать что за время проведение конкурсов и хакатонов в России у нас было немало проектов которые значительно превосходили по проработке те же проекты-победители EU Datathon за прошлые годы, разница в том что в Евросоюзе куда больше соучастников/соорганизаторов таких мероприятий и у проектов/команд куда больше возможностей для последующего развития проектов, а почти все конкурсы и хакатоны в России что я знаю заканчивались, увы, тем что проекты "повисали в воздухе". И это системная проблема, о которой отдельный разговор необходим.
Ссылки:
[1] https://op.europa.eu/en/web/eudatathon
[2] https://op.europa.eu/en/web/euopendatadays
#opendata #eu #datathon #competition
Что характерно - это правильные акценты, в EU Datathon четко артикулируется что это ежегодное соревнование по открытым данным (annual open data competition), а не просто какой-то другой конкурс или хакатон. И то что главный смысл в использовании открытых данных Евросоюза, для новых приложений или для доработки существующих.
Но, самое интересное, это возможность участвовать в их Datathon'е из других стран, в правилах прописано что The competition is open worldwide to anyone, так что ничто не ограничивает ни физ. лиц ни юр. лиц из стран за пределами Евросоюза. До 21 мая можно подать заявки и войти в короткий список который будет анонсирован 11июня.
Тут, конечно, надо оговориться что не всё так замечательно, важно учитывать два фактора:
1. К российским проектам за пределами России сейчас очень предубеждённое отношение и нельзя быть уверенными что эта предубежденность тут не сработает.
2. Европейская бюрократия - ничуть не лучше всех остальных. Ну разьве что, в отличие от российской, куда меньше пиара, зато куда точнее и эффективнее целеполагание.
3. Конечно, надо учитывать всё это российское регулирование про инагентов, поэтому от российских НКО участвовать, конечно, странно.
С другой стороны - конкурсы на весь мир - это всегда возможность показать себя за пределами национальных границ и тусовок.
А заканчивается это соревнование EU Open Data Days [2], двумя данными конференции EU Data Viz, куда также можно направить заявку на выступление и EU представлением проектов финалистов.
P.S. Кстати, должен сказать что за время проведение конкурсов и хакатонов в России у нас было немало проектов которые значительно превосходили по проработке те же проекты-победители EU Datathon за прошлые годы, разница в том что в Евросоюзе куда больше соучастников/соорганизаторов таких мероприятий и у проектов/команд куда больше возможностей для последующего развития проектов, а почти все конкурсы и хакатоны в России что я знаю заканчивались, увы, тем что проекты "повисали в воздухе". И это системная проблема, о которой отдельный разговор необходим.
Ссылки:
[1] https://op.europa.eu/en/web/eudatathon
[2] https://op.europa.eu/en/web/euopendatadays
#opendata #eu #datathon #competition
EU Datathon
2022 edition - EU Datathon - Publications Office of the EU
The sixth edition of the EU Datathon annual open data competition aims to prove the value of open data and to highlight opportunities for business models using EU institutions and national open data. Participating teams are required to develop mobile or web…
В Евросоюзе официально открылся проект Open Research Europe [1], портал для официальной открытой публикации научных исследований в рамках программы Horizon 2020. Он специально сделан по модели открытого доступа и всё что учёные размещают там будет доступно без ограничений. 24 марта был официальный пресс-релиз Еврокомиссии [2], а также есть подробная инфографика по процессу публикации [3]
На что можно обратить внимание так это то что Евросоюз пошёл не по модели "уговаривания" коммерческих печатных домов на переход к режиму открытого доступа (open access), а создали собственную платформу с DOI, peer review, бесплатным размещением и отсутствием административной нагрузки. Конечно, пока только в рамках программ исследований самого Евросоюза таких как Horizon и в волонтерском режим, но сам путь показателен.
Ссылки:
[1] https://open-research-europe.ec.europa.eu
[2] https://ec.europa.eu/commission/presscorner/detail/en/IP_21_1262
[3] https://op.europa.eu/o/opportal-service/download-handler?identifier=b5a8eee0-1811-11eb-b57e-01aa75ed71a1&format=pdf&language=en&productionSystem=cellar&part=
#openaccess #openscience #eu
На что можно обратить внимание так это то что Евросоюз пошёл не по модели "уговаривания" коммерческих печатных домов на переход к режиму открытого доступа (open access), а создали собственную платформу с DOI, peer review, бесплатным размещением и отсутствием административной нагрузки. Конечно, пока только в рамках программ исследований самого Евросоюза таких как Horizon и в волонтерском режим, но сам путь показателен.
Ссылки:
[1] https://open-research-europe.ec.europa.eu
[2] https://ec.europa.eu/commission/presscorner/detail/en/IP_21_1262
[3] https://op.europa.eu/o/opportal-service/download-handler?identifier=b5a8eee0-1811-11eb-b57e-01aa75ed71a1&format=pdf&language=en&productionSystem=cellar&part=
#openaccess #openscience #eu
open-research-europe.ec.europa.eu
Open Research Europe | Open Access Publishing Platform | Beyond a Research Journal
Open Research Europe is an innovative open access publishing platform offering rapid publication and open peer review, whilst supporting data deposition and sharing.
В продолжение про трекеры в приложениях обязательных к предустановке:
1. Если для кого-то было сюрпризом, то я, если что, предупреждал об этом ещё 2 месяца назад что к 1 апреля я (или не я, а кто-то), но такой анализ будет проведён. Вот он и был проведён и все были предупреждены;)
2. Из разработчиков приложений отреагировали только из Яндекс.Браузера что там нет пары трекеров InMobi и Flurry и это ошибка в Exodus Privacy. Такое возможно, и сервис мог ошибится в идентификации, а на самом деле это Facebook Analytics. Кардинально это ситуацию не меняет.
3. Да, наличие кода SDK не даёт гарантии что данные передаются, а только указывают на принципиальную возможность и наличие кода для этого. Но, надо понимать, что реально передаётся больше данных. Потому что статический анализ кода не учитывает код написанный разработчиками без SDK и не учитывает то какие данные и в каком объме собираются самим владельцем приложения. Иначе говоря, наличие кода SDK из рынка AdTech - это достаточный повод чтобы "подозревать разработчика приложения во всех грехах связанных с возможным применением этого кода".
А в остальном я ещё раз хочу повторить мысль. Пока предустановка приложений не была обязательной, то что пользователь ставит себе на телефон - это его ответственность. А с того момента как список приложений был определён - это ответственность Минцифры и Правительства РФ которые всё это регулирование ввели. А ведь можно было бы сделать всё совсем по другому, но решили так поддержать мировый рынок AdTech. Почему бы и нет, в самом деле, ведь у нас "люди - это новая нефть" (иронично).
#privacy #mobileapps
1. Если для кого-то было сюрпризом, то я, если что, предупреждал об этом ещё 2 месяца назад что к 1 апреля я (или не я, а кто-то), но такой анализ будет проведён. Вот он и был проведён и все были предупреждены;)
2. Из разработчиков приложений отреагировали только из Яндекс.Браузера что там нет пары трекеров InMobi и Flurry и это ошибка в Exodus Privacy. Такое возможно, и сервис мог ошибится в идентификации, а на самом деле это Facebook Analytics. Кардинально это ситуацию не меняет.
3. Да, наличие кода SDK не даёт гарантии что данные передаются, а только указывают на принципиальную возможность и наличие кода для этого. Но, надо понимать, что реально передаётся больше данных. Потому что статический анализ кода не учитывает код написанный разработчиками без SDK и не учитывает то какие данные и в каком объме собираются самим владельцем приложения. Иначе говоря, наличие кода SDK из рынка AdTech - это достаточный повод чтобы "подозревать разработчика приложения во всех грехах связанных с возможным применением этого кода".
А в остальном я ещё раз хочу повторить мысль. Пока предустановка приложений не была обязательной, то что пользователь ставит себе на телефон - это его ответственность. А с того момента как список приложений был определён - это ответственность Минцифры и Правительства РФ которые всё это регулирование ввели. А ведь можно было бы сделать всё совсем по другому, но решили так поддержать мировый рынок AdTech. Почему бы и нет, в самом деле, ведь у нас "люди - это новая нефть" (иронично).
#privacy #mobileapps
Руфус Поллок, основатель Open Knowledge Foundation и многолетний создатель портала CKAN используемого для открытых данных пишет в блоге проекта о том не пришло ли время для headless DMS [1] как безголовой системы управления данными по аналогии с headless CMS, безголовыми системами управления контентом.
Для тех кто мог пропустить такое явление как headless CMS - это такой вид системы управления контентом у которой нет интерфейса для пользователя. Да, звучит странно, но тем не менее. Идея headless CMS в том чтобы отделить создание контента от его отображения. Идея не новая, но получившая сильное развитие с появлением мобильных приложений. В headless CMS редаторы контента вносят тексты/медиа/иные материалы, система раздаёт этот контент через API, а для его отображения делаются мобильные приложения работающие с API напрямую и веб-приложения также работающие через API. Примеры таких продуктов - Contentful, GraphCMS, Strapi и ещё многие другие. Многие из них существуют только как веб-сервис, другие имеют форму открытого кода, но главное в том что они постепенно становятся мэйнстримом. Airtable который я использую для ведения многих таблиц и баз данных - это тоже подвид headless CMS, во всяком случае это одно из частых если не основных областей применения такого продукта.
Возвращаясь к данным, системы управления данными, Data Management Systems, тоже бывают headless. Например, корпоративные каталоги данных код которых открывали LinkedIn, Uber, Facebook и другие, как раз построены по модульному принципу с веб интерфейсов отделенным от системы управления метаданными, а регистрация данных почти вся происходит через API. Это не совсем headless DMS, поскольку headless предполагает, всё же, наличие интерфейса администратора, но близко к тому. А вот CKAN - это всегда был цельный продукт включающий API, сервисы, веб интерфейс отображения и администрирования. Иначе говоря очень похоже на классическую CMS, но со специализацией на данных.
Об этом и пишет Руфус Поллок, плюс за кадром остаётся то что довольно много стартапов в последнее время появляется вокруг похожих задач и целей. Например, Qri [2], совершенно замечательнейший набор инструментов в виде командной строки, десктопного приложения и облака реестра данных qri.cloud с открытым кодом всего кроме реестра данных и облака. Если бы они пошли по пути открытия кода облачной/серверной части то довольно было поубивали бы множество проектов каталогов открытых данных, потому что продукт сделан хорошо. Но скорее всего они так поступить не могут, потому что инвестиции, стартап и что-то им надо монетизировать и они пытаются монетизировать центральный репозиторий, а это ровно то от чего никто не хочет зависеть, ключевой компонент под контролем одной коммерческой компании.
Есть и другие похожие инициативы, я регулярно о них пишу и их всё больше. Поэтому headless DMS это вполне актуальная тема и уже есть много надстроек над CKAN где веб интерфейс CKAN'а не использовался, а только и исключительно API. К примеру, поисковик по данныи в Австралии Magda.io построен через агрегацию данных в DCAT формате (API CKAN и др.)
Ну а если создавать новые каталоги данных, то, по хорошему, конечно их надо создавать headless или, хотя бы, многокомпонентными по аналогии с Qri.
Ссылки:
[1] https://ckan.org/2021/03/17/is-it-time-for-headless-dms/
[2] http://qri.io
#opendata #data #datacatalogs
Для тех кто мог пропустить такое явление как headless CMS - это такой вид системы управления контентом у которой нет интерфейса для пользователя. Да, звучит странно, но тем не менее. Идея headless CMS в том чтобы отделить создание контента от его отображения. Идея не новая, но получившая сильное развитие с появлением мобильных приложений. В headless CMS редаторы контента вносят тексты/медиа/иные материалы, система раздаёт этот контент через API, а для его отображения делаются мобильные приложения работающие с API напрямую и веб-приложения также работающие через API. Примеры таких продуктов - Contentful, GraphCMS, Strapi и ещё многие другие. Многие из них существуют только как веб-сервис, другие имеют форму открытого кода, но главное в том что они постепенно становятся мэйнстримом. Airtable который я использую для ведения многих таблиц и баз данных - это тоже подвид headless CMS, во всяком случае это одно из частых если не основных областей применения такого продукта.
Возвращаясь к данным, системы управления данными, Data Management Systems, тоже бывают headless. Например, корпоративные каталоги данных код которых открывали LinkedIn, Uber, Facebook и другие, как раз построены по модульному принципу с веб интерфейсов отделенным от системы управления метаданными, а регистрация данных почти вся происходит через API. Это не совсем headless DMS, поскольку headless предполагает, всё же, наличие интерфейса администратора, но близко к тому. А вот CKAN - это всегда был цельный продукт включающий API, сервисы, веб интерфейс отображения и администрирования. Иначе говоря очень похоже на классическую CMS, но со специализацией на данных.
Об этом и пишет Руфус Поллок, плюс за кадром остаётся то что довольно много стартапов в последнее время появляется вокруг похожих задач и целей. Например, Qri [2], совершенно замечательнейший набор инструментов в виде командной строки, десктопного приложения и облака реестра данных qri.cloud с открытым кодом всего кроме реестра данных и облака. Если бы они пошли по пути открытия кода облачной/серверной части то довольно было поубивали бы множество проектов каталогов открытых данных, потому что продукт сделан хорошо. Но скорее всего они так поступить не могут, потому что инвестиции, стартап и что-то им надо монетизировать и они пытаются монетизировать центральный репозиторий, а это ровно то от чего никто не хочет зависеть, ключевой компонент под контролем одной коммерческой компании.
Есть и другие похожие инициативы, я регулярно о них пишу и их всё больше. Поэтому headless DMS это вполне актуальная тема и уже есть много надстроек над CKAN где веб интерфейс CKAN'а не использовался, а только и исключительно API. К примеру, поисковик по данныи в Австралии Magda.io построен через агрегацию данных в DCAT формате (API CKAN и др.)
Ну а если создавать новые каталоги данных, то, по хорошему, конечно их надо создавать headless или, хотя бы, многокомпонентными по аналогии с Qri.
Ссылки:
[1] https://ckan.org/2021/03/17/is-it-time-for-headless-dms/
[2] http://qri.io
#opendata #data #datacatalogs
Я всё искал живые примеры того как хорошо/плохо построена работа с данными и сколько иллюзий у граждан/бизнеса/пользователей. Многие, например, думают что госорганизации публикуют плохие данные специально, а где-то внутри и тайно хранят и используют хорошие. Такое бывает очень редко, а чаще миром правит худоумие, а не хитроумие. О многих историях об этом написать нельзя по разным причинам, но о каких-то публичных и общедоступных более чем необходимо.
Рассмотрим пример, Центр по лицензированию, сертификации и защите государственной тайны ФСБ России [1] в открытом доступе публикует 4 реестра [2], все в формате .docx файлов:
- Реестр лицензий на деятельность, связанную с шифровальными (криптографическими) средствами
- Реестр лицензий на деятельность по разработке и производству средств защиты конфиденциальной информации
- Реестр лицензий на деятельность по выявлению электронных устройств
- Реестр лицензий на деятельность, связанную с оборотом СТС
Среди них, первый реестр, лицензий на деятельность, связанную с шифровальными (криптографическими) средствами - это файл MS Word (.docx) состоящий из одной таблицы в 1985 страниц и 4880 записи. Алексей Лукацкий ранее писал что этот файл с коллосальным трудом открывается, действительно, это аномально вести реестр таким образом. Для тех у кого не получится его открыть, я когда-то делал специальную утилиту docx2csv [4], она умеет вытаскивать таблицы из .docx файлов и сохранять их как серию файлов CSV или один XLSX.
Поэтому то что этот и остальные реестры публикуются в docx формате - это проблема, но проблема скорее культурная. Если бы в центре реально хотели делать это максимально вредным способом то публиковали бы реестр в виде отсканированного PDF файла с утверждающей подписью руководителя и аргументами что "только так можно дать ему юридическую значимость". Но, слава Богу, это не наш случай. Наш случай - это культура ведения реестра.
Сравнительно недавно я делал другую утилиту для командной строки, undatum [5] специально для разного рода операций преобразования и проверки данных и с её помощью регулярно проверяю разного рода официальные реестры на достоверность самых базовых реквизитов ИНН и ОГРН. Причём на уровне самой-самой простой проверки на валидность, даже без поиска по ЕГРЮЛ, проверки соответствия наименованию, кросс-валидации и так далее.
Так вот из 4880 записей у 191 (3,9%) недостоверные сведения в поле ОГРН и у 120 (2.4%) недостоверные сведения в поле ИНН. Чаще это отсутствие кода, реже это неверно введённые коды. Всего есть 16 организаций в сведениях о которых нет указаний на их коды ИНН и ОГРН одновременно. Причём все они не секретны, у многих, например, АО КБ "Хлынов", есть другие лицензии в этом же реестре и при этом заполненные реквизитами.
Являются ли эти данные достоверными? Где совершена ошибка: при их внесении, при подаче заявки на лицензию заявителем или, быть может, логичнее предположить ещё на этапе организации ведения реестра. Если он ведётся даже не в Excel и уж точно для него нет даже самой простой системы ведения реестров, если у него нет синхронизации и проверки с ЕГРЮЛ, если у него нет регламента ведения и так далее, то в нём как и в сотнях других реестров государства и опубликованных данных - будут ошибки. Эти ошибки накапливаются и итоговые системы принятия решений основанные на этих данных дают значительные искажения.
Напомню что я писал о подобных случаях с реестрами Минюста, Минцифры, Минэкономразвития, Федерального Казначейства и других органов власти. Качество данных государства - это общая проблема, пока мало кем решённая.
Ссылки:
[1] http://clsz.fsb.ru
[2] http://clsz.fsb.ru/clsz/license.htm
[3] https://yangx.top/alukatsky/3880
[4] https://github.com/ivbeg/docx2csv
[5] https://github.com/datacoon/undatum
#opendata #dataquality #registries
Рассмотрим пример, Центр по лицензированию, сертификации и защите государственной тайны ФСБ России [1] в открытом доступе публикует 4 реестра [2], все в формате .docx файлов:
- Реестр лицензий на деятельность, связанную с шифровальными (криптографическими) средствами
- Реестр лицензий на деятельность по разработке и производству средств защиты конфиденциальной информации
- Реестр лицензий на деятельность по выявлению электронных устройств
- Реестр лицензий на деятельность, связанную с оборотом СТС
Среди них, первый реестр, лицензий на деятельность, связанную с шифровальными (криптографическими) средствами - это файл MS Word (.docx) состоящий из одной таблицы в 1985 страниц и 4880 записи. Алексей Лукацкий ранее писал что этот файл с коллосальным трудом открывается, действительно, это аномально вести реестр таким образом. Для тех у кого не получится его открыть, я когда-то делал специальную утилиту docx2csv [4], она умеет вытаскивать таблицы из .docx файлов и сохранять их как серию файлов CSV или один XLSX.
Поэтому то что этот и остальные реестры публикуются в docx формате - это проблема, но проблема скорее культурная. Если бы в центре реально хотели делать это максимально вредным способом то публиковали бы реестр в виде отсканированного PDF файла с утверждающей подписью руководителя и аргументами что "только так можно дать ему юридическую значимость". Но, слава Богу, это не наш случай. Наш случай - это культура ведения реестра.
Сравнительно недавно я делал другую утилиту для командной строки, undatum [5] специально для разного рода операций преобразования и проверки данных и с её помощью регулярно проверяю разного рода официальные реестры на достоверность самых базовых реквизитов ИНН и ОГРН. Причём на уровне самой-самой простой проверки на валидность, даже без поиска по ЕГРЮЛ, проверки соответствия наименованию, кросс-валидации и так далее.
Так вот из 4880 записей у 191 (3,9%) недостоверные сведения в поле ОГРН и у 120 (2.4%) недостоверные сведения в поле ИНН. Чаще это отсутствие кода, реже это неверно введённые коды. Всего есть 16 организаций в сведениях о которых нет указаний на их коды ИНН и ОГРН одновременно. Причём все они не секретны, у многих, например, АО КБ "Хлынов", есть другие лицензии в этом же реестре и при этом заполненные реквизитами.
Являются ли эти данные достоверными? Где совершена ошибка: при их внесении, при подаче заявки на лицензию заявителем или, быть может, логичнее предположить ещё на этапе организации ведения реестра. Если он ведётся даже не в Excel и уж точно для него нет даже самой простой системы ведения реестров, если у него нет синхронизации и проверки с ЕГРЮЛ, если у него нет регламента ведения и так далее, то в нём как и в сотнях других реестров государства и опубликованных данных - будут ошибки. Эти ошибки накапливаются и итоговые системы принятия решений основанные на этих данных дают значительные искажения.
Напомню что я писал о подобных случаях с реестрами Минюста, Минцифры, Минэкономразвития, Федерального Казначейства и других органов власти. Качество данных государства - это общая проблема, пока мало кем решённая.
Ссылки:
[1] http://clsz.fsb.ru
[2] http://clsz.fsb.ru/clsz/license.htm
[3] https://yangx.top/alukatsky/3880
[4] https://github.com/ivbeg/docx2csv
[5] https://github.com/datacoon/undatum
#opendata #dataquality #registries
Telegram
Пост Лукацкого
Хотите "убить" свой комп или комп своего коллеги? Пусть откроют файл со списком лицензиатов ФСБ с сайта регулятора - https://t.co/KwC7PZM55R Всего 1,5 Мб, в которых скрывается 1985 страниц (откуда в стране столько лицензиатов ФСБ???), открытие которых "убивает"…
Ну что друзья, я таки удостоился отдельного пресс релиза от Минцифры РФ [1], правда без упоминания меня лично или Инфокультуры, но я и на такое не рассчитывал. А из пресс-релиза мы можем узнать две мысли:
- ПО можно удалить (а как же Самсунг;))
- "Вам никто ничего не навязывает, Вы со всем можете ознакомиться при установке" (с)
На это я повторяю ещё раз ещё один ключевой тезис. С момента обязательности предустановки ПО на телефоны граждан России ответственность за передачу данных из приложений в рамках этой предустановки лежит полностью на регуляторе и законодателях - Минцифре и Правительстве РФ. Лезть в регулирование рынка AdTech не разобравшись в нём было глупо, а если разобравшись то совсем цинично.
Ссылки:
[1] https://digital.gov.ru/ru/events/40734/
#privacy #digital
- ПО можно удалить (а как же Самсунг;))
- "Вам никто ничего не навязывает, Вы со всем можете ознакомиться при установке" (с)
На это я повторяю ещё раз ещё один ключевой тезис. С момента обязательности предустановки ПО на телефоны граждан России ответственность за передачу данных из приложений в рамках этой предустановки лежит полностью на регуляторе и законодателях - Минцифре и Правительстве РФ. Лезть в регулирование рынка AdTech не разобравшись в нём было глупо, а если разобравшись то совсем цинично.
Ссылки:
[1] https://digital.gov.ru/ru/events/40734/
#privacy #digital
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации
Минцифры России исключает возможность передачи предустановленными приложениями персданных россиян в том числе иностранным компаниям
Поскольку с сегодняшнего утра невероятный бум публикаций, вначале со ссылкой на исследование о трекерах, потом с опровержениями со стороны Яндекса, Mail.ru и Минцифры и все пишут и комментируют что никаких данных не передаётся, всё это техническая информация просто для удобства разработчиков. Ребята, я не понимаю зачем Вы это делаете и вот так подставляетесь, честно. Я ведь всегда пишу по простому сценарию:
- вбрось достаточно информации, чтобы все обсуждали, но не всё
- подожди пока не начнут оправдываться
- предъяви дополнительные доказательства
- подожди пока не начнут оправдываться
- предъяви дополнительные доказательства
Я могу, безусловно, указать на конкретные условия использования конкретных сервисов, могу показать записи трафика со структурой передаваемых данных, могу показать на вполне конкретные результаты находок европейских и других регуляторов которые проводили анализ приложений включающих эти или аналогичные трекеры в рамках регулирования AdTech рынка.
Конечно же всё это есть и конечно же я не буду сразу это предъявлять, для всего нужен хороший момент. Вот к 1 апреля был хороший повод, я о нём предупреждал за 2 месяца. Я вообще веду себя даже чересчур предупредительно, не делаю ничего неожиданного, предупреждаю обо всё очень заранее. Даже непривычно как-то;)
Вот и тут ситуация такая же, будет свежий повод в течение ближайших месяцев, а я думаю он появится к июлю-августу, то и будет продолжение темы.
Только журналисты уже будут писать об этом в риторике: "Ранее Яндекс и Mail.ru отрицали передачу персональных данных" или "Ранее Минцифры отрицали передачу персональных данных россиян предустановленным ПО".
И снова я повторю одну и ту же мысль. Пока рынок AdTech существовал сам по себе - каждый гражданин сам нёс ответственность. Когда туда пришёл регулятор в лице Минцифры, то не надо увиливать, несите ответственность за то что вы требуете ставить на телефоны граждан. Не к Яндексу и не к Mail.ru и к другим претензии, а к тем кто обязал ставить их ПО на смартфоны в обязательном порядке.
#privacy #mobileapps
- вбрось достаточно информации, чтобы все обсуждали, но не всё
- подожди пока не начнут оправдываться
- предъяви дополнительные доказательства
- подожди пока не начнут оправдываться
- предъяви дополнительные доказательства
Я могу, безусловно, указать на конкретные условия использования конкретных сервисов, могу показать записи трафика со структурой передаваемых данных, могу показать на вполне конкретные результаты находок европейских и других регуляторов которые проводили анализ приложений включающих эти или аналогичные трекеры в рамках регулирования AdTech рынка.
Конечно же всё это есть и конечно же я не буду сразу это предъявлять, для всего нужен хороший момент. Вот к 1 апреля был хороший повод, я о нём предупреждал за 2 месяца. Я вообще веду себя даже чересчур предупредительно, не делаю ничего неожиданного, предупреждаю обо всё очень заранее. Даже непривычно как-то;)
Вот и тут ситуация такая же, будет свежий повод в течение ближайших месяцев, а я думаю он появится к июлю-августу, то и будет продолжение темы.
Только журналисты уже будут писать об этом в риторике: "Ранее Яндекс и Mail.ru отрицали передачу персональных данных" или "Ранее Минцифры отрицали передачу персональных данных россиян предустановленным ПО".
И снова я повторю одну и ту же мысль. Пока рынок AdTech существовал сам по себе - каждый гражданин сам нёс ответственность. Когда туда пришёл регулятор в лице Минцифры, то не надо увиливать, несите ответственность за то что вы требуете ставить на телефоны граждан. Не к Яндексу и не к Mail.ru и к другим претензии, а к тем кто обязал ставить их ПО на смартфоны в обязательном порядке.
#privacy #mobileapps
Британская международная НКО Centre for Agriculture and Bioscience International [1] и Институт открытых данных [2] опубликовали Data Sharing Toolkit [3] о том как публиковать данные и обмениваться данными в программах поддержки сельского хозяйства в развивающихся странах. Основная идея в том что если поддерживать сельское хозяйство, то надо и поддерживать равный доступ к информации необходимой фермерам.
Это не первый проект про данные в сельском хозяйстве, например, проект GODAN [4], где CABI выступали в роли секретариата, был также посвящён практикам обмена данными, с акцентом на развивающиеся страны и программы ООН.
Проект Data Sharing Toolkit финансируется Фондом Билла и Мелинды Гэйтс [5] и в чём-то пересекается с проектом Farmstack [6] где фермеры могут узнавать свежую информацию и обмениваться ей между собой.
Ссылки:
[1] http://www.cabi.org/
[2] https://theodi.org
[3] https://www.datasharingtoolkit.org
[4] https://www.cabi.org/projects/godan-making-agriculture-and-nutrition-data-open-and-searchable/
[5] https://www.gatesfoundation.org/
[6] https://farmstack.digitalgreen.org
#opendata #data #agriculture
Это не первый проект про данные в сельском хозяйстве, например, проект GODAN [4], где CABI выступали в роли секретариата, был также посвящён практикам обмена данными, с акцентом на развивающиеся страны и программы ООН.
Проект Data Sharing Toolkit финансируется Фондом Билла и Мелинды Гэйтс [5] и в чём-то пересекается с проектом Farmstack [6] где фермеры могут узнавать свежую информацию и обмениваться ей между собой.
Ссылки:
[1] http://www.cabi.org/
[2] https://theodi.org
[3] https://www.datasharingtoolkit.org
[4] https://www.cabi.org/projects/godan-making-agriculture-and-nutrition-data-open-and-searchable/
[5] https://www.gatesfoundation.org/
[6] https://farmstack.digitalgreen.org
#opendata #data #agriculture
CABI.org
Home - CABI.org
CABI is an international, inter-governmental, not-for-profit organization that improves people’s lives worldwide by providing information and applying scientific expertise to solve problems in agriculture and the environment.
Pinterest выложили в открытый доступ и с открытым кодом QueryBook [1], IDE для управления запросами к СУБД, их обменом, аналитике и тд. Выглядит весьма привлекательно, мне чем-то напомнило Trevor.io, только там ещё и визуальный запросо-построитель.
Полезное пополнение списка инструментов.
Ссылки:
[1] https://github.com/pinterest/querybook
#data #opensource #datatools #pinterest
Полезное пополнение списка инструментов.
Ссылки:
[1] https://github.com/pinterest/querybook
#data #opensource #datatools #pinterest
GitHub
GitHub - pinterest/querybook: Querybook is a Big Data Querying UI, combining collocated table metadata and a simple notebook interface.
Querybook is a Big Data Querying UI, combining collocated table metadata and a simple notebook interface. - pinterest/querybook
Симпатичная, хотя и не полная, картинка о современных инфраструктурах данных от Indicative, стартапа по продуктовой аналитике. К ней же публикация у них на сайте [1]
Конечно, надо делать оговорку на то что они рисуют инфраструктуру только по тому рынку в котором существуют, а это рынок облачных решений в работе с данными. С другой стороны, корпоративный рынок данных за пределами России и вокруг корпораций/стартапов примерно такой. Во всяком случае в какой-то его части. Это полезно помнить в поиске собственной ниши в этих экосистемах.
Ссылки:
[1] https://www.indicative.com/data-warehouse/modern-data-infrastructure/
#data #clouddatamarket
Конечно, надо делать оговорку на то что они рисуют инфраструктуру только по тому рынку в котором существуют, а это рынок облачных решений в работе с данными. С другой стороны, корпоративный рынок данных за пределами России и вокруг корпораций/стартапов примерно такой. Во всяком случае в какой-то его части. Это полезно помнить в поиске собственной ниши в этих экосистемах.
Ссылки:
[1] https://www.indicative.com/data-warehouse/modern-data-infrastructure/
#data #clouddatamarket
Несмотря на скепсис в реализуемости этой концепции, конечно, движение в этом направлении - это скорее хорошо и правильно. Машиночитаемость права/правил/регулирования, а также автоматизация проверки реализуемости правил и многое другое вокруг этого - всё это очень важно.
Forwarded from Цифровая экономика
🔹В «Сколково» подготовили концепцию машиночитаемого, то есть понятного для алгоритмов, права. Концепция посвящена анализу возможных сфер и способов применения технологий искусственного интеллекта, создания и использования формальных языков и работы с логическими языковыми моделями для работы с правом. Ее внедрение позволит снизить затраты граждан на юристов, а также трансформировать сферу контрольно-надзорной деятельности государства. Рабочая группа «Нормативное регулирование» организации «Цифровая экономика» одобрила документ и направила ее в Минэкономразвития для подготовки к принятию.
🔹Сферы применения технологий машиночитаемого права:
• Стандартизация и сертификация;
• Заключение и исполнение сделок в машиночитаемом формате;
• Контрольная (надзорная) деятельность;
• Отчетность и обмен данными;
• Административное производство и судопроизводство;
• Нормотворчество и управление изменениями в целях создания благоприятной юрисдикции для развития новых технологий;
• Возможности для применения машиночитаемого права при взаимодействии государственных информационных систем с цифровыми платформами.
💬«Развитие технологий машиночитаемого права крайне актуально для экономики страны и правовой сферы сегодня. Обсуждение проекта данной концепции на площадке рабочей группы “Нормативное регулирование” позволило вовлечь в ее подготовку ведущих экспертов из области права и науки, руководителей компаний цифрового бизнеса, представителей государства. Следующим шагом будет ее обсуждение с широким кругом органов власти на площадке Минэкономразвития России в ходе межведомственного согласования», — прокомментировал Дмитрий Тер-Степанов, заместитель генерального директора — директор по направлению «Нормативное регулирование» организации «Цифровая экономика».
#цифроваяэкономика
#нормативноерегулирование
#искусственныйинтеллект
https://bit.ly/3rLZQwZ
🔹Сферы применения технологий машиночитаемого права:
• Стандартизация и сертификация;
• Заключение и исполнение сделок в машиночитаемом формате;
• Контрольная (надзорная) деятельность;
• Отчетность и обмен данными;
• Административное производство и судопроизводство;
• Нормотворчество и управление изменениями в целях создания благоприятной юрисдикции для развития новых технологий;
• Возможности для применения машиночитаемого права при взаимодействии государственных информационных систем с цифровыми платформами.
💬«Развитие технологий машиночитаемого права крайне актуально для экономики страны и правовой сферы сегодня. Обсуждение проекта данной концепции на площадке рабочей группы “Нормативное регулирование” позволило вовлечь в ее подготовку ведущих экспертов из области права и науки, руководителей компаний цифрового бизнеса, представителей государства. Следующим шагом будет ее обсуждение с широким кругом органов власти на площадке Минэкономразвития России в ходе межведомственного согласования», — прокомментировал Дмитрий Тер-Степанов, заместитель генерального директора — директор по направлению «Нормативное регулирование» организации «Цифровая экономика».
#цифроваяэкономика
#нормативноерегулирование
#искусственныйинтеллект
https://bit.ly/3rLZQwZ
data-economy.ru
Концепция развития технологий машиночитаемого права одобрена Рабочей группой «Нормативное регулирование» и направлена в Минэкономразвития…
Концепция посвящена анализу возможных сфер и способов применения технологий искусственного интеллекта, создания и использования формальных языков и работы с логическими языковыми моделями для работы с правом.
Zoom запретили продавать свои лицензии российским госорганами и госучреждениям [1], а это не только министерства, но и ВУЗы, школы и госкомпании. Так или иначе, но много альтернатив, не лучших, но каких-то существует. Гораздо важнее понять с чем связан этот запрет. Является ли это политикой конкретно Zoom или это первая ласточка во введении экспортных ограничений которые США, например, применяли к Ирану. Поэтому вот меня лично более всего тревожит отсутствие публично анонсированных причин ограничений.
Ссылки:
[1] https://secretmag.ru/news/zoom-zapretil-rossiiskim-chinovnikam-polzovatsya-videosvyazyu.htm
#government #it
Ссылки:
[1] https://secretmag.ru/news/zoom-zapretil-rossiiskim-chinovnikam-polzovatsya-videosvyazyu.htm
#government #it
secretmag.ru
Zoom запретил российским чиновникам пользоваться видеосвязью
Американский сервис Zoom лишил российских чиновников своей видеосвязи. Компания запретила продавать лицензии на использование приложения госструктурам и компаниям с государственным участием из России.
Google выиграли суд против Oracle в Верховном суде США [1] [2] и суд признал что то что Google копировали 11 тысяч строк кода Java API - это было fair use и Google не должны ничего платить Oracle. В Oracle с этим, конечно же, не согласны [3], но что будут делать далее непонятно поскольку Верховный суд финальная судебная инстанция в США.
Ссылки:
[1] https://edition.cnn.com/2021/04/05/tech/google-oracle-supreme-court-ruling/index.html
[2] https://blog.archive.org/2021/04/06/a-good-day-for-the-open-web/
[3] https://www.oracle.com/news/announcement/oracle-statement-regarding-oracle-v-google-040521.html
#oracle #google #java #api
Ссылки:
[1] https://edition.cnn.com/2021/04/05/tech/google-oracle-supreme-court-ruling/index.html
[2] https://blog.archive.org/2021/04/06/a-good-day-for-the-open-web/
[3] https://www.oracle.com/news/announcement/oracle-statement-regarding-oracle-v-google-040521.html
#oracle #google #java #api
CNN
Supreme Court hands Google a victory in a multibillion-dollar case against Oracle | CNN Business
The Supreme Court has handed Google a win in a decade-old case in software development, holding that the technology giant did not commit copyright infringement against Oracle when it copied snippets of programming language to build its Android operating system.
Регулярные напоминания
Я время от времени, по мере роста числа подписчиков, напоминаю о проектах которые я и моя команда ведём. Это не исчерпывающий список, а самое что ни на есть основное.
В телеграм
- @begtin - мой канал в телеграм где я пишу про данные, госданные, иногда про госфинансы и госуправление, ИТ в гос-ве и около, технологии и про госзакупки.
- @infoculture - телеграм канал АНО "Инфокультура" которое я возглавляю
- @ahminfin - телеграм канал моей коллеги, Ольги Пархимович, она ведёт разработку проекта Госрасходы (spending.gov.ru) и руководит проектом Госзатраты (clearspending.ru) и регулярно пишет о разных проблемах и достижениях профильных органов власти в этой области и про открытые данные, не только в госфинансах.
Проекты (активные)
По госфинансам
- Госрасходы (spending.gov.ru) - аналитический портал Счетной палаты РФ с анализом данных о госрасходах включая полную базу госконтрактов, субсидий (до ноября 2020 года), иных данных. С открытыми данными, API и так далее. А также с аналитикой по нацпроектам и госпрограммам.
- Госзатраты (clearspending.ru) - изначальный общественный негосударственный проект по анализу госконтрактов созданный для Комитета Гражданских Инициатив. Сейчас поддерживается и развивается Инфокультурой. Также с открытыми данными и API.
По НКО
- Открытые НКО - портал по всем некоммерческим организациям которые существуют в России, включая данные по их контрактам, субсидиям, полученным грантам, идущим арбитражным делам и сдаваемых ими отчетам. С открытыми данными и API.
- Данные НКО - портал открытых данных созданных специально для НКО для раскрытия данных о их деятельности. На базе CKAN с открытыми данными и API.
По открытым данным
- Хаб открытых данных - общественный портал открытых данных, включает многие данные которые мы собирали параллельно официальным порталам открытых данных. В последнее время обновляется сильно реже, давно думаем о его реорганизации. На базе CKAN с открытыми данными и API.
Другое
- Простой русский язык - простой инструмент измерения сложности текстов, выдает показатель в годах обучения. С открытым API и открытым кодом
- Национальный цифровой архив - проект по архивации веб-сайтов Рунета и иных цифровых объектов/артефактов. На практике совокупность проектов под одним брендом. С большими данными в виде дампов архивов сайтов.
- День открытых данных - ежегодное мероприятие по открытым данным в России/Москве.
Исследования
- Приватность государственных мобильных приложений в России - о том какие трекеры в каких госприложениях.
- Open Data Review - Открытые данные в российском правовом поле: обзор лучших практик, рекомендаций и барьеров
- Оценка открытости государственных информационных систем в России - о том какие ГИС есть в России и насколько они открыты
- Открытость государства в России - ежегодный доклад Счетной палаты и ряда НКО
- Утечки данных из государственных информационных систем - о том как персональные данные утекают из государственных и регулируемых государством информационных систем
Блоги и медиа
- Блог Инфокультуры на Хабре - тексты большого формата, пишем туда нечасто, не писали много лет, но начали снова.
- Рассылка Инфокультуры - регулярные новости про открытые данные и события, и иную деятельность как нашу Инфокультуры так и партнёров. 7,5 тысяч подписчиков.
- Моя личная рассылка на Substack - я стараюсь писать туда 2-4 раза в месяц. Темы шире чем у рассылки Инфокультуры и веду я её лично, с середины прошлого года специально для лонгридов.
- Блог begtin.tech - мой блог для публикаций "среднего размера", регулярно возвращаюсь к нему, хотя пишу даже реже чем в рассылку.
Дополнительные ресурсы
- открытый код на Github infoculture, datacoon, ruarxive, ivbeg
- открытые данные на data.world infoculture, ibegtin
- документированные госAPI на Postman infoculture-public
- профили на международном портале данных гуманитарных кризисов infoculture
#opendata #opengov
Я время от времени, по мере роста числа подписчиков, напоминаю о проектах которые я и моя команда ведём. Это не исчерпывающий список, а самое что ни на есть основное.
В телеграм
- @begtin - мой канал в телеграм где я пишу про данные, госданные, иногда про госфинансы и госуправление, ИТ в гос-ве и около, технологии и про госзакупки.
- @infoculture - телеграм канал АНО "Инфокультура" которое я возглавляю
- @ahminfin - телеграм канал моей коллеги, Ольги Пархимович, она ведёт разработку проекта Госрасходы (spending.gov.ru) и руководит проектом Госзатраты (clearspending.ru) и регулярно пишет о разных проблемах и достижениях профильных органов власти в этой области и про открытые данные, не только в госфинансах.
Проекты (активные)
По госфинансам
- Госрасходы (spending.gov.ru) - аналитический портал Счетной палаты РФ с анализом данных о госрасходах включая полную базу госконтрактов, субсидий (до ноября 2020 года), иных данных. С открытыми данными, API и так далее. А также с аналитикой по нацпроектам и госпрограммам.
- Госзатраты (clearspending.ru) - изначальный общественный негосударственный проект по анализу госконтрактов созданный для Комитета Гражданских Инициатив. Сейчас поддерживается и развивается Инфокультурой. Также с открытыми данными и API.
По НКО
- Открытые НКО - портал по всем некоммерческим организациям которые существуют в России, включая данные по их контрактам, субсидиям, полученным грантам, идущим арбитражным делам и сдаваемых ими отчетам. С открытыми данными и API.
- Данные НКО - портал открытых данных созданных специально для НКО для раскрытия данных о их деятельности. На базе CKAN с открытыми данными и API.
По открытым данным
- Хаб открытых данных - общественный портал открытых данных, включает многие данные которые мы собирали параллельно официальным порталам открытых данных. В последнее время обновляется сильно реже, давно думаем о его реорганизации. На базе CKAN с открытыми данными и API.
Другое
- Простой русский язык - простой инструмент измерения сложности текстов, выдает показатель в годах обучения. С открытым API и открытым кодом
- Национальный цифровой архив - проект по архивации веб-сайтов Рунета и иных цифровых объектов/артефактов. На практике совокупность проектов под одним брендом. С большими данными в виде дампов архивов сайтов.
- День открытых данных - ежегодное мероприятие по открытым данным в России/Москве.
Исследования
- Приватность государственных мобильных приложений в России - о том какие трекеры в каких госприложениях.
- Open Data Review - Открытые данные в российском правовом поле: обзор лучших практик, рекомендаций и барьеров
- Оценка открытости государственных информационных систем в России - о том какие ГИС есть в России и насколько они открыты
- Открытость государства в России - ежегодный доклад Счетной палаты и ряда НКО
- Утечки данных из государственных информационных систем - о том как персональные данные утекают из государственных и регулируемых государством информационных систем
Блоги и медиа
- Блог Инфокультуры на Хабре - тексты большого формата, пишем туда нечасто, не писали много лет, но начали снова.
- Рассылка Инфокультуры - регулярные новости про открытые данные и события, и иную деятельность как нашу Инфокультуры так и партнёров. 7,5 тысяч подписчиков.
- Моя личная рассылка на Substack - я стараюсь писать туда 2-4 раза в месяц. Темы шире чем у рассылки Инфокультуры и веду я её лично, с середины прошлого года специально для лонгридов.
- Блог begtin.tech - мой блог для публикаций "среднего размера", регулярно возвращаюсь к нему, хотя пишу даже реже чем в рассылку.
Дополнительные ресурсы
- открытый код на Github infoculture, datacoon, ruarxive, ivbeg
- открытые данные на data.world infoculture, ibegtin
- документированные госAPI на Postman infoculture-public
- профили на международном портале данных гуманитарных кризисов infoculture
#opendata #opengov