Лично я не то чтобы удивился по поводу новости о том что НИИ Восход просит субсидию на локализацию SAP [1] и том что это нужно «Ростех», «Росатом» и ОАО РЖД и тд., а просто до сих пор не могу прийти в себя. SAP - это очень специфическая платформа, прям даже сказать "очень" - это ничего не сказать. Это вещь в себе и не случайно практика SAP есть в нескольких крупных интеграторах и точно не в НИИ Восход, там такое просто не могло никогда появиться в виду специфики работы подведа Минцифры и отсутствия SAP в Минцифре и в ФОИВах (и других органах власти) как явления.

Тут всё очень просто, на самом деле, когда РЖД, Росатому или Ростеху что-то надо - они сами это делают и у них есть на это деньги, ресурсы, люди или компетенции. При всём желании я не поверю что у Росатома меньше ИТ компетенций и так далее по всем госкорпорациям по списку.

Поэтому очень странная эта инициатива. Если там есть геополитика дружбы с Германией - это понятное политическое решение, вернее непонятно "почему Восход" есть же много других госинформатизаторов, но понятное с других точек зрения. Потому что в случаях реальной потребности давно бы на это нашлись внебюджетные деньги.

Ссылки:
[1] https://www.kommersant.ru/doc/4780864

#it #russia

Когда общественно значимые данные публикуются в коммерческом сервисе и недоступны как открытые данные, то как это назвать? Вообще - это называется коррупцией в худшем случае и в лучшем недобросовестное получение рыночного преимущества. Яндекс всегда выступал за собственные бизнес интересы вопреки вопросам открытости, да и в направлении открытости данных за всех эти годы от них не было, ни инициатив, ни поддержки. Но ведь те кто собрали реестр пунктов вакцинации должны были понимать что он должен быть максимально публичен? И вот даже интересно, кто его ведет и кому писать официальные запросы.

🔎 Поиск пунктов вакцинации теперь доступен в «Яндекс.Картах». «Жители любого города смогут найти адрес, контакты и время работы ближайшего пункта, а также построить до него маршрут», — уточнили в компании.

📱Нужно вбить ключевые фразы (например «вакцинация» или «где сделать прививку») в поисковой строке. Более 4,5 тыс. текущих точек будут дополняться совместно с Минздравом.

💉 Напоминаем, массовая вакцинация в России началась 18 января. Сегодня в стране зарегистрированы три препарата: «Спутник V», «ЭпиВакКорона» и «КовиВак». Привиться можно в государственных или частных медучреждениях.

⚡️ Больше новостей по актуальной теме вакцинации читайте на вакцина.стопкоронавирус.рф и будьте здоровы. Позаботьтесь о себе и близких, запишитесь на прививку по ссылке.

#стопкоронавирус #здоровьевприоритете #coronavirus

Может ли мягкий искусственный интеллект приносить повседневную пользу? Да, например, один энтузиаст прикрутил OpenAI к командной строке в Linux и написал об этом подробно [1] и заснял видео [2]. Если вкратце, то автор сделал надстройку над терминалом Linux и с помощью OpenAI научился транслировать задачи написанные на естественном языке в команды Shell.

Конечно, далеко не всё распознаётся как хотелось бы и всё это куда больше похоже на забавный эксперимент, но... не стоит недооценивать развитие технологий. В самых очевидных, полуавтоматизированных задачах применение OpenAI и других AI технологий может дать интересный результат. Например, написать текст на основе синопсиса, нарисовать эскиз веб-приложения из текстового описания, рисовать картину со слов человека и ещё многое другое.

Ссылки:
[1] https://riveducha.onfabrica.com/openai-powered-linux-shell
[2] https://www.youtube.com/watch?v=j0UnS3jHhAA

#ai #tools #shell #linux

В рубрике интересных наборов данных, база Web Data Commons - Schema.org Table Corpus [1] j опубликованный 29 марта 2021 года командой Web Data Commons [2], проекта Университета Манхейма. В наборе данных 4.2 миллиона таблиц в виде данных в формате schema.org [3] извлечённых из веб-страниц Common Crawl.

Исходный код экстрактора данных данных также доступен [4].

Хороший проект, интересные результаты, и реальная польза от Common Crawl как гигантской базы данных веб-страниц на основе которой проводятся многочисленные исследования. А для разного рода коммерческих проектов по агрегации данных это всё может быть интересным источником вдохновения.

Ссылки:
[1] http://webdatacommons.org/structureddata/schemaorgtables/
[2] http://webdatacommons.org/
[3] https://schema.org/
[4] http://webdatacommons.org/framework/index.html

#opendata #data #web #crawl

В рубрике интересные наборы данных, Table Union Search on Open Data, научная статья [1] и база данных [2] с фокусом на автоматизацию объединения табличных данных. Исследование о том можно ли и насколько эффективно можно объединять разные табличные данные по полям которые кажутся идентичными, совпадающими.

Задача эта, во многом про автоматизацию выявления метаданных, задача, безусловно интересная и очень про качество публикации данных и дальнейшее использование. Типовой пример, нужно собрать все данные по российскому региону из всех опубликованных открытых данных. При том что могут отличаться наименования полей.

Несмотря на то что статье более 3-х лет и результаты анализа на основе таблиц из порталов открытых данных 3-х летней давности, актуальности задачи не теряет. Отчасти жаль лишь что опубликовано маловато кода, может быть авторы делают коммерческий продукт, правда 3 года прошло.

Ссылки:
[1] http://www.vldb.org/pvldb/vol11/p813-nargesian.pdf
[2] https://github.com/RJMillerLab/table-union-search-benchmark

#opendata #dataquality #data

Для тех кто любит визуализировать данные и получать за это призы, премии, уважуху и признание коллег, до 21 мая идёт приём заявок [1] на EU DataViz 2021, конференцию в рамках дней открытых данных Евросоюза которая пройдет 23-24 ноября 2021 года.
Ограничений по стране подачи нет, можно подаваться из России, тем более что в России визуализация данных и журналистика представлены очень даже неплохо (как бы нам не казалось иное иногда). Не стесняйтесь, не бойтесь показаться неумелыми, международное признание штука хорошая, не только для самолюбия, но и для портфолио.

Прошлый EU DataViz проходил в 2019 году, там немало полезных презентаций и иных материалов [2]

Ссылки:
[1] https://op.europa.eu/en/web/eudataviz
[2] https://op.europa.eu/en/web/eudataviz2019

#opendata #dataviz

Завтра семинар по реформе регуляторике в канале @smart_regulation. Для тех кто интересуется этой темой, заодно, рекомендую подписаться. Тема кажется узкой, но для всех кто сталкивается с отечественным нормотворчеством она совсем не узка.

Максут Шадаев в интервью Коммерсанту 20 апреля весьма разумно изложил почему не надо тратить бюджетные деньги на локализацию SAP [1]. Я также считаю что если у продукции есть крупные корпоративные потребители, то и тратить средства на локализацию должны именно они.

Есть за что Минцифры можно ругать (предустановка ПО), а есть за что можно хвалить (отсечение заведомо неразумных инициатив).

Было бы больше про открытость данных, так вообще цены бы министерству не было.

Ссылки:
[1] https://www.kommersant.ru/doc/4781615

#opendata #digital #импортозамещение

Где-то дипфэйки, а где-то новое место для рекламы (с) Британский AdTech стартап Mirriad применяет технологию [1] внедрения рекламы в видеоконтент. Эдакая "нативочка" выглядящая естественно и она уже применяется для одного из китайских стриминговых вебсайтов. Сама компания Mirriad получила более 67 миллионов долларов венчурного финансирования, с последним раундом в $23 миллиона долларов в декабре 2020 года [2], стала публичной ещё в 2017 году.

В каком-то смысле технология пугающая, потому что может позволить перерисовать огромное число исторических фильмов, а в будущем ещё и в реальном времени внедрять нативную рекламу в стриминг, трансляции и видео загружаемые на популярные сайты и многое другое.

Признаться я слышал об этой технологии, но раньше не задумывался кто и как её применяет и возможно ли, а тут похоже что всё более чем активно развивается.

Интересно появятся ли аналогичные отечественные стартапы и работает ли хоть кто-то в этом направлении?

Ссылки:
[1] https://www.bbc.com/news/business-56758376
[2] https://www.crunchbase.com/organization/mirriad/company_financials

#tech #startups #adtech

К вопросу об интересных наборах данных и их сохранности. После обновления системы ЕГИСУ НИОКТР (Единая государственная информационная система учета результатов научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения) [1] из раздела открытые данные исчезла возможность выгрузки данных до 2016 года, а также изменился сам формат выгрузки данных. Если ранее это были XML дампы (без схем и документации), то сейчас это JSON дампы, также, без схем и документации.

Масштаб изменений пока измерить сложно потому что в новых выгрузках данных в ЕГИСУ много ошибок. Но старые данные, до 2016 года в них не находятся.

Архив этих данных у нас, конечно, есть, но это ещё один сигнал о необходимости архивации открытых данных.

Ссылки:
[1] https://rosrid.ru

#opendata #data #dataquality

11-13 мая пройдёт большая международная конференция Access for All. Plain Language is a Civil Right [1]. Там большая насыщенная программа [2] со спикерами из десятков стран о практике простоты языка.

Конференция платная, не очень дешёвая, но есть скидки по тому к странам с какими доходами вы относитесь. Россия страна со средними доходами и код скидки ZONE2. Вместе с ним стоимость участия: $49.00 для студентов, $109 для членов ассоциаций, $139.00 для тех кто в ассоциации не входит.

Организует конференцию Clarity International, Center for Plain Language и Plain Language Association International. Я лично вхожу в ассоциацию Clarity International уже много лет, плачу членские взносы и получаю по подписке их журнал и поэтому получу небольшую скидку. Много лет я также представляю Россию в Clarity International и ещё 4 человека из России входят в Plain Language Association [3] и вот и всё. Практически никто от России не выступает на международных конференциях, честно говоря я вот тоже этого не делаю. Рассказываю только на российских конференциях или вот последняя моя презентация с российско-германского форума [4], но вот к этой международной конференции, увы, я не успел подготовиться, но с удовольствием послушаю участников.

Напомню что у Информационной культуры есть проект по простоте и понятности русского языка [5] где можно измерить сложность языка в годах обучения. У проекта есть открытое API с помощью которого можно анализировать тексты автоматически/автоматизировано.

Ссылки:
[1] https://www.accessforallconference.com/
[2] https://www.accessforallconference.com/may-program
[3] https://plainlanguagenetwork.org/membership/member-directory/
[4] https://www.beautiful.ai/player/-MZCRhasvASjRmvzWl7c
[5] https://plainrussian.ru

#plainlanguage #plainrussian

В Евросоюзе окончательно объединили портал данных стран ЕС и портал данных структур Евросоюза в единый портал data.europa.eu [1] с более чем 1.1 миллионами наборов данных.

На что стоит обратить внимание:
1. Наличие измерение качества данных как минимум на уровне оценки достаточности метаданных к наборам данных.
2. Подавляющее число данных - это геоданные. Их там под 90% от всех наборов данных.
3. Данные агрегируются из 81 каталога, национальных каталогов стран, регионов стран и организационных структур и проектов ЕС.
4. Только у одного каталога всё отлично с метаданными, у 16 хорошо и у всех остальных достаточно или плохо [2]
5. Все порталы ЕС отдают списки наборов данных по стандарту DCAT-AP [3] и это позволяет агрегировать данные на центральном портале.

Также любопытно свежее исследование об устойчивости инфраструктуры открытых данных и модели Community Data Spaces [4], там пока только прототип из скриншотов, но логика про построение Github'а для данных


Ссылки:
[1] https://data.europa.eu
[2] https://data.europa.eu/mqa?locale=en
[3] https://op.europa.eu/en/web/eu-vocabularies/dcat-ap
[4] https://data.europa.eu/sites/default/files/sustainability-data-portal-infrastructure_6_distributed-version-control.pdf

#opendata #eu #data

Sandeep Uttamchandani

Sandeep Uttamchandani автор весьма неплохой книги "The Self-Service Data Roadmap: Democratize Data and Reduce Time to Insight" о работе с платформами управления данными в статье Why is reliable metadata becoming important? [1] пишет о изменении подхода к работе с метаданными и переход от "схема-при-записи" к "схема-при-чтении" когда вместо подготовки описания метаданных при их загрузке в хранилище, они загружаются как есть, а уже после загрузки метаданные добавляются. Подход близкий к замене классической стратегии обработки данных ETL на ELT, когда большая вместо обработки данных до загрузки работа с данными, включая их преобразования, происходят уже внутри облака/озера данных и тд.

Иначе говоря вначале получаем данные в любом виде и только после того как их загрузили в хранилище начинаем их преобразовывать, документировать и описывать метаданные.

Мои мысли во многом коррелируют с тем что автор пишет, работа с метаданными должна адаптироваться под задачи для которых они собираются. Самая популярная/актуальная тема каталогизации данных сейчас - это машинное обучение и вокруг неё сейчас и массово открываются проекты корпоративных каталогов данных.

Ссылки:
[1] https://towardsdatascience.com/why-reliable-metadata-is-becoming-important-f29e01b01d4d

#data #metadata

Эту рассылку [1] я решил посвятить такой специфической теме как государственные реестры, регистры, справочники и иные, как правило, общедоступные базы данных. Как правило их появление - это отражение какой-либо деятельности регулируемой государственными органами области деятельности.

Ссылки:
[1] https://begtin.substack.com/p/16

#data #opendata #api

Случилось неприятное, но ожидаемое. Портал graduate.edu.ru с данными по трудоустройству и доходам выпускников ВУЗов закрылся [1]. Никакого публичного анонса не было, просто по ссылкам теперь выдаются ошибки.

Очень жаль, несмотря на устаревшие данные альтернатив у него небыло. Открытые данные из этого портала, конечно же, Минобрнауки не публикует и никогда ранее не публиковало.

Ссылки:
[1] http://graduate.edu.ru/

#opendata #edu