О том как устроена классификация данных, семантические типы, бизнес глоссарии у меня накопилось уже на большой лонгрид. Типизация данных сильно заточена под их понимание.
Пока вот такая картинка/схема того как будет устроен реестр идентификаторов/сементических типов Metacrafter registry [1].
Главная особенность описания данных в том что многие данные не могут идентифицироваться без ошибок, это принципиально невозможно в виду частой повторяемости одних и тех же форматов идентификаторов.
Частично это можно исправить задавая категории правил, зная язык (разговорный) текстов в данных и зная привязку к стране. Чтобы составить хорошие правила нужна хорошая модель идентификаторов/семантических типов с которыми они связаны, а таких моделей нет, только практики и несколько научных публикаций.
Ссылки:
[1] https://github.com/apicrafter/metacrafter-registry
#data #reading #dataunderstanding
Пока вот такая картинка/схема того как будет устроен реестр идентификаторов/сементических типов Metacrafter registry [1].
Главная особенность описания данных в том что многие данные не могут идентифицироваться без ошибок, это принципиально невозможно в виду частой повторяемости одних и тех же форматов идентификаторов.
Частично это можно исправить задавая категории правил, зная язык (разговорный) текстов в данных и зная привязку к стране. Чтобы составить хорошие правила нужна хорошая модель идентификаторов/семантических типов с которыми они связаны, а таких моделей нет, только практики и несколько научных публикаций.
Ссылки:
[1] https://github.com/apicrafter/metacrafter-registry
#data #reading #dataunderstanding
В качестве примера утилиты metacrafter [1] по распознаванию типов данных две очень разные базы данных , в одной копия данных по сетевой инфраструктуры в РФ собранная из bgpview, а в другой база федеральных госконтрактов заключенных с 2007 по 2011 годы.
Обе базы содержат вложенные объекты и хранятся в MongoDB, поэтому анализ данных происходит ещё и вглубь объектов.
И распознаются уже более половины значащих полей с данными, распознаются с привязкой к зарегистрированным семантическим типам данных.
Но ещё есть многое что нужно дорабатывать и добавлять. Например, ещё не распознаются и не определяются коды ASN, в реестре типов уже есть, а в правила они ещё не добавлены. Или старые коды продукции в России - ОКП, тоже не определяются как и ряд редко используемых справочников.
Есть доля ложных срабатываний по кодам стран, которые определяются как language tag, потому что значения код ISO 3166 Alpha2 почти полностью входят в коды RFC 5646 и так далее. Но это всё решает усложнением правил.
Уже сейчас почти в каждой базе данных есть хотя бы несколько идентифицируемых семантических типов данных.
Куда более сложная задача, о которой я писал ранее, это выявление / понимание типов данных без предобучения, на основе повторяющихся шаблонов и связывание наборов данных, в том числе, через подобные типы данных
Ссылки:
[1] https://github.ccom/apicrafter/metacrafter
#opensource #dataunderstanding
Обе базы содержат вложенные объекты и хранятся в MongoDB, поэтому анализ данных происходит ещё и вглубь объектов.
И распознаются уже более половины значащих полей с данными, распознаются с привязкой к зарегистрированным семантическим типам данных.
Но ещё есть многое что нужно дорабатывать и добавлять. Например, ещё не распознаются и не определяются коды ASN, в реестре типов уже есть, а в правила они ещё не добавлены. Или старые коды продукции в России - ОКП, тоже не определяются как и ряд редко используемых справочников.
Есть доля ложных срабатываний по кодам стран, которые определяются как language tag, потому что значения код ISO 3166 Alpha2 почти полностью входят в коды RFC 5646 и так далее. Но это всё решает усложнением правил.
Уже сейчас почти в каждой базе данных есть хотя бы несколько идентифицируемых семантических типов данных.
Куда более сложная задача, о которой я писал ранее, это выявление / понимание типов данных без предобучения, на основе повторяющихся шаблонов и связывание наборов данных, в том числе, через подобные типы данных
Ссылки:
[1] https://github.ccom/apicrafter/metacrafter
#opensource #dataunderstanding
Накопилось какое-то количество размышлений тезисами о том как файлы/документы публикуются и что с этим не так
[Не] Структурированный мир.
Огромная часть задач связанных с машинным обучением, LLM и тд. вокруг извлечения текстов и преобразования PDF документов. Чаще всего эти документы из областей жизни где они являлись нормой совсем недавно - научные статьи, патенты, гос. документы. Реже архивы. Но PDF файлы - это пример доминанты представления над содержанием. Когда в ущерб возможности работы с текстом и иным содержанием автоматизировано акцент сделан на точности визуального представления. А сейчас огромные технические ресурсы будут тратится (уже тратятся) на преобразование всего этого в машиночитаемый вид. Прорывов много, например, распознавание документов с помощью GPU чипов всё лучше, но не менее важно "заставить этот горшочек перестать варить".
Научные статьи не должны публиковаться в PDF, в PDF не должны публиковать информацию о патентах, однозначно в PDF не должна публиковаться статистика и так далее. Таких областей немало. Всё это должны заменить расширяемые, но строго специфицированные форматы предусматривающие машинную обработку. В научном мире постепенно приходят к формату data papers и в обязательные требования по публикации данных вместе со статьями. В мире статистики всё достаточно давно развивается в сторону SDMX, JSON Stat и ряда других стандартов.
Моё предсказание в том что мир гораздо быстрее побежит по направлению стандартизации представления много чего что сейчас собирается и публикуется в для чтения людьми, а не автоматизированными агентами. Появится ли когда-то глобальный реестр подобных рекомендуемых структур/схем/форматов?
Очень бы хотелось потому что это всё более актуальная задача. Про такие локальные инициативы я ранее писал, например, schema.data.gouv.fr для официальных данных во Франции и редко обновляющийся Schema.org заточенный под поиск Google.
#dataunderstanding #data
[Не] Структурированный мир.
Огромная часть задач связанных с машинным обучением, LLM и тд. вокруг извлечения текстов и преобразования PDF документов. Чаще всего эти документы из областей жизни где они являлись нормой совсем недавно - научные статьи, патенты, гос. документы. Реже архивы. Но PDF файлы - это пример доминанты представления над содержанием. Когда в ущерб возможности работы с текстом и иным содержанием автоматизировано акцент сделан на точности визуального представления. А сейчас огромные технические ресурсы будут тратится (уже тратятся) на преобразование всего этого в машиночитаемый вид. Прорывов много, например, распознавание документов с помощью GPU чипов всё лучше, но не менее важно "заставить этот горшочек перестать варить".
Научные статьи не должны публиковаться в PDF, в PDF не должны публиковать информацию о патентах, однозначно в PDF не должна публиковаться статистика и так далее. Таких областей немало. Всё это должны заменить расширяемые, но строго специфицированные форматы предусматривающие машинную обработку. В научном мире постепенно приходят к формату data papers и в обязательные требования по публикации данных вместе со статьями. В мире статистики всё достаточно давно развивается в сторону SDMX, JSON Stat и ряда других стандартов.
Моё предсказание в том что мир гораздо быстрее побежит по направлению стандартизации представления много чего что сейчас собирается и публикуется в для чтения людьми, а не автоматизированными агентами. Появится ли когда-то глобальный реестр подобных рекомендуемых структур/схем/форматов?
Очень бы хотелось потому что это всё более актуальная задача. Про такие локальные инициативы я ранее писал, например, schema.data.gouv.fr для официальных данных во Франции и редко обновляющийся Schema.org заточенный под поиск Google.
#dataunderstanding #data
schema.org
Schema.org - Schema.org
Schema.org is a set of extensible schemas that enables webmasters to embed
structured data on their web pages for use by search engines and other applications.
structured data on their web pages for use by search engines and other applications.
Я давно не писал про наш поисковик по данным Dateno, а там накопилось множество обновлений, надеюсь что вот-вот уже скоро смогу об этом написать. А пока приведу ещё пример в копилку задач как ИИ заменяет человека. Я много рассказывал про реестр дата каталогов который Dateno Registry dateno.io/registry, полезный для всех кто ищет не только данные, но и их источник. Этот реестр - это основа Dateno, в нём более 10 тысяч дата каталогов размеченных по разным характеристикам и с большими пробелами в описаниях. Откуда пробелы? потому что автоматизировать поиск источников удалось, а вот описание требует (требовало) много ручной работы.
Когда мы запускали Dateno на текущем реестре я оценивал трудоёмкость по его улучшению и повышении качества в полгода работы для пары человек вручную. Совсем немало скажу я вам, учитывая что этих людей ещё и надо обучить и
ещё надо контролировать качество работы и ещё и нужны инструменты чтобы всё это редактировать без ошибок.
В общем, чтобы долго не ходить, ИИ почти полностью справляется с этой задачей. Достаточно предоставить url сайта с каталогом данных и из него хорошо извлекаются все необходимые метаданные.
Для стартапа на данных - это очень заметное изменение. И это маленькая и теперь недорогая задача. После всех проверок можно будет значительно обновить реестр.
Кстати, о том зачем он нужен. Реестр каталогов данных точно нужен Dateno для индексации датасетов, но он же нужен и всем тем кто строит национальные порталы данных потому что позволяет агрегировать в него данные из всех национальных источников.
#opendata #dateno #datasets #dataengineering #llm #ai #dataunderstanding
Когда мы запускали Dateno на текущем реестре я оценивал трудоёмкость по его улучшению и повышении качества в полгода работы для пары человек вручную. Совсем немало скажу я вам, учитывая что этих людей ещё и надо обучить и
ещё надо контролировать качество работы и ещё и нужны инструменты чтобы всё это редактировать без ошибок.
В общем, чтобы долго не ходить, ИИ почти полностью справляется с этой задачей. Достаточно предоставить url сайта с каталогом данных и из него хорошо извлекаются все необходимые метаданные.
Для стартапа на данных - это очень заметное изменение. И это маленькая и теперь недорогая задача. После всех проверок можно будет значительно обновить реестр.
Кстати, о том зачем он нужен. Реестр каталогов данных точно нужен Dateno для индексации датасетов, но он же нужен и всем тем кто строит национальные порталы данных потому что позволяет агрегировать в него данные из всех национальных источников.
#opendata #dateno #datasets #dataengineering #llm #ai #dataunderstanding
Dateno
Dateno - datasets search engine
A next-generation data search service provides fast, comprehensive access to open datasets worldwide, with powerful filters and an API-first architecture for seamless integration.