Адресный реестр объектов недвижимости города Москвы

В каталоге DataCrafter вы можете найти данные Москвы об адресах земельных участков, зданий, сооружений, объектов незавершенного строительства, помещений и машино-мест.

Объем набора данных: более 440 тысяч записей, 765,7 мб.

Режим доступа: открытые данные.

Ссылка: https://beta.apicrafter.ru/packages/datamos-addressreestr.

Больше открытых данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru.

В каталог Datacrafter'а загружены данные 19 реестров и справочников из Федерального информационного фонд по обеспечению единства измерений (ФГИС Аршин), государственной информационной системы в ведении Росстандарта. В том числе такие наборы данных как:
- Аттестованные методики (методы) измерений - 39 тысяч записей
- Эталоны единиц величин - 114 тысяч записей
- Утверждённые типы средств измерений - 99 тысяч записей

Эти данные, а также остальные наборы данных загружены в раздел Справочники и классификаторы.

Все они доступны для бесплатного открытого использования через API DataCrafter и с возможностью получить весь набор данных в виде базы MongoDB.

Далее продолжится работа по классификаци и анализу всех загруженных метаданных в этих наборах данных.

В будущем ждите больше данных, идёт работа по агрегации крупнейших каталогов данных.

#opendata #datasets #metrology

#opendata #API #worldbank

В каталоге данных DataCrafter вы найдете данные, связанные в основном с Россией. Чтобы изучить какую-либо проблему в разрезе всего мира, предлагаем вам посмотреть на открытые данные Всемирного банка (World Bank Open Data: https://data.worldbank.org), которые подойдут не только как альтернатива и источник обогащения данных, но и для верификации или сопоставления индикаторов и показателей, собранных российскими статистическими ведомствами.

Портал с открытыми данными Всемирного банка имеет собственный — WBGAPI. Это пакет Python для доступа к данным Всемирного банка. WBGAPI помогает делать следующее:

— Облегчает понимание и использование баз данных, предоставляя простой способ перечислить все доступные базы данных.
— Имеет простой поиск и обнаружение — например, получив доступ к данным одновременно для страны, экономики и временного периода в одном запросе.
— Позволяет делать запросы к метаданным.
— Поддерживает pandas, легко использует встроенные графические функции или любой графический пакет (ggplot, seaborn и т.д.).
— Облегчает поиск и вывод данных по странам — пакет включает бета-версию функции поиска названий стран, которая обычно может определить правильный код для названий стран в системе ООН, а также тех, которые используются другими международными организациями и донорами.

Ссылка на WBGAPI: https://pypi.org/project/wbgapi/

A Cookbook of WBGAPI Recipes:
https://nbviewer.org/github/tgherzog/wbgapi/blob/master/examples/wbgapi-cookbook.ipynb

Источник: https://blogs.worldbank.org/opendata/introducing-wbgapi-new-python-package-accessing-world-bank-data

Смотрите также Awesome Datasets World Bank Catalog: https://datahub.io/collections/world-bank

Представляем наборы данных каталога DataCrafter из раздела «Классификаторы». Такие словари/ключевики помогают при обработке и анализе данных по финансово-экономическим темам из разрозненных источников и не только.

1. Общероссийский классификатор форм собственности — справочник содержит информацию о формах собственности России: код, наименование формы собственности. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okfs.

2. Общероссийский классификатор органов государственной власти и управления — справочник содержит информацию об органах государственной власти и управления России. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okogu.

#классификатор #справочник #opendata #datacrafter

3. Общероссийский классификатор организационно-правовых форм — справочник содержит информацию об организационно-правовых формах юридических лиц, которые являются коммерческими или некоммерческими. Также имеет сведения об организациях, созданных в соответствии с законодательством без прав юридического лица, международных организациях, и гражданах, которые ведут коммерческую деятельность или деятельность, не отнесенную законодательством к предпринимательству. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okopf.

4. Общероссийский классификатор стран мира — справочник содержит информацию об идентификации стран мира. Структурно состоит из трех блоков: цифровая идентификация, наименование, буквенная идентификация. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-oksm.

5. Общероссийский классификатор валют — справочник содержит информацию о наименовании валюты, о цифровом и буквенном коде валюты, наименования стран и территорий, в которых данная валюта является денежной единицей. Ссылка: https://data.apicrafter.ru/packages/budgetgovru-okv.

Представленные наборы данных опубликованы как открытые данные и доступны для скачивания.

Больше данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru

Если вы представляете некоммерческий, исследовательский или научный проект, и хотите получить данные, уже опубликованные на DataCrafter, но имеющие ограничения, напишите нам на эл. почту [email protected] с запросом.

#классификатор #справочник #opendata #datacrafter

Если вы изучаете сферу образования, предлагаем вам воспользоваться наборами данных, опубликованными в каталоге DataCrafter:

— Сводный реестр лицензий на осуществление образовательной деятельности
https://data.apicrafter.ru/packages/eduorgsreg

— Реестр организаций, осуществляющих образовательную деятельность по аккредитованным образовательным программам
https://data.apicrafter.ru/packages/eduorgsaccred

— Реестр госзаданий — данные доступны по API. https://data.apicrafter.ru/packages/budgetgovru-regstatetask

Все данные доступны по API, для подключения к которому нужно зарегистрироваться.

Больше данных на другие темы вы найдете на сайте DataCrafter: https://data.apicrafter.ru

Если вы представляете некоммерческий, исследовательский или научный проект, и хотите получить данные, уже опубликованные на DataCrafter, но имеющие ограничения, напишите нам на эл. почту [email protected] с запросом.

Для тех кто ищет международные данные и не знает где они могут быть, порталы и проекты данных ООН.
Многие недооценивают влияние открытости данных на работу межгосударственных организаций, между тем почти все они переходят к открытости данных как основе открытости их работы.

- UN Data Catalog - каталог данных ООН. 4500+ датасетов от 76 структур ООН
- UnData - портал данных подразделения статистики ООН. API, выгрузка данных
- UN Comtrade Database - детальные данные по международной торговле. API, выгрузка данных
- Human Development Reports Data - данные индекса человеческого капитала UNDP. Выгрузка данных
- Urban Indicators Database - база городских индикаторов Unhabitat. Выгрузка данных
- Refugee Data Finder - базы данных по беженцам от UNHCR. Выгрузка данных
- UN Covid-19 data hub - хаб данных по COVID-19 от UNStata DESA
- UN Women data portal - портал данных UN Women
- COVID-19 data portal - портал данных по COVID-19 от UN Info
- UNOps Open data - открытые данные по стандарту IATI по операциям UNOPS
- Migration Data Portal - портал данных по миграции IOM
- UNIDO Statistics Data Portal - портал статических данных UNIDO
- FAOSTAT - статистика сельского хозяйства на портале FAO
- UNICEF Data - данные UNICEF
- UN ESCWA Data Portal - портал открытых данных UN ESCWA

А также многочисленные другие порталы и разделы с открытыми данным у других структур ООН.

#datasets #opendata #un

В каталог DataCrafter'а добавлен открытый набор данных Реестр обязательных требований для организаций в городе Москве [1] полученный с сайта Открытый контроль (knd.mos.ru). Набор данных включает 87 тысяч записей, общим объёмом 470 МБ в формате JSONL и в 20 МБ в сжатом виде. Данные содержат обязательные требования предъявляемые организациям в зависимости от вида их деятельности.

Данные доступны через:
- в виде пакета данных (ZIP архив)
- в виде JSON lines файла экспорта
- через API платформы

Набор данных можно использовать, например, для создания сервиса определения перечня требований к организации по виду деятельности. На его основе можно создать специальный телеграм бот, мобильное приложение или веб интерфейс отличный от того что уже реализовано на портале Открытый контроль.

Ссылки:
[1] https://data.apicrafter.ru/packages/mosknd

#opendata #moscow #data #knd

Масштабное обновление алгоритмов классификации данных в DataCrafter'е. Теперь из 76500 полей наборов данных классифицированы 19 501 поле, это около 25,5%. Учитывая что многие поля надо отмечать как "неклассифицируемые" потому что они содержат только расчёт численные данные, то 25,5% от всех полей это очень много, можно сказать рекорд!

Классификация данных - это процесс при котором определяется природа данных содержащихся в таблицах/файлах/наборах данных. Например, идентификация кодов ИНН/ОГРН/КПП организация, ФИО / Имён / Отчеств / Фамилий физических лиц и ещё многое другое.

При этом обновлении были добавлены новые идентификаторы и правила их распознавания:
- ruscity - Российский город
- rusdayofweek - День недели на русском языке (понедельник, вторник и т.д.)
- runpa - нормативно-правовые и распорядительные документы. Законы, постановления, распоряжения и приказы
- mimetype - типы MIME, как правило ассоциированные с файлами
- filename - название файла
- rusworkposition - должности. Например: ректор,директор,и.о. директора и т.д.
- timerange - временные промежутки. Например: 10:00-12:00 или 21:10-21:30

А также многие другие. Сейчас в DataCrafter внесено 90 классов данных [1] для идентификации которых используется 134 правила идентифицирующих данные и 304 правила идентифицирующих дату/время. Дата и время идентифицируются отдельно поскольку ещё в 2017 году я заопенсорсил движок qddate [2] определяющая даты в 348 шаблонах и на 9 языках. Движок, кстати, делался для библиотеки newsworker [3] по извлечению новостей из сайтов не отдающих RSS ленты, на основе шаблонов текстов, в основе которых даты. Эту библиотеку я тогда же заопенсорсил и слегка подзабросил, но она всё ещё вполне работает и актуальна.

Чтобы достичь этого результата внутренний движок классификации данных был полностью переписан. Большая часть правил теперь описывается в конфигурационных настраиваемых файлах YAML. При применении правил они могут фильтроваться по контексту, по языку и по точности. Кроме коллекий в MongoDB теперь поддерживаются файлы CSV и JSONl. Через некоторое время рабочая версия классификатора появится в виде страницы в интернете и телеграм бота (телеграм бот уже тестируется).

Сейчас 72 из 135 правил написаны под русский язык и Россию. Они учитывают, или принятые в России классификаторы, или русскоязычное кодирование информации. Следующий шаг после открытия версии классификатора для публичного тестирования - это поддержка классификации данных происходящих из других стран.

Ссылки:
[1] https://data.apicrafter.ru/class
[2] https://github.com/ivbeg/qddate
[3] https://github.com/ivbeg/newsworker

#opendata #data #datasets #datacrafter #apicrafter #dataclassification