Всем привет!
В этом канале будут публиковаться новости проекта APICrafter включая анонсы новых API, новых данных и продуктов.
Сейчас в режим бета-тестирования переходит новый продукт, каталог данных DataCrafter где собраны первичные базы данных более чем на 200 гигабайт структурированных данных https://beta.apicrafter.ru.
Последними туда загружены данные в сфере культуры в виде 59 наборов данных https://beta.apicrafter.ru/topics/culture включая данные большого объёма такие как:
- культурные события: 1,08 миллиона записей, 5.1 ГБ https://beta.apicrafter.ru/packages/mkrf-events
- реестр объектов культурного наследия: 146 тысяч записей, 27 ГБ https://beta.apicrafter.ru/packages/mkrf-egrkn
#apicrafter #datasets
В этом канале будут публиковаться новости проекта APICrafter включая анонсы новых API, новых данных и продуктов.
Сейчас в режим бета-тестирования переходит новый продукт, каталог данных DataCrafter где собраны первичные базы данных более чем на 200 гигабайт структурированных данных https://beta.apicrafter.ru.
Последними туда загружены данные в сфере культуры в виде 59 наборов данных https://beta.apicrafter.ru/topics/culture включая данные большого объёма такие как:
- культурные события: 1,08 миллиона записей, 5.1 ГБ https://beta.apicrafter.ru/packages/mkrf-events
- реестр объектов культурного наследия: 146 тысяч записей, 27 ГБ https://beta.apicrafter.ru/packages/mkrf-egrkn
#apicrafter #datasets
apicrafter.ru
API Crafter
Свежие обновления в базе DataCrafter:
- Государственный каталог музейного фонда: https://beta.apicrafter.ru/packages/mkrf-museum-exhibits
74GB, 42 миллиона записей в 18 таблицах от живописи до нумизматики
- База вышек сотовых операторов в России https://beta.apicrafter.ru/packages/opencellid на основе данных OpenCellID. Всего 235 тысяч вышек с координатами
- Справочник сетей, точек обмена, префиксов и иных сведений по Российской Федерации https://beta.apicrafter.ru/packages/rusasnlist 170 тысяч объектов
- Реестр доменов зарегистрированных органами власти или государственными учреждениями https://beta.apicrafter.ru/packages/govdomains/tables всего 7695 доменов и дополнительные сведения
- Справочник регионов Российской Федерации и связанных с ними географических объектов https://beta.apicrafter.ru/packages/rusregions небольшая, но полезная база метаданных по субъектам федерации и городах
- Почтовые индексы в Российской Федерации https://beta.apicrafter.ru/packages/postindexes база в 53 тысячи индексов почты России
- Частоты встречаемости имён, отчеств и фамилий из разрозненных источников https://beta.apicrafter.ru/packages/russiannames
- Частоты встречаемости имён, отчеств и фамилий по субъектам РФ https://beta.apicrafter.ru/packages/egnames
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
- Государственный каталог музейного фонда: https://beta.apicrafter.ru/packages/mkrf-museum-exhibits
74GB, 42 миллиона записей в 18 таблицах от живописи до нумизматики
- База вышек сотовых операторов в России https://beta.apicrafter.ru/packages/opencellid на основе данных OpenCellID. Всего 235 тысяч вышек с координатами
- Справочник сетей, точек обмена, префиксов и иных сведений по Российской Федерации https://beta.apicrafter.ru/packages/rusasnlist 170 тысяч объектов
- Реестр доменов зарегистрированных органами власти или государственными учреждениями https://beta.apicrafter.ru/packages/govdomains/tables всего 7695 доменов и дополнительные сведения
- Справочник регионов Российской Федерации и связанных с ними географических объектов https://beta.apicrafter.ru/packages/rusregions небольшая, но полезная база метаданных по субъектам федерации и городах
- Почтовые индексы в Российской Федерации https://beta.apicrafter.ru/packages/postindexes база в 53 тысячи индексов почты России
- Частоты встречаемости имён, отчеств и фамилий из разрозненных источников https://beta.apicrafter.ru/packages/russiannames
- Частоты встречаемости имён, отчеств и фамилий по субъектам РФ https://beta.apicrafter.ru/packages/egnames
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
Пришла пора раскрыть подробности по проекту, которым я и наша команда занимались полтора месяца. Вернее, готов он был ещё 2 года назад и поставлен на паузу, а за эти полтора месяца был приведен в полу-продуктовый вид.
DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.
Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.
Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.
До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.
Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.
Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders
Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/
Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile
Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.
Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на [email protected].
Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!
DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.
Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.
Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.
До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.
Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.
Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders
Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/
Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile
Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.
Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на [email protected].
Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!