Forwarded from Ivan Begtin (Ivan Begtin)
Подборка разного о государственных информационных ресурсах и базах данных о которых Вы можете не знать:
- ФМБА России публикует данные по санитарно-эпидемиологической обстановке на сайтах своих межрегиональных управлений с детализацией до муниципалитетов (городов и поселков). Пример: МРУ N 156 [1]. Один минус - данные все неструктурированные
- Минздрав России имеет свой сервис API на базе данных адресов ФИАС и это API общедоступно и документировано [2]
- у ФФОМС и Минздрава России есть порталы НСИ [3] [4] где можно скачать в машиночитаемом виде их справочники
- а общероссийские справочники можно скачать из системы справочников Санкт-Петербурга [5]
- у сайта Мэрии Москвы есть большое недокументированное API по большинству опубликованных там объектов. Например, по организациям на портале [6]
- ФМБА публикует регулярные сводки по забоеваемости COVID-19 на их территориях. По ссылке [7] можно менять последние цифры в названии файла "приложение к сайту 01.10.pdf" от 01.10 (1 октября) до 09.11 (9 ноября) все файлы имеют одинаковые префиксы. На самом сайте ссылок на архивные данные нет [8]. Это пока единственные данные с муниципальной детализации в статистике по COVID-19, но охватывают они только закрытые города РФ. Данные в pdf в табличной форме, легко переводятся в машиночитаемый вид.
- Информационный ресурс ФАИП [9] один из немногих ресурсов Минэкономразвития РФ где общедоступно публикуются результаты исполнения контрактов в рамках ФАИП. Вернее публиковались очень давно
- База данных «Стенограммы заседаний Государственной Думы» [10] включает стенограммы выступлений депутатов всех созывов. Может оказаться хорошей базой для обучения алгоритмов по самым разным текстовым задачам: измерения объёма лексики публичного человека, поиск негатива, позитива и ещё много чего. Данные неплохо размечены и относительно несложно превратить их в датасет.
Ссылки:
[1] https://mru156.fmba.gov.ru/deyatelnost/sanitarno-epidemiologicheskoe-sostoyanie/
[2] http://fias.egisz.rosminzdrav.ru/
[3] http://nsi.ffoms.ru
[4] https://nsi.rosminzdrav.ru/
[5] http://classif.gov.spb.ru/
[6] https://www.mos.ru/api/structure/v1/frontend/json/ru/institutions
[7] https://fmba.gov.ru/covid-19/informatsiya-o-novoy-koronavirusnoy-infektsii/%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BA%20%D1%81%D0%B0%D0%B8%CC%86%D1%82%D1%83%2001.10.pdf
[8] https://fmba.gov.ru/covid-19/informatsiya-o-novoy-koronavirusnoy-infektsii/#fmba_rossii_operativnaya_informatsiya
[9] http://infrfaip.economy.gov.ru/
[10] http://transcript.duma.gov.ru/
#opendata #government #resources
- ФМБА России публикует данные по санитарно-эпидемиологической обстановке на сайтах своих межрегиональных управлений с детализацией до муниципалитетов (городов и поселков). Пример: МРУ N 156 [1]. Один минус - данные все неструктурированные
- Минздрав России имеет свой сервис API на базе данных адресов ФИАС и это API общедоступно и документировано [2]
- у ФФОМС и Минздрава России есть порталы НСИ [3] [4] где можно скачать в машиночитаемом виде их справочники
- а общероссийские справочники можно скачать из системы справочников Санкт-Петербурга [5]
- у сайта Мэрии Москвы есть большое недокументированное API по большинству опубликованных там объектов. Например, по организациям на портале [6]
- ФМБА публикует регулярные сводки по забоеваемости COVID-19 на их территориях. По ссылке [7] можно менять последние цифры в названии файла "приложение к сайту 01.10.pdf" от 01.10 (1 октября) до 09.11 (9 ноября) все файлы имеют одинаковые префиксы. На самом сайте ссылок на архивные данные нет [8]. Это пока единственные данные с муниципальной детализации в статистике по COVID-19, но охватывают они только закрытые города РФ. Данные в pdf в табличной форме, легко переводятся в машиночитаемый вид.
- Информационный ресурс ФАИП [9] один из немногих ресурсов Минэкономразвития РФ где общедоступно публикуются результаты исполнения контрактов в рамках ФАИП. Вернее публиковались очень давно
- База данных «Стенограммы заседаний Государственной Думы» [10] включает стенограммы выступлений депутатов всех созывов. Может оказаться хорошей базой для обучения алгоритмов по самым разным текстовым задачам: измерения объёма лексики публичного человека, поиск негатива, позитива и ещё много чего. Данные неплохо размечены и относительно несложно превратить их в датасет.
Ссылки:
[1] https://mru156.fmba.gov.ru/deyatelnost/sanitarno-epidemiologicheskoe-sostoyanie/
[2] http://fias.egisz.rosminzdrav.ru/
[3] http://nsi.ffoms.ru
[4] https://nsi.rosminzdrav.ru/
[5] http://classif.gov.spb.ru/
[6] https://www.mos.ru/api/structure/v1/frontend/json/ru/institutions
[7] https://fmba.gov.ru/covid-19/informatsiya-o-novoy-koronavirusnoy-infektsii/%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BA%20%D1%81%D0%B0%D0%B8%CC%86%D1%82%D1%83%2001.10.pdf
[8] https://fmba.gov.ru/covid-19/informatsiya-o-novoy-koronavirusnoy-infektsii/#fmba_rossii_operativnaya_informatsiya
[9] http://infrfaip.economy.gov.ru/
[10] http://transcript.duma.gov.ru/
#opendata #government #resources
Forwarded from Ivan Begtin (Ivan Begtin)
В США опубликовали официальные данные по загрузке больниц во время эпидемии COVID-19 [1] с гранулярностью до каждой больницы и по неделям начиная с 31 июля 2020 года.
Также можно обратить внимание что на этом же портале HealthData.gov раскрывается 188 наборов данных связанных с COVID-19 [2] и 4634 по системе здравоохранения в целом [3], причём не менее половины данных поступает из систем здравоохранения отдельных штатов, а сам портал создан U.S. Department of Health которые также ведут HHS Protect Public Data Hub [4] где публикуются дашборды статистики, но сами данные, обязательно, публикуются на HealthData.gov, а уже оттуда транслируются на другие официальные государственные ресурсы.
Ссылки:
[1] https://healthdata.gov/dataset/covid-19-reported-patient-impact-and-hospital-capacity-facility
[2] https://healthdata.gov/search/type/dataset?query=covid-19&sort_by=changed&sort_order=DESC
[3] https://healthdata.gov/search/type/dataset
[4] https://protect-public.hhs.gov/
#opendata #data #covid19 #usa #health
Также можно обратить внимание что на этом же портале HealthData.gov раскрывается 188 наборов данных связанных с COVID-19 [2] и 4634 по системе здравоохранения в целом [3], причём не менее половины данных поступает из систем здравоохранения отдельных штатов, а сам портал создан U.S. Department of Health которые также ведут HHS Protect Public Data Hub [4] где публикуются дашборды статистики, но сами данные, обязательно, публикуются на HealthData.gov, а уже оттуда транслируются на другие официальные государственные ресурсы.
Ссылки:
[1] https://healthdata.gov/dataset/covid-19-reported-patient-impact-and-hospital-capacity-facility
[2] https://healthdata.gov/search/type/dataset?query=covid-19&sort_by=changed&sort_order=DESC
[3] https://healthdata.gov/search/type/dataset
[4] https://protect-public.hhs.gov/
#opendata #data #covid19 #usa #health
protect-public.hhs.gov
HHS Protect Public Data Hub
The HHS Coronavirus Response Data Hub shares information from HHS Protect which provides a holistic view of the U.S. healthcare system, including hospital capacity, so users can make data-driven decisions.
Forwarded from Ivan Begtin (Ivan Begtin)
В парламент Австралии внесен законопроект Data Availability and Transparency Bill 2020 [1] в котором много всего того что старательно игнорируют отечественные законодатели, достаточно лишь увидеть структуру законопроекта, причём что характерно, так законы в Австралии пишутся с обязательным изложением их понятным языком. Это вписывается в пункт "Simplified outline of this Act" где изложено, например, следующее
Законопроект вводит такое понятие как data custodians (хранители данных) и определяет регламент предоставления данных ограниченного доступа так называемым аккредитованным пользователям (прошедшим специальную верификацию), в том числе через аккредитованных поставщиков услуг.
—
Если подробнее то:
- Хранители данных (data custodians) в государственном секторе могут обмениваться данными с аккредитованными пользователями в соответствии с требованиями по контролю, предусмотренного настоящим Законом. Хранители данных могут обмениваться данными с аккредитованными пользователями напрямую, или косвенно через ADSP (сокращенно от аккредитованного поставщика услуг передачи данных).
- Данные государственного сектора определяются как данные, законно созданные, собранные или хранящиеся органами Содружества или от их имени. Орган Содружества, который контролирует такие данные и имеет право иметь с ними дело, является хранителем данных и, следовательно, уполномочен делиться ими контролируемым образом.
- Существуют соответствующие разрешения для аккредитованных организаций на сбор и использование общих данных.
- Национальный уполномоченный по данным является регулирующим органом для схем обмена данными, а также выполняет функцию пропаганды обмена данными государственного сектора и их обнародования в более общем плане. Комиссару помогают сотрудники APS в департаменте и консультации Национального консультативного совета по данным.
- Субъекты должны быть аккредитованы уполномоченным, чтобы иметь возможность обмениваться данными государственного сектора с ними или через них.
- Субъекты схемы данных (т. е. хранители данных и аккредитованные субъекты) несут ответственность в соответствии с законом. субъекты схемы данных могут жаловаться уполномоченному на нарушения закона другими субъектами схемы данных. Уполномоченный также имеет полномочия запрашивать информацию и оценивать, контролировать и расследовать объекты схемы данных. Комиссару доступен целый ряд вариантов правоприменения.
—
Это и есть та модель регулирования о которой я неоднократно писал - организация доступа к непубличным государственным данным регламентированным образом согласно одному регламенту. В России нет ничего подобного, даже обсуждения не ведется, хотя и существует множество самых разных механизмов регламентации доступа отдельных видов организаций к госданным, например, через СМЭВ.
Ссылки:
[1] https://parlinfo.aph.gov.au/parlInfo/search/display/display.w3p;query=Id%3A"legislation%2Fbills%2Fr6649_first-reps%2F0000";rec=0
#opendata #data #regulation
Законопроект вводит такое понятие как data custodians (хранители данных) и определяет регламент предоставления данных ограниченного доступа так называемым аккредитованным пользователям (прошедшим специальную верификацию), в том числе через аккредитованных поставщиков услуг.
—
Если подробнее то:
- Хранители данных (data custodians) в государственном секторе могут обмениваться данными с аккредитованными пользователями в соответствии с требованиями по контролю, предусмотренного настоящим Законом. Хранители данных могут обмениваться данными с аккредитованными пользователями напрямую, или косвенно через ADSP (сокращенно от аккредитованного поставщика услуг передачи данных).
- Данные государственного сектора определяются как данные, законно созданные, собранные или хранящиеся органами Содружества или от их имени. Орган Содружества, который контролирует такие данные и имеет право иметь с ними дело, является хранителем данных и, следовательно, уполномочен делиться ими контролируемым образом.
- Существуют соответствующие разрешения для аккредитованных организаций на сбор и использование общих данных.
- Национальный уполномоченный по данным является регулирующим органом для схем обмена данными, а также выполняет функцию пропаганды обмена данными государственного сектора и их обнародования в более общем плане. Комиссару помогают сотрудники APS в департаменте и консультации Национального консультативного совета по данным.
- Субъекты должны быть аккредитованы уполномоченным, чтобы иметь возможность обмениваться данными государственного сектора с ними или через них.
- Субъекты схемы данных (т. е. хранители данных и аккредитованные субъекты) несут ответственность в соответствии с законом. субъекты схемы данных могут жаловаться уполномоченному на нарушения закона другими субъектами схемы данных. Уполномоченный также имеет полномочия запрашивать информацию и оценивать, контролировать и расследовать объекты схемы данных. Комиссару доступен целый ряд вариантов правоприменения.
—
Это и есть та модель регулирования о которой я неоднократно писал - организация доступа к непубличным государственным данным регламентированным образом согласно одному регламенту. В России нет ничего подобного, даже обсуждения не ведется, хотя и существует множество самых разных механизмов регламентации доступа отдельных видов организаций к госданным, например, через СМЭВ.
Ссылки:
[1] https://parlinfo.aph.gov.au/parlInfo/search/display/display.w3p;query=Id%3A"legislation%2Fbills%2Fr6649_first-reps%2F0000";rec=0
#opendata #data #regulation
Forwarded from Ivan Begtin (Ivan Begtin)
Один из важных вопросов в том какая политика в отношении открытости будет у Администрации Байдена, в США. Тот же Дональд Трамп сразу после прихода в Белый Дом отменил многие инициативы Барака Обамы (но не все) по открытости собственной администрации. И пока мы не знаем будет ли перезапуск открытости в США, CODE (Center of Open Data Enterprise) опубликовали доклад о необходимо открывать данные о COVID-19 и системе здравоохранения [1]. CODE - это НКО из Вашингтона (лоббисты и консультанты в общем). Среди их рекомендаций раскрытие сведений о социальных определяющих здоровья и установление информационно-координационного центра / клиринговый центр (clearinghouse) по обмену данными.
Очень похоже на модель Data Trusts в Европейском Союзе и в других странах. Похоже что в следующем году будет много интересного в области регулирования данных в мире. Во всяком случае лоббисты уже работают во всю.
Доклад в PDF можно прочитать по ссылке [2].
Ссылки:
[1] https://www.fedscoop.com/open-data-critical-tool-new-administrations-covid-19-strategy/
[2] https://healthdatasharing.org/wp-content/uploads/2020/12/COVID-SDOH-Summary-Report-Final.pdf
#opendata #data #health #usa
Очень похоже на модель Data Trusts в Европейском Союзе и в других странах. Похоже что в следующем году будет много интересного в области регулирования данных в мире. Во всяком случае лоббисты уже работают во всю.
Доклад в PDF можно прочитать по ссылке [2].
Ссылки:
[1] https://www.fedscoop.com/open-data-critical-tool-new-administrations-covid-19-strategy/
[2] https://healthdatasharing.org/wp-content/uploads/2020/12/COVID-SDOH-Summary-Report-Final.pdf
#opendata #data #health #usa
FedScoop
Open data: A critical tool for the new administration’s COVID-19 strategy
In a contributed op-ed, members of the Center for Open Data Enterprise give recommendations for ways the next administration can use social determinants of health data to fight COVID-19.