TCData360 [1] - это новый проект Всемирного банка с 1800 индикаторами [2] из разных баз данных по внешней торговле, торговому балансу стран, инновациям, рейтингам и так далее.
По каждой стране есть ее профиль, например, вот страны постсоветского пространства:
- Россия - http://tcdata360.worldbank.org/countries/RUS
- Украина - http://tcdata360.worldbank.org/countries/UKR
- Казахстан - http://tcdata360.worldbank.org/countries/KAZ
- Беларусь - http://tcdata360.worldbank.org/countries/BLR
Данные из TCData360 доступны через API проекта [3], а визуализация данных в экспериментальном режиме есть по ссылке Visually Explore TCdata360 [4].
Этот портал не первый, и похоже, не последний портал данных Мирового банка. Напомню про другие их проекты с данными:
- Open Data Catalog - http://datacatalog.worldbank.org/
- DataBank - http://databank.worldbank.org/data/home.aspx
- Microdata Library - http://microdata.worldbank.org/
- World Development Indicators - http://wdi.worldbank.org/
- Open Finances - https://finances.worldbank.org/
- Projects and operations - http://www.worldbank.org/projects
- Open Data Toolkit - http://opendatatoolkit.worldbank.org/en/
- AidFlows - http://www.aidflows.org/
- Global Consumption Database - http://datatopics.worldbank.org/consumption/
Из всех международных структур Всемирный банк лидирует по раскрытию его баз данных. Возможно лишь ООН, как совокупность структур, вскоре приблизится к его масштабам раскрытия информации.
Ссылки:
[1] http://tcdata360.worldbank.org/
[2] http://tcdata360.worldbank.org/topics
[3] http://tcdata360.worldbank.org/tools
[4] https://alberto-sanchez-rodelgo.shinyapps.io/datascoper/
#opendata #opengov #data #worldbank
По каждой стране есть ее профиль, например, вот страны постсоветского пространства:
- Россия - http://tcdata360.worldbank.org/countries/RUS
- Украина - http://tcdata360.worldbank.org/countries/UKR
- Казахстан - http://tcdata360.worldbank.org/countries/KAZ
- Беларусь - http://tcdata360.worldbank.org/countries/BLR
Данные из TCData360 доступны через API проекта [3], а визуализация данных в экспериментальном режиме есть по ссылке Visually Explore TCdata360 [4].
Этот портал не первый, и похоже, не последний портал данных Мирового банка. Напомню про другие их проекты с данными:
- Open Data Catalog - http://datacatalog.worldbank.org/
- DataBank - http://databank.worldbank.org/data/home.aspx
- Microdata Library - http://microdata.worldbank.org/
- World Development Indicators - http://wdi.worldbank.org/
- Open Finances - https://finances.worldbank.org/
- Projects and operations - http://www.worldbank.org/projects
- Open Data Toolkit - http://opendatatoolkit.worldbank.org/en/
- AidFlows - http://www.aidflows.org/
- Global Consumption Database - http://datatopics.worldbank.org/consumption/
Из всех международных структур Всемирный банк лидирует по раскрытию его баз данных. Возможно лишь ООН, как совокупность структур, вскоре приблизится к его масштабам раскрытия информации.
Ссылки:
[1] http://tcdata360.worldbank.org/
[2] http://tcdata360.worldbank.org/topics
[3] http://tcdata360.worldbank.org/tools
[4] https://alberto-sanchez-rodelgo.shinyapps.io/datascoper/
#opendata #opengov #data #worldbank
TCdata360
TCdata360: Russian Federation
Trade and competitiveness issues are integral to economy-wide efforts to spur growth, productivity, and job creation. Macroeconomic stability, rule of law, property rights, and well-functioning input markets for land, labor, and capital are essential.
January 10, 2017
Совершенно занимательная история о том что Мировой банк отказывается раскрывать результаты аудита договоров и сами тексты договоров с получателями средств [1]. Автор и ещё несколько представителей НКО запрашивали у представителей Мирового Банка сведения по контрактам заключённым в рамках мер противодействия COVID-19 и нескольких контрактов банка с его кредитополучателями.
Представители банка отказали в их предоставлении, но мировая бюрократия на то и мировая бюрократия чтобы там была процедура обжалования. И вот, например, 3 ноября банк опубликовал результаты рассмотрения жалобы (Appeal #88) [2] на получение данных о контракте в рамках финансирования по COVID-19 правительства Сьерра-Леоне. Самое интересное что в формулировках отказа присутствует упоминание о том что раскрытие содержание контракта в процессе его исполнения может нести репутационные риски для банка () и создать напряжение в отношениях между банком и получателем средств (в оригинале - Disclosing such information during a project under implementation may cause reputational risk to the Bank and strain the relationship between the Bank and the borrower).
Ко всему можно прибавить неспешность бюрократии банка.
- 2 ноября 2020 года они получают запрос на доступ к информации
- 23 февраля 2021 года банк отказывает предоставить сведения
- 29 марта 2021 года банк получает запрос на обжалование решения об отказе
- 3 ноября 2021 года банк публикует результаты рассмотрения обжалования
Там же автор упоминает и многие другие запросы, например, на сведения о контрактах на финансирование инфраструктуры обогрева в Вильнюсе (Литва) в 2002-2003 годах (Appeal #76) [3], а также проектах в Камеруне, Мозамбике, Буркина Фасо и других странах. Во всех решениях в отказе от раскрытия информации представители банка ссылаются на "prerogative" (исключительное право) в отказе от раскрытия информации в случае если представители банка считают что ущерб от раскрытия сведений перевешивает возможную пользу.
Похожая ситуация была в 2015 году когда Freedom Info запрашивали у банка сведения о контракте на выкачку воды из затопленной шахты в Сербии [4].
Вся описанная история интересна сразу с нескольких сторон:
1. Не стоит идеализировать открытость международных организаций, она работает только под постоянным давлением извне и часто значительно замедлена.
2. Можно обратить внимание на классический юридический подход к доступу информации через запросы. То что исследователи The GovLab определяли как "первую волну открытых данных" когда их можно было получить только через запросы на открытие сведений (Freedom of Information Requests).
3. Интересно что процедура обжалования непредоставления сведений и наличие специальной группы внутри банка ответственной за рассмотрение жалоб и тот факт что каждое рассмотрение практически как судебное решение, публикуется довольно подробно.
4. Важна и та часть где банк связывается с получателями средств, правительствами стран, запрашивая их разрешение на предоставление документов третьим сторонам (запрашивающим эти документы). Это, конечно, совсем не модель открытости по умолчанию, по видимому у Мирового Банка в договорах нет пункта о праве на раскрытие информации в одностороннем порядке, или не во всех договорах.
Ссылки:
[1] https://eyeonglobaltransparency.net/2021/11/12/world-bank-refuses-public-access-to-contract-reviews-and-contract-texts-too/
[2] https://thedocs.worldbank.org/en/doc/7d690d60be37ed3debef4bd51e63268b-0090012021/original/AIC-Decision-Case-AI7243-Merits.pdf
[3] https://thedocs.worldbank.org/en/doc/d16cfcc3a736d7bcd72b07fe9f2c5a3b-0090012020/original/AIC-Appeal-76-Case-AI6359-1.pdf
[4] http://www.freedominfo.org/2015/02/world-bank-rejects-request-for-serbian-project-report/
#opendata #spending #contracts #worldbank #covid19 #transparency
Представители банка отказали в их предоставлении, но мировая бюрократия на то и мировая бюрократия чтобы там была процедура обжалования. И вот, например, 3 ноября банк опубликовал результаты рассмотрения жалобы (Appeal #88) [2] на получение данных о контракте в рамках финансирования по COVID-19 правительства Сьерра-Леоне. Самое интересное что в формулировках отказа присутствует упоминание о том что раскрытие содержание контракта в процессе его исполнения может нести репутационные риски для банка () и создать напряжение в отношениях между банком и получателем средств (в оригинале - Disclosing such information during a project under implementation may cause reputational risk to the Bank and strain the relationship between the Bank and the borrower).
Ко всему можно прибавить неспешность бюрократии банка.
- 2 ноября 2020 года они получают запрос на доступ к информации
- 23 февраля 2021 года банк отказывает предоставить сведения
- 29 марта 2021 года банк получает запрос на обжалование решения об отказе
- 3 ноября 2021 года банк публикует результаты рассмотрения обжалования
Там же автор упоминает и многие другие запросы, например, на сведения о контрактах на финансирование инфраструктуры обогрева в Вильнюсе (Литва) в 2002-2003 годах (Appeal #76) [3], а также проектах в Камеруне, Мозамбике, Буркина Фасо и других странах. Во всех решениях в отказе от раскрытия информации представители банка ссылаются на "prerogative" (исключительное право) в отказе от раскрытия информации в случае если представители банка считают что ущерб от раскрытия сведений перевешивает возможную пользу.
Похожая ситуация была в 2015 году когда Freedom Info запрашивали у банка сведения о контракте на выкачку воды из затопленной шахты в Сербии [4].
Вся описанная история интересна сразу с нескольких сторон:
1. Не стоит идеализировать открытость международных организаций, она работает только под постоянным давлением извне и часто значительно замедлена.
2. Можно обратить внимание на классический юридический подход к доступу информации через запросы. То что исследователи The GovLab определяли как "первую волну открытых данных" когда их можно было получить только через запросы на открытие сведений (Freedom of Information Requests).
3. Интересно что процедура обжалования непредоставления сведений и наличие специальной группы внутри банка ответственной за рассмотрение жалоб и тот факт что каждое рассмотрение практически как судебное решение, публикуется довольно подробно.
4. Важна и та часть где банк связывается с получателями средств, правительствами стран, запрашивая их разрешение на предоставление документов третьим сторонам (запрашивающим эти документы). Это, конечно, совсем не модель открытости по умолчанию, по видимому у Мирового Банка в договорах нет пункта о праве на раскрытие информации в одностороннем порядке, или не во всех договорах.
Ссылки:
[1] https://eyeonglobaltransparency.net/2021/11/12/world-bank-refuses-public-access-to-contract-reviews-and-contract-texts-too/
[2] https://thedocs.worldbank.org/en/doc/7d690d60be37ed3debef4bd51e63268b-0090012021/original/AIC-Decision-Case-AI7243-Merits.pdf
[3] https://thedocs.worldbank.org/en/doc/d16cfcc3a736d7bcd72b07fe9f2c5a3b-0090012020/original/AIC-Appeal-76-Case-AI6359-1.pdf
[4] http://www.freedominfo.org/2015/02/world-bank-rejects-request-for-serbian-project-report/
#opendata #spending #contracts #worldbank #covid19 #transparency
Eye on Global Transparency
World Bank Refuses Public Access to Contract Reviews and Contract Texts, Too · Eye on Global Transparency
By Toby McIntosh The World Bank is denying access to documents about its reviews of contracts using Bank funds, and to the contracts themselves. The…
December 1, 2021
Команда российского Гостех'а в своём телеграм канале пишет поёт себе хвалу [1] о том что Россия признана одним из лидеров гостехизации в рейтиге GTMI (GovTech Maturity Index), но как бы помягче сказать. Библейскими словами - это лукавство.
Действительно, 11 апреля вышло обновление индекса GovTech Maturity Index, 2022 Update — Europe and Central Asia Regional Brief [2].
Так вот обратите внимание что:
1. Кроме России в лидерах там ещё и: Азербайджан, Украина, Сербия, Албания, Хорватия, Молдавия и др.
2. GMTI - это не оценка проектов под названием "ГосТех", а совокупность технологий и решений. Например, гособлака, платформа для госзаказа, электронный бюджет и тд. Если вы почитаете документ внимательно то обнаружите что ни одна из упомянутых там систем к российской системе гостех не относятся.
3. Важно помнить про смысловые отличия терминов. В мире и у Всемирного Банка Гостех - это технологические инновации в госсекторе. Такие же как Edutech, Fintech, Legaltech. В России Гостехом обозвали некий продукт на базе платформы V от Сбербанка.
4. Про все страны в этом документе есть дополнения, про Россию даже не стали упоминать, она есть в рейтингах, но в текстовом описании начисто отсутствует.
Даже не знаю что добавить. Подитожу, да, в российском госсекторе есть технологические проекты позволяющими ему быть на уровне Молдавии и Азербайджана, и да, никакого отношения к этим проектам российский Гостех не имеет и иметь не может.
Ссылки:
[1] https://yangx.top/gosteh/488
[2] https://openknowledge.worldbank.org/items/f6ec889a-13aa-4eda-9b5f-42ac35f262fe
#government #govtech #worldbank #technology
Действительно, 11 апреля вышло обновление индекса GovTech Maturity Index, 2022 Update — Europe and Central Asia Regional Brief [2].
Так вот обратите внимание что:
1. Кроме России в лидерах там ещё и: Азербайджан, Украина, Сербия, Албания, Хорватия, Молдавия и др.
2. GMTI - это не оценка проектов под названием "ГосТех", а совокупность технологий и решений. Например, гособлака, платформа для госзаказа, электронный бюджет и тд. Если вы почитаете документ внимательно то обнаружите что ни одна из упомянутых там систем к российской системе гостех не относятся.
3. Важно помнить про смысловые отличия терминов. В мире и у Всемирного Банка Гостех - это технологические инновации в госсекторе. Такие же как Edutech, Fintech, Legaltech. В России Гостехом обозвали некий продукт на базе платформы V от Сбербанка.
4. Про все страны в этом документе есть дополнения, про Россию даже не стали упоминать, она есть в рейтингах, но в текстовом описании начисто отсутствует.
Даже не знаю что добавить. Подитожу, да, в российском госсекторе есть технологические проекты позволяющими ему быть на уровне Молдавии и Азербайджана, и да, никакого отношения к этим проектам российский Гостех не имеет и иметь не может.
Ссылки:
[1] https://yangx.top/gosteh/488
[2] https://openknowledge.worldbank.org/items/f6ec889a-13aa-4eda-9b5f-42ac35f262fe
#government #govtech #worldbank #technology
April 25, 2023
В рубрике больших интересных наборов данных Global Biodiversity Data [1] набор открытых данных по биоразнообразию собранный из нескольких научных работ и опубликованный в каталоге данных Всемирного банка.
Датасет относительно небольшой, около 2.2 ГБ в сжатом виде и содержит георазмеченные сведения по встречаемости различных видов.
О нём в августе писали в блоге Всемирного банка [2] и датасет полезен всем кто хочет изучить животный и растительный мир своей страны. Буквально годится для работы школьников на хакатонах например, но язык только английский.
Ссылки:
[1] https://datacatalog.worldbank.org/search/dataset/0066034/global_biodiversity_data
[2] https://blogs.worldbank.org/en/opendata/a-new-world-bank-database-to-support-a-new-era-in-biodiversity-c
#opendata #datasets #worldbank #biodiversity
Датасет относительно небольшой, около 2.2 ГБ в сжатом виде и содержит георазмеченные сведения по встречаемости различных видов.
О нём в августе писали в блоге Всемирного банка [2] и датасет полезен всем кто хочет изучить животный и растительный мир своей страны. Буквально годится для работы школьников на хакатонах например, но язык только английский.
Ссылки:
[1] https://datacatalog.worldbank.org/search/dataset/0066034/global_biodiversity_data
[2] https://blogs.worldbank.org/en/opendata/a-new-world-bank-database-to-support-a-new-era-in-biodiversity-c
#opendata #datasets #worldbank #biodiversity
September 16, 2024
В продолжение моих расхваливаний в адрес Parquet и DuckDB, приведу ещё один пример. Для задача Dateno я в последние дни анализирую большой датасет индикаторов статистики Всемирного банка из data.worldbank.org.
И вот, для справки, Всемирный банк предоставляет данные своих индикаторов не самым удобным образом. При многих достоинствах их данных, но там почти нет того что называется массовой выгрузкой, bulk download, и приходится выкачивать данные через API. Выгрузка этих данных по каждому индикатору - это около 22 ГБ в виде 3382 JSON файлов. Общим объёмом около 76 миллионов записей. Это не все, а примерно 12% всех индикаторов которые удалось проверить. Немного, на самом деле, но всё равно надо чуть-чуть заморочиться.
После преобразования этих файлов в один Parquet файл его размер составляет 44MB, а это 0.2% от исходного объёма. Опять же полученный файл не только сохраняет все возможности его анализа, но и этот анализ происходит куда быстрее.
Откуда такая эффективность? От того что данные индикаторов сильно денормалированы. Колоночное сжатие на них крайне эффективно. Жаль что Всемирный банк данные для массовой выгрузки до сих пор не публикует, хочется надеяться что когда-нибудь начнёт.
Но важный вывод тут ещё и в другом. Если кто-то из статистических служб и не только говорит о том что они не публикуют данные потому что они очень большие и рядовой пользователь не может с ними работать, то знайте что этот человек:
1) Или безграмотен.
2) Или целенаправленно врёт.
Кроме DuckDB и Parquet есть и другие инструменты сильно снижающие порог аналитической работы на недорогих устройствах.
#opendata #duckdb #statistics #parquet #worldbank
И вот, для справки, Всемирный банк предоставляет данные своих индикаторов не самым удобным образом. При многих достоинствах их данных, но там почти нет того что называется массовой выгрузкой, bulk download, и приходится выкачивать данные через API. Выгрузка этих данных по каждому индикатору - это около 22 ГБ в виде 3382 JSON файлов. Общим объёмом около 76 миллионов записей. Это не все, а примерно 12% всех индикаторов которые удалось проверить. Немного, на самом деле, но всё равно надо чуть-чуть заморочиться.
После преобразования этих файлов в один Parquet файл его размер составляет 44MB, а это 0.2% от исходного объёма. Опять же полученный файл не только сохраняет все возможности его анализа, но и этот анализ происходит куда быстрее.
Откуда такая эффективность? От того что данные индикаторов сильно денормалированы. Колоночное сжатие на них крайне эффективно. Жаль что Всемирный банк данные для массовой выгрузки до сих пор не публикует, хочется надеяться что когда-нибудь начнёт.
Но важный вывод тут ещё и в другом. Если кто-то из статистических служб и не только говорит о том что они не публикуют данные потому что они очень большие и рядовой пользователь не может с ними работать, то знайте что этот человек:
1) Или безграмотен.
2) Или целенаправленно врёт.
Кроме DuckDB и Parquet есть и другие инструменты сильно снижающие порог аналитической работы на недорогих устройствах.
#opendata #duckdb #statistics #parquet #worldbank
January 24