Ivan Begtin
9.32K subscribers
2.1K photos
3 videos
102 files
4.83K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email [email protected]

Ads/promotion agent: @k0shk
加入频道
1-3 марта состоится 52 сессия статкомитета ООН. Она пройдет виртуально и выступления на ней можно будет увидеть онлайн [1], до неё будет несколько дополнительных мероприятий, 17-го и 24-го февраля:
- 17 February 2021 - Second Global Chat on the 52nd session of the Statistical Commission
- 24 February 2021 - High-level event: The COVID-19 pandemic: How the data and statistical community stepped up to the new challenges

Увидеть которые можно там же на сайте UNStat

Ссылки:
[1] https://unstats.un.org/unsd/statcom/52nd-session/

#un #unstats #statistics
UNI-Wider, Университет ООН опубликовали набор данных по доходам государства, Government Revenue Dataset [1] вместе с визуализацией в виде инструмента GRD Tool [2], а также дают возможность скачать набор данных после заполнения формы [3].

Они же собирают и публикуют многие другие базы по мировой экономике [4]

Ссылки:
[1] https://www.wider.unu.edu/project/government-revenue-dataset
[2] https://www5.wider.unu.edu/#/?graph=map&indicators=3&activeIndicators=3
[3] https://www2.wider.unu.edu/crm/content/grd-data-download
[4] https://www.wider.unu.edu/data

#opendata #un #world #economics
unesco_ai_etic_16-11-2021.pdf
456.3 KB
В ЮНЕСКО приняли Проект Рекомендации об этических аспектах искусственного интеллекта [1]. Документ рамочный, с одной стороны, а с другой довольно четко дающий установки для мониторинга этического внедрения ИИ в странах. О его содержании я хочу написать отдельно и подробно большой лонгрид, а пока обращу внимание на пункт: Прозрачность и объяснимость.

На 13 странице рекомендаций очень недвусмысленно написано о праве на оспаривание решений ИИ, о необходимости аудита и мониторинга, о необходимости контроля соответствия. Эти вопросы можно задавать уже сейчас всем тем кто активно декларирует применение ИИ в чувствительных областях. Соответствуют ли их системы рекомендациям ЮНЕСКО? Что делается обеспечения права гражданина на оспаривание решений ИИ? Какие механизмы правовой защиты предусмотрены? И многое другое.

Спасибо коллегам из @DigitalRightsCenter [2] за наводку

Ссылки:
[1] https://www.unesco.org/en/general-conference/41/commissions/shs
[2] https://yangx.top/DigitalRightsCenter

#ai #ethics #regulation #un
Для тех кто ищет международные данные и не знает где они могут быть, порталы и проекты данных ООН.
Многие недооценивают влияние открытости данных на работу межгосударственных организаций, между тем почти все они переходят к открытости данных как основе открытости их работы.

- UN Data Catalog - каталог данных ООН. 4500+ датасетов от 76 структур ООН
- UnData - портал данных подразделения статистики ООН. API, выгрузка данных
- UN Comtrade Database - детальные данные по международной торговле. API, выгрузка данных
- Human Development Reports Data - данные индекса человеческого капитала UNDP. Выгрузка данных
- Urban Indicators Database - база городских индикаторов Unhabitat. Выгрузка данных
- Refugee Data Finder - базы данных по беженцам от UNHCR. Выгрузка данных
- UN Covid-19 data hub - хаб данных по COVID-19 от UNStata DESA
- UN Women data portal - портал данных UN Women
- COVID-19 data portal - портал данных по COVID-19 от UN Info
- UNOps Open data - открытые данные по стандарту IATI по операциям UNOPS
- Migration Data Portal - портал данных по миграции IOM
- UNIDO Statistics Data Portal - портал статических данных UNIDO
- FAOSTAT - статистика сельского хозяйства на портале FAO
- UNICEF Data - данные UNICEF
- UN ESCWA Data Portal - портал открытых данных UN ESCWA

А также многочисленные другие порталы и разделы с открытыми данным у других структур ООН.

#datasets #opendata #un
Humanitarian Data Exchange (HDX) опубликовали доклад The State of Open Humanitarian Data 2022 [1] с подробностями и цифрами их проекта Data Grids по сбору структурированных данных по странам где происходят гуманитарные кризисы. В основном это африканские и азиатские страны, а из постсоветских стран там только Украина упомянута.

Основная цель их проекта в систематизированном сборе и актуализации ключевых данных о бедности, гуманитарной помощи, климате, авариях, катастрофах и так далее по этим странам. При этом далеко не все данные вообще могут быть доступны или существовать, а цифры в докладе взяты из их дашборда [2] который постоянно актуализируется.

Для тех кто не знает, HDX [3] - это проект каталога данных Управления по координации гуманитарных вопросов ООН. Там собрано более 18 тысяч наборов данных по гуманитарным кризисам. В отличие от многих других порталов данных, в проекте сильный фокус на данные в привязке к странам и территориям, визуализации и систематизации данных.

Год назад их представитель выступал у нас на Дне открытых данных в Москве и интересно рассказывал что они делают.

Не могу не напомнить что у ООН много проектов на данных и очень много открытых данных в повестке, подборку порталов открытых данных их управлений я приводил ранее на канале [4]

Ссылки:
[1] https://data.humdata.org/dataset/2048a947-5714-4220-905b-e662cbcd14c8/resource/56bb190e-fd43-4573-898c-76aaedb7e10a/download/state-of-open-humanitarian-data-2022.pdf
[2] https://data.humdata.org/dashboards/overview-of-data-grids
[3] https://data.humdata.org
[4] https://yangx.top/begtin/3310

#opendata #un #hdx #unocha
В блоге Open Ownership пишут о том что на декабрьской конференции UNDC (Управлении ООН по противодействии коррупции) приняли резолюцию [1] о развитии в сторону раскрытия сведений о конечных владельцах компаний. Обратите внимание что именно о конечных владельцах (beneficial owners), а не учредителям юр. лиц. Сведения об учредителях не везде, но много где доступны за деньги или бесплатно, а вот сведения о конечных владельцах публикуются лишь единицами стран.

Напомню что в России сведения о конечных владельцах публикуются только кредитными организациями и то, в виде схем, в немашиночитаемом виде.

Ссылки:
[1] https://www.unodc.org/unodc/en/corruption/COSP/session9-resolutions.html#Res.9-7

#opendata #un #anticorruption
Продовольственная и сельскохозяйственная организация ООН (FAO) опубликовали отчёт Towards open and transparent forest data for climate action: Experiences and lessons learned [1]

В докладе опыт сразу нескольких проектов по работе с данными в FAO. Это, например:
- Global Forest Resources Assessment Platform [2] - платформа для мониторинга лесов
- Food and Agriculture Microdata Catalogue (FAM) [3] - каталог микроданных о еде и агрокультуре

и многое другое.

Доклад в формате Lessons Learned непривычен для российского читателя, у нас на удивление не принято признавать что не всё и не всегда идёт как планировалось и что надо учиться на ошибках, по крайней мере в публичном секторе.

Что важно так это то что открытые данные, открытый код, свободные лицензии становятся нетъемлимой частью работы структур ООН.

Ссылки:
[1] https://www.fao.org/documents/card/ru/c/cb8908en/
[2] https://fra-data.fao.org
[3] https://www.fao.org/food-agriculture-microdata/en

#opendata #data #un #food #agriculture #fao
Кстати, к вопросу об архивации сайтов, есть группа сайтов до которых у нас ещё не дошли руки, но которые уже пора архивировать - это сайты международных организаций представленных в России. Например, русскоязычные сайты структур ООН и сайты подразделений ООН в России.

Некоторые из них уже исчезли. Например, сайт УВКБ ООН www.unhcr.ru перенаправляет теперь на раздел их официального сайта www.unhcr.org/ru/. Аналогично вместо IOM Moscow moscow.iom.int теперь сайт russia.iom.int

А вот сайт ЮНФПА в России unfpa.ru уже не открывается, а материалы на сайте ООН в России www.unrussia.ru не обновлялись уже с декабря 2020 г. Сайт ЮНИСЕФ в России unicef.ru давно потерян и предлагается для регистрации, как и сайт ЮНЭИДС unaids.ru

Непонятно обновляются или нет материалы на сайте UNHabitat в России unhabitat.ru последние новости были от начала апреля, но у них в публикациях и раньше были паузы.

Активно публикуются материалы только на сайте Информационного центра ООН в Москве unic.ru и ЮНИДО в в России unido.ru

Всё это лишь косвенные признаки присутствия/отсутствия ООН в России, но то что ряд информационных ресурсов исчез за эти годы, это признак того что их сайты необходимо архивировать.

#webarchives #digitalpreservation #un
Может ли открытый код помочь построить открытое общество?

Одноимённая статья Can open-source technologies support open societies? [1] от The Brookings Institution о том что открытый код может помочь в построении открытых обществ и помочь в достижении целей устойчивого развития.

Всё это актуально в рамках "Дорожной карты цифровой кооперации" опубликованной в ООН в 2020 г. [2]

Общая идея в том что, да, открытый код и общественная цифровая инфраструктура (digital public infrastructure) способны создавать новые экосистемы, но важно помнить что происходит это только при целенаправленных шагах в этом направлении.

Статья полезная и отражает международную повестку продвигаемую ООН с практической точки зрения.

Ссылки:
[1] https://www.brookings.edu/research/can-open-source-technologies-support-open-societies/
[2] https://www.un.org/en/content/digital-cooperation-roadmap/

#opensource #un #readings
Всемирная организация здравоохранения приняла новую политику с требованием по обязательному раскрытию данных всех финансируемых ими научных исследований [1] в их анонсе ссылка на документ руководства опубликованного в апреле 2022 г.
Распространение и повторное использование медико-санитарных данных в исследовательских целях: руководство ВОЗ по политике и осуществлению [2]

Если изложить кратко тезисами, то примерно так:
1. Все данные исследований должны раскрываться
2. Данные должны публиковаться в одном из открытых репозиториев соответствующих ряду критериев. Примеры приведены
3. Исследования должны быть основаны на принципах FAIR [3]
4. Данные должны проходить деперсонализацию.

Как я уже много раз писал, структуры ООН сейчас одни из лидирующих в мире по масштабам раскрытия данных.

Ссылки:
[1] https://www.who.int/news/item/16-09-2022-new-who-policy-requires-sharing-of-all-research-data
[2] https://www.who.int/ru/publications/i/item/9789240044968
[3] https://www.go-fair.org/fair-principles/

#opendata #un #who #openaccess
Подборка интересного чтение про данные, технологии и не только:
- Can We Use AI to Communicate With Animals? [1] может ли ИИ помочь в коммуникации с животными? заметка с материалами исследований по этой теме. Примерами когда ИИ использовался для восстановления мертвых языков и того как в 2017 году с помощью алгоритма распознали трели, чириканье и писк мартышек с 90% точностью [2]. Много ссылок, важная тема. Область где применение ИИ может дать реальное изменение в человеческой жизни (и жизни животных тоже).
- The United Nations E-Government Survey 2022 [3] свежий рейтинг развития электронного правительства от ООН. Только в PDF файлах, поэтому на оценки конкретной страны сослаться сложно. Россия там в группе Very High Tier II, то есть с довольно высоким уровнем развития. Из постсоветских стран лидируют страны Балтии и хуже ситуация в Туркменистане.
- Lawless Surveillance [4] научная статья в открытом доступе об огромном объёме слежки в США, по большей части нерегулируемой и "незаконной". Полезно для понимания как это устроено в США и то что это не ограничено только одной страной, а встречается во многих технологических развитых странах.
- The Era of Fast, Cheap Genome Sequencing Is Here [5] компания Illumina, мировой почти монополист в устройствах секвенирования генома, анонсировали новые устройства в которых обещают сокращение времени секвенирования генома вдвое и не более чем за $200 за один геном. Как это повлияет на развитие рынков? Больше компаний будут предлагать услуги расшифровки, цены за расшифровку генома должны будут снижаться, а больше данных геномов будет доступно.
- Wasabi Technologies Closes $250 Million [6] конкурент Amazon Web Services, компания Wasabi Technologies привлекла раунд в $250M инвестиций и обещают технологический стек с возможностью сокращения расходов на 80% по сравнению с Amazon. Это, в первую очередь, касается облачного хранилища аналогичного AWS S3.

Ссылки:
[1] https://lastweekin.ai/p/can-we-use-ai-to-communicate-with
[2] https://www.spectrumnews.org/news/ai-interprets-marmosets-trills-chirps-peeps/
[3] https://publicadministration.un.org/en/Research/UN-e-Government-Surveys
[4] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4111547
[5] https://archive.ph/C5eQ2#selection-464.0-464.1
[6] https://wasabi.com/press-releases/wasabi-technologies-closes-250-million-in-new-funding-to-usher-in-the-future-of-cloud-storage/

#tech #readings #un #ai
Восстанавливаю привычку писать в блог тексты длиннее половины страницы. Написал в рассылку большой пост [1] про общедоступные каталоги межгосударственных структур вроде ООН того как они развиваются и с множеством примеров каталогов данных таких организаций.

Если коротко։
1. Развиваются хорошо, открытых данных всё больше
2. Десятки порталов открытых данных создано межгосударственными структурами.

Ссылки։
[1] https://begtin.substack.com/p/cb4

#opendata #un #datasets #blogging
Управление статистики ООН опубликовало мобильное приложение UNdata app [1] с данными статистики с портала data.un.org. По отзывам оно хоть и не вау, но средняя оценка 4.3 [2] и оно не то чтобы совсем бесполезно, а может даже и весьма пригодится кому-то.

Кстати стат ведомства в мире не то чтобы балуют пользователей удобным доступом через мобильные приложения. Из известных мне, только у швейцарского SwissStat есть официальное мобильное приложение [3]

Надо ли статведомствам делать самим мобильные приложения? Нет, я считаю что нет. Надо делать очень хорошие API и возможность массовой выгрузки наборов данных, и организовывать конкурсы и хакатоны для создания приложений с открытым кодом.

Правда, в случае ООН это очень сложно, международная бюрократия совсем неповоротлива.

Ссылки։
[1] https://unstats.un.org/UNSDWebsite/Publications/StatisticalPocketbook/
[2] https://play.google.com/store/apps/details?id=unstats.un.org.countrystats
[3] https://play.google.com/store/apps/details?id=ch.admin.bfs.swissstat

#opendata #un #mobileapps
Продолжая тему статистики и ООН, 3 марта завершилась 54 сессия Статкомитета ООН посвящённая статистике. Там довольно много документов опубликовано по итогам [1], по стандартам, большим данным, качеству данных, в том числе все документы публикуются на 6 языках включая русский язык. Например, многим будет любопытен документ по большим данным Report of the Committee of Experts on Big Data and Data Science for Official Statistics [2] с некоторым количеством примеров их использования статведомствами по всему миру, но интересно не только это.

В этом году было принято официально включить тему открытых данных как элемент официальной повестки UNStats. Об этом пишут в НКО Open Data Watch [3] которые все эти годы двигали эту тему․

И тут я не могу не обратить внимание на то что лидеры по работе с большими данными сейчас - это Китай. В частности Правительство Китая намеренно разместить глобальный центр по большим данным для работы с мировой/глобальной статистикой и работой экспертов из многих стран. Они почти наверняка будут представлять его на конференции UN Data Forum в Ханчжоу в этом году.

Что можно сказать про пост-советское пространство? В деятельности комиссии по большим данным принимает участие только статкомитет Грузии. Российский Росстат, к примеру, и все экономические образования вроде Статкомитета СНГ и ЕАЭС во всём этом не участвуют.

Ссылки:
[1] https://unstats.un.org/UNSDWebsite/statcom/documents/54
[2] https://unstats.un.org/UNSDWebsite/statcom/session_54/documents/2023-17-BigData-R.pdf
[3] https://twitter.com/OpenDataWatch/status/1631428639983009793

#opendata #statistics #bigdata #un #unstats