Тем временем Счетная палата, насколько я знаю, первым из центральных и конституционных органов власти организует свою работу через публичную разработку стратегии. Первое её обсуждение прошло 14 июля [1].
Ссылки:
[1] http://audit.gov.ru/press_center/news/33788
#opengov
Ссылки:
[1] http://audit.gov.ru/press_center/news/33788
#opengov
audit.gov.ru
Счетная палата обсуждает стратегию
Официальный сайт Счетной палаты Российской Федерации
Главный продукт производства государства - это законы и все остальные документы которые в России именуют НПА (Нормативно правовые акты).
Проект Crowd.Law [1] от The GovLab посвящён инициативам по сонаписанию законов гражданами и законодателями.
Сейчас открылся каталог проектов по Crowd Law в котором собрано более 100 примеров внедрения такого подхода [2]
Там необоснованно мало российских проектов, представлены только crowd.mos.ru и Активный гражданин. Да и те не про законотворчество, а про идеи и опросы. В России проектов больше, во всяком случае было больше ещё недавно.
В то же время много проектов в США, Мексике и Испании.
Каталог будет полезен всем кто изучает трансформацию законотворчества в мире и вовлечение граждан в решение государственных вопросов.
Ссылки:
[1] https://crowd.law/
[2] https://catalog.crowd.law/
#opengov
Проект Crowd.Law [1] от The GovLab посвящён инициативам по сонаписанию законов гражданами и законодателями.
Сейчас открылся каталог проектов по Crowd Law в котором собрано более 100 примеров внедрения такого подхода [2]
Там необоснованно мало российских проектов, представлены только crowd.mos.ru и Активный гражданин. Да и те не про законотворчество, а про идеи и опросы. В России проектов больше, во всяком случае было больше ещё недавно.
В то же время много проектов в США, Мексике и Испании.
Каталог будет полезен всем кто изучает трансформацию законотворчества в мире и вовлечение граждан в решение государственных вопросов.
Ссылки:
[1] https://crowd.law/
[2] https://catalog.crowd.law/
#opengov
CrowdLaw-Online Public Participation in Lawmaking
Using public engagement to improve the quality, effectiveness and legitimacy of the lawmaking process. This is a draft version 1.0 of the report (dated October 12, 2017 ) and will be updated in November.
Не только в России учат цифровой трансформации и работе с данными. В Австралии Learning Design Standards публикуются Australian Public Service Comission на специальном разделе их сайта [1] и охватывают такие направления новых квалификаций как
- Digital foundations
- User research
- Content design
- Agile delivery management
- Cloud service management
- Cyber security
- Digital performance analysis
- Product management
- Service design
- Digital service management
- Interaction design
- Technology lead
Работа с данными находится в квалификации digital foundations и неплохо описана.
Все они практически свежайшие, опубликованы 9 июля этого года и охватывают практически все ключевые навыки.
Внимательное чтение этих стандартов позволяет понять что же мы упускаем в обучении в России.
Ссылки:
[1] https://www.apsc.gov.au/learning-standards
#data #cdo
- Digital foundations
- User research
- Content design
- Agile delivery management
- Cloud service management
- Cyber security
- Digital performance analysis
- Product management
- Service design
- Digital service management
- Interaction design
- Technology lead
Работа с данными находится в квалификации digital foundations и неплохо описана.
Все они практически свежайшие, опубликованы 9 июля этого года и охватывают практически все ключевые навыки.
Внимательное чтение этих стандартов позволяет понять что же мы упускаем в обучении в России.
Ссылки:
[1] https://www.apsc.gov.au/learning-standards
#data #cdo
Свежая статья в The Guardian [1] впечатляет подъёмом темы приватности и повторной идентификации завязанной на привычную открытость в англосфере и ведущих демократических странах.
Статья посвящена тому как специалисты идентифицируют конкретных граждан на обезличенных данных - без ФИО, паспортных данных и номеров соцстрахования.
Вот лишь один пассаж который я также привожу в пример:
—
_In later work, Sweeney showed that 87% of the population of the United States could be uniquely identified by their date of birth, gender and five-digit zip codes._
или на русском
_В последующей работе, Sweeney показал что 87% населения США могут быть уникально идентифицированы их датой рождения, полом и пятизначным почтовым индексом._
Я слышал подобное про Германию где такое исследование повторяли и очень подозреваю что и в России такое вполне возможно.
Вся эта практика называется data re-identification [2], теме о которой написаны уже сотни научных статей [3].
В России анонимизированные данные аналогичного типа не публикуются, органы власти гораздо более "параноидальны" в своих опасениях, как минимум опыт того как такая ре-идентификация происходит в других странах должен наводить на мысль об аккуратности публикации анонимизированных данных.
Ссылки:
[1] https://www.theguardian.com/world/2018/jul/13/anonymous-browsing-data-medical-records-identity-privacy
[2] https://en.wikipedia.org/wiki/Data_Re-Identification
[3] https://arxiv.org/search/?query=re-identification&searchtype=all&source=header
#data #privacy #opendata
Статья посвящена тому как специалисты идентифицируют конкретных граждан на обезличенных данных - без ФИО, паспортных данных и номеров соцстрахования.
Вот лишь один пассаж который я также привожу в пример:
—
_In later work, Sweeney showed that 87% of the population of the United States could be uniquely identified by their date of birth, gender and five-digit zip codes._
или на русском
_В последующей работе, Sweeney показал что 87% населения США могут быть уникально идентифицированы их датой рождения, полом и пятизначным почтовым индексом._
Я слышал подобное про Германию где такое исследование повторяли и очень подозреваю что и в России такое вполне возможно.
Вся эта практика называется data re-identification [2], теме о которой написаны уже сотни научных статей [3].
В России анонимизированные данные аналогичного типа не публикуются, органы власти гораздо более "параноидальны" в своих опасениях, как минимум опыт того как такая ре-идентификация происходит в других странах должен наводить на мысль об аккуратности публикации анонимизированных данных.
Ссылки:
[1] https://www.theguardian.com/world/2018/jul/13/anonymous-browsing-data-medical-records-identity-privacy
[2] https://en.wikipedia.org/wiki/Data_Re-Identification
[3] https://arxiv.org/search/?query=re-identification&searchtype=all&source=header
#data #privacy #opendata
the Guardian
'Data is a fingerprint': why you aren't as anonymous as you think online
So-called ‘anonymous’ data can be easily used to identify everything from our medical records to purchase histories
Для тех кто задумывается о приватности в социальных сетях новый-старый инструмент поиска профилей через распознавание образов и фотографий. EagleEye [1] использует Google Image Reverse Search и ImageRider [2] чтобы по профилю человека в фэйсбуке находить другие его профили в Instagram, Youtube, Facebook, Twitter
Это не единственный сервис помогающий собирать информацию об аккаунтах пользователей в соц сетях. Скрипт namechk [3], например, помогает проверить более 100 социальных сетей на предмет наличия там аккаунта, другие сервисы, публичные и не очень помогают находить людей по другим косвенным признакам.
Но подход EagleEye, конечно, даёт больше возможностей.
Ссылки:
[1] https://github.com/ThoughtfulDev/EagleEye
[2] https://www.imageraider.com/
[3] https://github.com/HA71/Namechk
#privacy
Это не единственный сервис помогающий собирать информацию об аккаунтах пользователей в соц сетях. Скрипт namechk [3], например, помогает проверить более 100 социальных сетей на предмет наличия там аккаунта, другие сервисы, публичные и не очень помогают находить людей по другим косвенным признакам.
Но подход EagleEye, конечно, даёт больше возможностей.
Ссылки:
[1] https://github.com/ThoughtfulDev/EagleEye
[2] https://www.imageraider.com/
[3] https://github.com/HA71/Namechk
#privacy
GitHub
GitHub - ThoughtfulDev/EagleEye: Stalk your Friends. Find their Instagram, FB and Twitter Profiles using Image Recognition and…
Stalk your Friends. Find their Instagram, FB and Twitter Profiles using Image Recognition and Reverse Image Search. - ThoughtfulDev/EagleEye
написал большой текст у себя в блоге о мировых практиках цифровой трансформации отсутствующих в России https://begtin.tech/digitalgov-world-practice/
и продублирую текст здесь
---
В России многое что делается государством в части изменения его присутствия в цифровой среде, но есть и многое что не делается и не делается давно.
Отчасти это последствия длительного отсутствия госполитики, отчасти - это отсутствие фокуса у российских законодателей и регуляторов. Что происходит в мире из того что могло бы происходить и у нас?
1. Открытый исходный код. Тема даже более актуальная чем открытые данные, обычно востребованность данных и сообщества разработчиков приходят. В сообществе Government на Github собраны сотни органов власти и госучреждений по всему миру раскрывающих исходный код. В специальном проекте Open source government на data.world в июле 2017 года я публиковал статистику по 11611 репозиториям опубликованных госструктурами на github'е. В России открытие исходного кода госпроектов не является предметом госполитики, также и как использование инструментов с открытым исходным кодом. Вместо этого мы оперируем понятием "импортозамещение" с российскими производителями, которое не покрывает и 1/10 всех задач для которых необходимы программные продукты.
2. Электронная архивация. Все вопросы связанные с долгосрочным сохранением знаний, документов, баз данных и всего что имеет цифровую форму выпадает из российской повестки реформы госуправления, цифровой экономики и тд. До сих пор нет какой-либо госполитики в России по долгосрочному сохранению цифровых артефактов, объектов и тд. имеющих только цифровую форму или цифровую форму как первичную. Нет не только цифровых архивов сайтов, нет даже репозиториев для долгосрочного хранения научных данных, результатов интеллектуальной собственности созданной в пользу государства и многое другое. Такие требования по digital preservation есть во всех развитых странах, цифровое сохранение является предметом активной работы архивистов, активистов и с огромным рынком. В России требования по электронной архивации должны были бы охватывать как минимум всё что касается обязательного хранения документов органов власти и тех ситуаций когда архивация требуется от бизнеса (например, архивация при ликвидации юридических лиц).
3. Общие стандарты, правила и шаблоны. Один из важных трендов в государственном ИТ в мире - это установление дизайн стандартов, стандартов обучения, руководств по разработке и так далее. Design Guidelines и общие требования к визуальному представлению сайтов органов власти есть в США, Великобритании, Канаде, Италии и во многих других странах.
4. Реформа закупок ИТ и ИТ услуг. Во всех странах где идёт трансформация государственного управления через цифровую повестку идёт реформа закупок ИТ услуг и сервисов. Помимо того что значительная часть работы происходит in-house и под это корректируют требования к госслужбе, там где это необходимо, но и появляются другие инструменты закупки ИТ услуг и продуктов. Это, и найм фрилансеров, и приобретение продуктов через онлайн маркетплейсы, и электронная покупка электронных продуктов, и и многое другое. Сейчас в России ограничения 44-ФЗ и НПА по регулированию государственной гражданской службы приводят к тому что государство создает разного рода НКО рядом с собой чтобы выводить работы из под этих обязательных требований.
и продублирую текст здесь
---
В России многое что делается государством в части изменения его присутствия в цифровой среде, но есть и многое что не делается и не делается давно.
Отчасти это последствия длительного отсутствия госполитики, отчасти - это отсутствие фокуса у российских законодателей и регуляторов. Что происходит в мире из того что могло бы происходить и у нас?
1. Открытый исходный код. Тема даже более актуальная чем открытые данные, обычно востребованность данных и сообщества разработчиков приходят. В сообществе Government на Github собраны сотни органов власти и госучреждений по всему миру раскрывающих исходный код. В специальном проекте Open source government на data.world в июле 2017 года я публиковал статистику по 11611 репозиториям опубликованных госструктурами на github'е. В России открытие исходного кода госпроектов не является предметом госполитики, также и как использование инструментов с открытым исходным кодом. Вместо этого мы оперируем понятием "импортозамещение" с российскими производителями, которое не покрывает и 1/10 всех задач для которых необходимы программные продукты.
2. Электронная архивация. Все вопросы связанные с долгосрочным сохранением знаний, документов, баз данных и всего что имеет цифровую форму выпадает из российской повестки реформы госуправления, цифровой экономики и тд. До сих пор нет какой-либо госполитики в России по долгосрочному сохранению цифровых артефактов, объектов и тд. имеющих только цифровую форму или цифровую форму как первичную. Нет не только цифровых архивов сайтов, нет даже репозиториев для долгосрочного хранения научных данных, результатов интеллектуальной собственности созданной в пользу государства и многое другое. Такие требования по digital preservation есть во всех развитых странах, цифровое сохранение является предметом активной работы архивистов, активистов и с огромным рынком. В России требования по электронной архивации должны были бы охватывать как минимум всё что касается обязательного хранения документов органов власти и тех ситуаций когда архивация требуется от бизнеса (например, архивация при ликвидации юридических лиц).
3. Общие стандарты, правила и шаблоны. Один из важных трендов в государственном ИТ в мире - это установление дизайн стандартов, стандартов обучения, руководств по разработке и так далее. Design Guidelines и общие требования к визуальному представлению сайтов органов власти есть в США, Великобритании, Канаде, Италии и во многих других странах.
4. Реформа закупок ИТ и ИТ услуг. Во всех странах где идёт трансформация государственного управления через цифровую повестку идёт реформа закупок ИТ услуг и сервисов. Помимо того что значительная часть работы происходит in-house и под это корректируют требования к госслужбе, там где это необходимо, но и появляются другие инструменты закупки ИТ услуг и продуктов. Это, и найм фрилансеров, и приобретение продуктов через онлайн маркетплейсы, и электронная покупка электронных продуктов, и и многое другое. Сейчас в России ограничения 44-ФЗ и НПА по регулированию государственной гражданской службы приводят к тому что государство создает разного рода НКО рядом с собой чтобы выводить работы из под этих обязательных требований.
Ivan Begtin blog
Цифровая трансформация государств в мире. Практики которых нет в России
В России многое что делается государством в части изменения его присутствия в цифровой среде, но есть и многое что не делается и не делается давно.
Что происходит в мире из того что могло бы происходить и у нас?
Что происходит в мире из того что могло бы происходить и у нас?
5. Кросс-обмен практиками, кодом и продуктами. Наличие принципов работы с открытым кодом, общих стандартов и иных результатов работы приводит к очень плотному обмену и даже совместной разработке многих продуктов. Так движок для порталов открытых данных CKAN используется десятками стран, разработчики из которых, государственные разработчики тоже, вносят исправления на github'е. Аналогично и проекты созданные внутри органов власти используют другие. Так проект Pulse по мониторингу внедрения безопасного веба в США с использованием HTTPS используется и обновляется ещё и в Канаде, Австралии, Германии и многих других странах. В виду специфики проекта - он мониторит государственные сайты на предмет использования у них протокола HTTPS по умолчанию и соблюдений требований безопасности, не все внедрения Pulse публичны, часто это делают внутренние подразделения органов отвечающих за цифровую инфраструктуру. Взаимообмен проектами и практиками происходит через конференции, хакатоны, форматы анти-конференций, форумы и так далее, так и через виртуальные, часто самоорганизующиеся команды.
6. Изменение подходов к компетенциям. Помимо обязательного цифрового обучения, например, стандартов обучения и профилей как это делают в Австралии в части Learning Design Standards, это ещё и переход от формальных требований, к качественным. На многие позиции команды 18F в США пришли люди из open source среды и из некоммерческого сектора с длительным опытом создания проектов в режиме открытой разработки. Их привлечение - это не вопрос числа лет их выслуги на госслужбе, наличию допусков, наличию профильного образования и даже образования вообще. Это вопрос их опыта, компетенций и готовности к работе. Так ищут Senior product и Head of engineering manager в Digital Canada. Этот пример лишь один из многих.
Все перечисленное выше - это не исчерпывающий перечень. Отдельно заслуживают внимания внедрения современных практик управления проектами, разработки ПО и онлайн сервисов. Взаимодействие и диалог с пользователями, принципиальное изменение подходов к работе с пользователями через непрерывную обратную связь.
Первоисточники:
- Digital Canada http://digital.canada.ca
- DigitalGov (USA) http://digitalgov.gov
- Digital Transformation Team (Italia) https://teamdigitale.governo.it/
- Digital Transformation Agency (Australia) https://www.dta.gov.au/
- Etalab (France) https://www.etalab.gouv.fr/
- Government Digital Service blog (UK) https://gds.blog.gov.uk/
- 18F digital service delivery (USA) http://18f.gsa.gov/
- Github Government http://government.github.com/
#opengov #digitalgov #cdo #digital
6. Изменение подходов к компетенциям. Помимо обязательного цифрового обучения, например, стандартов обучения и профилей как это делают в Австралии в части Learning Design Standards, это ещё и переход от формальных требований, к качественным. На многие позиции команды 18F в США пришли люди из open source среды и из некоммерческого сектора с длительным опытом создания проектов в режиме открытой разработки. Их привлечение - это не вопрос числа лет их выслуги на госслужбе, наличию допусков, наличию профильного образования и даже образования вообще. Это вопрос их опыта, компетенций и готовности к работе. Так ищут Senior product и Head of engineering manager в Digital Canada. Этот пример лишь один из многих.
Все перечисленное выше - это не исчерпывающий перечень. Отдельно заслуживают внимания внедрения современных практик управления проектами, разработки ПО и онлайн сервисов. Взаимодействие и диалог с пользователями, принципиальное изменение подходов к работе с пользователями через непрерывную обратную связь.
Первоисточники:
- Digital Canada http://digital.canada.ca
- DigitalGov (USA) http://digitalgov.gov
- Digital Transformation Team (Italia) https://teamdigitale.governo.it/
- Digital Transformation Agency (Australia) https://www.dta.gov.au/
- Etalab (France) https://www.etalab.gouv.fr/
- Government Digital Service blog (UK) https://gds.blog.gov.uk/
- 18F digital service delivery (USA) http://18f.gsa.gov/
- Github Government http://government.github.com/
#opengov #digitalgov #cdo #digital
digital.canada.ca
Products - Canadian Digital Service
Canadian Digital Service, Digital products for the Government of Canada, Send automated email and text notifications, Create accessible online forms, Reusable components and web standards, Built by government for government
Немного о кардинальной реформе закупок в части ИТ которой управляет US Digital Service, просто для иллюстрации с тем как это сейчас происходит в России.
1. Все закупки происходят в формате RFQ и публикуются на сайте 18F [1]
2. Полное описание закупаемого в специальном репозитории на Github. Пример [2]
3. Все вопросы и ответы через issues репозитария на github. Все вопросы и ответы публичны, по ним удобный поиск [3]
4. В принципе госзаказ на федеральном уровне в США регулируется через TechFAR [4]
5. Особенность всего этого - это "гибкие" agile контракты, задачи могут меняться в процессе также как и оплата. О чём подробно описано на сайте 18F по ИТ закупкам [5].
6. И, наконец, самое главное в ИТ закупках - это ответ на вопрос: "А кто же это будет поддерживать после внедрения или покупки?" И это работа с post-award team (посзакупочной командой) у заказчика или его партнёра которым и выступают 18F [6]
Все это не единственные способы опрозрачить закупки, но смысл не только в опрозрачивании, но и в максимальном результате.
Сейчас в мире работа digital service teams устроена так что команды США и Великобритании, в основном, ходят по всем возможным граблям, а остальные команды внимательно изучают их опыт.
Ссылки:
[1] https://agile-bpa.18f.gov/orders/
[2] https://github.com/18F/bpa-DOS-TalentMAP
[3] https://github.com/18F/bpa-DOS-TalentMAP/issues
[4] https://techfarhub.cio.gov/handbook/
[5] https://agile-bpa.18f.gov/
[6] https://agile-bpa.18f.gov/working-with-us/our-project-team/
#opengov #digitalgov #opensource #openprocurement
1. Все закупки происходят в формате RFQ и публикуются на сайте 18F [1]
2. Полное описание закупаемого в специальном репозитории на Github. Пример [2]
3. Все вопросы и ответы через issues репозитария на github. Все вопросы и ответы публичны, по ним удобный поиск [3]
4. В принципе госзаказ на федеральном уровне в США регулируется через TechFAR [4]
5. Особенность всего этого - это "гибкие" agile контракты, задачи могут меняться в процессе также как и оплата. О чём подробно описано на сайте 18F по ИТ закупкам [5].
6. И, наконец, самое главное в ИТ закупках - это ответ на вопрос: "А кто же это будет поддерживать после внедрения или покупки?" И это работа с post-award team (посзакупочной командой) у заказчика или его партнёра которым и выступают 18F [6]
Все это не единственные способы опрозрачить закупки, но смысл не только в опрозрачивании, но и в максимальном результате.
Сейчас в мире работа digital service teams устроена так что команды США и Великобритании, в основном, ходят по всем возможным граблям, а остальные команды внимательно изучают их опыт.
Ссылки:
[1] https://agile-bpa.18f.gov/orders/
[2] https://github.com/18F/bpa-DOS-TalentMAP
[3] https://github.com/18F/bpa-DOS-TalentMAP/issues
[4] https://techfarhub.cio.gov/handbook/
[5] https://agile-bpa.18f.gov/
[6] https://agile-bpa.18f.gov/working-with-us/our-project-team/
#opengov #digitalgov #opensource #openprocurement
agile-bpa.18f.gov
Task orders on the BPA - Agile Blanket Purchase Agreement
ДИТ Москвы тут затеял с помощью анализа данных выявлять тех кто сдаёт квартиры всерую в Москве [1]
Этой их "благой цели" мешает только то что граждане в целом не дураки. ДИТ будет парсить крупные агрегаторы, а граждане перебираться в соц сети и доски объявлений помельче.
Вся история с серой сдачей квартир в Москве решается не через данные, как бы я данные не любил.
Она решается через:
1. Создание сети доносителей и из числа соседей и недовольных наймодателей через передачу им до половины штрафа с владельца за незаконную сдачу.
2. Введение ответственности за посредничество, введение лицензий для риэлторов и запрет на эту деятельность без лицензии с жуткими запретительными штрафами. Разместил объявление и не хозяин? Получи 200 тысяч штрафа.
https://agile-bpa.18f.gov/working-with-us/our-project-team/
3. Массированная общественная кампания по защите прав нанимателей. Городская система регистрации договоров найма, единый реестр договоров найма и тд. Типовые договора найма, госуслуга и тд.
Не, ДИТ это просто милые котята, я могу гораздо более "людоедское" регулирование придумать. Надо только раскопать свои записки на эту тему 5 летней давности.
Обращайтесь, если что.
Ссылки:
[1] https://www.rbc.ru/business/20/07/2018/5b508bb59a7947b1f3f535f3
#data #nodata
Этой их "благой цели" мешает только то что граждане в целом не дураки. ДИТ будет парсить крупные агрегаторы, а граждане перебираться в соц сети и доски объявлений помельче.
Вся история с серой сдачей квартир в Москве решается не через данные, как бы я данные не любил.
Она решается через:
1. Создание сети доносителей и из числа соседей и недовольных наймодателей через передачу им до половины штрафа с владельца за незаконную сдачу.
2. Введение ответственности за посредничество, введение лицензий для риэлторов и запрет на эту деятельность без лицензии с жуткими запретительными штрафами. Разместил объявление и не хозяин? Получи 200 тысяч штрафа.
https://agile-bpa.18f.gov/working-with-us/our-project-team/
3. Массированная общественная кампания по защите прав нанимателей. Городская система регистрации договоров найма, единый реестр договоров найма и тд. Типовые договора найма, госуслуга и тд.
Не, ДИТ это просто милые котята, я могу гораздо более "людоедское" регулирование придумать. Надо только раскопать свои записки на эту тему 5 летней давности.
Обращайтесь, если что.
Ссылки:
[1] https://www.rbc.ru/business/20/07/2018/5b508bb59a7947b1f3f535f3
#data #nodata
agile-bpa.18f.gov
How our post-award teams work - Agile Blanket Purchase Agreement
Я, наконец-то, доделал то о чём думал лет 10 - выложил в открытый код алгоритм по извлечению новостей из веб-страниц. Он упакован в библиотеку newsworker [1] для Python и её также можно установить через PyPi "pip install newsworker" и увидеть там в общем числе пакетов [2]
В репозитории на Github'е много примеров того как библиотека используется, кроме того у неё есть дополнительные методы позволяющие находить RSS ленты на сайтах. Документация только на английском, но там довольно всё очевидно.
Библиотека применима для всех сайтов из которых надо извлекать новости, но которые не отдают RSS. Писать парсер под каждый очень трудоёмко, поэтому ещё 2008 году я сделал этот инструмент для подписки на новости которые надо было отслеживать.
Эта библиотека лежит в основе моего бота в Telegram'е @FeedRetranslatorBot [3] который создаёт поток новостей из RSS лент и веб-страниц в выбранный телеграм канал.
С помощью этой библиотеки бот собирает новости с таких сайтов как:
- Московский финансовый форум http://www.mff.minfin.ru/news/
- ГАС Управление http://gasu.gov.ru/news
- Издательство Московской патриархии https://www.rop.ru/novosti
- GovInsider https://govinsider.asia/
- ЦСР https://www.csr.ru/
- Пресс-центр Счетной Палаты http://audit.gov.ru/press_center/
- Портал аудиторской деятельности http://rar.gov.ru/news/allnews
и многие другие. Я могу сказать что на 2018 год до сих пор не более чем у половины сайтов есть RSS/ATOM ленты. Некоторые платформы вроде Яндекс.Дзен не делают экспорт в RSS осознанно, стараясь удержать пользователей.
Сейчас нет коммерческого или некоммерческого проекта кроме этого бота где я мог бы этот алгоритм применять. Кроме того в моём понимании он несколько устарел и я его воспринимаю как маленький кусочек по автоматическому преобразованию сайтов в базы данных/API. Задача которой я, увы, уже совершенно не могу себя посвятить. Работа данными у меня уже много лет более актуальна, чем работа над новостной агрегацией.
Ссылки:
[1] https://github.com/ivbeg/newsworker
[2] https://pypi.org/project/newsworker/
[3] https://yangx.top/@FeedRetranslatorBot
#news #opensource #scrapers
В репозитории на Github'е много примеров того как библиотека используется, кроме того у неё есть дополнительные методы позволяющие находить RSS ленты на сайтах. Документация только на английском, но там довольно всё очевидно.
Библиотека применима для всех сайтов из которых надо извлекать новости, но которые не отдают RSS. Писать парсер под каждый очень трудоёмко, поэтому ещё 2008 году я сделал этот инструмент для подписки на новости которые надо было отслеживать.
Эта библиотека лежит в основе моего бота в Telegram'е @FeedRetranslatorBot [3] который создаёт поток новостей из RSS лент и веб-страниц в выбранный телеграм канал.
С помощью этой библиотеки бот собирает новости с таких сайтов как:
- Московский финансовый форум http://www.mff.minfin.ru/news/
- ГАС Управление http://gasu.gov.ru/news
- Издательство Московской патриархии https://www.rop.ru/novosti
- GovInsider https://govinsider.asia/
- ЦСР https://www.csr.ru/
- Пресс-центр Счетной Палаты http://audit.gov.ru/press_center/
- Портал аудиторской деятельности http://rar.gov.ru/news/allnews
и многие другие. Я могу сказать что на 2018 год до сих пор не более чем у половины сайтов есть RSS/ATOM ленты. Некоторые платформы вроде Яндекс.Дзен не делают экспорт в RSS осознанно, стараясь удержать пользователей.
Сейчас нет коммерческого или некоммерческого проекта кроме этого бота где я мог бы этот алгоритм применять. Кроме того в моём понимании он несколько устарел и я его воспринимаю как маленький кусочек по автоматическому преобразованию сайтов в базы данных/API. Задача которой я, увы, уже совершенно не могу себя посвятить. Работа данными у меня уже много лет более актуальна, чем работа над новостной агрегацией.
Ссылки:
[1] https://github.com/ivbeg/newsworker
[2] https://pypi.org/project/newsworker/
[3] https://yangx.top/@FeedRetranslatorBot
#news #opensource #scrapers
Forwarded from Проекты нормативов в области связи
Создал отдельный канал с новостями Минцифры и Роскомнадзора. Это будет канал именно с их событиями, а не с нормативной работой. Как всегда спасибо @begtin и его прекрасному боту.
https://yangx.top/ru_comnews
https://yangx.top/ru_comnews
Telegram
Новости Минцифры и Роскомнадзора
Новости с сайтов Минцифры и Роскомнадзора
Данные собираются ботом @FeedRetranslatorBot
Лента проектов нормативов: @ru_comreg
Блокировочки: @usher2
Контакт: @schors
Данные собираются ботом @FeedRetranslatorBot
Лента проектов нормативов: @ru_comreg
Блокировочки: @usher2
Контакт: @schors
Google, Facebook, Twitter и Microsoft совместно анонсировали Data Transfer Project [1], проект по стандартизации обмена данными между платформами. Это включает данные в виде контактов, фотографий, файлов на дисках и многое другое. Подробнее в white paper [2] с примерами и описанием реализации и акцентом на то что и другие сервисы могут подтягиваться поддерживая стандарт.
Кроме того весь проект сделан открытым, с открытым кодом выложенным онлайн [3].
Обратите внимание что:
- это совместная инициатива 4-х крупнейших облачных сервисов и соцсетей для физ. лиц, Фактически совместно они задают правила игры на этом рынке и не столько опасаются перетеканием пользователей между их платформами сколько заинтересованы во влиянии на другие сервисы
- для меньших сервисов, вроде того же Яндекса или Mail.ru это может быть вопрос или использования стандарта или самоизоляция от него. Неизвестно что будет хуже для их бизнеса.
- кстати, ни один из российских крупнейших сервисов сейчас не даёт возможности выгрузить все Ваши действия в нём при удалении аккаунта.
Ссылки:
[1] https://datatransferproject.dev
[2] https://datatransferproject.dev/dtp-overview.pdf
[3] https://github.com/google/data-transfer-project/blob/master/Documentation/Developer.md
#data #datatransfer
Кроме того весь проект сделан открытым, с открытым кодом выложенным онлайн [3].
Обратите внимание что:
- это совместная инициатива 4-х крупнейших облачных сервисов и соцсетей для физ. лиц, Фактически совместно они задают правила игры на этом рынке и не столько опасаются перетеканием пользователей между их платформами сколько заинтересованы во влиянии на другие сервисы
- для меньших сервисов, вроде того же Яндекса или Mail.ru это может быть вопрос или использования стандарта или самоизоляция от него. Неизвестно что будет хуже для их бизнеса.
- кстати, ни один из российских крупнейших сервисов сейчас не даёт возможности выгрузить все Ваши действия в нём при удалении аккаунта.
Ссылки:
[1] https://datatransferproject.dev
[2] https://datatransferproject.dev/dtp-overview.pdf
[3] https://github.com/google/data-transfer-project/blob/master/Documentation/Developer.md
#data #datatransfer
Ведомости пишут что: "PwC включил Москву в топ-5 мегаполисов по организации медпомощи" [1]
и публикуют картинки из этого рейтинга [2]. Тем временем я напомню простую истину - no data, no truth.
Нет данных, нет правды.
В исследовании PwC [3] есть красивые графики, картинки и фото из фотобанков, но нет данных на которых оно было основано. Его невозможно проверить и поэтому ему очень сложно поверить.
Ссылки:
[1] https://www.vedomosti.ru/economics/articles/2018/07/18/775777-pwc-moskvu-top-5
[2] https://cdn.vdmsti.ru/image/2018/5i/1erkq9/fullscreen-1tsj.png
[3] https://www.pwc.ru/ru/publications/health-research/issledovanie-effectivnosti-zdravoohraneniya-v-gorodah-mira.pdf
#opendata #transparency
и публикуют картинки из этого рейтинга [2]. Тем временем я напомню простую истину - no data, no truth.
Нет данных, нет правды.
В исследовании PwC [3] есть красивые графики, картинки и фото из фотобанков, но нет данных на которых оно было основано. Его невозможно проверить и поэтому ему очень сложно поверить.
Ссылки:
[1] https://www.vedomosti.ru/economics/articles/2018/07/18/775777-pwc-moskvu-top-5
[2] https://cdn.vdmsti.ru/image/2018/5i/1erkq9/fullscreen-1tsj.png
[3] https://www.pwc.ru/ru/publications/health-research/issledovanie-effectivnosti-zdravoohraneniya-v-gorodah-mira.pdf
#opendata #transparency
Ведомости
PwC включил Москву в топ-5 мегаполисов по организации медпомощи
Но по продолжительности жизни столица России отстает от многих городов
"Есть данные, есть правда" (c)
Я немного расскажу вам о том как устроено с открытым исходным кодом в мире государства и общественных проектов и о том с сколь тесно это переплетено.
Правительство США ведёт открытую разработку 4776 репозиториев на Github'е. Эта работа проводится 140 федеральными органами власти и в ней участвует 820 разработчиков - это совокупность уникальных членов команд создавших эти 4776 репозиториев.
В Великобритании 53 органа власти опубликовали 5169 репозиториев над которыми работает 183 разработчика.
В Канаде 42 органа власти, 713 репозиториев и 181 разработчик.
При этом надо отметить что не все эти разработчики дают одинаковый команд. Ключевая команда везде включает около 10-15% от команды и это именно те разработчики кто наиболее активно работает над проектами.
Параллельно с теми проектами которые в режиме открытой разработки ведут органы власти и их подрядчики, существует большое явление Civil Hackers. Это разного рода неформальные группы и НКО, такие как Open Knowledge International, движения Code for All, Code for America и просто разрозненная плеяда проектов и НКОшек или некоммерческих проектов коммерческих команд.
Эти проекты выражаются в 10074 репозиториях созданных 273 НКО и неформальными группами и в этой работе участвует 1968 разработчиков по всему миру.
Этот код созданный Civic hackers активно используется самими органами власти. Подавляющее число порталов открытых данных создано на базе движка CKAN с доработками внутри органов власти. А движок был разработан в Open Knowledge International.
Большое число проектов по работе с обращениями граждан, мониторингу сайтов, работе со справочниками, обработке данных и многое другое создавалось этими неформальными группами.
Многие разработчики из этих НКО переходили на госслужбу или же работали как внешние фрилансеры и команды.
Часть этих команд самоорганизовывались сами, вроде Rewiring State в Великобритании, часть существовали в как технологические НКО такие как Sunlight Labs и OKFN, некоторые поддерживались в рамках Google Summer of Code и другими крупными технологическими гигантами, а многие работали в рамках государственной поддержки, грантов и конкурсов.
Вначале шло формирование экосистемы и на неё вырастал принципиально иной подход к разработке госпроектов.
США, Канада и Великобритания не единственные страны в которых есть подобная политика открытой разработки кода.
Такая госполитика есть во всех странах Большой семерки (G7), в большинстве стран ОЭСР, G20 и Евросоюза. Причём это только по итогам анализа Github, а есть организаций создающие свои открытые репозитории на базе Gitlab'а.
Всё что меня лично останавливает от рейтинга стран по открытости кода в государственном управлении - это то что Россия там будет на последнем месте.
И, конечно, все данные откуда эти цифры взяты из обновлённых данных проекта Open source government [1] на data.world.
Там есть и подсчитанные агрегированные данные и первичные данные в архиве для самостоятельного изучения data scientist'ами.
Ссылки:
[1] https://data.world/ibegtin/open-source-government-project
#opensource #opendata #opengov
Я немного расскажу вам о том как устроено с открытым исходным кодом в мире государства и общественных проектов и о том с сколь тесно это переплетено.
Правительство США ведёт открытую разработку 4776 репозиториев на Github'е. Эта работа проводится 140 федеральными органами власти и в ней участвует 820 разработчиков - это совокупность уникальных членов команд создавших эти 4776 репозиториев.
В Великобритании 53 органа власти опубликовали 5169 репозиториев над которыми работает 183 разработчика.
В Канаде 42 органа власти, 713 репозиториев и 181 разработчик.
При этом надо отметить что не все эти разработчики дают одинаковый команд. Ключевая команда везде включает около 10-15% от команды и это именно те разработчики кто наиболее активно работает над проектами.
Параллельно с теми проектами которые в режиме открытой разработки ведут органы власти и их подрядчики, существует большое явление Civil Hackers. Это разного рода неформальные группы и НКО, такие как Open Knowledge International, движения Code for All, Code for America и просто разрозненная плеяда проектов и НКОшек или некоммерческих проектов коммерческих команд.
Эти проекты выражаются в 10074 репозиториях созданных 273 НКО и неформальными группами и в этой работе участвует 1968 разработчиков по всему миру.
Этот код созданный Civic hackers активно используется самими органами власти. Подавляющее число порталов открытых данных создано на базе движка CKAN с доработками внутри органов власти. А движок был разработан в Open Knowledge International.
Большое число проектов по работе с обращениями граждан, мониторингу сайтов, работе со справочниками, обработке данных и многое другое создавалось этими неформальными группами.
Многие разработчики из этих НКО переходили на госслужбу или же работали как внешние фрилансеры и команды.
Часть этих команд самоорганизовывались сами, вроде Rewiring State в Великобритании, часть существовали в как технологические НКО такие как Sunlight Labs и OKFN, некоторые поддерживались в рамках Google Summer of Code и другими крупными технологическими гигантами, а многие работали в рамках государственной поддержки, грантов и конкурсов.
Вначале шло формирование экосистемы и на неё вырастал принципиально иной подход к разработке госпроектов.
США, Канада и Великобритания не единственные страны в которых есть подобная политика открытой разработки кода.
Такая госполитика есть во всех странах Большой семерки (G7), в большинстве стран ОЭСР, G20 и Евросоюза. Причём это только по итогам анализа Github, а есть организаций создающие свои открытые репозитории на базе Gitlab'а.
Всё что меня лично останавливает от рейтинга стран по открытости кода в государственном управлении - это то что Россия там будет на последнем месте.
И, конечно, все данные откуда эти цифры взяты из обновлённых данных проекта Open source government [1] на data.world.
Там есть и подсчитанные агрегированные данные и первичные данные в архиве для самостоятельного изучения data scientist'ами.
Ссылки:
[1] https://data.world/ibegtin/open-source-government-project
#opensource #opendata #opengov
Тем временем Ростех рапортует об успешном внедрении технологии распознавания лиц от NTechLab в мониторинг болельщиков на ЧМ [1], об этом же пишут Ведомости [2], не вникая глубоко в текст пресс-релиза Ростеха, а по сути лишь транслируя основные идеи.
Есть некоторая правда в том что такие технологии сейчас внедряются во всех странах которые могут себе это позволить, есть также правда в том что в России они наиболее бесконтрольны и отсутствие у нас глобального "Большого брата" обусловлено исключительно ожесточенными конфликтами между всеми правоохранителями: МВД, Следственным комитетом, ФСБ, Прокуратурой, Минюстом и Росгвадией.
Ссылки:
[1] http://rostec.ru/news/krazhu-sponsorskogo-kubka-chm-2018-predotvratili-blagodarya-sisteme-raspoznavaniya-lits-ntechlab/
[2] https://www.vedomosti.ru/politics/news/2018/07/26/776624-sistema-raspoznavaniya-na-chm-2018
#data #privacy
Есть некоторая правда в том что такие технологии сейчас внедряются во всех странах которые могут себе это позволить, есть также правда в том что в России они наиболее бесконтрольны и отсутствие у нас глобального "Большого брата" обусловлено исключительно ожесточенными конфликтами между всеми правоохранителями: МВД, Следственным комитетом, ФСБ, Прокуратурой, Минюстом и Росгвадией.
Ссылки:
[1] http://rostec.ru/news/krazhu-sponsorskogo-kubka-chm-2018-predotvratili-blagodarya-sisteme-raspoznavaniya-lits-ntechlab/
[2] https://www.vedomosti.ru/politics/news/2018/07/26/776624-sistema-raspoznavaniya-na-chm-2018
#data #privacy
Ведомости
Система распознавания лиц на ЧМ-2018 помогла задержать более 180 человек
Решение по распознаванию лиц, внедренное «Ростехом» в нескольких городах проведения чемпионата мира по футболу, позволило задержать более 180 человек, включенных в базы правонарушителей, сообщила госкорпорация.
Ivan Begtin via @vote
Каких тем должно быть больше на канале?
public poll
Открытые данные – 29
👍👍👍👍👍👍👍 25%
Дата журналистика – 24
👍👍👍👍👍👍 21%
Обзоры проектов и международной практики – 17
👍👍👍👍 15%
Любые государственные данные – 13
👍👍👍 11%
Реформа госуправления – 11
👍👍👍 10%
Открытость государства вцелом – 9
👍👍 8%
Приватность и безопасность – 7
👍👍 6%
Что-то другое – 5
👍 4%
👥 115 people voted so far.
public poll
Открытые данные – 29
👍👍👍👍👍👍👍 25%
Дата журналистика – 24
👍👍👍👍👍👍 21%
Обзоры проектов и международной практики – 17
👍👍👍👍 15%
Любые государственные данные – 13
👍👍👍 11%
Реформа госуправления – 11
👍👍👍 10%
Открытость государства вцелом – 9
👍👍 8%
Приватность и безопасность – 7
👍👍 6%
Что-то другое – 5
👍 4%
👥 115 people voted so far.
К вопросу о том как измерить эффект от открытия данных. Если кратко, то очень сложно. Эффект несомнненно есть, но все примеры реального социального или экономического эффекта необходимо выискивать и с большим трудом. Немного кейсов хорошо разобрано, чаще просто общая информация о пользователях.
Вот несколько примеров.
На портале Евросоюза опубликовано 300 примеров использования и раскрытия данных в странах Европы [1]. Увы, никаких подробностей, только самое базовое описание.
Проект Open Data 500 [2] от исследователей The GovLab собирает большой каталог, но и там без детального рассмотрения каждого примера.
Те же The GovLab собрали 19 примеров в проекте ODImpact [3] и разобрали их очень подробно.
The Open Data Institute в Великобритании ведёт каталог поддержанных им стартапов [4], а в Tech World подробно рассмотрено 22 подобных стартапа [5], компании работающие с открытыми данными поименованные на angel.co [6] (всего 72 компании) и по теме открытости государства [7] (101 компания).
Главный вопрос здесь и всегда - достаточно ли тема открытых данных самодостаточна для рассмотрения с точки зрения бизнеса?
Ответ, увы, скорее нет чем да. Более 5000 стартапов, только на angel.co, связаны с рынком больших данных [8], их доходы несопоставимо выше чем доходы стартапов работающие с открытыми данными и открытыми данными государства в частности.
С точки зрения бизнеса вся тема открытых данных погружена в тему больших данных и данных вообще, автономного рынка только открытых данных не существует. Коммерческие компании берут открытые данные и смешивают их с данными внутренними, купленными, закрытыми и непубличными. Как результат создают новые продукты где открытые данные были лишь одним из ингредиентов, но как измерить эффект именно этого ингредиента на финальное "блюдо" ?
Поэтому измерения эффекта именно от открытых данных столь сложно излагаемы и столь неполны. Но, безусловно, примеры как ODImpact показывают и прямой эффект именно от открытости данных.
Ссылки:
[1] https://www.europeandataportal.eu/en/using-data/use-cases
[2] http://opendata500.com/
[3] http://odimpact.org/
[4] https://theodi.org/global-network-directory/odi-startups/
[5] https://www.techworld.com/picture-gallery/startups/-innovative-uk-companies-using-open-data-3613884/
[6] https://angel.co/open-data-3
[7] https://angel.co/open-government-1
[8] https://angel.co/big-data
#opendata #opengov #data
Вот несколько примеров.
На портале Евросоюза опубликовано 300 примеров использования и раскрытия данных в странах Европы [1]. Увы, никаких подробностей, только самое базовое описание.
Проект Open Data 500 [2] от исследователей The GovLab собирает большой каталог, но и там без детального рассмотрения каждого примера.
Те же The GovLab собрали 19 примеров в проекте ODImpact [3] и разобрали их очень подробно.
The Open Data Institute в Великобритании ведёт каталог поддержанных им стартапов [4], а в Tech World подробно рассмотрено 22 подобных стартапа [5], компании работающие с открытыми данными поименованные на angel.co [6] (всего 72 компании) и по теме открытости государства [7] (101 компания).
Главный вопрос здесь и всегда - достаточно ли тема открытых данных самодостаточна для рассмотрения с точки зрения бизнеса?
Ответ, увы, скорее нет чем да. Более 5000 стартапов, только на angel.co, связаны с рынком больших данных [8], их доходы несопоставимо выше чем доходы стартапов работающие с открытыми данными и открытыми данными государства в частности.
С точки зрения бизнеса вся тема открытых данных погружена в тему больших данных и данных вообще, автономного рынка только открытых данных не существует. Коммерческие компании берут открытые данные и смешивают их с данными внутренними, купленными, закрытыми и непубличными. Как результат создают новые продукты где открытые данные были лишь одним из ингредиентов, но как измерить эффект именно этого ингредиента на финальное "блюдо" ?
Поэтому измерения эффекта именно от открытых данных столь сложно излагаемы и столь неполны. Но, безусловно, примеры как ODImpact показывают и прямой эффект именно от открытости данных.
Ссылки:
[1] https://www.europeandataportal.eu/en/using-data/use-cases
[2] http://opendata500.com/
[3] http://odimpact.org/
[4] https://theodi.org/global-network-directory/odi-startups/
[5] https://www.techworld.com/picture-gallery/startups/-innovative-uk-companies-using-open-data-3613884/
[6] https://angel.co/open-data-3
[7] https://angel.co/open-government-1
[8] https://angel.co/big-data
#opendata #opengov #data
Inside Airbnb [1] небольшой частный проект по сбору и визуализации данных из Airbnb по отдельным городам
У него неофициальный общественный статус и все данные там открыты, а также доступны интересные визуализации по отдельным городам, например, Берлин [2] или Торонто [3].
России там нет, хотя было бы немало интересно с данными по крупнейшим российским городам поработать, сравнить влияние ЧМ-2018 на структуру предложений.
Ссылки:
[1] http://insideairbnb.com
[2] http://insideairbnb.com/berlin/
[3] http://insideairbnb.com/toronto/
#opendata
У него неофициальный общественный статус и все данные там открыты, а также доступны интересные визуализации по отдельным городам, например, Берлин [2] или Торонто [3].
России там нет, хотя было бы немало интересно с данными по крупнейшим российским городам поработать, сравнить влияние ЧМ-2018 на структуру предложений.
Ссылки:
[1] http://insideairbnb.com
[2] http://insideairbnb.com/berlin/
[3] http://insideairbnb.com/toronto/
#opendata
Insideairbnb
Home
Adding data to the debate
Как устроена цифровая трансформация госуправления в мире у лидеров? На самоорганизации тесном взаимодействии одной из основ которого является относительно молодая группа стран Digital 7 (D7) ранее именовавшаяся Digital 5 (D5) [1].
Группа сформировалась в 2014 году и туда вошли: Эстония, Новая Зеландия, Израиль, Южная Корея и Великобритания. В феврале к ней присоединилось ещё две страны: Канада и Уругвай.
Работа группы основана на 9 принципах которые я процитирую прямо из их хартии [2]:
3.1. User needs — the design of public services that work for the citizen
3.2. Open standards — technology requires interoperability and so a clear commitment to a credible royalty free open standards policy for software is needed
3.3. Open source — where possible all future Government systems, tradecraft, manuals and standards are created as open source and are shareable between participants
3.4. Open markets — in government procurement create true competition for companies regardless of size. Encourage and support a start-up culture and promote economic growth through open markets
3.5. Open government (transparency) — be a member of the Open Government Partnership and use open licences to produce and consume open data
3.6. Connectivity — enable an online population through comprehensive and high quality digital infrastructure
3.7. Teach children to code — commitment to offer all children the opportunity to learn to code and build the next generation of skills
3.8. Assisted digital — a commitment to support all its citizens to access digital services
3.9. Commitment to share and learn — all members commit to work together to help solve each other’s issues wherever they can
Все перечисленные страны D7 активно вкладываются в открытые данные, все кроме Уругвая, Израиля и Южной Кореи ведут открытую разработку кода, и все без исключения имеют внутренние политики работы с открытым кодом.
Ссылки:
[1] https://en.wikipedia.org/wiki/Digital_5
[2] https://www.digital.govt.nz/dmsdocument/28-d7-charter/html
#opengov #digitalgov
Группа сформировалась в 2014 году и туда вошли: Эстония, Новая Зеландия, Израиль, Южная Корея и Великобритания. В феврале к ней присоединилось ещё две страны: Канада и Уругвай.
Работа группы основана на 9 принципах которые я процитирую прямо из их хартии [2]:
3.1. User needs — the design of public services that work for the citizen
3.2. Open standards — technology requires interoperability and so a clear commitment to a credible royalty free open standards policy for software is needed
3.3. Open source — where possible all future Government systems, tradecraft, manuals and standards are created as open source and are shareable between participants
3.4. Open markets — in government procurement create true competition for companies regardless of size. Encourage and support a start-up culture and promote economic growth through open markets
3.5. Open government (transparency) — be a member of the Open Government Partnership and use open licences to produce and consume open data
3.6. Connectivity — enable an online population through comprehensive and high quality digital infrastructure
3.7. Teach children to code — commitment to offer all children the opportunity to learn to code and build the next generation of skills
3.8. Assisted digital — a commitment to support all its citizens to access digital services
3.9. Commitment to share and learn — all members commit to work together to help solve each other’s issues wherever they can
Все перечисленные страны D7 активно вкладываются в открытые данные, все кроме Уругвая, Израиля и Южной Кореи ведут открытую разработку кода, и все без исключения имеют внутренние политики работы с открытым кодом.
Ссылки:
[1] https://en.wikipedia.org/wiki/Digital_5
[2] https://www.digital.govt.nz/dmsdocument/28-d7-charter/html
#opengov #digitalgov
Wikipedia
Digital 7
Intergovernmental organization focused on technology
Дата журналистам на заметку.
1. Заходите на сайт Газпроммежрегионгаза в раздел "Крупнейшие должники за газ"
http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/
2. Парсите данные любым удобным Вам образом и превращаете в CSV или JSON где у Вас должны быть поля:
- наименование организации должника
- сумма задолженности
- наименование субъекта федерации
- наименование федерального округа в который субъект федерации входит
3. Открываете Википедию (или Wikidata) и скачиваете таблицу с населением страны по субъектам https://ru.wikipedia.org/wiki/Население_субъектов_Российской_Федерации
4. Открываете Википедию (или Wikidata) и скачиваете таблицу ВРП по субъектам https://ru.wikipedia.org/wiki/Список_субъектов_Российской_Федерации_по_валовому_продукту
5. На этих данных считаете рейтинги:
- субъектов по общей задолженности
- субъектов по задолженности на 1 человека
- субъектов по задолженности к ВРП
6. Аналогично для федеральных округов
7. Полученные цифры визуализируете любым удобным Вам образом
8. Вуаля! Отдавайте результат в любое федеральное издание, особенно в те которые сейчас активно чморят власти Московской области.
Потому что кто будет анти-лидером рейтинга я уже вам как бы подсказал.
#datajournalism #ddj #opendata
1. Заходите на сайт Газпроммежрегионгаза в раздел "Крупнейшие должники за газ"
http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/
2. Парсите данные любым удобным Вам образом и превращаете в CSV или JSON где у Вас должны быть поля:
- наименование организации должника
- сумма задолженности
- наименование субъекта федерации
- наименование федерального округа в который субъект федерации входит
3. Открываете Википедию (или Wikidata) и скачиваете таблицу с населением страны по субъектам https://ru.wikipedia.org/wiki/Население_субъектов_Российской_Федерации
4. Открываете Википедию (или Wikidata) и скачиваете таблицу ВРП по субъектам https://ru.wikipedia.org/wiki/Список_субъектов_Российской_Федерации_по_валовому_продукту
5. На этих данных считаете рейтинги:
- субъектов по общей задолженности
- субъектов по задолженности на 1 человека
- субъектов по задолженности к ВРП
6. Аналогично для федеральных округов
7. Полученные цифры визуализируете любым удобным Вам образом
8. Вуаля! Отдавайте результат в любое федеральное издание, особенно в те которые сейчас активно чморят власти Московской области.
Потому что кто будет анти-лидером рейтинга я уже вам как бы подсказал.
#datajournalism #ddj #opendata
Wikipedia
Население субъектов Российской Федерации
статья-список в проекте Викимедиа