До дня открытых данных [1] осталось 45 дней и ещё не поздно зарегистрироваться и принять участие!

Каждый год день открытых данных мы проводим как негосударственное некоммерческое мероприятие проходящее по всему миру и конкретно в Москве организуем его мы в @infoculture

Если Вы хотите принять участие как докладчик, партнер, а может быть даже и спонсор(!) напишите на [email protected] обязательно. Если Вы решите провести мероприятие у себя в регионе, тоже напишите нам и мы поможем привлечь больше участников.

В дне открытых данных принимают участие представители НКО, преподаватели, чиновники, представители бизнеса, активисты и все кто деятельно работает с данными во всех их формах и ипостасях.

Помните что открытость - это то что мы делаем своими руками!

Ссылки:
[1] http://opendataday.ru/msk

#opendata #opengov

История с блокировкой Startmail.com [1] - это какая-то особая форма глупости со стороны регуляторов. Причина проста - блокировки в России покрывают исключительно трафик относящийся к http/https запросам и не затрагивают электронную почту. Правда глупость тут не только в невозможности спецслужб выявить генераторов писем о минировании, но и в реакции правоохранительных органов на подобные анонимные письма. Реальная проблема и какая-то нереально неэффективная работа по её исправлению.

Ссылки:
[1] https://www.rbc.ru/rbcfreenews/5e2980589a79478385d6a6e2

#email #security

Поиск по наборам данных от Гугл, Dataset Search [1], вышел из беты и в их посте в блоге рассказывается как он развился [2]
В первой вышедшей из беты версии появились:
- более 25 миллионов наборов данных из которых более 2 миллионов из data.gov (США)
- фильтрация по типу набору данных, геолокации и режиму доступа (открытый/не открытый)
- поиск адаптировали под аудиторию ищущую наборы данных

Российские данные пока доступны через агрегатор data.wu.ac.at который собирает с порталов на базе движка CKAN по всему миру наборы данных и отдает в формате метаданных для Google. Например, данные Хаба открытых данных [3] доступны именно через него [4].

Что значит что будем это исправлять и интегрировать в необходимом формате. Тем временем, напомню что это не единственный поисковик по данным в мире.

Существуют также:
- DataSearch (Elsevier) [5] - поиск по научным данным от Elsevier
- Magda [6] - австралийский движок для индексации и поиска по данным, используется в data.gov.au

Ссылки:
[1] http://g.co/datasetsearch
[2] https://blog.google/products/search/discovering-millions-datasets-web
[3] http://hubofdata.ru
[4] https://datasetsearch.research.google.com/search?query=hubofdata.ru
[5] https://datasearch.elsevier.com
[6] https://magda.io/

#opendata #datasets #search

В рейтинге свежем восприятия коррупции от Transparency Int. Россия оказалась на 137 месте из 180 [1]. Низкий ли это уровень? Это уровень беднейших стран Африки и Юго-Восточной Азии

Если посмотреть на этот же рейтинг в региональном разрезе, то в регионе "Easter Europe & Central Asia" (не включают восточноевропейские страны ЕС), Россия по уровню коррупции находится на 10 месте из 12, чуть выше, на 9м месте, Азербайджан, Украина и Киргизстан, и чуть ниже, на 11 месте, Узбекистан и Таджикистан. Из стран постсоветского пространства наибольшие оценки только у Грузии.

Если смотреть страны G20, то скорее всего Россия на последнем месте, пытливые умы могут воспользоваться открытыми данными [2] рейтинга и сами подсчитать суб-индексы в территориальном разрезе.

Я напомню что рейтинг Трансперенси не единственный, есть множество других прямых или косвенных аспектов измерения коррупции, эффективности и доверия к государству. Например, Edelman Trust Barometer даёт обзор уровня доверия граждан не только органам власти, но и другим общественным институтам. В их обзоре 2019 года у России одни из худших показателей [3] и только что вышел их доклад за 2020 год [4] и Россия там на последних местах.

Ссылки:
[1] https://www.transparency.org/cpi2019
[2] https://files.transparency.org/content/download/2450/14822/file/2019_CPI_FULLDATA.zip
[3] https://www.edelman.com/sites/g/files/aatuss191/files/2019-03/2019_Edelman_Trust_Barometer_Global_Report.pdf
[4] https://cdn2.hubspot.net/hubfs/440941/Trust Barometer 2020/2020 Edelman Trust Barometer Global Report.pdf

#opendata #opengov

Франция, Канада, Италия, Россия и Сингапур - страны с наиболее растущим технопессимизмом. Источник: Edelman Trust Barometer 2020

RedHat опубликовали видеоисторию про Открытые данные в Чили [1] в рамках серии Open Source Stories. Вполне познавательно о том зачем открытые данные нужны

Ссылки:
[1] https://www.redhat.com/en/open-source-stories/starting-small-open-data

#opendata #opensource

В прошлом году я немного намекал что Информационная культура будет помогать проектам с открытым кодом и про открытые данные и вот свершилось.

Мы запускаем 1-й раунд микрогрантовой программы для проектов с открытым кодом по темам: открытые данные, роботизированная (цифровая журналистика), цифровая архивация и цифровые права и приватность подробнее в анонсе [1] и на странице микрогрантового конкурса [2].

Заявки собираются с 24 января по 24 февраля, итоги подводятся на День открытых данных 2020 6 марта.

Общий фонд этого раунда 300 тысяч, максимальная заявка до 100 тысяч, вопросы пишите на [email protected] мы сам конкурс будем проводить максимально открыто и по заданным вопросам будем публиковать ответы на вопросы на странице конкурса и в ФБ Инфокультуры

Жюри: Иван Бегтин), Василий Буров, Мария Шклярук, Михаил Петров

Что я лично хочу от себя добавить:
1. Первый конкурс экспериментальный, мы по его итогам поймём какие направления будем фокусированно поддерживать грантами, на что подаются и тд.
2. Конкурс технический! Помните это направляя Вашу заявку. У него обязательно должен быть открытый код.
3. Если Вы уже ведёте проект с открытым кодом и хотите сделать что-либо полезное, то можно подать заявки и на нетехническую работу. Например, написать документацию к продукту или выступить на дне открытых данных и Вам нужно покрыть транспортные расходы. Но выступить всё равно надо будет про открытый код и по одной из заявленных тем.
4. Сейчас мы проводим этот конкурс от Инфокультуры, в будущем и стратегически ищем партнеров разделяющих наши ценности с которыми мы готовы совместно собирать призовой фонд.
5. Открытый код означает и свободные лицензии, не забывайте об этом, пожалуйста.
6. Все приведённые примеры проектов это то чем мы уже занимаемся. Мы не делаем заказ и не проводим тендер, Ваша заявка должна содержать Ваш проект.

Будут вопросы пишите не стесняясь и распространение приветствуется!

Ссылки:
[1] https://www.infoculture.ru/2020/01/24/contest-microgrants-infoculture-2020/
[2] https://www.infoculture.ru/microgrants/

#opendata #opensource #grants

Коронавирус оказался беспрецендентым примером ускоренного обмена информацией между учёными. В статье Washington Post приведены [1] примеры ускоряющейся кооперации учёными по борьбе с общей угрозой. Расшифрованный геном коронавируса доступен теперь через Genbank [2] Национального института здравоохранения США и идут первые публикации [3] на его основе.

Можно сказать что сейчас буквально в реальном времени учёные, как минимум, в США и Китае обмениваются информацией. И вполне возможно что только такая совместная работа учёных может обеспечить разработку вакцины в кратчайшие сроки.

Ссылки:
[1] https://www.washingtonpost.com/science/2020/01/24/scientists-are-unraveling-chinese-coronavirus-with-unprecedented-speed-openness/
[2] https://ncbiinsights.ncbi.nlm.nih.gov/2020/01/13/novel-coronavirus/
[3] https://www.biorxiv.org/content/10.1101/2020.01.22.915660v1.full

#opendata #openscience #coronavirus

Тем временем коалиция из 20 штатов США судится(!) [1] с федеральным правительством из-за того что федеральное правительство планируется снять ограничения на размещение в интернете чертежей для печати оружия на 3D принтерах.

Печать оружия это одна из многих тем о свободе доступа к информации. Считаем ли мы что такие сведения должны публиковаться для всех или нет? Реализация ли это права гражданина на самооборону или приведёт к неконтролируемой продаже оружия?

Ссылки:
[1] https://apnews.com/0a34a17d6ee5f9f77af6b51a3280f310

#USA #3dprint

На сайте ВШЭ эксперты опубликовали ссылки на полезные источники открытых данных, которые будут полезны при работе с проектами городского планирования:

«Мы подготовили этот материал* для студентов курса «Территориальное планирование» образовательной программы «Управление пространственным развитием городов» Высшей школы урбанистики им. А. А. Высоковского ФГРР НИУ ВШЭ. Проект «Комплексное развитие территорий» составляет основную часть образовательного трека будущих городских планировщиков. Он воссоздаёт задачу, с которой специалист сталкивается в своей работе – от предпроектной аналитики и проблематизации территории до подготовки проектных предложений и презентации результата заказчику.»


https://urban.hse.ru/for_students_open_data_sources

Первые вопросы и ответы по нашему конкурсу микрогрантов [1]:
1. Почему такой маленький грантовый фонд?
Потому что это не госденьги и мы не крупный частный фонд. Инфокультура направляет на свою уставную деятельность средства которые поступают в рамках создаваемых нами проектов, пожертвований и контрактной работы. В будущем, по мере успешности этого раунда мы постараемся расширять грантовый фонд.

2. Откуда деньги?
Как я отвечал в предыдущем вопросе - это небольшие средства сравнимые с бюджетами небольших хакатонов. Когда-то при основании Инфокультуры первые средства учредители собирали сами краудфандингом. Сейчас у организации есть какая-то постоянная деятельность позволяющая извлекаемую прибыль направлять на уставную деятельность.

3. Кто такие члены жюри?
Все члены жюри этого раунда конкурса микрогрантов - это авторы доклада ЦСР "Государство как платформа" вышедшего в 2018 году и, в том числе, затрагивающим тему открытого исходного кода в госуправлении (стр. 34).

4. Почему в членах жюри нет никого от сообщества?
Члены жюри отбираются от грантодающей организации (Инфокультура), для будущих тематических грантовых конкурсов состав будет меняться.

5. Очень маленький грант, как я могу сделать проект за такие деньги?
Микрогранты могут помочь только-только стартующим проектам в том чтобы найти немного времени чтобы сделать их. А уже существующим в том чтобы реализовать какую-то полезную, не очень большую функцию или написать документацию или ещё что-то.

6. Зачем нужен такой конкурс микрогрантов?
Как минимум один из членов жюри, в моём лице (Иван Бегтин) когда-то с нуля создавал общественные проекты буквально без какого-либо финансирования. Если бы такой фонд микрогрантов был бы, то с ним было бы запускать их гораздо проще.

7. Откуда взялась идея микрогрантов?
В мире более 20 проектов микрогрантов [3] и многие из них существуют непрерывно. Программа минигрантов есть, например, у OKFN до $300 на дни открытых данных [4]

Не стесняйтесь, пишите Ваши вопросы в чате, мне лично или на почту [email protected]

Ссылки:
[1] https://www.infoculture.ru/microgrants/
[2] https://www.csr.ru/upload/iblock/313/3132b2de9ccef0db1eecd56071b98f5f.pdf
[3] https://github.com/nayafia/microgrants
[4] https://blog.okfn.org/2020/01/16/announcing-the-launch-of-the-open-data-day-2020-mini-grant-scheme/

#opendata #infoculture

Немного о том как сейчас публикуют открытые данные разные ФОИВы.
Плохие примеры и практики:
Росстат
1. У Росстата поломалась публикация открытых данных. Возможно после обновления сайта, в любом случае явно по недосмотру. Если, к примеру, зайти на набор данных "Статистический регистр хозяйствующих субъектов" [1] то при нажатии на прямые ссылки на набор данных [2] идёт перенаправление на главную страницу. При этом структуру набора данных скачать можно [3]

2. Ранее данные Росстата публиковались неуклюже, но внутри был движок CKAN и недокументированное API. Сейчас или CKAN глубоко запрятали или отказались, но API для работы с данными больше нет.

Минюст России
3. У Минюста России раздел открытые данные в Карте сайта указан как "/opendata_old" [4] и более не открывается, а по ссылке "/opendata" [5] открывается раздел всего с одним набором данных не обновлявшимся с 23.06.2017. При этом данных из их реестров НКО, нотариусов, адвокатов и тд. просто недоступны.

Минобрнауки России
4. Открытые данные на сайте Минобрнауки России [6] отсутствуют в принципе, как и многие другие сведения по 8-ФЗ. И это уже не оправдать тем что когда-то Минобра и Минпросвет расщепляли и пересобирали. Прошло более 1.5 лет с момента [вос]создания данного министерства

Минкомсвязь России ((Министерство цифрового развития)
5. В открытых данных Минкомсвязи отсутствуют данных из почти всех их государственных информационных систем: Госуслуги, ФГИС КИ и далее по списку [7]

6. За исключением двух наборов статданных по услугам связи, все остальные наборы данных раскрываемые министерством устарели в 2016-2018 года и с тех пор не обновлялись


Ссылки:
[1] https://www.gks.ru/opendata/7708234640-urid1
[2] https://www.gks.ru/opendata/7708234640-urid1/data-20140105-structure-20140105.zip
[3] https://www.gks.ru/opendata/7708234640-urid1/structure-20140105.csv
[4] https://minjust.ru/ru/sitemap
[5] https://minjust.ru/ru/opendata
[6] https://minobrnauki.gov.ru/
[7] https://digital.gov.ru/opendata/

#opendata #opengov

Я в очередной раз немного отойду от жанра ленты новостей и кратко отрефлексирую на последние назначения и не только.
1. Смена руководителей НИИ Восход и Аналитического центра - это однозначный сигнал что программа цифровой экономики будет переписываться. Сейчас наиболее вероятно будет "пересборка" замов внутри Минкомсвязи.

2. Главная претензия к Аналитическому центру в последние годы была в том что на них переложили часть функций Открытого правительства по работе с бизнесом (лоббистами) и в последнее время эта деятельность стала однозначно имитационной. Это касалось и обсуждения законопроектов и НСУДа и иных постыдных совершенно мероприятий. Будет ли это перезапущено, вот в чём вопрос.

3. Если посмотреть как тратились средства при предыдущем руководстве Минкомсвязи и в рамках Цифровой экономики то это было 3 основных потока: Ростелеком, НИИ Восход и Аналитический центр. При этом каждый может узнать как это делалось. Для этого мы и делали проект spending.gov.ru, там есть возможность отфильтровать субсидии по организациям. Например по НИИ Восход [1] или лучше сразу по Министерству [2]. Важнее смотреть субсидии чем контракты, но и контракты тоже можно найти в другом разделе Госрасходов. Где, также, есть API [3] с помощью которого можно вся скачать и проанализировать.

4. Не могу не припомнить что как раз Максут Шадаев когда-то курировал создание соцсети Госбук в которой предполагалось общение ИТ специалистов как ФОИВов так и регионов. Это было ещё до всяческих экспертных советов и тд.

5. И, конечно, состав общественного совета при Минкомсвязи не менялся с 2014 года [4], я туда тоже вхожу до сих пор. При Никифорове совет собирался исключительно имитационно, при Носкове он не собирался вовсе, а Максуту я бы посоветовал его просто закрыть или полностью пересобрать. Потому что оно уже неживое

Ссылки:
[1] https://spending.gov.ru/subsidies/subsidies_list/?receiver_codeBudgetreg=001%D0%920434
[2] https://spending.gov.ru/subsidies/subsidies_list/?grbs_codeBudgetreg=00100071
[3] https://code.ach.gov.ru/sgr/spending-api-docs/wikis/home
[4] https://digital.gov.ru/ru/activity/advisories/24/

#opengov #opendata #mincifraz #minkomsvyaz

У Счётной палаты кардинально обновился веб-сайт [1] став максимально простым, наглядным и ориентированным в поисковую модель работы с материалами. Поиск явно доминирует на главной странице и это неплохо, необычно в хорошем смысле.

В течение последних 1.5-х лет внутри Счетной палаты очень много усилий было приложено по тому чтобы тексты отчётов аудиторов были бы максимально человеко-понятны. И небезуспешно, достаточно почитать последний отчёт аудитора Саватюгина [2] о развитии финансового рынка в России и эффективности правительственной стратегии и стратегии Банк России в этой области.

Дисклеймер: Я курирую направление "Открытых данных" в Счетной палате, но сам отношения к сайту и понятности языка не имею и веду и участвую в других проектах.

Ссылки:
[1] http://audit.gov.ru/
[2] http://audit.gov.ru/upload/iblock/00d/00d67c570b509a973844324f644112ed.pdf

#audit #auditgovru

Свои секреты есть не только у коррумпированных политиков, но и у, например, компаний создающих антивирусы. Утечка электронной почты из компании Jumpshop, дочернему предприятию компании Avast создающей одноимённый антивирус привела к публикациям в Vice и PCMag [1] с подробным разбором ситуации.

Если вкратце:
- Jumpshot собирали данные истории действий пользователя и продавали таким компаниям как Google, Yelp, Microsoft, McKinsey, Pepsi, Sephora, Home Depot, Condé Nast, Intuit
- собирались такие данные как: поисковые запросы, координаты, просмотр видео на Youtube и ещё очень и очень многое.

Какие вопросы стоит задать себе читая об этом:
1. Нужно ли ставить себе на компьютер бесплатное ПО без открытого кода?
2. Нужно ли ставить себе Avast ?
3. Покупка персональных данных чем то похожа на проституцию. Кто в ней виноват - те кто продают или те кто покупают?
4. Avast довольно популярен в России и удивительно отсутствие рекомендаций Роскомнадзора, Роскачества и даже, прости Господи, Федеральной антимонопольной службы не использовать этот продукт
5. А самое главное, что с этим всем вообще можно поделать учитывая что всё выяснилось через утечку почты. А если бы этой утечки не было?

Я напомню что ситуация не исключительная. Ещё в начале 2019 года были упоминания о том что другой бесплатный антивирус AVG поменял свою политику приватности и теперь она позволяет им торговать пользовательскими данными [2]

Об этом очень мало исследований. Только в 2014 году AV Comparatives делали исследование Data Transmission in Internet Security Products [3] и с тех пор его более никто не повторял.

Ссылки:
[1] https://www.vice.com/en_us/article/qjdkq7/avast-antivirus-sells-user-browsing-data-investigation
[2] https://restoreprivacy.com/antivirus-privacy/
[3] https://www.av-comparatives.org/wp-content/uploads/2016/12/avc_datasending_2014_en.pdf

#antivirus #privacy

One Nation Tracked [1] декабрьская статья в New York Times о том что приватности не существует для всех включая президента Трампа. Журналисты "где-то" раздобыли файл с 50 миллиардами записей пингов (коротких сообщений о метонахождении) от телефонов к базовым станциям в США, проделали большую работу по сопоставлению их с координатами и сделали массу визуализаций.

Я писал об этом ранее, а сейчас вышли ещё и технические подробности [2]. Можно ли на основе этих данных идентифицировать конкретного человека? Да, можно.

Ссылки:
[1] https://www.nytimes.com/interactive/2019/12/19/opinion/location-tracking-cell-phone.html
[2] https://medium.com/nightingale/twelve-million-phones-one-dataset-zero-privacy-an-interview-with-the-new-york-times-stuart-a-e2988d398ba3

#privacy #leaks

Я ещё раз повторю свой главный тезис про новое правительство нашей любимой родины. Дееспособность - это его главная характеристика. Я, обратите внимание, ничего не говорю про этичность, человеколюбие, антикоррупционность и ещё очень и очень многое. Я говорю про дееспособность. На самом деле многих пугает именно это. Не то что скажут что что-то сделают, а на самом деле разворуют и продолбают. А что скажут и реально сделают.

Максут Шадаев непростой человек, всегда сколько я помню он был таким, но то что все массово перепугались его пары строк из презентации - это скорее выдаёт общественное ожидание страха того что то что было обещано - будет сделано.

Лучше думайте о том как повлиять на повестку этого кабинета министров чтобы от его деятельности было больше пользы и меньше вреда.

Не читайте советских газет по утрам. Берегите психическое здоровье и здоровье в принципе. Больше гуляйте и меньше поддавайтесь истерии.

Решения про уровень доступа силовиков к данным россиян - это не уровень решений маленького отраслевого министерства. И никогда не будет таковым

#мысли

Что читать и что не читать. Список рекомендуемых мной лично каналов для ежедневного чтения.

@antidigital - нецифровая экономика пишет про всякие внутренние и внешние слухи про то что происходит вокруг цифровой экономики и не только

@ahminfin - моя коллега Ольга Пархимович много и по делу пишет про открытые государственные данные с акцентом на госфинансы и качество данных. Рекомендую всем кто работает с данными по госконтрактам, субсидиям, бюджетной росписи и тд.

@CynExp - довольно едкий (но меткий) канал анонимного эксперта очень детально разбирающий инициативы не только Минкомсвязи, но и ИТ госпроектов в целом.

@roskomsvoboda - канал Роскомсвободы иногда даже опережает меня в новостях о приватности и защите прав в сети. Полезно для всех кто хочет знать об этом и знать оперативно.

В новости про чешских разработчиков которые сделали практически бесплатно госпроект для меня очень много дежавю.

История с открытостью государств(-а) начиналась ещё в 2009 году когда многие НКО и неформальные группы разработчиков в США и Великобритании стали не просто возмущаться отвратным качеством госсайтов, госуслуг, их закрытостью и тд. А начали их активно переделывать организуя хакатоны по переделке госсайтов, устраивая митинги (!) за открытый код, пикеты у парламента и довольно мощную общественную компанию. Это движение в UK было Rewired State и несколько похожих в США.

Они были активны года до 2014 пока созданные на правительственном уровне Government Digital Services (GDS) не стали показывать что правительства, в общем-то, про открытый код, гибкую разработку и открытость в целом. Тогда большая часть этих движения угасли, многие ушли на госслужбу в эти самые GDS, кто-то переключился на другую деятельность.

Например, в США до появления USASpending.gov был проект fedspending.org сделанный НКО за копеечный бюджет. В России мы создали spending.gov.ru в Счетная палата Российской Федерации за короткие сроки и минимальный бюджет благодаря тому что много лет занимались clearspending.ru который тоже не за сотни миллионов делался, а в целом на энтузиазме и небольших потраченных на него средствах.

Когда активисты/программисты делают за государство ту работу которую внутри организовать сложно - это хорошее явление если оно потом заканчивается хорошо.

Но хуже с тем что многие проекты так и не стали частью госполитики. Например, проект Российские школы (мониторинг качества школ по среднему баллу ЕГЭ) так просто таки был бы идеальным проектом Минпросвета, но, разве российские министерства готовы делать проекты про качество жизни и образования?

Разве российский аналог Росправосудия не был бы идеальным проектом для Верховного суда для того чтобы граждане знали как судьи принимают решения?

Разве это нормально что проект Открытые НКО http://openngo.ru создаём мы, а не Министерство юстиции?

И так далее, и такого ещё много.

#opengov #opensource #opendata

К вопросу о том что сейчас появляются новые партии, говорят и пишут о выборах в будущую Госдуму и тд.

Я могу сказать что в этом всём отсутствует практически полностью, хотя никогда не теряет своей актуальности.

То что до сих пор отсутствует в публичной повестке - это "Право знать!". Это очень простой и мощный принцип затрагивающий каждого гражданина - право на доступ к информации влияющей на качество его жизни, и продолжительность жизни тоже, отметьте, это одна из национальных целей.

Гражданин имеет право знать о том месте где он живёт или где он хочет жить:
- качество образования
- качество здравоохранения
- уровень преступности
- уровень загрязнения воздуха, воды, почвы
- качество оказания местных услуг
- состояние дорог
- состояние зданий
- качество городской инфраструктуры
и всё то что, повторюсь, формирует качество жизни.

Право знать - это продолжение права на свободу передвижения и свободе выбора. Каждый имеет право при аренде или покупке квартиры, открытию своего небольшого дела и смене работы и так далее, знать о том из чего будет складываться его жизнь.

Право знать это именно то право которое и определяет общественную массовую потребность в открытых данных. Государство как гарант качества жизни обеспечивает как раскрытие этих данных так и условия при которых их раскрывают владельцы систем в которых они содержатся. От права знать создаются многочисленные инструменты помогающие в осознанном выборе.

Поэтому не стоит полагать что открытость - это только вопрос подотчётности государства. Право знать - это не только про гражданский контроль за тем что принимаются лучшие решения. Это о том насколько наша среда обитания соответствует нашим ожиданиям, тем вызовам которые перед нами стоят, тем целям которые мы хотим достигнуть.

#opendata #opengov