Ivan Begtin
8.09K subscribers
1.98K photos
3 videos
102 files
4.69K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
加入频道
Economist Business Unit выпустили очередной индекс демократий за 2017 год [1]. Его также можно увидеть на карте [2]. Индекс использовался Open Government Partnership для оценки стран кандидатов.

В этом индексе демократий (Democracy Index) Россия заняла 135 место (между Руандой и Зимбабве) со следующими баллами:
- Electoral process and pluralism - 2.17
- Functioning of government - 1.79
- Political participation - 5.0
- Political culture - 2.5
- Civil liberties - 4.41
Общее число баллов: 3.17

Беларусь идёт на 138 месте с 3.13 баллами

Обратите внимание на крайне низкие оценки Political Culture - хуже чем в России по этому критерию обстоят дела только в Северной Корее 1.25 балла и ровно такое же в Зимбабве 2.5 балла.

Низкая оценка Functioning of government в 1.79 балла - выше чем только у двух постсоветских стран - Таджикистана и Туркменистана, но хуже чем у Узбекистана.

Лично я не хочу вдаваться сейчас в дискуссию насколько индекс объективен/не объективен. Как минимум в части функционирования государства я могу сказать что у нас с этим, действительно, дела обстоят плохо, однако он показывает другой важный индикатор - восприятие России в мире.

Ссылки:
[1] https://www.eiu.com/topic/democracy-index
[2] https://infographics.economist.com/2018/DemocracyIndex/

#opengov
В индексе Rule of Law Index [1] проекта World of Justice Россия занимает 89'е место по итогам оценки за 2017 год.

Много это или мало? Если сравнивать с равными странами из Upper Middle Income (с доходами выше среднего на жителя), то Россия на 32 месте из 36. Это больше чем у Турции, но меньше чем у Ботсваны - и та и та страны входящие в эту группу.

Вглядевшись в оценки и, конечно, в профиль России [2] можно ещё немало интересного найти.

Например, в части открытости государства Россия на 69-й позиции, что немного, не слишком мало. Хуже чем у всех стран ОЭСР, но чуть обгоняет несколько стран G20.

А вот в части фундаментальных прав человека Россия на 95-м месте и ключевое тут это право на приватность "Right to privacy" оценённое в 1.9 балла и по этому признаку Россия 6-я с конца (107 место).

Близко ли это к правде? Да, очень близко. Проблема ведь не в только во вмешательстве государства в частную жизнь, цифровую и реальную, проблема в отсутствии надзора за тем как это происходит.

Ну и конечно не могу не отметить качественную визуализацию индекса.

Ссылки:
[1] http://data.worldjusticeproject.org/#
[2] http://data.worldjusticeproject.org/#/groups/RUS

#opendata #opengov #indexes
Наш проект "Национального цифрового архива" http://ruarxive.org создан для сохранения цифрового наследия, ценных/важных/полезных цифровых ресурсов которые теряются из-за того что проекты перестают финансировать, организации закрывают, катастрофы и аварии уничтожают данные, вирусы стирают важные материалы и так далее. Огромные объёмы данных не только создаются, но и исчезают ежедневно.

Сейчас в рамках архива мы собрали такие архивы как:
- сайты крупных закрытых корпоративных проектов таких как: Галактика Интел и Сеть творческих учителей Microsoft
- сайты кандидатов на выборные должности
- сайты ликвидированных банков
- сайты расформированных органов власти
- сайты действующих организаций и проектов находящихся в зоне риска
и многое другое.

Все архивы сохраняются в специальных форматах.
- веб сайты в формате .warc, это специальный формат для веб-архивов
- твиты в формате json файлов
- открытые данные/базы данных - в первоначальном виде

Всё собранное доступно онлайн для выгрузки любым желающим.

Это небольшой некоммерческий проект, на сегодняшний день, не имеющей институциональной поддержки, и поддерживаемый нашими собственными силами в АНО "Информационная культура".

В текущей форме он не требует от нас значительных усилий и главная помощь которую мы всегда запрашиваем от сообщества - это сообщать о рисках уничтожения/исчезновения ценных онлайн ресурсов для их архивации. Например, так сейчас архивируются все сайты кандидатов в Президенты РФ и будут архивироваться сайты органов власти когда они будут расформировываться в следующем правительстве.

Этот проект всегда курировал я лично и в текущей его форме я смогу продолжить это делать.Однако эта форма - это форма "лёгкого проекта", не автоматического, не с постоянной коммуникацией с сообществом и тд. Если превращать его в полноценный - поставив архивацию на поток, обеспечив ежедневный сбор ресурсов, выстраивая отношения с партнерами и занимаясь фандрайзингом, то проекту нужен руководитель.

По своему опыту могу сказать что гораздо важнее в этом проекте не технологии, технически он вполне понятный, а именно в понимании приоритетов архивации и того какой аудитории какие ресурсы важно сохранять. Тут важнее коммуникативные и смысловые навыки чем технические.

Поскольку я сам в этом году запускаю и так 2 больших проекта на которые будут уходить значительные мои ресурсы сил и времени, то я плохо гожусь на роль перестройки цифрового архива под большой проект.

Поэтому у нас глобальный такой запрос есть. Поиск человека которому это было бы ценностно близко, но заинтересованного в том чтобы заниматься этим не за зарплату, а, в том числе, активно занимаясь фандрайзингом. Возможно его поиск займёт ещё немало времени, но тут и нет большой спешки.

В качестве резюме
Уже сейчас проект может помочь Вам в сохранении ценных онлайн ресурсов. Достаточно лишь написать о том что необходимо сохранить

Любые идеи и предложения пишите не стесняясь мне на [email protected] или в телеграм ibegtin.

#digitalpreservation
Обратите внимание на рассылку Инфокультуру https://mailchi.mp/c51d2ea8f9b6/33?e=eaa22949ba

уже 33-я и всё нарастает. Во первых на неё можно подписаться нажав на кнопку "Subscribe" по ссылке, а во вторых можно для неё присылать материалы.

#opendata #opengov #infoculture
Проект Censys [1] собравший огромную базу данных по всем IP адресам, доменам, SSL/TLS сертификатом и выступавший одним из крупнейших порталов раскрытия данных в сетевой безопасности эволюционировал в стартап с коммерческим ценником [2] и акцентом на работу через API.

Такое развитие проекта было неизбежно, поддержание инфраструктуры требовало больших средств, а сами данные и сервис анализа совершенно точно были коммерчески востребованными.

Теперь если Вам нужны большие наборы данных в области безопасности, то необходимо, либо писать им письмо и объяснять какие ценностные результаты принесёт Ваше исследование и доказывать что оно некоммерческое, либо использоватьс данные с проекта Scans.io [3] который также поддерживает команда Censys и в котором кроме их данных собрано много данных других исследователей.

Обратите внимание на объёмы. Результаты сканирования всех подсетей интернета, например, в Rapid7 DNS Reverse [4] это файлы по 19 гигабайт в сжатом виде и многократно больше в распакованном. Общий объём опубликованного там измеряется в сотнях терабайт в распакованном виде, если не больше. Что делает этот репозиторий открытых данных одним из крупнейших в мире (если не сравнивать с очень крупными научными репозиториями вроде данных адронного коллайдера).

Один из примеров использования этих данных - это система Pulse в США с помощью которой в GSA отслеживают внедрение SSL/TLS на государственных сайтах [5], как раз они использовали Censys и Rapid7 Reverse DNS data.

Ссылки:
[1] https://censys.io/
[2] https://censys.io/pricing
[3] http://scans.io
[4] https://scans.io/study/sonar.rdns_v2
[5] https://pulse.cio.gov/https/guidance/

#opendata #opengov
Новые методрекомендации Росстата по формированию агрегированных показателей доходов, расходов и потребления домашних хозяйств оказывается включают такой важный показатель как 12.2.0.0.0 "Проституция".
Очень интересная систематизированная статья "Большой брат под кожей: как Китай выводит слежку на генетический уровень" [1] вышла на Carnegie.ru за авторством Леонида Ковачича. Всем кто ещё недостаточно параноит о существующих и потенциальных возможностях государств собирать информацию о гражданах и перестраивать общественный порядок - определённо стоит прочитать.

В статье есть несколько важных моментов, которые были ранее не то чтобы неизвестны, но не столь явно поименованы:
- установка сотен миллионов камер перестало быть невыполнимой задачей. Судя по китайским планам - столько их и будет и это только в Китае
- данные ДНК позволяют через родственников искать преступников. Тотальный сбор образцов ДНК, например, у школьников позволит раскрывать очень старые преступления, через поиск родственников в ближайших поколениях
- на системы тотального контроля есть явный спрос во многих странах. В первую очередь в целях борьбы с преступностью и созданию систем pre-crime. Этот спрос китайцы вполне успешно закрывают своими решениями.
- на примере Тибета и Синцзяня можно увидеть что системы тотального мониторинга + системы организации сотрудников полиции работают очень эффективно
- бюджет Китая на внутреннюю безопасность составлял 938 миллиардов юаней (146 миллиардов долларов) в 2015 году [2]

Каковы перспективы подобных технологий в России? В России есть программа Безопасный город весьма далёкая от китайских проектов, и по масштабу, и по системности подхода. Главный барьер во внедрении подобного - это общее низкое качество государственного управления.

Ссылки:
[1] http://carnegie.ru/commentary/75492
[2] https://www.bloomberg.com/news/articles/2018-01-17/china-said-to-test-facial-recognition-fence-in-muslim-heavy-area

#privacy
Где прочитать про открытые данные, большие данные и технологии в Телеграме

Про данные
@urbandata - городские данные от Андрея Кармацкого. Много про то как работают с данными в городской среде
@Persdata - канал о персональных данных, последние новости и события
@dataleak - тоже про персональные данные, но теперь уже про их утечки
@ai_machinelearning_big_data - канал про большие данные и машинное обучение. Похоже что скорее новостной чем авторский
@just_data_science - дано не обновлявшийся, но интересный канал по data science


Визуализация
@data_publication - дата публикации от Андрея Дорожного, многое про дата журналистику
@mapporn - визуализация данных на картах в примерах
@Infographicru - инфографика, в том числе инфографика на данных
@mapsanddata - карты и данные

#data #channells
В блоге Open Data Charter пост [1] со множеством примеров того какой экономический и социальный эффект даёт публикация данных как открытых данных. Почти все примеры из государственного сектора - где данные создаются на средства налогов и должны быть общественным достоянием.


Ссылки:
[1] https://medium.com/@opendatacharter/examples-of-how-open-data-can-improve-public-sector-performance-1b80a1522dbe

#opendata #opengov
CivicScape [1] - это один из немногих успешных pre-crime сервисов основанных на большом количестве данных от полиции и властей территорий и помогающих оценить наиболее криминальные территории.

В отличие от других подобных проектов таких как PredPol и Hunchlab они делают то что не делает никто из них - они открывают исходный код алгоритмов используемых для оценки криминальности/опасности районов [2].

Ссылки:
[1] https://www.civicscape.com/
[2] https://github.com/CivicScape/CivicScape/

#opendata #opengov #precrime
Журналистика данных - это не только публикации с графиками, группы журналистов расследователей, но и нарастающее число стартапов в этой области с главной специализацией в визуализации данных без программирования.

Свежие и состоявшиеся сервисы:
- Flourish Studio [1] - открылся 1 февраля [2] и позволяет делать сложные интерактивные визуализации и, пожалуй, наиболее интересный по возможностям на сегодняшний момент
- Datwrapper [3] - позволяет создавать простые графики и карты с данными, встраиваемые в страницы
- Datamatic [4] - проект по созданию интерактивной визуализации, был создан в рамках Google Digital News Initiative
- Infogram [5] - один из наиболее закрепившихся стартапов позволяющих создавать инфографику без программирования и встраивать в свои публикации
- Quadrigram [6] - делает акцент не только на визуализации, но и на презентациях и историях рассказываемых онлайн.
- Onodo [7] - пока ещё бесплатный сервис публикации сетевых графов

Всё это онлайн сервисы имеющие бесплатные аккаунты и продающие агентствам и ньюсрумам возможность делать white-label визуализации уже в рамках платных тарифов.

В отличие от open source проектов они не требуют каких-либо существенных технических навыков для работы и гораздо больше подходят для "быстрой журналистики данных".

Ссылки:
[1] https://flourish.studio/
[2] https://flourish.studio/2018/02/01/flourish_public_launch/
[3] https://www.datawrapper.de/
[4] http://datamatic.io/
[5] https://infogram.com/
[6] http://www.quadrigram.com/
[7] https://onodo.org/

#opendata #dataviz
Французы публикуют свой кадастр на портале [1] и раскрывают его целиком большими архивированными дампами в tar.bz2 и в форматах EDIGEO [2] и DXF-PCI - оба формата французско-специфичны.

Важнее объём, а объём данных там велик, десятки гигабайт кадастровых данных

Ссылки:
[1] https://cadastre.data.gouv.fr/
[2] https://fr.wikipedia.org/wiki/EDIGEO

#opendata #opengov #cadastre #france
ТАСС пишут про изменения то что Минобрнауки выпустили приказ о изменении квот на бюджетные места магистров в полтора раза [1].

И действительно в приказе на 2019/2020 году бюджетные места магистров составят всего 129 тысяч [2], против 208 тысяч в приказе 2017 года [3]. В 2016 году численность магистров также не отличалась значительно от 2017 года [3].

К сожалению цифры есть только в PDF'ах, если кто-то решится делать инфографику, то надо будет перевести их в таблицы.

Если о ситуации подробнее то, за каждого бюджетного бакалавра и магистра ВУЗы всегда получали субсидии от Минобрнауки. Для Минобрнауки это всегда было важным административным ресурсом влияния на ВУЗы и сейчас важно не только то на сколько квоты распределены, но и то как будут распределены субсидии по ВУЗам. Потеряют ли они также равномерно все в 1.5 раза, или будут более удачливые и менее удачливые.

Другая сторона этой ситуации в том что процесс сокращения бюджетных мест магистров идёт одновременно с повышением требований к работникам в ряде специальностей, накладывая ограничения на трудоустройство с образованием не менее магистра на уровне требований к вакансиям и в профстандартах.

Ссылки:
[1] http://tass.ru/obschestvo/4945681
[2] https://минобрнауки.рф/%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/12234/%D1%84%D0%B0%D0%B9%D0%BB/10574/%D0%9F%D1%80%D0%B8%D0%BA%D0%B0%D0%B7%20%E2%84%96%2048%20%D0%BE%D1%82%2029.01.2018.pdf
[3] https://минобрнауки.рф/%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/7942/%D1%84%D0%B0%D0%B9%D0%BB/7138/%D0%9F%D1%80%D0%B8%D0%BA%D0%B0%D0%B7%20%E2%84%96%2040%20%D0%BE%D1%82%2027.01.2016.pdf

#opendata #opengov #edu
Я уже писал ранее что пытаюсь написать статью о том кто и как и зачем регистрирует НКО и чем дальше я её пишу, тем больше понимаю что это куда больше чем статья - надо делать полноценное исследование с цифрами, данными, примерами и интервью, но это небыстрый жанр, хотя и очень важный. И для этого нужен человек готовый за такое исследование взяться со всей тщательностью - так что в качестве анонса, ищу такого исследователя.

А то о чём я хотел и хочу облечь в статью, я попробую изложить тут в сжатой форме.

Итак, зачем регистрируют НКО, как устроены зарегистрированные и то насколько разнообразие целей организаций не совпадает с официальной классификацией организаций.
1. Обязательства. Такие НКО как адвокатские палаты, нотариальные палаты, религиозные организации и ещё около 10 официальных типов НКО регулируются специальными законами фактически это обязательство и ограничения на граждан и предприятий на институционализацию своей деятельности в форме НКО.

2. Уход от ответственности учредителей
Практически все НКО сводят к нулю субсидиарную ответственность учредителей. При возможности назначения номинального директора, НКО используется в дальнейшем для вывода средств без возможности привлечения учредителей к ответственности. Именно по этой причине банки практически не дают НКО кредитов, за редким исключением.

3. Удобная форма государственных учреждений
Есть целый пласт НКО создаваемых государством для реализации конкретных задач. Это и специализированные АНО для Универсиады, Чемпионата мира по футболу, Олимпиады в Сочи и Аналитический центр при правительстве.

Их отличительная черта - это то учредители госорганы и госкорпорации и то что осуществуют они на госсубсидии и госконтракты.

4. Мягкий и жёсткий лоббизм.
Многие НКО создаются для институционализации лоббизма, мягкого или жёсткого. Примеры: ассоциации производителей молока и все остальные ассоциации - это "мягкий лоббизм" основанный на координации членов ассоциации в защите своих интересов перед законодателями и регуляторами.

Жёсткий лоббизм чаще закрепляется в форме "инструментальных АНО" задача которых показывать что деятельность является некоммерческой, но учредителями оказываются юридические лица и физические лица представляющие крупный бизнес и государство, а также обе стороны оказываются сильно вовлечены во взаимодействие и инициативы изначально декларируются как государственные. Организаций жёсткого лоббизма очень мало, но они есть. Например, Агентство стратегических инициатив, АНО Цифровая экономика, Открытое правительство (АЦ Форум) - всё это организации жёсткого лоббизма.

5. НКО как GONGO (government oriented ngo)
Значительная часть некоммерческих организаций регистрируются только в целях получения средств государственной поддержки. Поддержки не только в форме госгрантов, но и грантов для СМИ, имущественной и иной нефинансовой поддержки от субъектов федерации.

6. НКО как корпоративная некоммерческая деятельность

Значительная часть некоммерческих организаций создаётся предпринимателями по мере развития благотворительных программ внутри их бизнеса. В определённый момент они выделяются в отдельное юридическое лицо, корпоративный фонд или благотворительный фонд учредителем которого может быть как компания/компании основателей так и физические лица.

7. НКО как прикрытие

Довольно распространённая форма НКО когда учредители/руководство на самом деле занимаются бизнесом, но для того чтобы была возможность открывать некоторые двери (чиновники не любят говорить с бизнесом) регистрируют НКО. Как правило эти НКО ведут нулевую или фиктивную активность, а все активы учредителей, сотрудники и всё остальное зарегистрированы в коммерческой компании/компаниях.

Однако это тот случай когда не надо такие случаи путать с НКО при которых создаются коммерческие компании. Грань здесь тонка, но она есть.

8. НКО как форма некоммерческой деятельности