В обзорах о том где взять международные данные я всё забываю про относительно новый ООНовский сайт UNDataCatalog [1]. Там собраны данные почти всех их структур включая Всемирный банк, Всемирную организацию здравоохранения, ЮНИСЕФ и многие другие.

Обновляется он правда не так оперативно как хотелось бы и поэтому другой важный раздел там же - это каталог порталов открытых данных отдельных структур ООН [2]

Ссылки:
[1] http://undatacatalog.org
[2] http://undatacatalog.org/open-data-portals

#opendata #un

К вопросу о права граждан и компаний в работе цифровых сервисах и про Яндекс.Облако я добавлю что этот случай примечателен, но не единичен.

Условия использования - это часть конкурентного предложения любой компании и чем больше там прописано прав у владельца платформы и чем меньше их у клиента, тем больше рисков у клиента.

И кроме истории с Яндекс.Облаком и Яндексом в целом, который очень интенсивно начал монетизировать всё что возможно в последние годы, есть ещё и Mail.ru у которого похожие условия для его "Облака для бизнеса" [1]. В условиях прекращения работы сервиса там тоже есть о том что платформа в любой момент имеет права прекратить работу Вашего аккаунта без предупреждения.

Хорошо хоть нет ничего про "ограничить" аккаунт. В большинстве остальных сервисов "российских интернет чемпионов" также и у Облака Mail.ru условия очень сильно вывернуты в стороны платформы и с минимальными правами потребителя.

Это, например, ответ на вопрос почему для каких-то личных сайтов я лично использую не российский облачный хостинг и не российские email адреса. Потому что там в условиях использования прописано что мой аккаунт будет заблокирован или закрыт лишь в 2-х случаях:
- неоднократных нарушений правил использования, о которых меня предупредят. Самое серьезное нарушение - неоплата.
- запрос от государственного ведомства (government request)

Конкуренция на рынке создаёт среду в которой и в условиях использования являются сильным конкурентным преимуществом.

И по этой причине я, регистрируясь в Яндекс.Облаке, остановил регистрацию на последней странице формы регистрации и отказался продолжать [2]

Лично меня такие условия не устраивают. Не устраивают и как физ лицо и как, по сути, малый/микро бизнес. В любом случае у не крупного корпоративного потребителя выбор остаётся невелик.

И в итоге вопрос в данном случае и о защите прав гражданина и о защите прав малого и среднего бизнеса, которому условия "импортозамещения" зарубежных сервисов российскими оказываются совершенно не выгодными.

Ссылки:
[1] https://help.mail.ru/mcs/legal/termofuseе
[2] https://www.facebook.com/ibegtin/posts/10155833953273263

Свежая новость
Минюст ужесточает отчетность для НКО [1] и обязывает отчитываться ещё и если деньги поступили от российских юр лиц получивших деньги из-за рубежа. То есть пошли смотреть по второму слою организаций.

Вот мне интересно когда до Минюста дойдёт что его действия не останавливают "третью силу", а разрушают сектор НКО ?

Зарубежные проекты, медийные, общественные и иные могут иметь финансирование и без НКО. Через коммерческие компании, ИП, прямыми договорами физ. лиц с зарубежными организациями, они могут полностью существовать за пределами России, но быть на русском языке, осуществляться в социальных сетях и многое другое.

Даже в части ограничений на иностранное финансирование есть другие, гораздо более цивилизованные и эффективные способы. Подсказывать их не хочу, но они есть.

Ссылки:
[1] https://www.asi.org.ru/news/2018/09/07/minyust-uslozhnil-formy-otchetnosti-nekommercheskih-organizatsij/

#ngo #minjust

По настоящему интересная статья в Ведомостях о том как криптовалюты сейчас используются в Москве [1]. Фактически биткоин заменил не легальные платежные системы, а хавалу.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2018/09/10/780482-kupit-kriptovalyutu

#crypto

Инструменты, истории и сервисы на данных:
- Поиск автора статьи в NYTimes [1] об инсайдере в администрации Трампа через анализ статьи и твитов сотрудников администрации [2]
- Deon. Инструмент проверки на дата этику для дата сайентистов [3]. Полезен всем без исключения для самопроверки. На русский пока не переведён
- Why data culture matters ? [4] Статья в журнале McKinsey о важности культуры работы с данными в организации

Ссылки:
[1] https://www.nytimes.com/2018/09/05/opinion/trump-white-house-anonymous-resistance.html
[2] http://varianceexplained.org/r/op-ed-text-analysis/
[3] http://deon.drivendata.org
[4] https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/why-data-culture-matters

#data

По поводу создания национального центра по кибербезопасности [1] который на днях утверждён приказом ФСБ не могу не отметить что отной реакции на киберугрозы недостаточно. Есть много вопросов по организации мониторинга текущих государственных и ключевых частных информационных ресурсов.

Вот лишь несколько фактов для понимания:
- у большинства официальных сайтов органов власти и государственных информационных систем до сих пор нет HTTPS и уж тем более HTTPS по умолчанию. В том числе на сайтах где есть авторизация по паролю. Пример: письма президенту http://letters.kremlin.ru
- нет мониторинга уявимостей сайтов, как минимум на уровне HTTPS (а ля Pulse в США [2]), как максимум всех госресурсов;
- нет даже единого официального реестра всех госсайтов. Но я веду общественный в репозитория Инфокультуры [3]
- подавляющее число госслужащих для официальной переписки используют почту mail.ru, второй по популярности yandex.ru [4]

Я ещё мог бы многое порассказывать про качество госинфраструктуры в ИТ, но не могу. Скажу лишь что это вопрос не только безопасности, но и приватности данных с которыми государство имеет дело.

Ссылки:
[1] http://safe.cnews.ru/news/top/2018-09-10_v_rossii_sozdan_natsionalnyj_tsentr_po_kompyuternym
[2] http://pulse.cio.gov
[3] https://github.com/infoculture/govdomains
[4] https://www.infoculture.ru/wp-content/uploads/2017/10/RosGosPochta_Otchet_email_v_gosstrukturah_RF-1.pdf

#privacy #security

Моя свежая колонка на РБК по поводу появления Alibaba Russia и проекта MRG, Alibaba, РФПИ и Мегафона https://www.rbc.ru/opinions/technology_and_media/12/09/2018/5b98b7ba9a7947152b7b4073

Колонка большая, поэтому не буду приводить её целиком. Но смысл в том что вместо "импортозамещения" у нас происходит постепенное "китаемзамещение". Вместе с общей хуавеизацией госсектора тенденция эта только нарастает.

Михаил Карякин в Актуальных комментариях пишет о том что государство было, но перестало быть открытым [1] после ликвидации "Открытого правительства" и фактического отказа от направления открытости гос-ва в России.

Если такое впечатление могло сложиться, то это совсем не так.
И вот лишь несколько тезисов:
1. Первый федеральный закон о госзакупках 94-ФЗ был принят в середине 2005 года и начал действовать с 1 января 2006 года, именно он обеспечил доступность информации о госзакупках для граждан
2. 8-ФЗ о свободе доступа к информации был принят в феврале 2009 год задолго до Открытого правительства [1]
3. Само Открытое правительство стало таким под общественным и экспертным давлением. Изначальной идеей Медведева было использовать термин "Большое правительство" как расширение Правительство на пул приближенных экспертов. Мало кто помнит, но они даже использовали домен "bigovernment.ru" долгое время до того как получили "open.gov.ru".
4. Открытого правительства не было в федеральном бюджете никогда. Оно финансировалось через НКО созданное под совсем другие цели и через Внешэкономбанк и, может быть, другие внебюджетные источники.
5. В его составе не было никого кто имел бы практический и ценностный опыт в открытости государства и довольно небольшое число тех кто имел опыт в госуправлении. В итоге первые 1,5 года его сотрудники собирали информацию со среды и пытались сформировать внутренние компетенции с нуля.
6. При этом ценностно никого там близкого к тематики открытости не было, что подтверждается и тем что после распада "Открытого правительства" никто из его участников темой открытости заниматься не продолжил. Это были их функции, а не ценности. В том числе и Михаил Абызов "забил" на открытость ещё до ликвидации "Открытого правительства"
7. При этом изначальная функция ОП как лоббисткая (вспомним "Большое правительство") очень активно эксплуатировалась. Вспомним все те многочисленные рабочие группы "мягкого лоббизма" которое оно создавало.
8. Сама тема открытости там активно размывалась другими темами. Все ключевые направления открытости в мире: открытый диалог, открытые данные, свобода доступа к информации были размазаны по темам более мелким и неактуальным или же были полностью слиты. Так среди десяти механизмов открытости [2] открытые данные были размещены в конец списка, а остальные девять - это лишь маленькие кусочки паззла которые должны ложится в свободу доступа к информации и открытый диалог. Неполные кусочки, потому что ключевых пунктов там нет и связаны они с реализацией 8-ФЗ и нормальными механизмами коммуникациями с граждан. А консультации с общественными советами и экспертными группами туда попали, хотя это всё продолжение вопросов о "мягких формах" лоббирования.

Я могу продолжать ещё долго и я ранее уже писал о судьбе Открытого правительства у себя в блоге [3].
Повторю лишь то что я неоднократно повторял на многих мероприятиях в течении всех лет открытости государства.

"Я занимался открытыми данными до того как государство об этом узнало, я занимаюсь ими вместе с государством когда оно это делает и я продолжу заниматься открытыми данными после того как государство об этом забудет" (c).

Ссылки:
[1] http://actualcomment.ru/ne-boltat-kak-zakrytost-stanovitsya-osnovoy-gosudarstva-1809121751.html
[2] http://opendandard.ru
[3] https://begtin.tech/failed-gov/

#opendata #opengov

Небольшой шаг для человечества, но важный для тех кто думает о приватности. Cloudflare анонсировали [1] шлюз к IPFS [2], децентрализованной p2p файловой системе на основе которой могут существовать самые разные сервисы. Самый очевидный из них - это distributed web, распределённая неблокируемая сеть сайтов.

Cloudflare уже внедляют distributed web gateway [3] и себя как CDN для сайтов использующих IPFS.

Шаг важный потому что Cloudflare - это один из двух крупнейших сервисов интернет-инфраструктуры, по эффекту на Интернет они где-то рядом с Amazon'ом. Если (или когда) IPFS или ZeroNet появятся во базовых браузерах и на мобильных телефонах то вся деятельность того же Роскомнадзора в России и других ведомств в других странах по блокировки по доменам быстро поломается. Но радоваться рано, все ограничения в реализации блокировок основаны на невозможности контролировать конечные устройства пользователей. А это значит что попытки контролировать конечные устройства будут.

Ссылки:
[1] https://blog.cloudflare.com/distributed-web-gateway/
[2] https://ru.wikipedia.org/wiki/IPFS
[3] https://www.cloudflare.com/distributed-web-gateway/

#privacy #ipfs #cloudflare

26 сентября в Москве мы проводим мероприятие, посвященное тому, как открытые данные меняют нашу жизнь (вопрос открытости госфинансов обойти мы, конечно, не можем).

Что такое API и какие проекты можно сделать с использованием открытых данных проекта "Госзатраты"? Где найти данные о всех бюджетных учреждениях? Какое министерство использует ИТ-сервисы и открытые данные для взаимодействия с десятками тысяч учреждений? У какого проекта Министерства культуры ежемесячная аудитория - 1 млн пользователей? Какие данные о вас есть у бизнеса? Стоит ли бояться "большого брата"? Где найти данные о контрактах любого госоргана? - на эти и другие вопросы ответят Тимур Алейников, Иван Бегтин и Артур Хачуян. Участие бесплатно, но регистрация обязательна: https://infoculture.timepad.ru/event/810022/

Как бизнесу работающему с данными защищать свои интересы? Как говорить с государством о регулировании и де-регулировании? Как добиваться открытия данных для коммерческого использования?

Эти и многие другие вопросы мы обсудим на рабочей встрече 28 сентября во ФРИИ. Мероприятие организуется Ассоциация участников рынка данных созданием которой я занимался последние полгода.

Зарегистрироваться на встречу можно по ссылке https://www.facebook.com/events/317758312323781/ или напрямую через Timepad https://aurd.timepad.ru/event/807139/ Подробности по мероприятию можно задавать мне на [email protected] и Александру Фузееву ([email protected])

Ассоциация участников рынка данных будет заниматься защитой интересов бизнеса в части работы с открытыми данными, стандартизации, выработки совместной позиции в отстаивании госрегулирования и наоборот защите от избыточного и ненужного госрегулирования в этой области.

Приглашаю в первую очередь представителей среднего и малого бизнеса принять участие в рабочей встрече и вступать в ассоциацию. Это ассоциация с открытым участием, приглашаются все компании имеющие повестку работы с данными в своей деятельности.

В дальнейшем разделение моей лично активности будет в том что интересы граждан и общества я продолжу защищать от лица АНО "Информационная культура", а интересы бизнеса от лица Ассоциация участников рынка данных.

Пишите мне на [email protected] или в телеграм @ibegtin если будут вопросы.

#data #aurd #opendata

Хабр (Тематические медиа) опубликовал первый в России отчёт о прозрачности (transparency report) [1] о том сколько запросов ему направляют органы власти и как он на них реагирует. Это хорошая новость что такие отчёты публикуются. Со многих точек зрения это очень важный шаг и круто что его делает Хабр и очень жаль что на него не решаются лидеры рынка MRG и Яндекс.

Браво Хабр!

Ссылки:
[1] https://habr.com/company/tm/blog/422967/

#privacy #government

Не могу не обратить ваше внимание что вот уже 3 недели Правительство на своём сайте не выкладывает постановления и распоряжения в разделе "Документы" [1]
И ведь не в первый раз такое.

Ссылки:
[1] http://government.ru/docs/all/?type=102000066_102000496&number=&text=&dt=&dt.till=&dt.since=

#government

Минкомсвязи анонсирует что к 2020 году на все компьютеры ввезённые и созданные в России должен ставится отечественный антивирус [1], а депутаты ещё в июле внесли законопроект о создании системы проверки сведений об абоненте Сотовой связи [2].

Ни то ни другое не являются катастрофическими новостями для приватности граждан, но могут иметь двойное применение, поэтому будет полезно отслеживать что там происходит.

Ссылки:
[1] https://www.kommersant.ru/doc/3745820
[2] http://sozd.parliament.gov.ru/bill/514780-7

#privacy

Я напомню что в среду, 26 сентября пройдёт Дата-среда Дата-среда: «Как открытые данные меняют нашу жизнь» зарегистрироваться там можно по ссылке [1]

где Тимур Алейников , Артур Хачуян и я, и всё это с модераторством Всилий Бурова будем говорить о том как открытые данные меняют нашу жизнь.

Я буду рассказывать про то многое и немногое что мы делаем в АНО "Информационная культура".

Мы проводим много мероприятий и их будет даже очень много в этом году и в начале следующего.

Подписывайтесь на нашу рассылку [2], подписывайтесь на наш канал в телеграм [3], страницу в фэйсбуке АНО "Информационная культура" [4] и пишите Ваши идеи и предложения на [email protected]

Ссылки:
[1] https://www.facebook.com/events/852263484980680/
[2] https://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05
[3] https://yangx.top/infoculture
[4] https://www.facebook.com/InformationCulture/

#opendata #opengov

MRG (Mail.Ru Group) выпустили то что они называют СУБД в облака - облачный сервис для работы с данными [1]. Через сервис предоставляют MySQL и PostgreSQL [2], а MongoDB, Tarantool и Galera обещают по запросу.

Это хорошая новость что российский рынок облачных сервисов развивается и как-минимум 2 российских игрока Яндекс и Mail.ru развивают эти сервисы. Я искренне надеюсь что к ним подтянутся и другие.

Но, не могу Вам не напомнить, что прежде чем использовать сервис Mail.ru внимательно почитайте условия использования [3]. Внимательное чтение условия Яндекс.Облака, например, меня остановило от регистрации там [4], [5]. Условия использования Mail.ru лично я ещё не вычитывал подробно, но подозреваю что тут всё будет также не гладко.

Увы, ничто кроме конкуренции не заставит "толстых котов" Рунета писать условия использования не под себя, а с учётом интересов клиентов.

Ссылки:
[1] https://corp.mail.ru/ru/press/releases/10343/
[2] https://mcs.mail.ru/databases
[3] https://help.mail.ru/mcs/legal/termofuse
[4] https://yangx.top/begtin/1098
[5] https://yangx.top/begtin/1093

#data #paas

Это очень интересный материал, жаль лишь что сам Вконтакте входящий в Mail.ru Group не имеет исследовательского отдела и какого-либо взаимодействия с академическими учреждениями. Внешние данные могут дать очень многое, но даже деперсонализированные данные из Вконтакте могут дать гораздо больше, хотя и понятно что не могут быть открытыми в некоторых аспектах.

​​📈Из каких городов переезжают жить в Москву

Год назад, тогда еще в «ДП», вышел мой материал о том, из каких городов переезжают в Петербург. Теперь вышла вторая серия про Москву - в Strelka Magazine. Все как в прошлый раз: анализ профилей «Вконтакте», сравнение родного города и города проживания. Прокачал работу с точки зрения экспертной оценки - Никита Мкртчян и Надежда Замятина помогли лучше интерпретировать данные. Поменял инструменты визуализации: сделал все в Datawrapper, мобильная версия стала приятнее.

Смотреть: https://clck.ru/ES3zx

Напомню что в репозитории govdomains на github [1] находится наиболее полный на сегодняшний день реестр доменов относящихся к органам власти РФ. Сейчас он актуализирован и довольно существенно пополнился.

В общей сложности это 13766 доменов федерального уровня и 57 субъектов федерации. Охватываются домены относящиеся к органам власти, государственным информационным системам, госпрограммам и разного рода другим госпроектам.

Пока не охвачены все субъекты, но это только вопрос времени.

Зачем нужен этот репозиторий? Вот лишь несколько применений:
1. Архивация официальных сайтов органов власти и их проектов.
2. Мониторинг качества официальных сайтов. Например, наличия HTTPS и качества подключения HTTPS по аналогии с проектом pulse.cio.gov
3. Мониторинг того какой хостинг и сервисы использует государство. Не хостятся ли российские госсайты в странах НАТО например (шутка).
4. Мониторинг не попадают ли госсайты под блокировки Роскомнадзора.
5. Проверка официальных email'ов представителей власти. Такое исследование мы ранее делали, выяснили что у большинства госорганов официальная почта на mail.ru

И так далее. Основное применение для Национального цифрового архива России [2], но может пригодится и другим исследователям Рунета.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] http://ruarxive.org

#opendata #opengov #domains #digitalpreservation

Так сложилось что то чем я занимаюсь и то о чём я пишу в СМИ - очень разные темы. Вот и сейчас в Republic вышла моя колонка " Цифровой профиль и анфас. Будет ли в России свой Синьцзян?" [1] о госинициативах об отечественных антивирусах и о цифровом профиле.

Тема большая, пока малораскрытая в России, о том какие данные граждан и где собираются, о том как общесистемное и специализированное ПО следит за пользователями и не только. Но важнее тут другое. Права граждан в защите от слежки, коммерческой или государственной, сейчас никто не защищает. Максимум что можно услышать - это "пусть вместо западных супостатов за нами следят наши супостаты". А сценарий чтобы никто не следил будет ли когда-либо теперь в нашей жизни? Bли всё, цифровой апокалипсис давно наступил, просто незаметен?

Ссылки:
[1] https://republic.ru/posts/92148

#privacy