Какие data-стартапы бывают и успешно развиваются.

Стартапов основанных на данных по всему миру возникает довольно много. Некоторые из них основаны на открытых данных данных, другие на создании удобных интерфейсах работы с данными компаний и частных лиц, третьи на алгоритмах помогающих придавать любым данным новое качество.

Накопив какое-то количество описаний data-стартапов я их разместил их описание заметкой в блоге. Подробнее тут https://begtin.tech/data-startups/

#opendata #data #startups

Правильная работа с негативом - это общаться с аудиторией и объяснять, объяснять и ещё раз объяснять. Nat Friedman, будущий CEO Github'а подробно ответил на вопросы разработчиков на Reddit'е в жанре AMA (Ask Me Anything) [1]. За год это самая популярная тема на Reddit по числу комментариев, их там более 1400+ и второй по популярности по просмотрам.

Я бы сказал что это хороший кейс для российских стартаперов и глав компаний, но в России такая практика большая редкость.

Ссылки:
[1] https://www.reddit.com/r/AMA/comments/8pc8mf/im_nat_friedman_future_ceo_of_github_ama/

#github

70+ корифеев интернета (luminaries) включая Тима Бернерса Ли, Винта Сёрфа и многих других хорошо известных в Интернет-среде и ИТ подписали письмо обращение к Президенту Европарламента [1] о необходимости отмены статьи 13 в проекте директивы о копирайте в Директиве единого цифрового рынка )Directive for Copyright in the Digital Single Market Directive).

Эта статья требует немного немало, а обязательной премодерации всего контента который пользователь загружает на платформы. Её цель - защита правообладателей и её не без оснований считают директивой вводящей государственную слежку за материалами пользователей и интернет-цензуру.

Директива ещё не принята, возможно ещё есть время на её изменение и, кстати, не стоит полагать что российские платформы с user generated content это не затронет.

Текст письма по ссылке: [2]

Ссылки:
[1] https://www.eff.org/deeplinks/2018/06/internet-luminaries-ring-alarm-eu-copyright-filtering-proposal
[2] https://www.eff.org/files/2018/06/12/article13letter.pdf

#privacy #censorship

В эпоху HTTPS государствам гораздо сложнее фильтровать интернет, невозможно заблокировать конкретную страницу, необходимо блокировать сразу весь домен поскольку при фильтрации ссылки за HTTPS не видны. Это одно из не многих, не единственное, последствие массового внедрения HTTPS от крупнейших до самых незначительных сайтов.

Существенное изменение в сетевой инфраструктуре переводит государственную цензуру в законодательное и иное регуляторное воздействие на платформы собирающие пользовательские данные, всё созданное и публикуемое пользователями онлайн, обязывая платформы вводить премодерацию и исполнять выписанные им предписания. То как платформы платформы взаимодействуют с такими запросами и пользователями приобретает всё более значительную роль.

31 мая EFF опубликовали обзор 2018 года [1] крупнейших платформ США по наличию у них публичных политик удаления материалов, возможности делать такие запросы легально, уведомлению пользователей о том что их материалы снимаются (с объяснением почему), предоставлению возможности оспаривания и ограничениями блокировки контента по территориальному принципу, если это возможно.

Под оценку попали сервисы таких компаний как:
- Apple
- Google (Alphabet)
- Facebook
- Microsoft
- Twitter
и многие другие.

Оценки большей части далеко не блестящие, но, например, Youtube, Apple Store и Google Play получили оценку по всем 5 направлениям, остальные так или иначе хуже.

Подробнее в таблице сравнения сервисов [2] и в итоговом отчёте [3]

Ссылки:
[1] https://www.eff.org/who-has-your-back-2018#introduction-government-censorship-in-the-age-of-https
[2] https://www.eff.org/files/2018/05/31/whyb-2018-chart-3b.pdf
[3] https://www.eff.org/files/2018/05/31/whyb_2018_report.pdf

#privacy #censorship

В Великобритании правительство открыло ключевые части OS MasterMap, картографических данных выского качества. Официальный анонс [1] и детальное описание публикуемых данных [2].

Данные публикуются с акцентом на поддержку малого бизнеса для которого приобретение данных является существенной нагрузкой для их бюджета.

Ссылки:
[1] https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/716023/OSMM_narrative.pdf
[2] https://www.gov.uk/government/news/unlocking-of-governments-mapping-and-location-data-to-boost-economy-by-130m-a-year

#opendata

Финансовый отчёт норвежского государственного пенсионного фонда
- за 1 кв 2018 г. https://www.nbim.no/contentassets/2d7320021b0e40b7bb6a45c3d827a635/government-pension-fund-global---1q-2018-report.pdf
- годовой отчёт за 2017 г. https://www.nbim.no/en/transparency/reports/2017/annual-report-2017/
- и отчёт о владении (ownership report) http://www.folketrygdfondet.no/getfile.php/132669-1495538600/Download%20center/Ownership%20reports/Ownership%20report%202016.pdf
- официальная статистика всех пенсионных фондов Норвегии https://www.ssb.no/en/pensjonsfond

Это примерно всё что я думаю про Пенсионный Фонд РФ не только в контексте грядущего повышения пенсий, но и самого смысла его существования.

Дополню для журналистов которые хотят писать по этой теме. Если Вы просто пройдётесь по сайтам государственных фондов сравнимых с Россией пенсионных систем и сделаете _сравнение их открытости_ Вы сами всё поймете.

#opendata #opengov

Январское исследование IDB: Open Up guide: Testing how to use opendata to combat corruption in Mexico [1] довольно подробно описывает процессы раскрытия и использования данных о деятельности государства в Мексике и как они используются обществом для противодействия коррупции.

Исследование короткое, но полезное, с методикой описания видов и оценки качества данных и их применимости.

Ссылки:
[1] https://drive.google.com/file/d/1de9WwYhUsgY8LJLnQmDJY3RyM2Lw1TN7/view

#opendata #mexico

Какие корпорации раскрывают открытые данные? Довольно многие, большая часть тех которые хантят специалистов по работе с данными в свои исследовательские подразделения.

Так, специальный сайт открытых данных есть у Microsoft Research [1], а Facebook Research содержит раздел с наборами данных [2] на своем основном портале.

Google и Amazon предоставляют доступ к чужим большим данным через Google Big Query Public Datasets [3] и Registry of open data on AWS [4].

Yahoo уже много лет раскрывает данные для некоммерческого использования в проекте WebScope [5], а Mozilla собирает и публикует данные записи голоса в проекте Common Voice [6]

Публикация данных коммерческими компаниями, особенно с open source корнями, не является чем-то редким. Это довольно частое явление с практическими результатами - привлечение квалифицированных кадров.


Ссылки:
[1] https://msropendata.com/
[2] https://research.fb.com/downloads/?type=1818
[3] https://cloud.google.com/bigquery/public-data/
[4] https://registry.opendata.aws/
[5] https://webscope.sandbox.yahoo.com
[6] https://voice.mozilla.org/ru

#opendata

Не то что бы неожиданно, но всегда удивительно что открытость очень тяжело даётся НКО. Некоммерческие организации, казалось бы, должны создавать общественное благо, максимально широко доносить эту информацию до жертвователей и потребителей их услуг.

Но реальность такова что как раз некоммерческий сектор сложнее убедить открыть хоть что бы то ни было по сравнению с коммерческими компаниями и тем более с государственным учреждениями и органами власти.

За всё время взаимодействия с сектором НКО я встречаю в нём многократно меньше тех кто разделяет ценности открытости и прозрачности чем среди предпринимателей и чиновников и тем ценнее те кто эти ценности разделяет.

Мы в Инфокультуре обеспечиваем открытость нашей работы очень давно. Обычно нехватало времени на то чтобы её систематизировать, но это то что мы исправляем в последние годы.

Что мы делаем?
1. Мы публикуем информацию о деятельности организации по стандарту информационной открытости [1] на специальной странице на нашем сайте [2]. В дальнейшем там будет больше информации о наших добровольных обязательствах по раскрытию. Включая декларацию о доходах руководителя (меня), политике приватности, политике открытости проектов, этическому кодексу и так далее. При том что организация существует не на пожертвования граждан (они есть, но их очень мало), тем не менее мы считаем нашу открытость необходимой.
2. Мы обеспечиваем открытость исходного кода публикуя множество кода в открытом доступе на Github [3]. Принципиально мы бы хотели раскрывать исходный код всех проектов которые мы ведем и вести режим открытой разработки, но тут мы сталкиваемся с ограничениями юридического характера когда некоммерческий проект делается на контрактной основе или грантовой и заказчик не может или не имеет право открывать код. Тем не менее открытый код - это наша базовая ценность.
3. Мы открываем максимум возможных данных которые публикуются на Github'е и на Хабе открытых данных [4]. Большая часть этих данных собрана нами из других источников, но мы стараемся публиковать их максимально возможно.
4. Наши проекты и проекты которые мы ведем если содержат данные внутри то всегда предоставляют открытые данные или API [6]
5. Документы и материалы которые мы публикуем распространяются под свободными лицензиями Creative Commons или Public Domain.
6. Все видео мероприятий которые мы записываем мы публикуем онлайн [7]
7. А новости проектов собираем на канале в Телеграм [8]

Если бы мы ещё и умели собирать пожертвования от граждан и их доля была бы существенной, то мы обеспечивали бы и ещё большую открытость.

У меня перед глазами немало международных примеров на которые мы равняемся. И цель нашей открытости в том что сравнивать нас будут не с российскими организациями, а с аналогичными НКО существующими в других странах - тех кого называют civil hackers.

Как-нибудь я сделаю небольшой обзор того как технологические НКО в мире раскрывают о себе информацию и тогда будет понятно что всё что мы практикуем, это просто базовая культура существования в современном мире. В этом нет ничего выдающегося, это просто такая же норма как чистить зубы и не плевать под ноги прохожим.

Ссылки:
[1] http://www.donorsforum.ru/projects/tochka-otschyota/informatsionnaya-otkrytost/
[2] https://www.infoculture.ru/disclosure/
[3] http://github.com/infoculture/
[4] https://hubofdata.ru/organization/infoculture
[5] https://clearspending.ru/opendata/
[6] https://openngo.ru/api-docs/
[7] https://www.youtube.com/channel/UCve6269kQEJ1LW52HXKtTng
[8] https://yangx.top/infoculture

#opendata #opengov #ngo

“When I look back at 2010 me, I think I had this naïve idea that tech would save government,” confessed Jen Pahlka, the founder of Code for America, a civic-tech nonprofit.

В The Atlantic статья "Civic Tech in a Time of Technopessimism" [1] о технопессимизме, размышления Jen Pahlka о наивном времени 2010 года когда ещё можно было бы предполагать что технологии могут изменить государство. Сейчас Jen пишет о том что не технологии, а люди и результаты должны быть в центре внимания, любого проекта, в том числе в сфере гражданских технологий.

Для понимания контекста - Code for America это движение с 75 постоянными сотрудниками и 22 тысячами волонтеров в США которые разрабатывали государственные и муниципальные приложения, приложения для граждан в рамках конкурсов и хакатонов.

Ссылки:
[1] https://www.theatlantic.com/technology/archive/2018/06/civic-tech-in-a-time-of-technopessimism/563696/

#opengov #opendata

Одна из особенностей государственной информатизации и госполитики в ИТ - это квалификационное б&$*ство.

Заключается оно в том что оценка по квалификации компаний участвующих в конкурсах производится на исключительно формальной основе. Компания подаёт документы в которые набивает максимум сотрудников с докторскими, кандидатскими и другими степенями которые нужны только и исключительно для баллов на конкурсе.

Любая, даже самая базовая проверка, покажет и подтвердит что большая часть команды заявленной на конкурс не только не участвует в последующей работе, но и принципиально для неё не нужна.

По русски это называется подлог, но сами игроки на рынке называют это "правилами игры". Они мало чем отличаются от правил игры со СНИПами и ГОСТами на стройке которые формально все соблюдают, а по факту главное построить так чтобы последущий контроль и не знал как всё оно создано на самом деле.

Это же вопрос к наличию липовых диссертаций и диссертаций с плагиатом - все они являются следствием массового др&$*ния граждан и госрегулирования на образование которое и привело к блокирующим деятельность профстандартам и многим, кстати, отчасти сословным ограничениям во многих структурах.

Особенно остро это чувствуешь когда исследуешь как формируются команды цифровой трансформации, digital teams, в странах которые мы постоянно приводим в пример. Я успел посмотреть Канаду, США, Новую Зеландию и Австралию. У них там только два критерия для minimal qualification:
- гражданство
- подтверждение опыта (мотивационные письма, рекомендации, резюме и образование как дополнение к этому).

При этом даже эти требования они описывают как "мол извините, у нас тут бюрократия, ничего с этим нельзя поделать".
А у меня ощущение что даже требование к гражданству они в итоге скорректируют поскольку уж очень напрашивается трансфер технологий между, как минимум, англосаксонскими странами и странами ЕС (в ЕС это проще).

Все самые идиотские проявления российского регулирования в имитационности и описанное Выше лишь один из очень многих примеров.

#digital

Роскомнадзор теперь будет называться "Фед.Служба по надзору в сфере цифрового развития, связи и массовых коммуникаций" МинЦифры вскоре разработает требования к: - параметрам качества услуг связи,
- элементам и объектам инфраструктуры цифровой экономики
-приложениям, устанавливаемым на оборудование пользователя , в том числе предустановленным производителем средств связи -организует использование механизмов производства BigData Подробности см. http://regulation.gov.ru/Files/GetFile?fileid=aba8b336-b5e2-43c2-9301-7c5572d9af62

Визуализация бюджетов земель Германии в проекте Offener Haushalt [1] с открытым кодом [2]. Полезная особенность что весь проект сделан на Jekyll и собирается в статический сайт. Выглядит очень неплохо.

Полевое руководство Open Up Field Guide о том как планировать публикацию открытых данных [3] от Open Data Charter.

Открытые данные по матчам чемпионата мира по футболу 2018 года [4] в рамках проекта Open Football [5]


Ссылки:
[1] https://offenerhaushalt.de/
[2] https://github.com/okfde/offenerhaushalt.de
[3] https://drive.google.com/file/d/1itEjUOzSdn35K0o7VLoxrYzKHEwASYKV/view
[4] https://github.com/openfootball/world-cup
[5] https://github.com/openfootball
#opendata

Мне не верят, но это так - я не только занимаюсь общественными и коммерческими проектами, но и стараюсь находить время на то чтобы напрограммировать чего-нибудь простого и полезного.

Одна из таких штук - это @FeedRetranslatorBot (https://yangx.top/@FeedRetranslatorBot), агрегатор новостей превращающий их в каналы в Телеграм.

В своё время я делал его для того чтобы не самому искать новости, а так чтобы новости находили меня. Учитывая что на множество телеграм каналов и так подписываешься и читаешь то и логично выглядело создать несколько каналов по тематикам и собирать туда новости регулярно.

Так вот @FeedRetranslatorBot именно это и делает. Создаёшь канал, добавляешь его туда с правами на делать посты, добавляешь ему этот канал командой /channel и добавляешь в туда подписки командой /add

Все это описано в его справке вызываемой по /help

Особенность бота в том что он поддерживает новостные ресурсы без RSS. То есть ему можно скормить и RSS ленту. Например RSS лента сайта Правительства http://government.ru/all/rss/, а можно и дать ссылку на раздел с новостям, но без RSS. Пример, сайт ЦСРа http://csr.ru

Если RSS ленты нет то в сервисе срабатывает мой давний алгоритм "Скиур", он умеет извлекать новости из HTML.

С помощью этого бота работают такие каналы как:
- Правительственный дайджест https://yangx.top/govdigest
- Контрактная система https://yangx.top/gzcontracts
- Open Government Digest https://yangx.top/opengovdigest
- Open Data Digest https://yangx.top/opendatadigest
- Data is Good https://yangx.top/dataisgood
- Госфинансы https://yangx.top/govfin

Они все не про популярное, а скорее в форме канала заменяющего подписки на RSS. Общедоступного канала.

Так же работает и канал Инфокультуры https://yangx.top/infoculture туда транслируются все новости Инфокультуры со всех проектов - Госзатраты, Открытая полиция, сайт ИК и тд.

Так что бот это бесплатный и общедоступный сервис, им уже пользуются другие и создают свои каналы.

А это же и пример почему экосистема телеграма так удобна, я думал о том как воспроизвести это всё в других мессенжерах и никак не выходит, они просто не дают такой возможности.

#open

Счётная Палата опубликовала результаты проверки "Карты Российской науки" [1] с ожидаемыми выводами о серьёзных нарушениях и множестве других не менее интересных фактов о том как этот проект делался.

О проекте ещё в 2013 году писали коллеги из Киберленинки, а настойчиво защищала его Екатерина Шапочка [2], с 2012 года партнёр PwC в России [3], но выступавшая на заседании в Минобре от Правкомиссии по открытости.

Конфликты интересов не такое уж сложное явление, интересно сколько ещё их вылезет за эти годы? Вернее, сколько из них выйдут на свет.

Ссылки:
[1] http://audit.gov.ru/press_center/news/33645
[2] https://habr.com/company/cyberleninka/blog/205394/
[3] https://www.rvc.ru/about/governance/consult/shapochka/

#opengov

В догонку к теме карты российской науки, сайт проекта давно закрыт, но архивная копия нами сохранена - https://hubofdata.ru/dataset/mapofscience-org-2013-12-10

​​Dark patterns - это уловки в интерфейсе, с помощью которых разработчики управляют поведением пользователей. Условия, прописанные мелким шрифтом; большая кнопка "Принять" и маленькая "Отклонить"; включение настроек по умолчанию, автовоспроизведение следующего трека/ролика и так далее. Если вы когда-нибудь пытались отписаться от почтовой рассылки Linkedin, вы понимаете о чём речь.

Норвежский Совет по защите потребителей выпустил отчёт с критикой dark patterns, которые угрожают приватности данных пользователей. Под раздачу попали интернет-гиганты - Google, Facebook и Microsoft. Очень познавательный документ, почитайте.

Хитрые дизайнеры Гугла и Фейсбука делают поп-апы с яркой кнопкой "Принять" и бледной "Подробнее", нужные настройки включают по умолчанию, используют тонкие формулировки, за которыми сложно распознать реальную их суть - и всё ради того, чтобы получить от пользователей согласие на сбор и обработку персональных данных. Кстати, у Microsoft в этом плане дизайн менее обманчивый.

Норвежским защитникам потребителей респект - хороший отчёт сделали, интересно почитать. Скандинавская дотошность! Ну а от гуглофейсбуков ничего другого и не ждёшь, только хитростей и уловок ради увеличения прибыли.

Кстати, если вдруг не видели, почитайте нашумевший текст бывшего сотрудника Google про 10 приёмов хитрого дизайна, которые технологические сервисы используют, чтобы украсть наше внимание и время.

О том как создавать востребованные data порталы и вовлекать НКО и госструктуры в публикацию данных.

Проект HumData [1] - это центр, стандарты и портал по раскрытию информации о гуманитарных катастрофах и усилиях по их предотвращению.

Созданный управление по координации гуманитарных вопросов ООН (UN OCHA) проект представляет собой центр по работе с гуманитарными данными [2] в рамках которого создаётся портал для обмена данными, стандарты раскрытия информации и координация получателей поддержки и участников инициатив по публикацию собранных ими данных.

Его важное отличие в том что это НЕ портал раскрытия информации о деятельности ООН и НЕ портал открытости НКО, это коллаборативный ресурс где кроме данных НКО и кроме данных структур ООН публикуются ещё и все те данные которые им самим нужны в работе.

Поэтому там можно найти данные из проектов OpenStreetMap [3], проекта OurAirports [4] и многое другое. Данные разделены не по организациям, а по группам и темам.

Так, там можно найти данные разделённые по странам [5] и по ситуациям затрагивающим множество стран [6].

Пример этого проекта - это одна из наиболее зрелых инициатив по работе с открытыми данными, поскольку она следует важному принципу сформулированному в Open Data Charter - "Publishing with a purpose". Публикация с заранее определенной целью.

HDX - это портал с заранее определенной целью, содействие кооперации в совместном предотвращении гуманитарных катастроф.

Ссылки:
[1] https://data.humdata.org
[2] https://centre.humdata.org/
[3] https://data.humdata.org/organization/hot
[4] https://data.humdata.org/organization/ourairports
[5] https://data.humdata.org/group
[6] https://data.humdata.org/ebola

#opendata

По поводу формирования нового-старого правительства.
Вот объясните мне почему:
1. До сих пор нет сайта "Министерства высшего образования и науки"
2. На сайте министерства образования и науки минобрнауки.рф до сих пор публикуются новости, а в сайт Министерства просвещения он не преобразован

Оба органа власти нарушают положения 8-ФЗ "Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления" от 09.02.2009 и ряд других нормативно-правовых актов следующих из этого закона.

И я впервые такое вижу что через полтора месяца после решения о создании ФОИВов их сайтов всё ещё нет.

Напомню что надзор за соблюдение 8-ФЗ осуществляет Генеральная прокуратура

Сразу много новостей о государственных информационных системах.

Минфином России подготовлен проект закона, устанавливающего основы систематизации и гармонизации информации в РФ [1]. Если законопроект примут то Минфин станет не только финансовым мегарегулятором, но и мегарегулятором в управлении данными. Особенно интересно появление всероссийского реестра информационных ресурсов упомянутого в статье 13.

Единый государственный реестр заключений экспертизы проектной документации объектов капитального строительства [2] пока непонятно содержит ли что-то поскольку поиск не даёт результатов, но выглядит как новая ГИС. При том что в реестре ФГИС её найти не удалось.

Обновился ФГИС Координация информатизации [3] включая их открытые данные [4], но внутри не работает поиск по ФГИС, а информация о ФГИС введена даже без форматирования текстов, пример Государственная интегрированная информационная система управления общественными финансами "Электронный бюджет" в разделе " Cведения об источниках финансирования создания, эксплуатации, модернизации ФГИС: "

Ссылки:
[1] http://regulation.gov.ru/projects#npa=80844
[2] http://egrz.ru
[3] https://portal.eskigov.ru/
[4] https://portal.eskigov.ru/opendata
[5] https://portal.eskigov.ru/fgis/336

#opendata #data