Для тех кто любит работать с данными которые ближе к людям и бизнесу

Статистика отказов жёстких дисков от Backblaze много данных по каждому работающему у них диску и методика их сбора в разделе "The Raw Hard Drive Test Data" [1].

Common Voice Data [2] большой и открытый датасет голосовых данных для обучения алгоритмов распознавания от Mozilla.

Mozilla Location Services публикуют огромный датасет [3] идентификации местонахождения пользователей через Wifi, Bluetooth, GSM, CDMA, LTE и тд.

Ссылки:
[1] https://www.backblaze.com/b2/hard-drive-test-data.html
[2] https://voice.mozilla.org/en/data
[3] https://location.services.mozilla.com/downloads

#opendata #datasets

Jetbrains и Python Software Foundation опубликовали результаты опроса разработчиков на языке Python [1] в котором получили множество ответов и сформировали картину-образ сообщества.

Из интересного и ожидаемого - Python наиболее активно используется для веб-разработки и анализа данных.

В задачах Data Analysis и Machine Learning наиболее заметный рост. На сегодняшний день Python - это язык с невысоким порогом входа для обучения и огромным числом готовых пакетов для обработки данных.

И, конечно же, первичные анонимизированные данные опроса также опубликованы [2].

Если Вы хотите поучиться программировать, но не знаете чему, то попробуйте начать с Python. Это очень хороший стартовый язык, после него несложно учить более тяжелые языки вроде Java и C++, а для задач в обработке данных он годится сразу же.

Ссылки:
[1] https://www.jetbrains.com/research/python-developers-survey-2017/
[2] http://jb.gg/pythondevsurvey2017raw

#python #polls #data

ЦСР опубликовал сегодня Экспертный доклад «12 решений для нового образования» [1] [2], доклад интересный, в нём есть один важный аспект. Чтобы в области образования появились частные инвесторы, должно появиться право регистрации образовательной организации не как НКО. А сейчас этого права нет, все организации имеющие образовательную лицензию являются НКО.
Если удасться сдвинуть этот барьер - то да, это серьёзное изменение всей отрасли образования в России.


Ссылки:
[1] https://www.csr.ru/news/ekspertnyj-doklad-12-reshenij-dlya-novogo-obrazovaniya/
[2] https://www.csr.ru/wp-content/uploads/2018/04/Doklad_obrazovanie_Web.pdf

#csr #research

Роскомнадзор подал исковое заявление в суд об ограничении доступа к информационным ресурсам Telegram Messenger Limited Liability Partnership http://rkn.gov.ru/news/rsoc/news56642.htm

Ждем и готовимся. В итоге всё будет зависеть от позиции Google и Apple по удалению приложений из их магазинов для iPhone и Android. Если не удалят, то и все что делает Роскомнадзор не сработает.

В ФАС России опубликовали обновлённую дорожную карту в сфере информационных технологий [1] [2]

Там многое касается ИТ и телекоммуникаций, всячески рекомендую посмотреть всем кто интересуется что планирует государство делать с отраслью.

А раскрытия информации там касается только одно мероприятие:
—-
Установление требований по опубликованию информации, существенной для организации присоединения к сети связи оператора связи, осуществляющего трансляцию обязательных общедоступных телеканалов и (или) радиоканалов (организованных точках присоединения РТРС). Закрепление безусловного права операторов обязательных общедоступных телеканалов и (или) радиоканалов по присоединению к сети РТРС как напрямую, так и через другого оператора обязательных общедоступных телеканалов и (или) радиоканалов
—-

Ссылки:
[1] http://fas.gov.ru/news/24721
[2] http://fas.gov.ru/attachment/162837/download?1523023270

#it

Моя личная оценка что телеграм будет активно сопротивляться блокировкам, но у ряда пользователей могут возникнуть проблемы с доступом. Так что только в целях перестраховки.

Резервный план:
- почти всё что я пишу тут, я дублирую в Facebook'е https://facebook.com/ibegtin
- скорее всего основной поток сообщений я перенесу на Medium https://medium.com/@ibegtin и на Яндекс.Дзен https://zen.yandex.ru/id/5a315e1300b3dd77beb64261
- Чат про данные у нас продублирован в Slack'е и присоединится к нему можно по ссылке: https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE

#telegram

К жанру регулярных публикаций, хочу добавить жанр риторических вопросов.

Давно меня мучает вопрос, а что такое Рунет? Вот регуляторы же регулярно упоминают российский сегмент сети - так вот где границы Рунета?

Варианты:
1. Все сервера и оборудование в пределах границ Российской Федерации? Но это не охватывает огромного числа русскоязычных и ориентированных на Россию общедоступных ресурсов.

2. Все сайты в зонах .ru, .su, .рф и др? Но они могут хостится где угодно и регистрироваться не только российскими регистраторами.

3. Все сайты, сервера и оборудование российских юридических и физических лиц имеющих российское происхождение? Но у многих двойное гражданство, а российские компании могут держать оборудование за рубежом или, что чаще, арендовать его.

4. Все подсети зарегистрированные на российских физических и юридических лиц? Но они не обязательно развёрнуты в России и не обязательно на серверах в России есть IP адреса только этих подсетей.

Где границы нашей виртуальной родины? И надо ли вообще пытаться их искать?

Чуть было не пропущенный мной документ о котором надо рассказать подробнее.
Распоряжение Правительства от 24 марта 2018 года №500-р. О дополнении перечней общедоступной информации, размещаемой в интернете в форме открытых данных. [1] [2]

Казалось бы благое дело, федеральное правительство обязало власти субъектов федерации раскрытивать довольно подробный список открытых данных связанный с экологией, но, увы, качество этого списка оставляет желать лучшего.

Требования к публикации данных в России не содержат требований не содержат конкретных требований по детализации, частоте, форматам публикации и так далее.

Ничто буквально не помешает властям субъектов федерации публиковать данные агргегированно до субъекта, где-то изображениями, где-то записями в одну строчку, где-то ещё как-то, но не давая объективной картины.

Напомню что в распоряжении ничего нет про разработку стандартов или форматов публикации, нет ничего про формирование групп по разработке таких стандартов, нет ничего про мониторинг исполнения.

Но самое главное - это фундаментальная проблема отказа от "открытости по умолчанию". Это главное отличие движения за открытые данные в мире и международных соглашений в которых Россия не участвует. Открытость данных по умолчанию - это норма, но в России реализуется открытость по принципу "белых списков".

Ссылки:
[1] http://government.ru/docs/31928/
[2] http://static.government.ru/media/files/BK7g66vpKbmWLa7ZUofAKE9W5SfXfWGt.pdf

#opendata #opengov

Появилась краткая версия проекта стратегии от ЦСР на 2018-2024.
Тем, кто любит бродить по страницам:
https://strategy.csr.ru

Тем, кто предпочтет все в одном pdf:
https://strategy.csr.ru/files/strategy2024.pdf

Обсудить можем в https://yangx.top/begtinchat

Вышел отчёт Правительства о деятельности за 2012-2017 годы [1] [2] помимо общих красивых слов там ещё и 3 слайда - 18, 20, 27 напрямую касаются Интернета.

Я воздержусь от подробных комментариев, скажу лишь что в любом отчёте важно не то что там есть, а то чего там нет.

Ссылки:
[1] http://government.ru/news/32246/
[2] http://static.government.ru/media/files/cNe663ge3X6ILtWakxSav3iAbDHKU7y5.pdf

#government #internet

UPD: Обновлённая ссылка на файл http://static.government.ru/media/files/aMdu9yAzBob1HzoOhlhAHVBwQlcJ7Yx7.pdf

А там удалили слайд и несколько заменили. Но у нас же есть архивная копия;)

UPD2: И снова предыдущая ссылка не работает, а новый файл http://static.government.ru/media/files/2cI4nAujPfIo4QJGy7DfEIeoJ7TRV2YJ.pdf

UPD3: Вы будете смеяться, но они его снова обновили (c) http://static.government.ru/media/files/8TfaUa5T8j0a9ATkD7RpSPAqtZTUWlsQ.pdf что-то результаты деятельности Правительства слишком часто меняются;)

Всем кто интересуется открытыми данными и думает как помочь - всегда есть возможность помощи в каталогизации проектов. В Russian awesome open data list [1] на github'е мы собираем такой структурированный каталог, туда можно просто добавлять региональные и федеральные проекты.

Ссылки:
[1] https://github.com/infoculture/awesome-opendata-rus

#opendata #opengov

Как публиковать данные и делать это достаточно просто?

Для тех кто хочет собрать портал открытых данных своими руками:
- CKAN https://ckan.org - один из самых распространённых движков для публикации данных в мире. Изначально создан в Open Knowledge International
- DKAN https://getdkan.org/ - движок для публикации наборов данных на базе Drupal. Также очень популярен в мире
- JKAN https://jkan.io/ - позволяет быстро создавать сайт для открытых данных на базе статических страниц и движка Jekyll. Отличается большой простотой в развёртывании
- UData http://udata.readthedocs.org/ социальная платформа для публикации данных, используется в государственных порталах откртыых данных Франции и Люксембурга.
- Dataverse https://dataverse.org/ - для тех кто готов развернуть сложную инфраструктуру публикации научных данных.

Для тех кто хочет просто опубликовать:
- DataHub - https://datahub.io/ проект Open Knowledge International по публикации данных онлайн, с командной строкой и API
- DataWorld - https://data.world стартап пытающийся стать Github'ом для данных. Продвинутый интерфейс для работы и много интересных возможностей и API
- GitHub - https://github.com - крупнейший хостинг open source проектов часто используется и для публикации данных.
- Internet Archive https://archive.org - многие публикуют в Интернет Архиве крупные наборы исторических данных. Некоторые коллекции достигают десятков терабайт
- Хаб открытых данных https://hubofdata.ru/ - для тех кто хочет опубликовать в России, работает на движке CKAN.

#opendata #data

Сегодня начнётся блокировка Телеграма, но мы улыбаемся и машем, я точно буду дублировать записи в Фэйсбуке на facebook.com/ibegtin, но и телеграм канал никуда не денется.

Open Data Institute открыли сайт посвящённые открытым стандартам публикации данных [1].

Они систематизировали много инициатив по разработке открытых стандартов и форматов публикации данных, разработали рекомендации как разрабатывать собственный стандарт и сводят реестр существующих открытых форматов.

Ссылки:
[1] http://standards.theodi.org/

#opendata #opengov