Обзор рынка дата-инструментов в 2019 году:
- Облачные хранилища данных, дата-конвейеры и платформы для анализа данных;
- Инструменты для бизнес аналитики;
- Инструменты для анализа данных с открытым исходным кодом;
- Новые области и решения, например, собственные сервисы размещения тетрадок (self-hosted notebooks), сервисы управления версиями данных (компании Pachyderm и DVC) и совместной работы (Domino, Dataiku), аналитика в облаке (Sigma Computing) и инструменты для экономии времени на разработку документации API (компании Matillion и Fivetran);
- Функции дата-отдела и чем между собой отличаются дата-аналитики, дата-сайентисты, бизнес-аналитики и дата-инженеры.

Подробнее: https://medium.com/public-comps/data-tooling-market-2019-580e38b7475e

Частная компания построила в США систему массовой слежки за автомобилями. Машины, оборудованные специальными камерами с распознаванием номерных знаков, колесят по стране и фиксируют номера всех машин, которые попадаются на их пути. В базе системы уже более 9 миллиардов записей.

Клиенты компании — частные сыщики и страховые компании. "Пробить номер" стоит всего $20, за $70 можно получить оповещение, если искомая машина будет где-то обнаружена. История перемещения автомобиля может многое рассказать о его владельце: местонахождение его дома и работы, круг общения, бытовые привычки и паттерны поведения.

Журналисты Vice получили доступ к системе и убедились, насколько просто это сделать — достаточно заплатить деньги или найти пользователя системы, который поможет вам найти кого надо.

Правовые нюансы позволяют такой системе слежки легально работать в США: компания успешно защитила своё право работать в нескольких штатах, где на неё подавали в суд. Все фотографии машин сделаны в публичных местах, а это абсолютно законно. Сейчас у системы более 1000 платящих пользователей, после этой публикации наверняка станет больше.

Такова жизнь в современном городе — твои перемещения по городу могут отследить не только городские власти по камерам, но и частные лица по номерам авто. Никакой приватности.

TAdviser проводит ежегодную конференцию IT Government DAY, в рамках которой планируется собрать ИТ-руководителей федеральных ведомств и регионов, чтобы обсудить реформы в области информатизации государственного сектора.

Основные темы:
• Регулирование оборота данных.
• ИТ-архитектура государства.
• Особый порядок создания ИТ-решений в рамках госзаказа.
• Задачи и показатели цифрового развития регионов.

Иван Бегтин выступит в качестве модератора дискуссии, посвященной государственным данным.

Когда: 9 октября 2019 года в Москве.

4 октября Rusbase проведет большую конференцию по большим данным и искусственному интеллекту — Ai Stories.

Мероприятие будет интересно всем, кто уже работает с большими данными или только планирует это делать, а также хочет познакомиться с российским дата-сайенс сообществом.

Спикеры из разных индустрий поделятся кейсами, как правильно выстроить работу команды и определить, какую технологию ИИ и для какой задачи использовать.

Мы выступаем партнером мероприятия и предлагаем вам воспользоваться промо-кодом AURD25 со скидкой в 25% для регистрации на Ai Stories.

Спикеры, программа и билеты на сайте https://techdaysrussia.ru/ai.

Приглашаем на открытую лекцию Ивана Бегтина «Дата-расследования: тысячи иголок с миллионах стогов сена», которая состоится 8 октября в библиотеке Шанинки.

Иван расскажет про три кейса по работе с открытыми данными и электронными документами госучреждений и информационных систем:

- «Слепые закупки» — что это? Латиница и другие способы искажения информации о государственных и муниципальных закупках в целях ограничения конкуренции и поиска сведений.
- Утечка персональных данных с сайтов государственных информационных систем — как более двух миллионов записей с данными россиян оказались в открытом доступе.
- Пиратский софт — использование пиратского программного обеспечения в российских госорганах. На сайте какого органа исполнительной власти не было найдено ни одного документа с признакам нелицензионного ПО?

Необходима предварительная регистрация: http://msses.ru/about/news/4434/?

В РБК вышла моя колонка с критикой обсуждаемого законопроекта по регулированию почтовых сервисов [1].

Самые неприятные последствия что этого что других запретительных законов - это падение привлекательности российской юрисдикции для любых интернет проектов. При таком регулировании цифровой экономики не будет.

Ссылки:
[1] https://www.rbc.ru/opinions/politics/14/10/2019/5da033ea9a79478f25ca783c

#laws #runet

Вышел новый выпуск подкаста «Циферкаст» с председателем Ассоциации участников рынка данных Иваном Бегтиным.

Ведущие обсудили с Иваном концепцию открытого государства и поговорили о степени открытости российского правительства. А также узнали, какие успешные проекты уже реализованы и какие проблемы все еще остаются.

- Google Podcasts: https://clck.ru/HENAc
- Яндекс Музыка: https://clck.ru/HENML
- Apple Podcasts: https://clck.ru/JRqK2
- VK https://clck.ru/JcQnS
- Spreaker: https://clck.ru/JRqGi

Центр перспективных управленческих решений открыл исходный код системы формирования и визуализации аналитических показателей деятельности госорганов под названием «Мониторинг текущей деятельности организации».

Система собирает данные для расчета основных показателей деятельности, рассчитывает их в режиме реального времени и визуализирует результаты. Это позволяет оценить эффективность деятельности организации по основным показателям и сделать работу более прозрачной.

Код: https://github.com/cpurano/open-source
Подробнее: https://cpur.ru/news/open-source

Приватность в современном мире: оставили ли технологии место для секретов и личного информационного пространства

5 ноября в рамках клуба «Строгинские вторники» Иван Бегтин расскажет, как влияет новая цифровая реальность на приватность частной жизни и что об этом может сказать смена этических норм и понятий.

Регистрация: https://miem.hse.ru/announcements/315104161.html

Наши коллеги из Deworkacy Big Data [Hub] формируют профессиональное сообщество участников рынка данных: от студентов и начинающих дата-сайентистов до коммерческих организаций.

Планируются открытые митапы:

- 26 ноября – Big Data для ритейла
- 28 ноября – Big Data для медицины
- 2 декабря – Big Data-эволюция в ВТБ.

Узнать подробнее о пространстве и запланировать участие в митапах можно на сайте: http://bigdata.deworkacy.ru.

6-7 марта 2020 года в Москве пройдет День открытых данных — крупнейшее ежегодное событие, которое помогает продвигать концепцию открытых данных среди органов государственной власти, бизнес-корпораций, некоммерческих организаций и гражданского общества. По традиции событие объединит экспертов из разных профессиональных областей, которые обсудят роль открытых данных и преимущества их использования для развития общества.

Программа мероприятия в этом году включит в себя следующие тематические направления:

- Открытые государственные данные.
- Государство и бизнес: участники рынка данных.
- Данные НКО для социальных изменений.
- Дата-журналистика.
- Open Data Science.
- Город и пространственные данные.
- Дизайн и визуализация данных.
- Данные и социальные науки.

Участие бесплатное, обязательна регистрация. Подробности и программа мероприятия: opendataday.ru/msk.

Счетная палата предоставила бесплатный доступ к API портала «Госрасходы». СМИ, ВУЗы, госорганы и НКО могут создавать социально-значимые приложения и сервисы напрямую подключаясь к данным:

- О контрактах (94-ФЗ, 44-ФЗ, 223-ФЗ) и заказчиках, связанных с этими контрактами;

- О федеральных субсидиях, их получателях и распорядителях бюджетных средств;

- О национальных проектах, федеральных проектах, связанных с ними субсидиях и контрактах, получателях и распорядителях средств, отведенных на нацпроекты.

Подробности и документация доступны по ссылке: https://spending.gov.ru/pages/devs_api.

Инфокультура проводит первый в 2020 году конкурс микрогрантов на создание и развитие проектов на основе открытых данных и с открытым исходным кодом. Принимаются проектные заявки по следующим темам:

- Открытые данные;
- Роботизированная или цифровая журналистика;
- Цифровая архивация;
- Цифровые права и этика данных.

Важное требование ко всем проектам — полное раскрытие исходного кода с использованием свободных лицензий. Проекты оценят:

- Иван Бегтин, директор и соучредитель АНО «Информационная культура»;
- Василий Буров, соучредитель АНО «Информационная культура», член экспертного совета при Правительстве РФ;
- Михаил Петров, директор Департамента цифровой трансформации Счетной палаты Российской Федерации;
- Мария Шклярук, академический директор Центр подготовки руководителей цифровой трансформации ВШГУ РАНХиГС.

Общая сумма грантового конкурса составляет 300 тысяч рублей. Заявки на получение гранта принимаются до 24 февраля в свободной форме на эл. почту [email protected]. Результаты и победители конкурса будут объявлены 6 марта на День открытых данных в Москве.

Подробнее о требованиях к проектам, условиях и этапах конкурса: https://www.infoculture.ru/microgrants.

Иван Бегтин прокомментировал текущее положение дел в России в части открытости государства и его данных. О том, что необходимо было сделать и не поздно сделать сейчас для того, чтобы концепция открытости соответствовала современным реалиям, – в обновленном Бюллетене Счетной палаты.

Как вы считаете, какие ключевые проблемы стоят на пути к открытости государства? Обсудим 6-7 марта. Приходите на День открытых данных 2020!

6 марта на дискуссии «Будущее пространственных данных в России» обсудим возможные направления развития индустрии.
Есть ли потребность у российского рынка и граждан в качественных пространственных данных и сервисах? Какие пространственные данные должны быть открытыми и почему?

Участники дискуссии:
🔹 Андрей Медведев, заведующий лабораторией картографии Института географии РАН, Куратор направления «Геоинформационные технологии и пространственное моделирование» факультета географии и геоинформационных технологий НИУ ВШЭ.
🔹 Андрей Пирогов, руководитель группы маркетинга АО «Ракурс».
🔹 Максим Дубинин, генеральный директор NextGIS.
🔹 Виктор Рудой, директор департамента по взаимодействию с сообществами в России и СНГ компании HERE Technologies.

Модератор: Maria Bobrinskaya, руководитель направления геоинформационных технологий «Новая Земля».

Регистрация на День открытых данных в Москве: https://opendataday.ru/msk
#OpenDataDay #ODD2020 #ODDMoscow

7 марта приглашаем на воркшоп «COVID-19: Как смоделировать распространение коронавируса?».

Как анализ графов может показать, где наиболее вероятно появятся новые очаги заражения? Что такое иммунизация сети и насколько эффективно закрытие границ? Как использовать открытые данные и SIR-модель (Susceptible-Infectious-Removed) для оценки опасности эпидемии?

Преподаватели: Дмитрий Сергеев, Senior Data Scientist ŌURA, руководитель курса по машинному обучению OTUS, и Филипп Ульянкин, аналитик в Яндексе.

Используя различные источники открытых данных, ведущие воркшопа продемонстрируют, как можно смоделировать распространение болезни по всеми миру.

Рекомендуем участвовать в воркшопе с собственными ноутбуком. Желательно, но не обязательно, понимать Python-код.

Регистрация на День открытых данных в Москве: https://opendataday.ru/msk
#OpenDataDay #ODD2020 #ODDMoscow

Иван Бегтин @begtin – о том, почему “перезапуск открытости” стал центральной темой Дня открытых данных в Москве 2020, какие проекты будут представлять спикеры и эксперты, и для кого мы ежегодно проводим это мероприятие.

Регистрация https://opendataday.ru/msk

Инфокультура запускает серию вебинаров о приватности данных.

3 июня в 15:00 приглашаем вас на первый вебинар «Цифровой профиль россиянина: право на приватность». В программе: обсуждение принципов разработки платформы «Цифровой профиль», государственных супераппов и сервисов, созданных на основе личных данных граждан.

Эксперты обсудят режимы владения данными и право распоряжаться ими, а также кибербезопасность и риски централизации данных.

Спикеры:
- Иван Бегтин (@begtin), директор АНО «Инфокультура»;
- Светалана Белова, генеральный директор компании «Датамания»;
- Саркис Дарбинян, партнер Центра цифровых прав, адвокат в сфере киберправа;
- Василий Буров, соучредитель АНО «Инфокультура»;
- Олег Качанов, заместитель министра цифрового развития, связи и массовых коммуникаций Российской Федерации.

Для участия необходимо зарегистрироваться: https://infoculture.timepad.ru/event/1324757.

Всем зарегистрированным участникам придет ссылка для подключения в Zoom.

10 июня в 15:00 (мск) приглашаем вас на вебинар «Защита приватности во время борьбы с пандемией».

В России государством внедряются разные технологии для контроля передвижения людей в период «самоизоляции». Однако сервисы работают с ошибками и имеют много проблем: СМИ сообщают о рисках утечек персональных данных, гражданам выписываются неправомерные штрафы за нарушение карантина, а также нет нормативно-правового регулирования сбора, обработки и уничтожения этих данных. Как это можно изменить, чтобы была польза для общества, обсудят:

- Иван Бегтин, директор АНО «Информационная культура»;
- Артем Козлюк, руководитель РосКомСвобода;
- Борис Зингерман, руководитель направления цифровой медицины «Инвитро», член экспертного совета по информационно-коммуникационным технологиям Минздрава РФ;
- Алексей Раевский, генеральный директор Zecurion.

Модератор: Василий Буров, соучредитель АНО «Информационная культура».

Для участия необходимо зарегистрироваться: https://infoculture.timepad.ru/event/1331585.

Представители бизнес-организаций выступили против правительственного законопроекта, который запрещает перепродажу выписок из Единого государственного реестра недвижимости (ЕГРН). Свои претензии (есть у РБК) к документу, уже принятому в первом чтении, направили в Госдуму Ассоциация участников рынка данных и Национальный совет финансового рынка. Против запрета выступает и комиссия Российского союза промышленников и предпринимателей (РСПП) по медиаиндустрии и предпринимательству в информационной сфере.

Подробнее на РБК:
https://www.rbc.ru/economics/04/09/2020/5f4fb1259a794707a992ca09

В Коммерсанте вышла статья [1] "Фабрика-цифра"
Там есть и мой краткий комментарий, но на самом деле он был не краткий и я написал много тезисов, но журналисты сократили их и значительно.

Вот что я думаю про это:
1. На многие данные и механизмы взаимодействия с гражданами у государства есть безусловная монополия. Например, это данные о юридических лиц, или данные цифрового профиля гражданина или данные о платежах граждан в бюджет (ГИС ГМП) и ещё много другого. Бизнес ищет возможности как доступа к данным, так и возможности интеграции с сервисами государства для расширения возможностей их продуктов. Например, банки хотят оказывать госуслуги, а многие хотят пользоваться авторизацией в ЕСИА (Госуслуги) и так далее

2. Проблем довольно много и не последняя из них в отсутствии чётко сформулированной, последовательной и подкрепленной реальными полномочиями и инструментами их применения государственной политики в области данных. Единственная более-менее крупная инициатива в этой области о которой можно упомянуть - это НСУД (Национальная система управления данными) которая из большой регуляторной инициативы выродилась в модель для точечного применения корпоративных принципов управления данных к ограниченному число систем, относительно контролируемых правительством. При этом в остальном в России остаётся ситуация которую в западной прессе называют digital mandarins (цифровые "мандарины"), а в русской традиции правильнее называть "цифровыми царьками". Большинство органов власти существуют в своих полу-замкнутых отраслевых колодцев, а Минцифры было и остаётся лишь одним из органов власти с весьма куцыми полномочиями. В итоге в регуляторике очень много ограничений, у нас реально десятки "тайн" такие как: гостайна, служебная тайна, тайна следствия, адвокатская тайна, врачебная тайна, налоговая тайна, персональные данные и ещё много всего что ограничивает раскрытие и/или передачу данных из ГИС третьим лицам.

3. Я бы сказал что очень многое зависит от этих возможностей и проработанности предложений Ассоциации больших данных. Не видя их текста трудно сейчас сказать насколько они проходимы, но я как руководитель другой ассоциации АУРД, состоящей из игроков среднего и малого бизнеса считаю что здесь важно чтобы реакция государства учитывала что в стране существуют не только монополисты крупный цифровой бизнес, но и развитый средний и малый бизнес также желающий работать с ГИС и с данными государства.

И, конечно, больше открытых данных нужно всем.

Ссылки:
[1] https://www.kommersant.ru/doc/4539873

#data #opendata