ДИТ Москвы тут затеял с помощью анализа данных выявлять тех кто сдаёт квартиры всерую в Москве [1]

Этой их "благой цели" мешает только то что граждане в целом не дураки. ДИТ будет парсить крупные агрегаторы, а граждане перебираться в соц сети и доски объявлений помельче.

Вся история с серой сдачей квартир в Москве решается не через данные, как бы я данные не любил.

Она решается через:
1. Создание сети доносителей и из числа соседей и недовольных наймодателей через передачу им до половины штрафа с владельца за незаконную сдачу.

2. Введение ответственности за посредничество, введение лицензий для риэлторов и запрет на эту деятельность без лицензии с жуткими запретительными штрафами. Разместил объявление и не хозяин? Получи 200 тысяч штрафа.
https://agile-bpa.18f.gov/working-with-us/our-project-team/
3. Массированная общественная кампания по защите прав нанимателей. Городская система регистрации договоров найма, единый реестр договоров найма и тд. Типовые договора найма, госуслуга и тд.

Не, ДИТ это просто милые котята, я могу гораздо более "людоедское" регулирование придумать. Надо только раскопать свои записки на эту тему 5 летней давности.

Обращайтесь, если что.

Ссылки:
[1] https://www.rbc.ru/business/20/07/2018/5b508bb59a7947b1f3f535f3

#data #nodata

Я, наконец-то, доделал то о чём думал лет 10 - выложил в открытый код алгоритм по извлечению новостей из веб-страниц. Он упакован в библиотеку newsworker [1] для Python и её также можно установить через PyPi "pip install newsworker" и увидеть там в общем числе пакетов [2]

В репозитории на Github'е много примеров того как библиотека используется, кроме того у неё есть дополнительные методы позволяющие находить RSS ленты на сайтах. Документация только на английском, но там довольно всё очевидно.

Библиотека применима для всех сайтов из которых надо извлекать новости, но которые не отдают RSS. Писать парсер под каждый очень трудоёмко, поэтому ещё 2008 году я сделал этот инструмент для подписки на новости которые надо было отслеживать.

Эта библиотека лежит в основе моего бота в Telegram'е @FeedRetranslatorBot [3] который создаёт поток новостей из RSS лент и веб-страниц в выбранный телеграм канал.

С помощью этой библиотеки бот собирает новости с таких сайтов как:
- Московский финансовый форум http://www.mff.minfin.ru/news/
- ГАС Управление http://gasu.gov.ru/news
- Издательство Московской патриархии https://www.rop.ru/novosti
- GovInsider https://govinsider.asia/
- ЦСР https://www.csr.ru/
- Пресс-центр Счетной Палаты http://audit.gov.ru/press_center/
- Портал аудиторской деятельности http://rar.gov.ru/news/allnews

и многие другие. Я могу сказать что на 2018 год до сих пор не более чем у половины сайтов есть RSS/ATOM ленты. Некоторые платформы вроде Яндекс.Дзен не делают экспорт в RSS осознанно, стараясь удержать пользователей.

Сейчас нет коммерческого или некоммерческого проекта кроме этого бота где я мог бы этот алгоритм применять. Кроме того в моём понимании он несколько устарел и я его воспринимаю как маленький кусочек по автоматическому преобразованию сайтов в базы данных/API. Задача которой я, увы, уже совершенно не могу себя посвятить. Работа данными у меня уже много лет более актуальна, чем работа над новостной агрегацией.

Ссылки:
[1] https://github.com/ivbeg/newsworker
[2] https://pypi.org/project/newsworker/
[3] https://yangx.top/@FeedRetranslatorBot

#news #opensource #scrapers

Создал отдельный канал с новостями Минцифры и Роскомнадзора. Это будет канал именно с их событиями, а не с нормативной работой. Как всегда спасибо @begtin и его прекрасному боту.
https://yangx.top/ru_comnews

Google, Facebook, Twitter и Microsoft совместно анонсировали Data Transfer Project [1], проект по стандартизации обмена данными между платформами. Это включает данные в виде контактов, фотографий, файлов на дисках и многое другое. Подробнее в white paper [2] с примерами и описанием реализации и акцентом на то что и другие сервисы могут подтягиваться поддерживая стандарт.

Кроме того весь проект сделан открытым, с открытым кодом выложенным онлайн [3].

Обратите внимание что:
- это совместная инициатива 4-х крупнейших облачных сервисов и соцсетей для физ. лиц, Фактически совместно они задают правила игры на этом рынке и не столько опасаются перетеканием пользователей между их платформами сколько заинтересованы во влиянии на другие сервисы
- для меньших сервисов, вроде того же Яндекса или Mail.ru это может быть вопрос или использования стандарта или самоизоляция от него. Неизвестно что будет хуже для их бизнеса.
- кстати, ни один из российских крупнейших сервисов сейчас не даёт возможности выгрузить все Ваши действия в нём при удалении аккаунта.

Ссылки:
[1] https://datatransferproject.dev
[2] https://datatransferproject.dev/dtp-overview.pdf
[3] https://github.com/google/data-transfer-project/blob/master/Documentation/Developer.md

#data #datatransfer

Ведомости пишут что: "PwC включил Москву в топ-5 мегаполисов по организации медпомощи" [1]
и публикуют картинки из этого рейтинга [2]. Тем временем я напомню простую истину - no data, no truth.

Нет данных, нет правды.

В исследовании PwC [3] есть красивые графики, картинки и фото из фотобанков, но нет данных на которых оно было основано. Его невозможно проверить и поэтому ему очень сложно поверить.

Ссылки:
[1] https://www.vedomosti.ru/economics/articles/2018/07/18/775777-pwc-moskvu-top-5
[2] https://cdn.vdmsti.ru/image/2018/5i/1erkq9/fullscreen-1tsj.png
[3] https://www.pwc.ru/ru/publications/health-research/issledovanie-effectivnosti-zdravoohraneniya-v-gorodah-mira.pdf

#opendata #transparency

"Есть данные, есть правда" (c)

Я немного расскажу вам о том как устроено с открытым исходным кодом в мире государства и общественных проектов и о том с сколь тесно это переплетено.

Правительство США ведёт открытую разработку 4776 репозиториев на Github'е. Эта работа проводится 140 федеральными органами власти и в ней участвует 820 разработчиков - это совокупность уникальных членов команд создавших эти 4776 репозиториев.

В Великобритании 53 органа власти опубликовали 5169 репозиториев над которыми работает 183 разработчика.

В Канаде 42 органа власти, 713 репозиториев и 181 разработчик.

При этом надо отметить что не все эти разработчики дают одинаковый команд. Ключевая команда везде включает около 10-15% от команды и это именно те разработчики кто наиболее активно работает над проектами.

Параллельно с теми проектами которые в режиме открытой разработки ведут органы власти и их подрядчики, существует большое явление Civil Hackers. Это разного рода неформальные группы и НКО, такие как Open Knowledge International, движения Code for All, Code for America и просто разрозненная плеяда проектов и НКОшек или некоммерческих проектов коммерческих команд.

Эти проекты выражаются в 10074 репозиториях созданных 273 НКО и неформальными группами и в этой работе участвует 1968 разработчиков по всему миру.

Этот код созданный Civic hackers активно используется самими органами власти. Подавляющее число порталов открытых данных создано на базе движка CKAN с доработками внутри органов власти. А движок был разработан в Open Knowledge International.

Большое число проектов по работе с обращениями граждан, мониторингу сайтов, работе со справочниками, обработке данных и многое другое создавалось этими неформальными группами.

Многие разработчики из этих НКО переходили на госслужбу или же работали как внешние фрилансеры и команды.

Часть этих команд самоорганизовывались сами, вроде Rewiring State в Великобритании, часть существовали в как технологические НКО такие как Sunlight Labs и OKFN, некоторые поддерживались в рамках Google Summer of Code и другими крупными технологическими гигантами, а многие работали в рамках государственной поддержки, грантов и конкурсов.

Вначале шло формирование экосистемы и на неё вырастал принципиально иной подход к разработке госпроектов.

США, Канада и Великобритания не единственные страны в которых есть подобная политика открытой разработки кода.

Такая госполитика есть во всех странах Большой семерки (G7), в большинстве стран ОЭСР, G20 и Евросоюза. Причём это только по итогам анализа Github, а есть организаций создающие свои открытые репозитории на базе Gitlab'а.

Всё что меня лично останавливает от рейтинга стран по открытости кода в государственном управлении - это то что Россия там будет на последнем месте.

И, конечно, все данные откуда эти цифры взяты из обновлённых данных проекта Open source government [1] на data.world.

Там есть и подсчитанные агрегированные данные и первичные данные в архиве для самостоятельного изучения data scientist'ами.

Ссылки:
[1] https://data.world/ibegtin/open-source-government-project

#opensource #opendata #opengov

Тем временем Ростех рапортует об успешном внедрении технологии распознавания лиц от NTechLab в мониторинг болельщиков на ЧМ [1], об этом же пишут Ведомости [2], не вникая глубоко в текст пресс-релиза Ростеха, а по сути лишь транслируя основные идеи.

Есть некоторая правда в том что такие технологии сейчас внедряются во всех странах которые могут себе это позволить, есть также правда в том что в России они наиболее бесконтрольны и отсутствие у нас глобального "Большого брата" обусловлено исключительно ожесточенными конфликтами между всеми правоохранителями: МВД, Следственным комитетом, ФСБ, Прокуратурой, Минюстом и Росгвадией.

Ссылки:
[1] http://rostec.ru/news/krazhu-sponsorskogo-kubka-chm-2018-predotvratili-blagodarya-sisteme-raspoznavaniya-lits-ntechlab/
[2] https://www.vedomosti.ru/politics/news/2018/07/26/776624-sistema-raspoznavaniya-na-chm-2018

#data #privacy

Каких тем должно быть больше на канале?
public poll

Открытые данные – 29
👍👍👍👍👍👍👍 25%

Дата журналистика – 24
👍👍👍👍👍👍 21%

Обзоры проектов и международной практики – 17
👍👍👍👍 15%

Любые государственные данные – 13
👍👍👍 11%

Реформа госуправления – 11
👍👍👍 10%

Открытость государства вцелом – 9
👍👍 8%

Приватность и безопасность – 7
👍👍 6%

Что-то другое – 5
👍 4%

👥 115 people voted so far.

К вопросу о том как измерить эффект от открытия данных. Если кратко, то очень сложно. Эффект несомнненно есть, но все примеры реального социального или экономического эффекта необходимо выискивать и с большим трудом. Немного кейсов хорошо разобрано, чаще просто общая информация о пользователях.

Вот несколько примеров.

На портале Евросоюза опубликовано 300 примеров использования и раскрытия данных в странах Европы [1]. Увы, никаких подробностей, только самое базовое описание.

Проект Open Data 500 [2] от исследователей The GovLab собирает большой каталог, но и там без детального рассмотрения каждого примера.

Те же The GovLab собрали 19 примеров в проекте ODImpact [3] и разобрали их очень подробно.

The Open Data Institute в Великобритании ведёт каталог поддержанных им стартапов [4], а в Tech World подробно рассмотрено 22 подобных стартапа [5], компании работающие с открытыми данными поименованные на angel.co [6] (всего 72 компании) и по теме открытости государства [7] (101 компания).

Главный вопрос здесь и всегда - достаточно ли тема открытых данных самодостаточна для рассмотрения с точки зрения бизнеса?

Ответ, увы, скорее нет чем да. Более 5000 стартапов, только на angel.co, связаны с рынком больших данных [8], их доходы несопоставимо выше чем доходы стартапов работающие с открытыми данными и открытыми данными государства в частности.

С точки зрения бизнеса вся тема открытых данных погружена в тему больших данных и данных вообще, автономного рынка только открытых данных не существует. Коммерческие компании берут открытые данные и смешивают их с данными внутренними, купленными, закрытыми и непубличными. Как результат создают новые продукты где открытые данные были лишь одним из ингредиентов, но как измерить эффект именно этого ингредиента на финальное "блюдо" ?

Поэтому измерения эффекта именно от открытых данных столь сложно излагаемы и столь неполны. Но, безусловно, примеры как ODImpact показывают и прямой эффект именно от открытости данных.

Ссылки:
[1] https://www.europeandataportal.eu/en/using-data/use-cases
[2] http://opendata500.com/
[3] http://odimpact.org/
[4] https://theodi.org/global-network-directory/odi-startups/
[5] https://www.techworld.com/picture-gallery/startups/-innovative-uk-companies-using-open-data-3613884/
[6] https://angel.co/open-data-3
[7] https://angel.co/open-government-1
[8] https://angel.co/big-data

#opendata #opengov #data

Inside Airbnb [1] небольшой частный проект по сбору и визуализации данных из Airbnb по отдельным городам
У него неофициальный общественный статус и все данные там открыты, а также доступны интересные визуализации по отдельным городам, например, Берлин [2] или Торонто [3].

России там нет, хотя было бы немало интересно с данными по крупнейшим российским городам поработать, сравнить влияние ЧМ-2018 на структуру предложений.

Ссылки:
[1] http://insideairbnb.com
[2] http://insideairbnb.com/berlin/
[3] http://insideairbnb.com/toronto/

#opendata

Как устроена цифровая трансформация госуправления в мире у лидеров? На самоорганизации тесном взаимодействии одной из основ которого является относительно молодая группа стран Digital 7 (D7) ранее именовавшаяся Digital 5 (D5) [1].

Группа сформировалась в 2014 году и туда вошли: Эстония, Новая Зеландия, Израиль, Южная Корея и Великобритания. В феврале к ней присоединилось ещё две страны: Канада и Уругвай.

Работа группы основана на 9 принципах которые я процитирую прямо из их хартии [2]:
3.1. User needs — the design of public services that work for the citizen
3.2. Open standards — technology requires interoperability and so a clear commitment to a credible royalty free open standards policy for software is needed
3.3. Open source — where possible all future Government systems, tradecraft, manuals and standards are created as open source and are shareable between participants
3.4. Open markets — in government procurement create true competition for companies regardless of size. Encourage and support a start-up culture and promote economic growth through open markets
3.5. Open government (transparency) — be a member of the Open Government Partnership and use open licences to produce and consume open data
3.6. Connectivity — enable an online population through comprehensive and high quality digital infrastructure
3.7. Teach children to code — commitment to offer all children the opportunity to learn to code and build the next generation of skills
3.8. Assisted digital — a commitment to support all its citizens to access digital services
3.9. Commitment to share and learn — all members commit to work together to help solve each other’s issues wherever they can

Все перечисленные страны D7 активно вкладываются в открытые данные, все кроме Уругвая, Израиля и Южной Кореи ведут открытую разработку кода, и все без исключения имеют внутренние политики работы с открытым кодом.

Ссылки:
[1] https://en.wikipedia.org/wiki/Digital_5
[2] https://www.digital.govt.nz/dmsdocument/28-d7-charter/html

#opengov #digitalgov

Дата журналистам на заметку.

1. Заходите на сайт Газпроммежрегионгаза в раздел "Крупнейшие должники за газ"
http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/

2. Парсите данные любым удобным Вам образом и превращаете в CSV или JSON где у Вас должны быть поля:
- наименование организации должника
- сумма задолженности
- наименование субъекта федерации
- наименование федерального округа в который субъект федерации входит

3. Открываете Википедию (или Wikidata) и скачиваете таблицу с населением страны по субъектам https://ru.wikipedia.org/wiki/Население_субъектов_Российской_Федерации

4. Открываете Википедию (или Wikidata) и скачиваете таблицу ВРП по субъектам https://ru.wikipedia.org/wiki/Список_субъектов_Российской_Федерации_по_валовому_продукту

5. На этих данных считаете рейтинги:
- субъектов по общей задолженности
- субъектов по задолженности на 1 человека
- субъектов по задолженности к ВРП

6. Аналогично для федеральных округов

7. Полученные цифры визуализируете любым удобным Вам образом

8. Вуаля! Отдавайте результат в любое федеральное издание, особенно в те которые сейчас активно чморят власти Московской области.

Потому что кто будет анти-лидером рейтинга я уже вам как бы подсказал.
#datajournalism #ddj #opendata

А вот и свежие новости цифровизации.

мероприятие
http://audit.gov.ru/press_center/news/34031

Алексей Кудрин: Счетная палата станет одной из площадок цифровизации

Если Вы ещё не читали, То очень рекомендую прочитать актуальную стратегию Счетной Палаты [1] особенно если Вы хотите знать какое ведомство будет отвечать за и влиять на открытость государства в России в ближайшие годы.

Это лишь отчасти ответ на вопрос как организована будет открытость государства в отсутствии "Открытого правительства", скорее лучше чем хуже потому что теперь рычаги влияния и полномочия будут реальными.

Ссылки:
[1] http://audit.gov.ru/about/document/strategy-2018-2024.php

#opendata #opengov

ФНС опубликовали свежие данные, а дата журналисты моментально проверили их на корректность и аномалии [1]

Во первых ФНС спасибо что работают по модели data-first. На рынке достаточно компаний и достаточно журналистов которые умеют работать с данными и сами создадут сервисы, а ФНС делают всё правильно.

Во вторых я считаю что публикация данных с ошибками и возможностью их исправления важнее чем отказ от публикации.

Особенно приятно что многие журналисты сразу создают интерактивные публикации [2]. Мы в Госзатратах [3] (проект по мониторингу госрасходов и госконтрактов) думаем не организовать ли небольшой конкурс для тех кто на основе данных ФНС и на основе данных по госконтрактам сделает интересную визуализацию, например, на данных по госконтрактам в связке с данными о среднесписочном числе сотрудников.

Пока конкурс мы не объявили, но точно будем проводить хакатон осенью, а пока если у Вас будут интересные визуализации по связке этих данных, пишите на [email protected]

Ссылки:
[1] https://vc.ru/43074-fns-v-rossii-nashlis-dve-kompanii-so-shtatom-bolee-600-tysyach-chelovek
[2] https://www.rbc.ru/economics/02/08/2018/5b62c4659a79473c2cd07ae1?from=center_3
[3] http://clearspending.ru

#opendata #opengov

Microsoft (команда Bing) опубликовали данные по распознанным образам 124 миллионов зданий в США [1] специально для сообщества OpenStreetMap и для загрузки в OpenStreetMap под свободной лицензией ODbL [2]

Все данные и код они же выложили на Github [3], а вся работа - это результат работы алгоритма RefineNet [4] где, конечно же, не обошлось и без глубокого обучения и CNTK (Microsoft Cognitive Toolkit) [5]

Во первых очень круто что крупнейшие дата-корпорации всё таки делятся данными с открытыми проектами, я бы сказал что российским есть с кого брать пример, но в России только Яндекс 5 лет назад помогал Wikidata [6], а сейчас, похоже, что и им не помогает.


Ссылки:
[1] https://blogs.bing.com/maps/2018-06/microsoft-releases-125-million-building-footprints-in-the-us-as-open-data/
[2] https://opendatacommons.org/licenses/odbl/
[3] https://github.com/Microsoft/USBuildingFootprints
[4] https://arxiv.org/abs/1611.06612
[5] https://github.com/Microsoft/CNTK
[6] https://www.wikimedia.de/wiki/Pressemitteilungen/PM_06_13_Wikidata_Yandex

#opendata #microsoft #bing

Inter-American development bank (Межамериканский банк развития) [1] выпустил брошюру "Открытые данные в Латинской Америке и на Карибах" ("Los datos abiertos en América Latina y el Caribe") [2]

Много сравнений и примеров того что происходит в Латинской Америке и на Карибах, примеры проектов, сравнение позиций в индексах открытости и многое другое.

Брошюра только на испанском, но сложной испанской лексики там нет, читается довольно легко.

Ссылки:
[1] https://www.iadb.org
[2] https://publications.iadb.org/handle/11319/8983

#opendata #opengov

Московский комсомолец с большим запозданием пишет о результатах аудиторской проверки "Карты Российской науки" [1], я писал об этом 29 июня [2] сразу после публикации сведений о результатах аудиторской проверки [3].

Самое странное что кто-то ещё и поднял страничку сайта mapofscience.ru [4] где ничего кроме главной страницы нет, а самое характерное - полное молчание со стороны руководства ГПНПБ и Прайсвотерхаус Куперс.

А вся эта история - она про чувство меры. В России есть много ИТ систем которые существуют только на бумаге и не только из-за коррупции, а ещё из-за смены законодательства или, реже, реальных проблем с внедрением. Но негласное правило в том что если стоимость системы превосходит некую планку - она должна существовать и быть в открытом доступе.

Попытаться делать систему с огромными расходами, в изначально конфликтной среде, изначально с сильным медийным вниманием и изначально со спорной архитектурой и идеей и думать что это сойдёт с рук - это в высшей степени авантюризм, в России заканчивающийся, как правило, уголовными делами.

Ссылки:
[1] https://www.mk.ru/politics/2018/08/02/na-skandalnuyu-kartu-rossiyskoy-nauki-potratili-450-millionov-rubley.html
[2] https://yangx.top/begtin/994
[3] http://audit.gov.ru/press_center/news/33645
[4] http://mapofscience.ru/

#opendata #opengov

В качестве напоминания. В свободное от общественных и коммерческих проектов время я немного сам программирую. В основном то что мне же самому нужно и что может пригодится другим.

Пример такого - это @FeedRetranslatorBot в телеграме которые перенаправляет новости из RSS каналов на сайте и просто страниц где есть новости в телеграм каналы. Бот был сделан для того чтобы заменить разного рода новостные читалки, а для удобства вместо категорий новостей чтобы можно было создать себе новостные каналы и в них транслировать то что интеерсно.

Особенность именно @FeedRetranslatorBot в алгоритмах внутри которые извлекают новости из сайтов у которых нет экспорта в RSS. Примеры:
- сайт ЦСР http://csr.ru/
- раздел пресс-релизов Лукойла http://www.lukoil.ru/PressCenter/Pressreleases
- отдел по церковной благотворительности РПЦ http://www.diaconia.ru/news/diaconia
и многие другие

Для того чтобы извлекать оттуда новости бот использует библиотеку newsworker https://github.com/ivbeg/newsworker которая как раз и извлекает из HTML заголовки, даты, ссылки и текст новости. Это даёт возможность охватить ещё и те источники новостей которые можно упустить при медиамониторинге.

Новости собираются в режиме от 15 до 30 минут, если не возникает проблем с первоисточником, например если он не банит внешних ботов как это иногда бывает с сайтом Роскомнадзора, например.

Бот работает на принципе forever free, создан не для монетизации, а для личного удобства (как я уже говорил он мне нужен для замены RSS читалок). Большая часть его кода открыта или будет открыта на github'е.

На основе бота уже создано множество каналов:
- Правительственный дайджест https://yangx.top/govdigest : новости администрации Президента, Правительства, ключевых министерств и мозговых центров
- Контрактная система https://yangx.top/gzcontracts : новости электронных торговых площадок, сайта госзакупок и других источников регулирования российской контрактной системы (государственной)
- Госфинансы https://yangx.top/govfin : новости Минфина, Казначейства, ФНС России и другие новости по госфинансам
- Московский патриархат https://yangx.top/mospatriarhia новости Московского патриархата и всех его синоидальных отдела (без учёта митрополий и епархий)
- Open Data Digest https://yangx.top/opendatadigest : международные новости про открытые данные
- Open Government Digeest https://yangx.top/opengovdigest : международные новости про открытость государства
- Data is Good https://yangx.top/dataisgood : международные источники про данные и алгоритмы
- Крупнейшие компании https://yangx.top/topcorpnews : новости топ 20 российских компаний по рейтингу РБК 500 (Газпром, Лукойл, Ростех и др)

Кроме того многие публичные каналы создают пользователи.
Например, Фил Кулин (канал Эшер II, https://yangx.top/usher2, https://usher2.club) создал такие каналы:
- Лента новостей с regulation.gov.ru https://yangx.top/ru_regulation : поток новостей по законопроектам для публичной реакции
- Новости Минцифры и Роскомнадзора https://yangx.top/ru_comnews : новости этих двух ведомств соответственно

Не все возможности реализованы, как я писал - вначале бот готовился для себя и лишь позже открыт для всех желающих.

Из того что запланировано:
- веб-интерфейс с документацией и каталогом общедоступных каналов (для тех кто решит их публичить)
- API и утилита командной строки для управления подписками
- монитор доступности сайтов с новостями (не заблокировали ли бота)
- упрощение горизонтального масштабирования

Вы также можете создать свои каналы с помощью этого бота. Он реагирует на команду /help, а мне можно задавать вопросы и пожелания в https://yangx.top/begtinchat.

#newsdigest #digest #feedbot

Коммерческие проекты по работе с данными на которые стоит обратить внимание. Даже если не для того чтобы купить, но для того чтобы понимать как и куда движется рынок. В основном он движется в интегрируемость и в облака.

Моделирование данных
- LookML https://looker.com/platform/data-modeling
- Matillion https://www.matillion.com/etl-for-redshift/

Извлечение, загрузка и преобразование данных
- Alooma https://www.alooma.com/
- Qubole https://www.qubole.com

Записные книжки (Data notebooks)
- Nurtch https://www.nurtch.com/
- Datadog Notebooks https://www.datadoghq.com/blog/data-driven-notebooks/ (часть их большего продукта)

Аналитика
- Looker https://looker.com
- Periscope Data https://www.periscopedata.com/
- Mode https://modeanalytics.com

Интеграция (оркестрация)
- Fivetran https://fivetran.com/

#data #tools