Самый сложный вид спорта и рейтинг ESPN

Какой вид спорта самый сложный?
На этот вопрос однозначного ответа нет, поскольку нет объективных критериев оценки.

Но в 2004 году группа экспертов из ESPN (espn.com - самый посещаемый сайт о спорте на тот момент) взялась ответить на этот вопрос. Для этого они взяли 10 ключевых навыков или способностей:

1️⃣. Выносливость (Endurance): Способность долго выполнять физическую или умственную работу.
2️⃣. Сила (Strength): Насколько мощное усилие может приложить человек.
3️⃣. Мощность (Power): Комбинация силы и скорости — способность быстро приложить усилие.
4️⃣. Скорость (Speed): Насколько быстро человек может двигаться или реагировать на что-то.
5️⃣. Ловкость (Agility): Способность быстро и точно менять направление движения.
6️⃣. Гибкость (Flexibility): Способность суставов и мышц растягиваться без травм.
7️⃣. Хладнокровие (Nerve): Умение сохранять спокойствие в стрессовых или опасных ситуациях.
8️⃣. Устойчивость (Durability): Устойчивость к травмам, нагрузке или усталости.
9️⃣. Координация рук и глаз (Hand-Eye Coordination): Способность синхронизировать зрение и движение рук.
1️⃣0️⃣. Аналитические способности (Analytic Aptitude): Способность быстро и эффективно анализировать информацию.

Каждый навык оценивался по шкале от 0 до 10 для каждого вида спорта, где 10 - максимальный навык, необходимый в конкретном спорте (напр, для гимнастики гибкость = 10) После чего оценки всех 10и навыков суммировались и получалась одна общая оценка. Всего оценили 60 спортов. Таблица с оценками каждого вида спорта есть по ссылке. А экспертов с их биографиями можно найти здесь.

Надо сразу заметить, что оценки субъективные, а получившийся рейтинг - также субъективная история, и ближе американскому майндсету. У меня тоже есть вопросы к оценке. Но остановимся на том, что есть, тем более, что на протяжении 20и лет на эти оценки периодически ссылаются (Статья 1, Статья 2). Есть и другие рейтинги.

Итак, топ 5 спортов с оценками:
1️⃣ Бокс (72.4)
2️⃣ Хоккей (71,8)
3️⃣ Американский футбол (68,4)
4️⃣ Баскетбол (67,9)
5️⃣ Борьба (63,5)

Антитоп (самые ненапряжные виды спорта):
5️⃣6️⃣Кёрлинг (27,5)
5️⃣7️⃣ Боулинг (25,4)
5️⃣8️⃣ Стрельба (24,9)
5️⃣9️⃣ Бильярд (21,5)
6️⃣0️⃣ Рыбалка (14,5)

Этот датасет мы визуализировали на MakeoverMonday в 2018 году. Мне тогда было интересно попробовать что-то нестандартное. Выбрал диаграмму Coxcomb ("Петушиный гребень"), она же - Nightingale’s rose. Надо отметить, что диаграмму такого типа использовала Флоренс Найтингейл - одна из пионеров визуализации, для отображения смертности солдат, почти 2 века назад. Диаграмма читерская (как и все круговые), поскольку визуально считывается площадь. Алексей Смагин писал про неоднозначность круговых диаграмм в TJ.

В моём случае каждый сектор со своим цветом отвечает за свой навык, а радиус сектора - за оценку навыка. На визуализации 60 диаграмм, своя для каждого вида спорта и одна общая, где дугами отмечаются оценки всех навыков во всех видах спорта. Получилось нетривиально. Работа называется 📊 "What's the toughest sport of all?". Не на всех браузерах нормально отрабатывают шрифты.

Реализация непростая - в Табло используется денсификация и по 6 табличных вычислений для X и Y. Тогда делал такое первый раз, полдня просидел, но получил что хотел. Всего на визуализации 122 500 точек. У Bora Beran есть статья по созданию таких диаграмм.

На общей диаграмме интересно поизучать крайности - самые высокие и самые низкие оценки каждого навыка. Или найти диаграммы с резко выраженными различиями в навыках (напр., автогонки - максимум Analytical Aptitude и минимум Flexibility). На этой же диаграмме интересно сравнить одни вид спорта с остальными.

Если досконально разбираться в данных и визуализации, то данные - читерские (сами придумали методику, сами проставили баллы), и диаграмма не самая ясная (по-разному может восприниматься человеком). Но это пример попытки оцифровать то, что оцифровать нельзя. И таких примеров много.

А вот интересно, где в этом рейтинге будет киберспорт? 🎮

Конкурс авторских Telegram-каналов

Подал заявку на участие в конкурсе авторских Telegram - каналов. И её приняли 🎆. Интересно принять участие в такой движухе, я не помню чего-то подобного.

Подробнее о конкурсе - на странице: https://tg-contest.tilda.ws
Главный канал конкурса: @tg_contest_main

Заявки можно подавать до 6 июля. Если у вас небольшой авторский канал, пишете сами, а не копируете другие посты, и ERR более 200, смело подавайтесь в своей номинации. Заявок уже более 500.

Главный приз - шаринг ваших постов на аудиторию 250k и новые подписчики.

Мне интересен нетворкинг, просто пообсуждать, чем живёт сообщество в TG.

Голосование за каналы - с 7 по 14 июля.

О чём пишут телеграм-каналы и морфологическая нормализация

В каждом авторском телеграм канале - своя тема, своя стилистика, свои обороты, свои слова. Посты в канале - лицо автора. Поэтому придумал концепцию портретов авторов из слов постов их каналов. По словам сразу понятно, о чем пишет автор.

О чём же пишут авторы?
Можно сразу перейти в комментарии и найти портреты в хайрезе:
1️⃣Павел Дуров и канал @durov_russia
2️⃣ Артемий Лебедев и канал @temalebedev
3️⃣ Максим Спиридонов и канал @mspiridonov
4️⃣ Мой портрет и канал @data_bar

Сделал скрипт, который формирует облако слов из всех постов канала. Вкратце:
1. Выгружается json из канала
2. Забирается только текст из постов
3. Из текста убираются стоп-слова (предлоги, наречия и т.п.)
4. Проводится морфологическая нормализация (об этом ниже)
5. Считается частотность каждого слова
6. Строится облако слов по маске. Маска - черно-белое изображение.

Чем больше размер шрифта, тем частотнее слово. Сразу видно наиболее употребляемые слова. Одна картинка 5120x5120 считается и формируется 10 минут.

Делал раньше такое, и написал статью как это работает. В новой версии хотел добавить морфологическую нормализацию LLM. Но, в итоге, использую библиотеку pymorphy2. Пробовал документ отдавать ChatGPT, но он не смог нормально сделать и сам предложил использовать pymorphy2. Эта библиотека справляется в 95%, но всё-таки есть проблемки.

Морфологическая нормализация - это приведение всех существительных к единственному числу в именительном падеже. Прилагательные - единственное число, мужской род. Давно хотел реализовать и думал применить LLM, но получил неплохой результат с pymorphy2. А вот глаголы в совершенной форме к несовершенной приводить получается только при помощи словаря (это другая морфологическая операция).

Маска - это портрет автора канала. Исходный портрет преобразуется в grayscale и сильно выкручивается яркость с контрастностью, потом изображение инвертируется. Cловами заполняются все тёмные участки. По-хорошему, надо допиливать портреты вручную в фотошопе, но я этого не делал.

Получилось прикольно: слова и портрет автора на одной картинке. Ведь в каком-то смысле, слова автора являются его лицом.

1000 самых известных людей и выставка в Вегасе

На картинке выше моя работа "Pantheon" на выставке визуализаций Tableau Public Gallery в Лас-Вегасе. Всё проходило в рамках конференции "Tableau Conference" в ноябре 2019 года. В одну рамку работа не влезла поэтому получится диптих. Потом работа поехала в Сан-Франциско на большую конфу "Salesforce" и ещё куда-то. Через год её отправили в Россию, но получить не смог - был COVID и проблемы с оформлением документов на получение.

Работа о 1000 самых популярных людей. Делал на английском и русском языках. На русский переводил для OpenDataDay 2020 в Москве. Саша Богачёв приглашал, было круто.

Датасет очень интересный, нашёл его у Andy Cotgrave "Chart of Biography".

Сайт проекта "Pantheon" здесь. MIT (Массачусетский Технологический Институт) придумал методику измерения популярности всех людей на планете по статьям и проанализировал всё что доступно в интернете. Получились ранги известности. Самые известные люди:

1️⃣. Аристотель
2️⃣. Платон
3️⃣. Иисус Христос
4️⃣. Сократ
5️⃣. Александр Великий

Теперь о визуализации. Меня как-то посетила мысль, что разные диаграммы можно попробовать соединить. Просто для того чтобы понять получится ли логично или нет. Первый раз реализовал эту мысль в работе "Freedom of the Press", и её приняли очень хорошо.

А в Пантеоне эта мысль продолжилась, и в ней соединяются несколько визуализаций. Долго не мог найти датасет, а потом увидел проект "Пантеон" и понял что это то что надо. Нравится аналогия, что жизни людей - это нити, пронизывающие пространство. В визуализации соединяются: таймлайн, ранги, категории и карта (откуда родом человек). Сам виз - интерактивный дата-арт.

Визуализация была экспериментом - хотелось посмотреть что получится. А получилось так, что эксперимент отобрали на выставку работ.

14000 открытых IT вакансий на одном дашборде

Большой апдейт проекта анализа IT зарплат VILKY. Расскажу что нового в пет-проекте, с какими проблемами столкнулись и что, в итоге, получилось. Мы всё так же, втроём, понемногу пилим сервис. Последние пару месяцев работали над сбором и обработкой данных.

✅ Что нового?

1️⃣. ДАННЫЕ
Сначала о самом заметном изменении. Мы добавили в дашборд 2 новые платформы вакансий:
🔹FINDER. Этот сервис раньше назывался Finder.vc. Он начал работу в 2020 как сервис поиска удалёнки. Сейчас там не только удалёнка и IT вакансии занимают 10% от всех. Много вакансий для начинающих специалистов. В день там более 10000 активных вакансий. Говорят что каждая вакансия проходит модерацию. Основной ТГ канал сервиса, 300k подписчиков
🔹 VSETI. Сервис IT вакансий, активных в день - более 300. Но важно не количество, а то что много уникальных вакансий. Основной ТГ канал, 57k подписчиков.

Только добавление вакансий этих сервисов увеличило в 4-5 раз общее число вакансий на дашборде. Благодаря Finder, появилось много нетоповых, и их тоже интересно исследовать.

Finder мы собрали вообще весь (2млн+ архивных вакансий). Парсеры Finder были на мне. Рома (пишет в канал Kotolitic) делал парсер для VSETI. Автоматизацию делал Никита.

2️⃣. ETL
Серьёзные изменения в ETL процессах. Полноценно работает DBT, там производятся трансформации данных. Пересмотрена и частично реализована логика сбора вакансий со снепшотов на инкремент. Это и многое другое делал Никита, про всё написал у себя в канале 'Joni in Web'.

3️⃣. AI И LLM
Отказались от YandexGPT - набольшом объёме данных нормализация съедает много денег, надо делать своё. Никита написал на sklearn нормализацию. Яндексу больше не платим 🙂. У вакансий Finder нет скиллов и грейдов, поэтому используем скрипты для их извлечения.

Эксперименты с внешними LLM даром не прошли - мы собрали достаточно информации для понимания того что будем собирать собственными LLM, и для чего LLM не нужны. Например, для сбора минимальной и максимальной зарплат достаточно старых добрых регулярных выражений. Работали с YandexGPT, а он иногда в вакансиях находил какие-то числа (зарплаты), которых нет в описании. Непонятно откуда вообще брал. Дальше планируем эксперименты с предобученной моделью.

4️⃣. ДАШБОРД И ДАЙДЖЕСТЫ
Дашборд допиливался под новые платформы. Сделали дополнительное поле под локацию: части света, выделили Казахстан и Беларусь. Столкнулись с ограничением Гугл шитов. Их используем для обновления даша на Tableau Public (прямо из базы он тянуть не может). У гугл шитов есть предел 10MB на скачивание данных через драйвер Google Drive. Данных стало заметно больше, поэтому, 7 дней выходили за предел. Ограничили историчность двумя днями. Скорее всего, оставим только 1 день - непонятно, кому недельные тренды вообще нужны.
Сделали новые дайджесты по вакансиям с требованиями AI и требованиями 1C.
Дайджесты по специализациям сейчас вылетают по лимиту гугл шитов. Для них отдельно соберём агрегированные данные.

⚠️ Траблы. Их хватало: косяки нормализации LLM, вылеты запросов по памяти, нехватка ресурсов для ETL, ограничения публичных сервисов, тормоза дашборда. Без этого - никуда 😁.

Сейчас 14000 вакансий в дашборде. В базе - несколько миллионов. Почти 70 000 просмотров дашборда за всё время.

Появилось много кейсов для анализа данных. Их присылают пользователи. На реализацию всего времени не хватает, но более четко прорисовываются границы того кому и зачем нужен сервис. Фидбек вдохновляет. Спасибо, что пишете! ❤️

Итоги конкурса TG Contest

Конурс авторских телеграм каналов TG Contest завершился. Результаты опубликовали в главном канале конкурса. Было огненно! 🔥

В заглавной картинке - облако слов из всех постов авторов основного канала. Как видите, пишем про работу 😃

Всё это время мы общались в закрытом канале продактов с авторами. Было интересно. Знакомились, делились мнениями и постами. Сделаем папку каналов продактов и расшарим. Напишу отдельно про это.

Ещё в конкурсе участвовали каналы аналитиков, но категории 'Аналитика' не было, и люди разбрелись по другим категориям. Но всё-таки нашли родственные души во всём многообразии авторов.
Отмечаю два крутых канала, которые буду читать:

😮 'Дневник Гис-аналитика'. Его ведет Александр, преподаватель геоинформатики. В канале много визуализаций геоданных и невероятно красивых карт. Отличный пример того, как человек любит своё дело и рассказывает о нём. Вот минималистический Питер. А это "Магнит vs Пятёрочка" на карте.

😮 'Data Дзен' Олега Дмитриева. Олег пишет о роли лида в IT, аналитику, BI, автоматизацию и жизнь в айтишечке с юмором и мемами. Разбирает дашборды и резюме. Вот здесь свежий видео-разбор даша с хорошей порцией юмора. А здесь - вебинар по UX в BI

Читайте и подписывайтесь 🔥

О чём пишут продакты

Мир становится "продуктовым".

Компании всё чаще строят цифровые продукты: приложения, сервисы, платформы. Даже традиционные отрасли превращаются в технологические компании. А со взлётом возможностей ИИ трансформация проходит на сверхзвуковых скоростях. В таких условиях навык думать как владелец продукта становится универсальным. Такой навык будущего, c ИИ тулами наперевес, даст вам поистине неограниченные возможности создания различного рода сервисов.

В конкурcе авторских каналов "TG Contest" и направлении "Продукты" собрали папку с каналами 22х финалистов.

🔥 Папка - по ссылке "Продакты тут".

Здесь найдёте каналы как динозавров продуктового подхода в бигтехе, так и тех, кто недавно в продуктовой тусовке. Ребята пишут о болях продакт менеджеров, ценностях продукта, метриках, A/B тестах и всём что полнует продактов и пользователей.

Лучи славы и фанфары - победителям конкурса:
🎆 @tobeproduct 'Быть продактом!' (выбор куратора). Канал ведёт Антон, директор по продукту. Здесь много годноты человеческим языком: инструменты, гипотезы и всего того, чем живёт продакт.
🎆 @nemnogoproduct 'Немного продакт' (победитель голосования). Сообщество продактов. Даниил приглашает авторов из разных продуктовых направлений для выступлений и статей. В общем, позитивный движ создают сами люди в продуктовой среде.

Конкурс завершится, но движ был незабываемым. Организаторы обещают в следующем году новый уровень! 🥁

P.S. В заглавной картинке - слова из всех постов 22х каналов. Всего постов - 7500. По традиции - облако слов.

Hard и Soft навыки в IT профессиях. Алгоритмы NLP

Представьте что для любой должности в любой организации у вас есть список всех Hard и Soft навыков плюс описания задач на позициях. Харды - это технологии, инструменты, стек, библиотеки. С софтами сложнее: сюда можно отнести 'управление проектом', 'коммуникацию' и т.п.

Что это даёт?
🟢 Вы знаете стек по командам в каждой компании
🟢 Вы можете кластеризовать компании (лидеры - аутсайдеры)
🟢 Вы можете прогнозировать развитие направления
🟢 Вы можете понять как трансформируется любая должность
🟢 Вы можете искать дефицитных сотрудников с уникальным набором скиллов
🟢 Вы можете примерно рассчитать цену конкретного навыка, если знаете зарплаты
🟢 Вы можете понять куда вам расти и чему лучше обучаться

Таких задач много, можете написать в комменты.

У нас в проекте анализа зарплат в IT VILKY давно стоит задача сопоставления навыков с конкретными должностями. Опираемся на данные вакансий - там указываются навыки и задачи. В самих полях навыков или указывается мало хардов и софтов или вообще ничего.

Сегодня расскажу как научились вытаскивать харды и софты из описания вакансий. Раньше было пару подходов к снаряду:
1️⃣. Использовали ChatGPT, YandexGPT. Проблема - не понимают что именно вытаскивать из описаний вакансий, непредсказуемы, и на миллионах данных слишком дороги.
2️⃣. Пробовали классические ML-инструменты, работали с Sklearn. Часто пропускает важные навыки. Не всегда ясно что надо учитывать а что пропускать.

Сейчас реализован третий вариант, у него точность более 95%. То есть, 95% нужных навыков он вытаскивает из описания вакансии. Не работает с опечатками. Пока не на проде - тестируется. С начала недели сидел с алгоритмами NLP (Nature Language Processing), рассказываю что получилось.

Как работает:
1️⃣. Определяет частотность навыков на базе 620 000 снепшотов вакансий с указанием конкретных навыков и строит таблицу.
2️⃣. Отбрасывает ерунду вроде "Стрессоустойчивости" и "Обучаемости".
3️⃣. В таблице ищет синонимы (Microsoft Excel, Excel, эксель и тп.).
4️⃣. Строит словарь с навыками, частотностью + массивы синонимов.
5️⃣. Удаляет навыки встречающиеся в 1-2 вакансиях. Здесь надо было ещё уками перепроверить.
6️⃣. Проходится по всем описаниям вакансий и ищет навыки и синонимы из словаря. Здесь есть прямой поиск, токенизация (разбиение на слова) и лемматизация (приведение к нормальной форме).
7️⃣. Добавляет поле новых навыков к данным.

В итоге, словарь сейчас - это 1260 наиболее популярных скиллов с синонимами на русском и английском языках. Поиск предсказуемый, без галлюцинаций нейросети.

Что дальше?
Планируем:
- внедрение поиска по скиллам на 📊 дашборде, даже если в вакансии навыки не указаны явно
- расширенный словарь, в том числе с редкими и уникальными технологиями (не для дашборда)

На выходных будет повторная валидация. Если всё ок - внедрим в прод и дадим пользователям.

20 лет Y Combinator и тренды в IT

'Y Combinator' (YC) - легенда венчурного мира. Это не просто венчурный фонд, а настоящая фабрика технологических гигантов. С 2005 года он превратил сотни никому не известных проектов в компании с миллиардными оценками: Airbnb, Dropbox, Stripe, Reddit, Coinbase, Twitch - все они когда-то прошли через YC. Отбор жёсткий - проходят примерно 1-2% от всех заявок - серьёзнее, чем в Гарвард. 9000+ основателей прошли через инкубатор YC, и это лучший нетворкинг в Кремниевой долине.

Почему YC - это IT-оракул?
Фонд видит тренды за годы до бума:

🔸 Big Data, облака, крипта - YC инвестировал на старте.
🔸 Ковид-эра: доставка, видеосвязь и EdTech.
🔸 AI-революция: первые стартапы пришли в 2021, а сейчас каждый первый проект - "AI для чего угодно".

Хотите заглянуть в будущее? Смотрите последние батчи YC.

Для изучения:
🎆 Все компании фонда.
🎆 Все основатели компаний.

Как думаете, кто из нынешних стартапов YC станет следующим "единорогом"?

Фильмы в цифрах. Исследуем данные TMDB и MovieLens

Фильмы любят все! В этот раз я решил сравнить две крупные рейтинговые платформы: TMDB и MovieLens, а заодно поговорить о линейной регрессии и корреляции между метриками.

В основе анализа - данные
'The Movies Dataset'

В датасете 45000 фильмов до 2018 года на разных языках, 26 миллионов оценок фильмов от 270000 зрителей на ресурсе MovieLens. Это один из рейтинговых и рекомендательных сервисов от команды GroupLens. Они публикуют датасеты для задач машинного обучения и построения рекомендательных систем.

Что я сделал:
На основе этих данных создал интерактивный 📊 инструмент-дашборд который позволяет сравнивать метрики фильмов по различным срезам:

Метрики:
🔸 Budget (Бюджет)
🔸 Revenue (Выручка)
🔸 Profit (Прибыль)
🔸 MovieLens Rating (пятибальный рейтинг)
🔸 MovieLens Votes (голоса на платформе MovieLens)
🔸 TMDB Rating (десятибалльный рейтинг)
🔸 TMBD Votes (голоса на платформе TMDB)
🔸 Runtime (длительность фильма)

Разрезы:
🔹 Жанр
🔹 Язык
🔹 Компания
🔹 Год выпуска

Основной инструмент - диаграмма разброса или Scatter Plot.
Диаграмма отображает фильмы точками. Ось X - одна метрика, ось Y - другая. Классические декартова система координат. По каждой категории строится прямая линейной регрессии, отражающая тренд, и вычисляется коэффициент корреляции Пирсона. Для интерпретации используется шкала Чеддока, которая помогает оценить силу и направление связи между метриками.

На все точки сразу смотреть не стоит - желательно выбрать гипотезу и фильтроваться по группам.
Примеры инсайтов:
▫️ Самые убыточные фильмы
▫️ Самые рейтинговые фильмы
▫️ Самый плохой российский фильм
▫️ Есть ли связь между числом голосов и рейтингом
▫️ Перекосы оценок фильмов на разных платформах
▫️ Выбросы в данных

Диаграмма разброса - мощный способ увидеть взаимосвязи и закономерности.
В следующих постах расскажу подробнее:
🔹 что такое линейная регрессия
🔹 как работает коэффициент корреляции Пирсона
🔹 как читать шкалу Чеддока
🔹 как делать выводы из трендов

Это базовые вещи в статистике и анализе. Изучать их на киноданных - одно удовольствие.

✍️ А пока - читайте полную статью с примерами, вычислениями и скриншотами в моём блоге.

Линейная регрессия и курсы валют

Линейная регрессия -базовый, но мощный инструмент, который помогает аналитикам понять связь между двумя переменными и делать прогнозы. В названии слово "линейная" указывает на форму зависимости между переменными. А "регрессия" - возвращение к среднему, как назвал это Фрэнсис Гальтон, наблюдая, что дети очень высоких родителей в среднем ниже их, а дети низких - немного выше. История термина здесь.

В прикладном смысле линейная регресия - поиск линейной зависимости между двумя переменными.

Вы все видели графики курсов валют. Я сделал визуализацию 📊 "Linear Regressiоn EUR USD", где можно:
🔸 изменить фильтры и диапазоны дат
🔸 увидеть, как меняются коэффициенты
🔸 посмотреть, как данные отклоняются от прямой (variance)

Сделал это, чтобы визуально стало понятно: что такое регрессия и как она работает. Добавил шкалу Чеддока - она показывает словами силу корреляции (например, "сильная положительная").

В данных - курс евро относительно доллара за 1,5 года. Цель - найти уравнение прямой, где x - время, а y - курс евро (Rate). Для этого находим коэффициент k - наклон прямой и b - сдвиг по y. Используем метод наименьших квадратов.
🔸 Ковариация (covariance) - показывает направление связи между переменными (>0 обе переменные растут. <0 - одна растёт, одна растёт, другая убывает. 0 - нет связи)
🔸 Коэффициент детерминации (R-squared). Показывает насколько хорошо объясняется регрессия.
🔸 Коэффициент корреляции Пирсона (Pearson coefficient) измеряет силу и направление связи. Значение от -1 до 1.

Коэффициент Пирсона принимает значение от -1 до 1. Чтобы проще было оценивать направлению и силу корреляции, используют шкалу Чеддока для удобной словесной интерпретации.

Все формулы есть внутри воркбука, можно посмотреть как считаются в Tableau.

📊 Главное - визуализация помогает интуитивно понять поведение линейной регрессии: просто меняй диапазон по времени и смотри, как меняются уравнение, коэффициенты. Ну и на собесах такое спрашивают - будет не лишним повторить.