Друзья, всем привет!
Конец года для многих напряжённое время, нужно успеть сделать все дела и закрыть задачи💻 Но Новый Год и каникулы уже совсем близко!🌟
Если вдруг станет скучно, держите интересную идею для подарка досуга - навыки Алисы📱

Что это такое?
С точки зрения пользователя, навык — это приложение для Алисы, в которое можно перейти через каталог, подсказку в Алисе или назвав определенную активационную фразу. Такое приложение может выполять абсолютно любую функцию, вот несколько наглядных примеров:
- помощник в изучении английского
- включение подсветки в колонке Алисы
- 7-минутная тренировка
- помощник одного банка для оплаты счетов
- игра по изучению айтишного сленга

Вообще, примеров и идей в каталоге довольно много (сейчас более 4000 навыков), но если вам захочется создать что-то своё - будь то игра или помощник для бизнеса - это очень просто релизовать самостоятельно😊 Любой пользователь может разработать абсолютно любой навык Алисы, используя, например, питон и особые схемы обработки запросов.
Сперва нужно продумать сценарий диалога, а затем оформить его в интенты - это задачи, которые пользователь формулирует в конкретной реплике. Интенты необходимо заполнять по форме, подобной словарям. После этого можно бесплатно задеплоить навык в Яндекс-облако.
Подробнее все детали, инструкцию и примеры можете найти в официальной документации. Или если лень читать, можно узнать ключевые моменты из их мини-курса😉

С наступающим Новым Годом!!!🎄🎅🎁

#полезный_ии@data_easy

С Наступившим, друзья!
Надеюсь, все уже доели новогодние салаты😜 А я к вам с традиционным анонсом ML-ных мероприятий на январь👣
Похоже, что месяц будет полупраздничным: никаких серьёзных конференций не запланировано🙃 Зато будет кое-что поинтереснее...

🦜 13 января 2024 года состоится Data Ёлка от ODS с подведением итогов 2023 года по всем направлениям: RecSys, NLP, CV, в медицине, производстве и т.д...
❄️ Время: 13.01.2024 с 11:00 до 19:00 по мск времени.
❄️ Формат участия: до 16:00 только онлайн, после чего митап будет дублироваться и в офлайн части - она перейдёт в мероприятие "Data Ёлка в гостях у МТС" и пройдёт в Москве в офисе МТС Банка на проспекте Андропова 18к1.
❄️ Регистрация и программа: тык.

🏦 22 января 2024 года запланирован IT-каток от Тинькофф. Кроме обычного катания на коньках можно послушать различные доклады, поиграть в хоккей и кёрлинг, пройти квесты и покушать😜
❄️ Время: 22.01.2024 с 18:00 до 22:00 по мск времени.
❄️ Формат участия: офлайн в Москве в парке Горького (в онлайне, возможно, будет организована трансляция выступлений).
❄️ Регистрация и программа: тык.

На этом пока всё:) Хороших выходных!

С завершением первого (официального) рабочего дня в этом году!👨‍💻
Сегодня снова поговорим про данные, а точнее про инструменты для их разметки😎
В прошлом посте обсуждали сайты-источники, на которых можно найти датасеты для разных задач. Но что, если необходимо обучить модель для более узконаправленной и конкретной цели? Например, создать чат-бота для определённого магазина, который будет консультировать по ограниченному списку товаров; или обучить модель детекции, которая будет определять, что ваша собака несанкционированно залезла на диван😅
Тогда встаёт вопрос о необходимости самостоятельного сбора нужных данных, а вместе с ним и их разметки. И на этот случай есть множество инструментов, которые помогают удобно размечать и текст, и картинки:
👣 labelImg - это простой "разметчик" для задач детекции в CV, при помощи него можно маркировать объекты на изображениях в bounding box. Размеченные данные экспортируются файлами в XML-формате.
👣 labelme - этот онлайн-инструмент тоже для изображений и поддерживает 6 типов аннотаций: многоугольники, прямоугольники, круги, линии, точки и линейные полосы.
👣 supervisely - продвинутая веб-платформа для аннотирования изображений и видео со своим комьюнити.
👣 bella - а этот фреймворк позволяет быстро обрабатывать текстовые данные.

А вообще, сервисов для разметки данных сейчас уже довольно много: например, Сбер создал платформу, через которую любой желающий может зарабатывать на разметке😁

А какими инструментами пользуетесь вы?👀

#cv@data_easy
#nlp@data_easy
#аудио@data_easy
#classic_ml@data_eas
#лайфхаки@data_easy

Добрый вечер, друзья!
Бывало такое, что запустили цикл, а он никак не завершается и когда закончится непонятно? Или применяете функцию, и ячейка зависает на неопределённый срок? Не очень здорово, когда код превращается в "чёрный ящик" с неизвестным временем выполнения☹️
К счастью, эту проблему можно решить при помощи библиотеки tqdm🔮 Вот несколько примеров её самых полезных возможностей:
➡️ for i in tqdm(range(1000)):
Если итерируемый объект в цикле for обернуть в tqdm, мы увидим прогресс-бар, который покажет продвижение по итерациям цикла и оставшееся время выполнения.
➡️ df['col'_1] = df['col'].progress_apply(func_1)
При работе с pandas-датафреймами обычный apply можно заменить на progress_apply, тогда также будет показываться прогресс-бар. Это бывает полезно при больших размерах датасета.
➡️ df['col_2'] = process_map(
func_2,
df['col'],
max_workers=8,
chunksize=64,
desc='Description',
colour='green'
)
А это "прогрессивный" аналог map, только здесь ещё можно распараллелить процесс при помощи аргументов max_workers и chunksize + везде можно добавлять подпись для прогресс-бара и его цвет💚

Ещё больше интересных приёмов можно узнать из официальной документации🦋

Хорошего вечера и быстрого кода!⚡

#python@data_easy
#лайфхаки@data_easy

🌟 Доброго вечера, дорогие друзья! 🌟
Рада вернуться к вам после небольшого перерыва и продолжить писать посты наше увлекательное путешествие в мир Data Science! Новостей и планов куча, обещаю много всего интересного✊😏

Начнём, конечно, с самого важного - анонса ближайших мероприятий на апрель🙃

❣️ 11 апреля состоится митап по soft-skills от Яндекс
где: онлайн и офлайн в Санкт-Петербурге,
ссылка на регистрацию: тык.

❣️ Тинькофф запустил серию офлайн-встреч Tinkoff Lab Research 4 Kids для знакомства с их лабораторией и поиска потенциальных сотрудников,
где: офлайн в Санкт-Петербурге, Москве, Казани, Новосибирске, Екатеринбурге, Астане,
ссылка на регистрацию и расписание: тык.

❣️ 17-18 апреля пройдёт большая конференция Data Fusion по анализу данных и ИИ-технологиям,
где: онлайн и офлайн в Москве,
ссылка на регистрацию: тык.

❣️ До 21 апреля можно зарегистрироваться на бесплатную Летнюю школу Яндекса,
где: онлайн,
ссылка на регистрацию и список направлений: тык.

❣️ До 1 мая можно зарегистрироваться в Jun-Aug 2024 mentoring session от сообщества WiBD (несмотря на название присоединиться может любой и в качестве ментора, и как менти:)),
всю подробную информацию можно найти здесь: тык.

💕 А ещё сегодня и завтра в 19:00 по мск с моим участием пройдёт последний в подобном формате интенсив по погружению в DS совместно со SkillFactory, ссылки тут и тут.

💕 И если вы вдруг учитесь в Лицее НИУ ВШЭ, то до 10 апреля можно зарегистрироваться на новый поток Alfa campus junior, там я прочитаю две лекции по ML в апреле,
ссылка на регистрацию и расписание: тык.

Пишите в комментариях, куда хотели бы сходить✌

Привет, друзья!
Позавчера пришло интересное письмо в рассылке МФТИ, делюсь с вами 💌

Если кратко, в понедельник 22 апреля в 19:00 по мск пройдёт открытая встреча по выбору карьерной траектории в Data Science👩‍💻
На ней совместно с опытным HR-консультантом Алёной Полетаевой обсудим:

🏷 Как изменился рынок IT за последние годы.
🏷 Какие в настоящий момент существуют направления в DS.
🏷 Основные тенденции в 2024 году.
🏷 Насколько важно сейчас профильное образование для начала карьеры.
🏷 Актуальные требования к специалистам начального и среднего уровней на примере конкретных вакансий.

Если начинаете или планируете искать работу в DS, обязательно приходите, подготовили для вас очень классный материал🤗

➡ Зарегистрироваться можно по ссылке✨

‼UPD: Мероприятие перенесено с 15 апреля на 22 апреля👀

Всем доброго вечера!
Пора делать новый анонс ML-мероприятий на май🍒

🏦 C 13 по 16 мая Тинькофф проведёт серию митапов по системной аналитике, NLP и управление командами.
Формат участия: офлайн в Москве.
Регистрация и подробности: тут.

💳 16 мая в 11:00 можно послушать вебинар про разработку и сопровождение СУБД от Sber.
Формат участия: онлайн.
Регистрация: тут.

📞 17 мая пройдёт большая конференция по нескольким IT-направлениям от МТС "True Tech Day".
Формат участия: онлайн и офлайн в Москве.
Регистрация и подробности: тут.

🦜 17-19 мая пройдёт конференция "Women Talk" в формате TED Talks с 20-минутными докладами об интересных практиках применения soft и hard skills в области больших данных и аналитики.
Формат участия: онлайн и офлайн в Москве.
Регистрация и подробности: тут.

👾 21-22 мая состоится конференция от I'ML "Обучение, применение и сопровождение моделей в продакшене".
Формат участия: онлайн, также обратите внимание, что оно платное.
Подробности и регистрация: на официальной страничке (а ещё там можно найти любопытные записи докладов с прошедших конференций).

🦜 С 25 мая по 2 июня запланирован долгожданный Data Fest!
Формат участия: онлайн и офлайн в Москве, Санкт-Петербурге, Новосибирске, Ереване.
Регистрация (и для слушателей, и для докладчиков): тут.

❤️ А ещё Альфа-банк открыл набор на новую волну стажировок и менторскую программу.
Подать заявку на стажировку: тут.
Подать заявку на менторскую программу: тут.

Хорошего вечера и продуктивной рабочей недели!😁

По статистике на 4-х из 5-ти собеседований обязательно попадается вопрос про метрики классификации. В этой теме можно придумать много занимательных задач + таким образом можно проверить сразу знание и ML, и математики (если вопрос не просто на определение). Их сложность, как обычно, зависит от места и уровня позиции, на которую Вы претендуете🙃

Собрала небольшую подборку нетривиальных вопросов, которые мне когда-либо попадались, в начале более теоретические, внизу более практическо-математические😁

6️⃣. Интерпретируйте смысл precision, recall, F-меры? (можно взять любой пример задачи классификации и на нём объяснить что есть что)
2️⃣. В чём главное отличие ROC-AUC от F-меры? (помимо формулы для расчёта)
3️⃣. В чём вероятностный смысл ROC-AUC? (по сути тоже интерпретация)
4️⃣. По какой формуле рассчитывается F-мера для задачи мультиклассификации? (скажем, для n классов)
5️⃣. Есть 3 классификатора, их ROC-AUC 0.2, 0.5 и 0.8. Какой из них самый плохой, а какой самый эффективный?
6️⃣. Есть классификатор, который для любого объекта возвращает значение 0.8, доля положительного класса в выборке составляет 20%. Чему будет равняться его ROC-AUC?
7️⃣. Есть одна обученная модель и датасет, разделённый на 2 части: для первой предсказания модели содержат большое число 1, ROC-AUC на этом наборе данных 0.5; для второй части датасета модель предсказывает больше -1, значение ROC-AUC здесь тоже 0.5. Изменится ли ROC-AUC, если объединить датасеты и пересчитать метрики?
8️⃣. Есть 3 модели бинарной классификации, у всех accuracy равно 0.8. На их основе создаётся ансамбль следующим образом: если хотя бы две модели голосуют "1", то итоговый ответ тоже "1"; аналогично для отрицательного класса. Какое значение accuracy для такой системы?

Пишите свои варианты решения в комментарии, на следующей неделе подведём итоги🌚

Хороших выходных!🌺❄️

#карьера@data_easy

Доброго вечера, друзья!
Итак...🥁🥁🥁 Правильные ответы на задачи из предыдущего поста!

6️⃣. Предположим, мы строим модель оттока клиентов: класс 1 == клиент уходит, класс 0 == остаётся. По результатам работы модели тем клиентам, которых модель определила как "под угрозой оттока" будут сделаны персональные скидки.
📌 Precision покажет, какая доля клиентов из тех, кому мы сделали скидку, действительно в ней "нуждались" - т.е. собирались уходить. Точность оптимизирует ошибку первого рода - т.е. количество "впустую" разосланных скидок:)
📌 Recall покажет, какую долю действительно "отточных" клиентов модель угадала. Полнота оптимизирует ошибку второго рода - т.е. число клиентов под угрозой ухода, которых мы вовремя не распознаём.
📌 F-мера является объединением precision и recall, поэтому отражает меру денег, которую мы можем заработать посредством использования модели.

2️⃣. ROC-AUC, в отличие от F-меры, не зависит от порога и показывает ранжирующую способность данных на соответствующем таргете. При расчёте ROC-AUC мы используем таргет и вероятности степени уверенности модели (полученные из метода predict_proba). А F-мера рассчитывается для конкретного значения порога, в функцию подаются таргет и лейблы, присвоенные моделью (из метода predict). Соответственно, значение F-меры будет различным при разных порогах.

3️⃣. ROC-AUC отражает вероятность того, что для случайно взятого объекта 1-го класса оценка принадлежности к классу 1 будет выше, чем для случайно взятого объекта 0-го класса.

4️⃣. Формула среднего гармонического:)

5️⃣. ROC-AUC случайного классификатора равен 0.5.
Если ROC-AUC > 0.5 - значит, у модели есть ранжирующая способность, она «не случайная», а что-то «понимает».
Если ROC-AUC < 0.5 - это, на самом деле, тоже неплохо, ранжирующая способность есть, просто в таргете перепутаны классы - если 0 и 1 поменять местами, то 0.2 превратится в 0.8.
Таким образом, самый лучший классификатор с ROC-AUC = 0.8, потом идет 0.2 (по сути то же самое, что и первый, но его нужно немного модифицировать), и потом уже случайный с метрикой 0.5.

6️⃣. Здесь правильный ответ 0.5:)
При построении графика ROC-AUC в осях TPR = TP / (TP + FN) и FPR = FP / (FP + TN) у нас получится только две различных точки: (0, 0) и (1, 1), т.к. модель при пороге < 0.8 будет возвращать все единицы, а при пороге > 0.8 все нули (попробуйте построить матрицу ошибок для обоих случаев). Соответственно, через эти две точки мы проведём прямую, площадь под которой равна 0.5.

7️⃣. Здесь верный ответ не изменится.
Значение ROC-AUC равно 0.5, когда модель не способна различать классы лучше, чем случайное угадывание - т.е. в таких случаях она фактически не использует информацию о признаках для различения классов.
Если объединить датасеты и пересчитать метрики, ROC-AUC останется 0.5, т.к. для объединённого датасета ситуация не улучшится - модель равносильна случайному алгоритму.
PS: можете рассмотреть на примере классификатора из предыдущей задачи.

8️⃣. По условию каждая модель голосует "1" или "0", поэтому возможны следующие ситуации, предшествующие принятию итогового решения:
📌 Две модели проголосовали одинаково, а решение третьей отличается: точность такой системы 0.8*0.8*0.2.
Теперь учтём, что "третьей несогласной" моделью может быть любая из них, поэтому нужно домножить полученное значение на число способов составить комбинации из {1, 1, 0}, их три: 001, 010, 100.
📌 Три модели проголосовали одинаково - точность такой системы просто 0.8*0.8*0.8.
А теперь сложим эти два случая - это и будет итоговый ответ: 3*0.8*0.8*0.2 + 0.8*0.8*0.8 = 0.896 (воспользовались правилом суммы).

Удачной недели!🤗

#карьера@data_easy

Всем доброго вечера!
Часто ли вам приходилось работать с большими pandas-датафреймами? Если их размер достигает порядка нескольких миллионов строк, то время выполнения элементарных операций становится ощутимым😒
Дело в том, что pandas использует только одно ядро вашего компьютера, даже если доступно несколько. Поэтому можно в разы ускорить процесс обработки данных, если его распараллелить - в этом помогает библиотека Pandarallel, ловите несколько примеров её применения🐈🐈🐈

✨ Первым делом необходимо "включить" библиотеку: чтобы использовать все доступные процессоры, просто запустите

from pandarallel import pandarallel
pandarallel.initialize(progress_bar=True))

✨ Метод parallel_apply - "параллельный" аналог apply:

df = pd.DataFrame({    
    'A': range(1, 1000001),
    'B': range(1000001, 2000001)})

def my_func1(row):    
    return row['A'] + row['B']

df['C'] = df.parallel_apply(my_func1, axis=1)

✨ Подобие map из библиотеки называется parallel_map:

def my_func2(x): 
    return x * 2

df['D'] = df['C'].parallel_map(my_func2)

✨ И, наконец, "пареллельная" реализация groupby осуществляется также через parallel_apply:

df = pd.DataFrame({
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'bar'],
    'B': ['one', 'one', 'two', 'two', 'one', 'one', 'two', 'two'],
    'C': range(1, 9)
})

result = (
    df.groupby(['A', 'B'])
    .parallel_apply(lambda x: x.sum()
)

Попробуйте запустить примеры на больших данных и сравнить скорость🏃‍♂️
Официальный репозиторий тут 😎

#аналитика@data_easy
#classic_ml@data_easy