Привет, друзья!
Хорошие новости для тех, кто интересуется LLM😎
7 июня состоялся релиз новой версии Qwen2 - LLM от Alibaba.

На всякий случай, LLM (large language model) - это мощные алгоритмы, способные понимать и генерировать текст, который неотличим от человеческого. В отличие от традиционных NLP-моделей, которые обучены под конкретные узкоспециализированные цели, LLM обучены на огромных объемах текстовых данных, что позволяет им решать широкий спектр задач без необходимости дополнительной настройки.

По большинству тестов Qwen2 сопоставима или даже превосходит новейшие версии GPT-4 и Llama3📈

Важное в цифрах про Qwen2:
🤯 понимает 27 языков, включая русский
🤯 выпущена в 5 размерах от 0.5B до 72B - т.е. в самой “большой” версии 72 млрд параметров
🤯 поддерживаемый контекст от 32k до 128k - т.е. модель способна учитывать от 32 до 128 тысяч токенов (слов, частей слов или символов) при обработке одного фрагмента текста
🤯 все версии, кроме последней, выпущены под лицензией Apache 2.0

Что это значит?
На данный момент самой популярной LLM в открытом доступе является Llama3, но если верить тестам, новая Qwen2 во многом её превосходит (особенно в написании кода, решении математических задач😁). Так что для промышленных решений можно смело тестировать новую китайскую разработку.

➡️ Официальная статья с тестами и исследованиями тут
➡️ Репозиторий модели тут
➡️ Страничка на Hugging Face тут

Продуктивной рабочей недели!🤗

#nlp@data_easy
#полезный_ии@data_easy

Доброго летнего вечера!🌅
Представьте, что вам дали некоторый датасет и попросили его проанализировать/обучить модель на этих данных. Что бы вы сделали в самую первую очередь? Большинство ответят прочитали бы и вывели head😁
В целом, это верный ответ, здесь же можно добавить info() и describe().

Но есть кое-что получше: библиотека ydata-profiling для первичного анализа данных и проверки их качества.
С помощью неё можно автоматически получить подробный и красивый отчёт, который позволит быстро ознакомиться с основными характеристиками данных и сразу выявить возможные проблемы.

За несколько минут можно создать отчёт, включающий:
⛵️ общий анализ датасета с разделом предупреждений, на которые стоит обратить внимание в первую очередь
⛵️ детальный отчёт по каждой переменной, включая наглядное представление дубликатов, выбросов и статистических характеристик
⛵️ распределения для числовых признаков и "облако слов" для категориальных
⛵️ взаимные зависимости числовых признаков
⛵️ наличие пропусков
⛵️ и, конечно, аналог head и tail

Создать отчёт очень просто!
1. Для начала установите библиотеку:

pip install ydata-profiling

2. Далее загрузите ваш датафрейм и сгенерируйте отчет, это займёт всего несколько минут:

import pandas as pd
from ydata_profiling import ProfileReport

# Загружаем данные
data = pd.read_csv("data.csv")

# Генерируем отчёт
profile = ProfileReport(data, title="Мой_первый_отчёт")

3. Готовый отчёт можно вывести и посмотреть прямо в ноутубке или сохранить в html:

profile.to_notebook_iframe()

# Или сохраняем отчет вx HTML файл
profile.to_file("Мой_первый_отчёт.html")

На всякий случай, официальная документация тут.
В видео трейлер с демонстрацией основных возможностей библиотеки💫

Удачной недели!🙂

#аналитика@data_easy
#classic_ml@data_easy
#python@data_easy

Привет, друзья!
В прошлом посте, посвящённом задачам с собеседований, обсудили с вами метрики классификации. Как показывает практика, вторая по популярности тема - про деревья и ансамбли над ними🌳🌲🌴
Почему так? Во-первых, бустинги - самые эффективные алгоритмы на табличных данных; а во-вторых, это довольно обширная тема, в которой можно придумать много вопросов. Ловите небольшой список😁

1️⃣Какое максимальное количество листьев у бинарного дерева глубины 4?

2️⃣Назовите общие типы ансамблирования. Какое можно дать определение в этих терминах алгоритмам случайного леса и градиентного бустинга?

3️⃣Можно ли построить ансамбль из линейных регрессий? Будет ли это эффективнее ансамбля над решающими деревьями?

4️⃣В чем заключается "случайность" в алгоритме случайного леса?

5️⃣Назовите три самых популярных алгоритма бустинга (для них же существуют одноимённые библиотеки).

6️⃣В чём главный недостаток дерева решений относительно линейной регрессии? (Подсказка: подумайте, как ведут себя эти алгоритмы на тестовой выборке, диапазон значений признаков для которой шире тренировочной)

7️⃣Как изменится качество алгоритма случайного леса, если из него удалить одно решающее дерево?

8️⃣Как изменится качество бустинга, если из него удалить самое первое решающее дерево?

Пишите в комментариях, что думаете👇
На следующей неделе будем подводить итоги🙃

Удачной недели!🌺

#карьера@data_easy

Привет, друзья!
Итак, ответы на вопросы про деревья🌲🌳🌴

1️⃣В бинарном дереве у каждой вершины может быть не более 2-х потомков. Получается: имеется одна корневая вершина; не более 2-х на втором «уровне»; не более 4-х на третьем; не более 8-ми на четвертом. Листьями будем считать как бы пятый уровень — их будет не более 16-ти. Если проследить логику, можно вывести общую формулу: максимальное число листьев для бинарного дерева глубины n равно 2^n.

2️⃣Из общих типов ансамблирования можно назвать бэггинг, стекинг, блендинг и бустинг (почитать про них подробнее можно, например, здесь). В этих терминах случайный лес — это бэггинг решающих деревьев, а градиентный бустинг — бустинг над решающими деревьями:)

3️⃣Технически сделать ансамбль из линейных моделей никто не запрещает, но комбинация линейных моделей будет той же самой линейной моделью — поэтому что-то более эффективное и качественное мы вряд ли получим. Деревья же являются нелинейными алгоритмами, поэтому ансамбли над ними помогают находить новые сложные зависимости.

4️⃣Первая «случайность» в случайном лесе — это случайная подвыборка, на которой обучается каждое дерево. А вторая — выбор наилучшего признака для каждого следующего разбиения в отдельном дереве также выбирается не из всех возможных, а из случайного набора меньшего размера (полный алгоритм можно посмотреть здесь в разделе «Алгоритм обучения классификатора»).

5️⃣XGBoost, LightGBM, CatBoost 🐈

6️⃣Деревья, в отличие от линейной регрессии, не умеют экстраполировать предсказания — то есть «продлевать» зависимость на значениях выборки вне тренировочной.

7️⃣Случайный лес — это усредненные предсказания отдельных независимых деревьев. Поэтому если убрать одно дерево, среднее тоже по идее должно поменяться. Но за счёт того, что деревьев в «лесе» обычно много, удаление одного почти не повлияет на качество.

8️⃣Бустинг тоже строится из отдельных деревьев, но они не являются независимыми, каждое следующее улучшает работу предыдущих. Поэтому если выбросить хотя бы одно дерево из этой системы, общее качество системы ухудшится.

Кстати, по данным аналитики hh август и раняя осень — лучшее время для поиска вакансий📊 Об этом чуть позже, а пока отдыхающим хорошего отпуска!🏖️

#карьера@data_easy

Всем привет!
Хочу поделиться ещё одной вышедшей статьёй — про трансферное обучение✨
По-другому этот приём в ML часто называют дообучение или использование предобученных моделей. При недостатке данных или ресурсов для обучения такой метод может сильно выручить и позволит достичь более высокого качества, чем при обычном обучении «с нуля».
И обязательно берите на заметку «хранилища» предобученных моделей и весов — в библиотеках PyTorch, TensorFlow, а также на HuggingFace и RoboFlow🌸(ссылки и примеры кода есть в статье).
В конце ссылки на полезную литературу😊

Всем успехов!💐

#cv@data_easy
#nlp@data_easy
#аудио@data_easy

С первым днём осени и днём знаний! 🍂
Как мы помним, осень - самое продуктивное время года и лучшее время для поиска работы😉 Мир просыпается от сезона летних отпусков, и уже в сентябре можно созерцать несколько интересных ML-событий:

🔥 Во-первых, это Practical ML conf от Яндекс. Как всегда, анонсировано много технических докладов по всем DS-сферам.
Когда: 14 сентября.
Формат участия: очно в Москве + онлайн.
Регистрация: тут.

🔥 Во-вторых, обширная IT-конференция E-CODE от Ozon. Кстати, ожидаются выступления экспертов не только из DS.
Когда: 28-29 сентября (data science только 29-го).
Формат участия: очно в Москве + онлайн.
Регистрация: тут.

🔥 Для ищущих работу в аналитике Яндекс запускает очередной "1-2 day offer" - за выходные можно пройти все этапы собеседований и получить приглашение на работу.
Когда: 7-8 сентября.
Формат участия: онлайн.
Регистрация: тут (обратите внимание, что до 5-го сентября нужно решить задачи на платформе).

🔥 И ещё Тинькофф Т-банк открыл сезон осенних стажировок. Список направлений пополняется.
Регистрация: тут.

Любопытно, что в сети появилось довольно много платных конференций и митапов, анонс открытых мероприятий пока небогат:(
Но будем ждать😁 Пусть новый сезон принесет вам вдохновение, свежие идеи и много ярких моментов!🍁

Привет, друзья! 👋
Важные новости из мира искусственного интеллекта — OpenAI представила свою новую модель Chat GPT o1, которая специализируется на логических рассуждениях и сложных задачах. Относительно уже неплохого GPT-4 она сделала ещё более серьёзный шаг в сторону имитации человеческого мышления.

🤖Что особенного в “o1”?
В отличие от предыдущих версий, “o1” не сразу начинает печатать результат, а некоторое время “думает” над ответом. Под капотом модель декомпозирует задачу на несколько шагов, анализирует различные подходы и исправляет собственные ошибки в процессе. Это похоже на то, как мы сами решаем сложные проблемы — разбиваем их на части и пытаемся найти оптимальные решения. Новая версия уже продемонстрировала высокие результаты на тестах: например, в задачах по программированию на Codeforces “o1” превзошла 89% человек и набрала 83% на Международной математической олимпиаде 🔥

🤔Как это работает?
Ключ к успеху “o1” — алгоритм обучения через "цепочку мыслей". В обучающие данные были добавлены примеры ошибочных рассуждений с выходом из них. Благодаря этому модель умеет ставить под сомнение сгенерированное (да-да, в этой версии уже не будет уверенного доказательства “2+2=5”). В алгоритме применяются методы Reinforcement learning — обучения с подкреплением. Логично, но любопытно, что качество ответа повышается с ростом времени, затраченного моделью на рассуждения, это отличает её от других LLM. Но и вычислительных ресурсов нужно существенно больше по сравнению с тем же GPT4-o.

🧑‍💻Где протестировать?
По платной подписке на официальном ресурсе или обходными путями:) Мне удалось запустить через телеграм-бота Syntx AI: после запуска в меню нужно выбрать GPTs/Claude/Gemini, затем нажать на “Управление” и во всплывающем окне включить новую модель. Судя по тому, как “o1” из бота справилась со сложной задачкой на код по сравнению с GPT-4o, есть основания полагать, что она там настоящая😁

📎 Ссылка на официальный релиз.

Продолжаем следить за нейросетями, пока всё под контролем 🧑‍💻

#nlp@data_easy
#полезный_ии@data_easy