Вчера сходил на Датафест в Avito. Ожидаемо, основной фокус был на LLM и рекомендациях

По докладам:
1. Самый сильный доклад - про post-training LLM и библиотеку torchtune (реализованы SFT, DPO, PPO и т. д. без обёрток Hugging Face), в которую сам докладчик контрибьютит. Берём Llama (вроде бы 7B, batch_size=2) с QLoRA`й - обучение займёт 358 минут с пиком потребления памяти 7 ГБ. Добавим Compile, packing батчей, FlexAttention — и время обучения уменьшится до 36 минут, но какой ценой: потребление памяти вырастет до 40 ГБ (x6),. Можно ещё добавить Context Parallel и улететь в космос с пиками потребления до 70 ГБ.

2. Несколько докладов по продуктовому применению LLM в Avito и Т-Банке (например разметка звонков, чатов на факт сделки и т. д.). Общий подход - максимально очистить выборку и согласовать инструкцию к разметке, добившись консистентности разметки, т. е. чтобы разные люди размечали одинаково. Далее - максимально понятный LLM workflow, так чтобы задача решалась итерационно; если контекст сильно растёт, добавляем RAG. При этом в одном из кейсов Avito для RAG зашла комбинация BM25, LLM, BERT и реранкера из RoBERTa. PS Агентов еще не завезли

3. Дообучение LLM в Avito. Дообучали (DPO) лёгкие 7B модели (Qwen) - получили небольшие приросты метрик, которые нивелируются релизами новых опенсорсных моделей. Ключевой эффект - в дообучении своего токенизатора с фокусом на русский язык (+31% к скорости инференса).

4. Рекомендации на главной Avito: ретривал на трансформерах с позиционными эмбедингами товаров (кликов и просмотров) + ranking на CatBoost. Вся эта история даёт 50% просмотров и 30% кликов по объявлениям. Из интересного - добавление блендера, чтобы в бесконечной ленте были товары из разных категорий

5. Большая дискуссия про важность ML-соревнований. В конце спикеры сошлись на том, что если результат соревнования/хакатона определяется местом на лидерборде, то презентации не стоит учитывать (важен результат, а не то, как он достигнут). Эх, не зря ругают звездолёты кагглеров

6. Инсайды с обсуждений вне докладов - chatgpt любит некоторые буквы заменять на редкие аналоги, которые выглядят так же, чтобы потом можно было бы определить что текст сгенерирован. Плюс наличие нового абзаца с двух пробелов или использование длинного тире - текст сгенерирован, тк такое человек не использует

P.S. На квизе вспомнили про Bimorph - вот так становятся легендой. Пик одс в 2019г и я там был, сейчас нашел статью на хабре, но те обсуждения под 1к сообщение в слаке уже не найти 🫡

P.S2 На фото - вид с веранды офиса, красивое

В Х пропушили библиотеку Memvid, у которой уже 5 тысяч ⭐️ на GitHub. Теперь вместо векторных баз данных предлагают хранить всё в видеофайлах, где каждый кадр — это QR-код. Правда, как справедливо заметили в комментариях, внутри всё равно крутится FAISS и те же векторные базы. Вот до чего доводит вайб-кодинг

В мае удалось съездить в Кыргызстан 🇰🇬 и Узбекистан 🇺🇿

Кыргызстан очень порадовал горами и ущельями. По всей стране и из Бишкека видны горы системы Тянь-Шань со снежными шапками, и даже летом они в снегу.

• Алтын-Арашан - красивая горная долина на высоте 2600 м, куда пришлось два часа подниматься на буханке, а можно было за 4–6 часов пешком с существенным набором высоты. Летом оттуда ходят на конях к горному озеру Ала-Кёль, которое уже на высоте 3800 м, а в мае перевал был в снегу по пояс. На конях всё равно прокатились, тогда я осознал, почему коней на переправе не меняют: когда горная река почти по колено — последнее, чего хочется, — сойти с коня.
• Иссык-Куль искупался, но опять как же пока холодно. Отдельная любовь - это еда: годное мясо и шашлыки, и по цене лучше, чем в Москве. Можно ехать только ради еды

В Узбекистане посмотрели только Ташкент. Центр города порадовал, божественная клубника, один из сортов так хорош, что на импорт не идёт (просто не доезжает). Храмы и архитектура - всё так, как и представлял. Когда ехали в ресторан, таксист, узнав, что едем туда - Да как так, не туда, надо в Пять казанов. Плов там в трёхметровом казане готовят. Сильно, лучший плов, который ел, они еще разные бывают