💡 Видео с Просвета!

Как ПИК экспериментирует с ИИ в архитектуре — инсайты от первого лица

На BIM Просвете 22 июля Артур Ишмаев рассказал, как работает лаборатория искусственного интеллекта в ПИК — и почему им дали полную свободу, отделив от стандартной разработки.

Это не просто про «мы внедрили ИИ». Это — про поиск нового языка проектирования, в котором черновики, ошибки и даже недостроенные проекты становятся ценными данными.

❓ Что в видео:
— Зачем ПИК создали отдельную ИИ-лабораторию и как она работает;
— Как open-source модели применяются к генерации массинга, планировок и BIM;
— Почему логи действий проектировщиков — это золото для обучения ассистентов;
— Где LLM оказываются эффективнее специализированных моделей;
— Как можно создавать собственные датасеты и зачем это нужно всей индустрии.

🤌🏼 Три сильные мысли от Артура:

«Цель цифровизации не в том, чтобы внедрять технологии — а в том, чтобы они становились естественным продолжением архитектуры.»

«Каждый проект, даже нереализованный, — это источник данных. Мы должны уметь фиксировать процесс, а не только результат.»

«LLM, даже без обучения, уже понимают, где север, сколько этажей, и как выглядит двор. Это фундамент для ассистентов нового поколения.»

🚨 Важно!
- Смотрите видео до конца
- Ставьте сердце
- Пишите вопросы в комментариях

➡️ Cмотреть на 💙 ВКонтакте | 📺 YoyTube | 📺 Rutube | 📝 Дзене
➡️ Смотреть презентацию
➡️ Подписаться на канал Артура

🟡Стать партнёром BIM Просвета


#BIMПросвет #BIMSupport #AI #AIBIM #ИИ #ИИТИМ

📌Скорость решает все: обзор эффективных архитектур для LLM.

Ландшафт архитектур LLM превратился в настоящий зоопарк. Почти каждую неделю появляются новые методы, обещающие меньший расход памяти и более быстрый инференс. Разобраться в этом становится все сложнее.

Большая группа исследователей выпустила подробный обзор Speed Always Wins, чтобы систематизировать все ключевые инновации в области эффективных архитектур для LLM.

Это не просто очередная статья, а попытка упорядочить и структурировать актуальные подходы, которые решают главную проблему классического трансформера - его квадратичную вычислительную сложность.

Обзор описывает 7 основных направлений.

🟡Линейное моделирование последовательностей.

Здесь авторы разбирают все подходы, которые так или иначе сводят сложность самовнимания к линейной. В эту категорию попадают 3 большие ветви: линейное внимание; линейные RNN, вроде и, конечно, модели на основе пространства состояний (SSM).

🟡Второе и третье направления посвящены идее разреженности.

Разреженное моделирование последовательностей основано на простом принципе: не каждый токен должен общаться с каждым. Здесь выделяются статические подходы (как в Longformer), где паттерны внимания заданы заранее, и динамические, где они определяются на лету в зависимости от контента.

🟡MoE.

Методика, которая уже стала мейнстримом. В МоЕ разреженность применяется не в механизме внимания, а в FFN-слоях, где для каждого токена активируется лишь небольшая часть экспертов, что позволяет наращивать число параметров без пропорционального роста вычислений.

🟡Четвёртый раздел - эффективное полное внимание.

В нем речь идет не об изменении асимптотической сложности, а об ее аппаратной оптимизации. Флагман - FlashAttention.

Есть детальный разбор, как за счет оптимизации обращений к памяти GPU удается кардинально ускорить вычисления, не прибегая к аппроксимациям. Сюда же относятся и групповые механизмы внимания: GQA и MQA.

🟡Гибридные архитектуры.

Это, пожалуй, самый горячий тренд. Его идея в том, чтобы стратегически комбинировать быстрые слои с линейной сложностью и медленные, но мощные слои с полным вниманием.

В обзоре выделяют два типа гибридизации: межслойную, как в Jamba, где разные типы слоев чередуются, и внутрислойную, где в одном слое разные головы могут использовать разные механизмы внимания.

 🟡Диффузионные LLM (DLLM) 
 
 Это неавторегрессионные модели, которые генерируют текст, постепенно восстанавливая его из шума. Их главная фишка в параллельном декодировании, что дает ощутимое ускорение инференса.
 
 В конце обзора есть анализ применения всех этих архитектур в разных модальностях - CV и аудио.


Так что, если хотите быстро разобраться в базовых методах, которые будут двигать дизайн LLM в ближайшее время, а двигаться он будет в сторону микширования алгоритмов, систем и железа, этот обзор - мастрид.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architectures