🌟 Динамическое 4-битное квантование VLM с повышенной точностью от Unsolth .

Unsloth представил практический метод динамического 4-битного квантования VLM, который решает проблему снижения точности популярных алгоритмов квантования AWQ, Bitsandbytes, GPTQ и HQQ.

В эксперименте использовался Bitsandbytes в качестве основы для всех линейных слоев, но квантование определенных параметров было динамически отключено. Этот подход позволил добиться значительного повышения точности при использовании всего на 10% больше VRAM по сравнению с стандартным 4-битным квантованием Bitsandbytes.

В результате, этот метод позволяет сохранить точность модели, близкую к 16-битной точности, при значительном сокращении размера модели.

Тестирование на VL-моделях Llama 3.2 Vision, Qwen2 Vision и Pixtral, показали значительные преимущества по сравнению со стандартным 4-битным квантованием. Например, квантование Qwen2 Vision 2B до 4 бит приводило к полной поломке модели, в то время как метод динамического квантования позволял восстановить точность при увеличении использования памяти всего на 450 МБ.

Аналогичным образом, получилось восстановить точность Llama 3.2 Vision 11B и Pixtral 12B, которые также деградировали на стандартном 4-битном квантовании.

▶️В открытый доступ на HF опубликованы модели, участвующие в исследовании:

🟢Llama-3.2-11B-Vision-Instruct-unsloth-bnb-4bit (7.23 GB)

🟢Llama-3.2-11B-Vision-unsloth-bnb-4bit (7.23 GB)

🟠Qwen2-VL-2B-Instruct-unsloth-bnb-4bit (1.81 GB)

🟠Qwen2-VL-7B-Instruct-unsloth-bnb-4bit (6.3 GB)

🟠QwQ-32B-Preview-unsloth-bnb-4bit

🟢Pixtral-12B-2409-unsloth-bnb-4bit (8.42GB)


⚠️ К каждой модели в Model Card можно найти блокнот для запуска в Google Collab и созданные сообществом GGUF-версии.


📌Лицензирование моделей:

🟠Семейство Llama: Llama 3.2 Community License Agreement
🟢Семейство Qwen: Apache 2.0 License.
🟢Pixtral: Apache 2.0 License.


🟡Статья
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #VLM #Unsolth #Quantization

✔️ Amazon представил линейку базовых моделей Nova.

На конференции AWS re:Invent в Лас-Вегасе Amazon представила Amazon Nova, свое собственное семейство базовых моделей, доступных исключительно через Amazon Bedrock. Модели Nova на 75% дешевле, чем лучшие модели в своих классах в Bedrock.

Модели Nova доступны с функцией дистилляции, глубоко интегрированы с базами данных Bedrock, что позволяет пользователям использовать RAG для построения инференса на основе собственных данных. Семейство Nova покрывает все популярные модальности: обработка текста, генерация изображений, синтез видео и понимание мультимедийного контента.
aboutamazon.com

✔️ Создатели NotebookLM уходят из Google, чтобы основать собственный стартап.

Три ключевых участника команды NotebookLM объявили о своем уходе из Google, чтобы основать новый стартап, который пока находится в режиме полной секретности. Бывший руководитель команды Райза Мартин намекнула, что он будет ориентирован на потребителей. Мартин подчеркнула стремление команды использовать новейшие модели ИИ для создания продукта, полезного для обычных людей.

Пока неясно, будет ли новый проект фокусироваться на функциях, которые сделали NotebookLM популярным или же команда выберет совершенно новое направление. Несмотря на раннюю стадию развития, стартап уже получил значительную поддержку со стороны других основателей, инвесторов и специалистов.
techcrunch.com

✔️ Исследователь по безопасности ИИ покидает OpenAI.

Ресечер по безопасности Рози Кэмпбелл уходит из OpenAI, ссылаясь на изменения в компании за последний год, которые вызывают у нее беспокойство, особенно после ухода Майлза Брандейджа, бывшего руководителя отдела общей готовности к ИИ, и роспуска его команды.

Рози не устраивает то, что текущий подход OpenAI к безопасности может быть недостаточным для мощных систем ИИ, которые, как ожидается, появятся в этом десятилетии. Она считает, что миссия OpenAI - не просто «создать общий ИИ», но и гарантировать, что он «принесет пользу человечеству».
rosiecampbell.xyz

✔️ MALT: метод совместного обучения языковых моделей для задач рассуждения.

MALT (Multi-Agent LLM Training) - метод, позволяющий совместно обучать несколько LLM для решения сложных задач, требующих рассуждения. В основе MALT лежит последовательная многоагентная система, состоящая из генератора, верификатора и модели уточнения, которые работают над решением задачи итеративно.

Для обучения моделей MALT использует синтетические данные, сгенерированные с помощью процесса расширения траекторий. Этот процесс позволяет создавать большое количество обучающих примеров, которые используются для дообучения каждой модели с помощью SFT и DPO. Результаты оценки MALT, использующий модели Llama 3.1 8B, на бенчмарках MATH, GSM8k и CSQA показали, что метод достигает улучшений на 14,14%, 7,12% и 9,40% соответственно по сравнению с базовой моделью.
huggingface.co

✔️ Рост фондового рынка США в 2024 году достиг уровня эпохи «доткомов».

Индекс S&P 500, вероятно, завершит 2024 год с ростом почти на 27%, установив в этом году 50 рекордов. Этот впечатляющий рост следует за скачком на 24,2% в 2023 году, что делает двухлетний период беспрецедентным со времен бума доткомов.

В отличие от эпохи доткомов, нынешний рост обусловлен стремительным взлетом цен акций компаний, работающих в сфере ИИ. Например, стоимость Nvidia выросла более чем вдвое после утроения в 2023 году. Экономика США, несмотря на недавнюю рецессию, связанную с пандемией COVID-19, пока избегает нового витка падения, которую многие на Уолл-стрит считали неизбежной после повышения основной процентной ставки до 20-летнего максимума.
apnews.com

@ai_machinelearning_big_data

#news #ai #ml