Как подобрать GPU для запуска LLM-модели?»

Ответ на него помогает найти инструмент GenAI-Perf от NVIDIA. В нем можно указать параметры конкретного целевого запроса и получить бенчмарк с оценкой времени генерации токенов и прочих параметров.

Ключевые тезисы

- Нефункциональные требования определяют инфраструктуру — проектирование начинается с RPS, latency и числа пользователей, а не с выбора модели.

- Точная оценка видеопамяти критична — ошибка в расчетах по GPU приводит к многократному росту затрат.

- Open-source фреймворки стали зрелым выбором для продакшена — по производительности и удобству интеграции они часто превосходят проприетарные решения.

▶️ Ознакомиться с полным докладом можно в записи.

#LLM #ИИ

🖥 GitHub-подборка инструментов для работы с LLM и данными

🟣DeepSeek-Coder
— мощная языковая модель для генерации и автодополнения кода, оптимизированная для программирования на множестве языков.

🟣OmniParser
— платформа для обработки любых данных, от документов до мультимедиа, с преобразованием в структурированный формат для ИИ-приложений.

🟣Ollama
— инструмент для локального запуска и управления большими языковыми моделями с поддержкой кастомизации и API.

🟣AnythingLLM
— универсальное приложение для работы с документами через ИИ, с поддержкой локальных и облачных LLM и многопользовательским режимом.

🟣Crawl4AI
— быстрый веб-краулер с открытым кодом, оптимизированный для подготовки данных для языковых моделей и ИИ-агентов.

#LLM #ИИ

[Перевод] Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости

Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы доступа к базам данных.

Автор оригинала: Sean Park

➡️Подробнее

#ИИ #LLM #уязвимости #jailbreak #Security