Guidellm — это новый фреймворк от Neural Magic, предназначенный для оптимизации и ускорения работы LLM (Large Language Models) на обычных CPU без необходимости использования мощных GPU.

🔹 Основные возможности:
✅ Сжатие моделей – снижает потребление памяти и повышает производительность без потери качества.
✅ Оптимизация для CPU – позволяет запускать крупные языковые модели на стандартных процессорах.
✅ Поддержка популярных LLM – совместим с LLaMA, Falcon, Mistral и другими.
✅ Легкость в интеграции – простая настройка и API для встраивания в существующие проекты.

Проект будет полезен разработчикам, которым важно запускать LLM без дорогих GPU, например, для локального использования или облачных сервисов с ограниченными вычислительными ресурсами.

https://github.com/neuralmagic/guidellm

👉 @bigdata_1

📌Открытый вебинар: «Алгоритмы SARSA и Q-learning — база для изучения Reinforcement Learning»

📚Вы узнаете:
+ Как работают SARSA и Q-learning и чем они отличаются
+ Как применить SARSA и Q-learning на практике с Python и OpenAI Gym
+ Где используют RL: робототехника, финансы, игры

Спикер: Игорь Стурейко — кандидат физико-математических наук МГУ, опытный разработчик, руководитель и преподаватель. 

📅Дата: 26 февраля в 20:00 (мск)
🆓Бесплатно. В рамках курса «Reinforcement Learning»

👉Регистрация открыта: https://vk.cc/cIVU7I

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📌Открытый вебинар «MLFlow — полный контроль над ML-экспериментами»

📚Вы узнаете:
1️⃣ Что такое MLFlow и какие компоненты он содержит;
2️⃣ Как отслеживать и управлять экспериментами с помощью MLFlow;
3️⃣ Как интегрировать MLFlow в ваш ML-пайплайн и ускорить вывод моделей в продакшн;
4️⃣ Возможности MLFlow: трекинг экспериментов, управление моделями и воспроизводимость;
5️⃣ Как эффективно работать с артефактами и версиями моделей.

🎁 Проведём живую демонстрацию, где шаг за шагом внедрим MLFlow в ML-проект!

Спикер: Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд.

📅 Дата: 27 февраля в 20:00 (мск)
🆓 Бесплатно. Вебинар в рамках курса «MLOps»

👉 Регистрация открыта: https://vk.cc/cIWVJ4

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

HunyuanVideo-I2V: настраиваемая модель преобразования изображений в видео на основе HunyuanVideo.

Единственная модель, которая может сравниться с Runway Gen-3 и Wan 2.1.

Генерации выглядит хорошо!

▪Github: https://github.com/Tencent/HunyuanVideo-I2V
▪HF: https://huggingface.co/tencent/HunyuanVideo-I2V

👉 @bigdata_1

🧠 Agentic Reward Modeling — новый подход к обучению LLM, который объединяет человеческие предпочтения с проверяемыми сигналами корректности (фактология и следование инструкциям) для более надежных и точных наград.

🔧 Реализован в виде агента RewardAgent, состоящего из:
- Маршрутизатора — решает, какие проверки запускать
- Агентов верификации — проверяют факты и выполнение инструкций
- Оценщика — объединяет результаты в финальную награду

📊 В экспериментах на GPT-4o-mini и Llama3–8B Instruct:
✅ Существенное улучшение по сравнению с базовой моделью вознаграждений (ArmoRM)
🔍 Проверка фактологии — через Google API и параметры LLM
🧾 Инструкции проверяются даже с помощью Python-кода


Blog: https://medium.com/@techsachin/agentic-reward-modeling-combine-human-preferences-with-verifiable-correctness-signals-for-reliable-76c408b3491c

Paper: https://arxiv.org/abs/2502.19328

Code: https://github.com/THU-KEG/Agentic-Reward-Modeling

👉 @bigdata_1

Подборка Telegram каналов для программистов

https://yangx.top/bash_srv Bash Советы
https://yangx.top/win_sysadmin Системный Администратор Windows
https://yangx.top/lifeproger Жизнь программиста. Авторский канал.
https://yangx.top/devopslib Библиотека девопса | DevOps, SRE, Sysadmin
https://yangx.top/rabota1C_rus Вакансии для программистов 1С

Системное администрирование 📌
https://yangx.top/sysadmin_girl Девочка Сисадмин
https://yangx.top/srv_admin_linux Админские угодья
https://yangx.top/linux_srv Типичный Сисадмин

https://yangx.top/linux_odmin Linux: Системный администратор
https://yangx.top/devops_star DevOps Star (Звезда Девопса)
https://yangx.top/i_linux Системный администратор
https://yangx.top/linuxchmod Linux
https://yangx.top/sys_adminos Системный Администратор
https://yangx.top/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://yangx.top/sysadminof Книги для админов, полезные материалы
https://yangx.top/i_odmin Все для системного администратора
https://yangx.top/i_odmin_book Библиотека Системного Администратора
https://yangx.top/i_odmin_chat Чат системных администраторов
https://yangx.top/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://yangx.top/sysadminoff Новости Линукс Linux

1C разработка 📌
https://yangx.top/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С
https://yangx.top/DevLab1C 1С:Предприятие 8

Программирование C++📌
https://yangx.top/cpp_lib Библиотека C/C++ разработчика
https://yangx.top/cpp_knigi Книги для программистов C/C++
https://yangx.top/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://yangx.top/pythonofff Python академия. Учи Python быстро и легко🐍
https://yangx.top/BookPython Библиотека Python разработчика
https://yangx.top/python_real Python подборки на русском и английском
https://yangx.top/python_360 Книги по Python Rus

Java разработка 📌
https://yangx.top/BookJava Библиотека Java разработчика
https://yangx.top/java_360 Книги по Java Rus
https://yangx.top/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://yangx.top/Githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://yangx.top/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://yangx.top/developer_mobila Мобильная разработка
https://yangx.top/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://yangx.top/frontend_1 Подборки для frontend разработчиков
https://yangx.top/frontend_sovet Frontend советы, примеры и практика!
https://yangx.top/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://yangx.top/game_devv Все о разработке игр

Библиотеки 📌
https://yangx.top/book_for_dev Книги для программистов Rus
https://yangx.top/programmist_of Книги по программированию
https://yangx.top/proglb Библиотека программиста
https://yangx.top/bfbook Книги для программистов
https://yangx.top/books_reserv Книги для программистов

БигДата, машинное обучение 📌
https://yangx.top/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning

Программирование 📌
https://yangx.top/bookflow Лекции, видеоуроки, доклады с IT конференций
https://yangx.top/coddy_academy Полезные советы по программированию
https://yangx.top/rust_lib Полезный контент по программированию на Rust
https://yangx.top/golang_lib Библиотека Go (Golang) разработчика
https://yangx.top/itmozg Программисты, дизайнеры, новости из мира IT
https://yangx.top/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://yangx.top/nodejs_lib Подборки по Node js и все что с ним связано
https://yangx.top/ruby_lib Библиотека Ruby программиста

QA, тестирование 📌
https://yangx.top/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://yangx.top/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://yangx.top/thehaking Канал о кибербезопасности
https://yangx.top/xakep_2 Хакер Free

Книги, статьи для дизайнеров 📌
https://yangx.top/ux_web Статьи, книги для дизайнеров

Математика 📌
https://yangx.top/Pomatematike Канал по математике
https://yangx.top/phis_mat Обучающие видео, книги по Физике и Математике

Excel лайфхак📌
https://yangx.top/Excel_lifehack

https://yangx.top/tikon_1 Новости высоких технологий, науки и техники💡
https://yangx.top/mir_teh Мир технологий (Technology World)

Вакансии 📌
https://yangx.top/sysadmin_rabota Системный Администратор
https://yangx.top/progjob Вакансии в IT

Создаем собственного AI-помощника для кодинга в JupyterLab с использованием Ollama и Hugging Face

Недавно я исследовал возможности создания собственного AI-помощника для написания кода. Цель — иметь полноценного помощника, работающего локально, без зависимости от облака и внешних API.

Вот как я это сделал:


🧠 Что такое Ollama?

Ollama — это инструмент для локального запуска LLM (Large Language Models). Он поддерживает модели вроде codellama, llama2, mistral и другие. Всё работает на вашем компьютере, без необходимости обращаться к внешним сервисам.

Пример установки и запуска:

curl -fsSL https://ollama.com/install.sh | sh
ollama run codellama

После запуска вы можете взаимодействовать с моделью через CLI или REST API.



🤖 Интерфейс с JupyterLab

Теперь объединим Ollama с JupyterLab, чтобы создать AI-помощника, с которым можно взаимодействовать прямо в ноутбуке.

Установка расширения:

Устанавливаем jupyter-ai, который интегрируется с LLM в Jupyter:

pip install jupyter-ai
jupyter labextension install @jupyterlab/ai-extension
jupyter ai init

Настройка Ollama в Jupyter AI

Файл jupyter_ai_config.toml:

[jupyter_ai]
default_provider = "ollama"

[jupyter_ai.providers.ollama]
url = "http://localhost:11434"
model = "codellama"

Теперь ваш JupyterLab знает, куда отправлять запросы.



🚀 Использование в Jupyter

Теперь можно использовать магические команды:

%%ai
Напиши функцию на Python, которая сортирует список по возрастанию.

Или вызвать помощника в чате справа от ноутбука.



🧩 Альтернатива: Hugging Face + Text Generation Inference

Если вы хотите использовать модели из Hugging Face — можно установить text-generation-inference, который поддерживает множество моделей, оптимизированных для inference.

Команда запуска:

docker run --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference \
--model-id bigcode/starcoder2 \
--quantize gptq

В конфиге JupyterAI:

[jupyter_ai.providers.huggingface_tgi]
url = "http://localhost:8080"
model = "bigcode/starcoder2"

💡 Итоги

Теперь у вас есть полностью локальный AI-кодинг помощник, работающий в JupyterLab, без отправки данных в облако. Отличное решение для конфиденциальной работы, кастомизации и обучения.

https://towardsdatascience.com/build-your-own-ai-coding-assistant-in-jupyterlab-with-ollama-and-hugging-face/

👉 @bigdata_1