​​Интегрируем свои данные в LLM с помощью RAG
 
В данной статье рассматривается вопрос добавления собственных данных в предобученные языковые модели при помощи метода RAG (Retrieval Augmented Generation).
 
Автор подробно анализирует концепцию RAG и показывает, как этот подход внедрить на практике с использованием API OpenAI и сервиса Azure Cognitive Search. Материал объясняется на примере чат-бота, который даёт пользователям дополнительную информацию о продукции конкретной компании.
 
А для ещё более глубокого понимания RAG рекомендуем обратить внимание на это учебное пособие от FreecodeCamp.

#rag #llm

Это было вопросом времени: SQL-запросы из естественного языка

На HuggingFace появилась Text-to-SQL-модель ChatDB на 6.91 млрд. параметров, что позволяет превращать обычный текстовый запрос к БД в SQL-выражение:

Вопрос: Покажи день, в который пришло больше всего пользователей

Ответ:

SELECT created_at::DATE AS day, COUNT(*) AS user_count
FROM users
GROUP BY day
ORDER BY user_count DESC
LIMIT 1;

#sql #llm

​​Llama 3 теперь доступна в РФ

Meta AI наконец вспомнили, что такое настоящий опенсорс, свободный от политики, и открыли доступ к своей LLM для граждан РФ без VPN.

Попробовать Llama 3

@neuro_channel

#llm

​​scrapegraphai | LLM-скрейпер

Это библиотека Python для очистки веб-страниц, которая использует LLM и логику прямого графа для создания конвейеров очистки веб-сайтов и локальных документов (XML, HTML, JSON и т.д.). Просто скажите, какую информацию вы хотите извлечь, и библиотека сделает это за вас.

Репозиторий проекта

#llm

@neuro_channel

julius.ai | Новая степень автоматизации EDA

Бомбическая условно бесплатная нейронка на видео съедает таблицу с кандидатами из HeadHunter на 6,5К (!) строк, фильтрует её от всех неразработчиков и затем строит группированную столбчатую диаграмму по грейдам (Junior, Middle, Senior) и языкам (Go, PHP, Python etc.).

#llm #gpt

@neuro_channel

open-interpreter | Управление компьютером с помощью естественного языка

Python-библиотека, которая позволяет управлять ПК с помощью обычной челочеческой речи, в том числе на русском. На видео переключаются со светлой темы на тёмную, конвертируют docx-файлы на рабочем столе в .pdf.

Репозиторий проекта
Интерактивная демка в Colab

#llm #библиотека

Учим наш компьютер понимать естественный язык

В этом нам поможет open-interpreter — библиотека, которая позволяет управлять ПК с помощью обычной речи, в том числе на русском.

На видео выше можно посмотреть, как это работает на примере переключения со светлой темы на тёмную и конвертации docx-файлов в .pdf. 

Репозиторий проекта: https://github.com/OpenInterpreter/open-interpreter

#библиотека #llm

Упрощаем создание приложений на основе языковых моделей

В этом нам поможет фреймворк LangChain. Он упрощает разработку, поддержку и развёртывание приложений благодаря лёгкой интеграции нужных вам компонентов.

С помощью него можно гораздо проще создавать чат-ботов, ассистентов и другие инструменты, использующие LLM.

#llm #ai

Использование face_recognition и OpenCV для автоматического распознавания лиц и отправки уведомлений в Telegram

Эта статья поможет вам разобраться, как с помощью Python и библиотек face_recognition и OpenCV создать систему, которая будет распознавать лица, делать скриншоты при обнаружении лица в кадре и отправлять эти скриншоты в Telegram.

https://habr.com/ru/articles/822637/

#telegram #ai #llm #opencv

torchtitan | Фреймворк от PyTorch для LLM

Проект в стадии proof-of-concept, однако уже собрал 2К+ звезд на GitHub. Создатели самого влиятельного ML-фреймворка современности создали специфическую версию для обучения собственных Large Language Models. Теперь войти в эту игру среднему бизнесу станет еще проще.

Репозиторий проекта

#llm #инструмент

@zen_of_python

MCP или еще один повод уважать Anthropic

Сегодня всё больше разработчиков задумываются о том, как подключить большие языковые модели (LLM) к своим инструментам и данным. Но сталкиваются с кучей проблем: модели изолированы, не понимают, что делает API, и не могут просто так «пойти» в интернет. И вот здесь появляется MCP (Model Context Protocol).

Это открытый стандарт, созданный Anthropic. Он решает ключевую проблему: как дать LLM доступ к внешним данным и инструментам, не ломая их внутреннюю безопасность.

Да, у нас есть RESTful API. Но:

— Большинство LLM работают в «песочнице» без доступа в интернет;
— Даже если бы доступ был, модель не знает, как вызвать ваш API, какие параметры использовать и как интерпретировать ответ.

MCP решает эту задачу: он описывает, что делает ваш сервис, как с ним работать и что возвращается в ответ.


Три типа возможностей

1. Resources — данные, которые можно "прочитать", аналог GET-запросов
2. Tools — функции, которые можно вызвать (например, поиск видео)
3. Prompts — шаблоны запросов, помогающие пользователю формировать нужный вызов.


Пример: YouTube

Структура:

1. Модуль YouTube-поиска — обёртка над пакетом youtube-search
2. MCP-сервер — оборачивает этот модуль и превращает его в доступный инструмент для LLM.

def search_youtube(query, max_results):
    # Используем youtube_search
    ...
    return result_dict

И MCP-сервер, использующий этот модуль:

from fast_mcp import FastMCP

server = FastMCP(name="videos")
server.add_tool("get_videos", search_youtube)

LLM теперь может вызывать get_videos(), передав строку запроса — и получить отформатированный список роликов.


Автогенерация MCP из FastAPI

Если ваш API уже на FastAPI, вы можете автоматически создать MCP-интерфейс через fast_mcp.

from fast_mcp.contrib.fastapi import convert_app_to_mcp

app = FastAPI()
# ... API endpoints
mcp_server = convert_app_to_mcp(app)

Но это подойдёт, если вы точно знаете, что API и MCP будут едины и не потребуется различать их архитектурно.


Где это уже используется?

Пример из видео — интеграция с Claude Desktop, где в конфигурации можно указать локальный MCP-сервер:

{
  "name": "YouTube Videos",
  "command": "uv",
  "args": {
    "dir": "~/youtube_service",
    "file": "run_mcp.py"
  }
}

#LLM