Локально развертываемая LLM Ollama для извлечения текста из документов (включая PDF). На примере выглядит отлично, как оно будет на практике - надо проверять. #llm

NVIDIA анонсировала чятбота с локальными LLM моделями на RTX 3х и 4х серий. 8 GB VRAM минимум, на моём ноутбучном RTX 3060 c 6 ГБ VRAM не идёт :(

demo app - 35 ГБ 😳

#llm

Ещё одна штука, которая позволяет делать примерно то, что было в посте выше. Требуется рассмотрение и тесты. Жаль конечно, что примеры в основном на питоне. #llm #ai

Дожили, LLM модель засунули в TTF шрифт для отрисовки лигатур и других специальных штук #llm

Интересный тред про LLM - могут ли LLM предсказать результаты экспериментов в области социальных наук?
tldr - с вероятностью 0.85 :)
#llm

1-битная 8B LLM от Microsoft - не очень большая по размеру и может наверняка влезть в разные мелкие вафельницы #llm

Коротенькая статья по хранению векторов для #LLM (в статье для Ollama)

Тут nVidia релизнула несколько моделей на гитхабе Text to visual world generation (картинка / video). Должно быть это прекрасные модели, но... ресурсы...

Ну и initialization time на Single H100 CPU 14B модели 590 секунд... Вобщем копите бабки :) #llm

Тут на арену выходит новая нейронка DeepSeek, которая вроде как даже лучше Claude, и в половине тестов - лучше GPT-4o.

Русский понимает неплохо (несмотря на то что сама модель китайская) и весьма быстрая, а также что немаловажно - API (насколько я посмотрел) совместимо с OpenAI.

Ценники: $0.27 per million input tokens and $1.10 per million output tokens. #llm

Недавно обнаружил, что один из моих любимых научно-фантастических авторов выпустил очередную книгу, которая доступна только в виде аудиокниги в виде монолога. А я не очень привык к аудиокнигам, поэтому мы делаем что? Правильно, покупаем аудиокнигу, качаем mp3 и зовём на помощь нейронки чтобы а) транскрибировать б) перевести.

И если с первым проблем особо не возникло, какая-то из моделей вполне справилась локально за некоторое время, то вот со вторым - возникла трудность, потому что перевести en / ru эта модель не очень предназначена, а другие модели вроде Aya-23-8B не подходят под llama.cpp, а конвертить - ну там прямо таки linux way - это собери, тут напиши скрипты на питоне, разберись почему это говно не работает, запусти стопицот раз. И вобщем я начал искать какой-то движок, который бы мне перевёл 600 КБ текста с минимальными телодвижениями оффлайново. Потому что онлайново - это стоило бы денег :)

И нашёл кажется интересный движок msty, который можно self-hosted под Windows/Mac/Linux, умеет RAG и разные NVIDIA/AMD GPU и содержит даже какую-то коллекцию промптов. И что самое клёвое - очень удобный поиск и загрузка моделей, прямо из UI.

Качаю, пробую :) #llm

В продолжение поста про msty - оказывается есть что-то похожее у Microsoft в Microsoft Store - можно загрузить разные модели для оффлайна и заюзать их. Но возможностей сильно меньше - чисто юзерская конструкция и Windows only конечно #ai #llm

По описанию интересно выглядящий инструмент, который умеет

* Summarize videos in seconds.
* Generate full movies with voiceovers from a script.
* Search and index your media library.
* Organize and clip your content effortlessly.
* Dub and edit your audio and video with ease.
* Translate and add subtitle in any language.

и т.д. Тут как раз намечается проект, где надо делать summarize видео в виде текста, надо будет попробовать. #ai #llm

Как запилить свой Model Context Protocol адаптер для того, чтобы интегрировать их в LLM. Ещё одна статья на Microsoft и примеры на C# #dotnet #llm