Недавно обнаружил, что один из моих любимых научно-фантастических авторов выпустил очередную книгу, которая доступна только в виде аудиокниги в виде монолога. А я не очень привык к аудиокнигам, поэтому мы делаем что? Правильно, покупаем аудиокнигу, качаем mp3 и зовём на помощь нейронки чтобы а) транскрибировать б) перевести.

И если с первым проблем особо не возникло, какая-то из моделей вполне справилась локально за некоторое время, то вот со вторым - возникла трудность, потому что перевести en / ru эта модель не очень предназначена, а другие модели вроде Aya-23-8B не подходят под llama.cpp, а конвертить - ну там прямо таки linux way - это собери, тут напиши скрипты на питоне, разберись почему это говно не работает, запусти стопицот раз. И вобщем я начал искать какой-то движок, который бы мне перевёл 600 КБ текста с минимальными телодвижениями оффлайново. Потому что онлайново - это стоило бы денег :)

И нашёл кажется интересный движок msty, который можно self-hosted под Windows/Mac/Linux, умеет RAG и разные NVIDIA/AMD GPU и содержит даже какую-то коллекцию промптов. И что самое клёвое - очень удобный поиск и загрузка моделей, прямо из UI.

Качаю, пробую :) #llm

В продолжение поста про msty - оказывается есть что-то похожее у Microsoft в Microsoft Store - можно загрузить разные модели для оффлайна и заюзать их. Но возможностей сильно меньше - чисто юзерская конструкция и Windows only конечно #ai #llm

По описанию интересно выглядящий инструмент, который умеет

* Summarize videos in seconds.
* Generate full movies with voiceovers from a script.
* Search and index your media library.
* Organize and clip your content effortlessly.
* Dub and edit your audio and video with ease.
* Translate and add subtitle in any language.

и т.д. Тут как раз намечается проект, где надо делать summarize видео в виде текста, надо будет попробовать. #ai #llm

Как запилить свой Model Context Protocol адаптер для того, чтобы интегрировать их в LLM. Ещё одна статья на Microsoft и примеры на C# #dotnet #llm