Самое тяжёлое бремя наваливается перед финишем... когда опускаются руки, когда кажется, что все снова навалилось и прорыва дальше не будет...всегда после стараний, усилий искренних ( а они есть) все становится на уровень, а то и порядок (10раз) выше...я верю в это искренне, именно это меня и держит.

За стеной отчаяния, в круговороте противоречивых мыслей, которые понятны только тебе, буквально внутри лимба через боль о возможных утратах - делаешь.

Если бы не любил, не видел бы в этом смысла. Люблю сильно.

Устал очень за эту неделю.

700-ый файл. Юбилейный. Пошла последняя сотка, а далее я просто запущу модель и буду скидывать ответы в течение новых эпох. Надеюсь, что не надо будет сидеть круглосуточно и смотреть на процесс, т.к. много дел параллельно других имеется. Хочется развиваться во всех направлениях. Процесс автоматизирован максимально, даже не обрывается...кроме грёбаного VPN...который уже оскомину набил мне.

Связь

Вспоминаю момент когда ждал дома будучи мелким приезда своих братьев, сестёр в гости на праздники. Сидел просто на иголках...так и сейчас сижу, думаю, размышляю. Готовлюсь морально, что схаваю 785 ошибок несмотря на 530 исправлений. Что снова будут какие-то проблемы с моделью о которых я даже не успел подумать. Благо я сохраняю версии и помечаю чтобы не запутаться...

И даже если я перейду в стадию с моделью, что она будет адекватно отвечать, более или менее права в фактологии...мы можем надолго зависнуть в этом моменте до тех пор пока я не начну масштабные тесты на распределённом обучении, которое уже точно будет иметь место.

Дело в том, что ко мне периодически присоединяются люди разного толка и пытаются меня поддержать, иногда они слишком сильно проникают в важные процессы проекта двигают его части куда надо, а потом бац и пропадают и все объявления по теме распределённого обучения и ещё много чего могут кануть в лету...

Мне для освоения всего этого нужно просто 24 на 7 сидеть в сети, мониторить, изучать, мало спать и делать делать делать, тестировать дебажить пока не получится какая-то система для удалённой тренировки моделей. Но ***ять...где время то взять?

В общем, думок огромное количество. Самый главный и мощный ресурс, который у меня есть - это компик с А100 на борту. Именно благодаря этому компику происходит превращение букв и токенов в "мысли" Rukallama. Экономит мне такое количество средств, что сложно было бы представить если бы я использовал все, что сделал локально через апишники вендоров разных...да я бы просто разорился.

Итак, кхм, всё это недешевое удовольствие при условии, что карточка А100 уже работает...приходит использовать доп сервисы и всё это чтобы проект не свалился в долгий ящик. Я вот как объявил "перерыв" на 2 недели, так он и продолжает до тех пор пока датасет не будет готов. А покуда он делается я с вами на связи рассказываю всякое.


Что случилось с обзорами разных нейронок? Случилось схлопывание времени и возможностей. Я уже говорил, что активно занимаюсь обучением студентов элекнтронной музыке и это на данный момент отнимает 90% времени, сьедая в том числе и время отведённое для личных дел (иногда не получается умыться, это прям адок).

Как станет полегче, а полегче станет ибо кол-во курсов уменьшается с каждым разом покуда я выхожу в эфир в академию. Поэтому те, кто соскучился по временам когда "Техножнец" херачил пост за постом - вернётся...просто попозже.

А сейчас жду когда эти грёбаные книжки прочитаются , кстати...GROQ самый быстрый инференс моделей делает...там заоблачная скорость генерации...если бы не они - то я бы встрял на полгода. (без шуток)

Продолжая мысль стадии мыслящей модели. Нужны огромные вычислительные мощности (не такие, конечно, как для многих моделей, но тем не менее). Примерная стоимость тренировочного кластера для самых начальных уровней...из разряда по спецификации догнать какую-либо модель современную...ну...100 млн минимум.

Т.е. ты делаешь говорилку, которая уже адекватно отвечает...а дальше твоя задача расширить её возможности без забывания нужного контекста и расширяя её возможности до нынешнего уровня моделей. Задачка, однако...задачка...будем смотреть уже по ходу дела.

Синтеты, пока нет стримов по IT я всё равно выхожу в эфиры. Вам интересно ? (конечно тем, кто в онлайне)
Я бы мог сюда закинуть ссылку на стрим, который начну в 23:40 по музыкальной части...я там мастеринг релизов делаю. Будем общаться - чат youtube доступен будет! Может кто отпишется

Портал: https://academy.pprfnk.tech/courses/11/lessons/93
Ютуб: https://youtube.com/live/7ymD3L4UW10?feature=share

Для тех, кто новый и хочет смотреть на портале - рега через телеграм.

Присоединяйтесь. Доступ открытый.

НАЧАЛО В 23:40

ПРОДОЛЖАЮ:

портал - https://academy.pprfnk.tech/courses/11/lessons/94
youtube - https://youtube.com/live/o3tSLHlOR_Y?feature=shareюю

Ну вот. 4 часа и , примерно, 20 минут = 5 релизов отмастерено. Таков мой рабочий день.

P.S. В количестве треков - это 19 треков. жаль, что не 20 😃

Запись осталась, кому интересно - welcome

Всё, выходной... ❤️

так. ну 28 штук осталось. но чето завершилось само. щас проверим)

Вот они мои выходные - начало.

Этап 1 начался. Токенизация. Пока что всё спокойно.

253 085 текстов. (интэрэсно).

Как Rukallama 0.99 (трушная) стартанёт - значит можно верификатор обучать. ❤️

P.S. YandexDroupoutTokenizer - фикция...токенизатор на основе SentencePiece (это давний бред, который я не подтёр) 😋

**ять....сука...зачем я туда зашёл))))))))))

llama-3.3-70b-versatile - on_demand
$248.32

meta-llama/llama-4-scout-17b-16e-instruct - on_demand
$56.27

ндаааа.....

Проснулся.

А толку...встать не могу. Слава богу, что выходной сегодня.

Щас я RuKallama запускать буду, оставил это на потом , вот.

Получается ,что...RuKallama будет знать заодно испанский...отлично.

Ладно, встаю, тяжко, но встаю. Щас буду смотреть шо там

Не запускается...ну ладно. было уже такое. пойду отдохну.

Как бы...4 часа сидел. Че нашёл ? Да пока не ясно...нифига вообще.