«Дообучение LLM — неизбежный шаг при создании современных, качественных AI-систем. Когда все «низковисящие фрукты» уже собраны, наступает момент, когда модель необходимо дообучать напрямую, чтобы продолжать улучшать её качество. К счастью, существуют легковесные методы, которые позволяют делать это эффективно и без серьёзных затрат на инфраструктуру.

Особенно важно, что даже этих облегчённых подходов оказалось достаточно, чтобы достичь более высокого качества по сравнению с классическими решениями на базе BERT, которые долгое время считались золотым стандартом в задачах классификации.

Это значимый прецедент успешного дообучения LLM в Альфе, который меняет подход: теперь LLM применимы не только для генерации текста, но и для более узких задач, которые раньше решались отдельными моделями, обученными на большом объёме размеченных данных»,