Всем привет, с вами Низамов Илья. В последнее время я топлю за максимальное использование локальных ИИ моделей, тем более они вполне себе доросли по качеству до своих старших облачных собратьев при решении определенных задач.

Под прошлой серией постов про распознавание мне писали, что собрать локальный сервер, который будет решать эту задачу дорого и непонятно, когда окупится, а использовать облачные LLM нельзя по закону, точнее можно, но очень много ограничений и бюрократии.

И тут я наткнулся на пост Валерия Ковальски из red_mad_robot где он оценивает решение одной и той же задачи на локальном сервере и облачной модели. По итогу после обработки 20 подобных задач локальный сервер на RTX 4090, окупается.

У меня нет возможности проводить такие эксперименты, но я недавно решал задачу извлечения ключевых характеристик из названий и описаний товаров. Задача, очень приближенная к 1С, то есть вы можете обучить небольшую модель SpaCy и после этого применять ее к автоматическому заполнению характеристик номенклатуры.

Самое сложное это создать датасет для обучения модели и вот тут на помощь приходит LLM. Применяя подход Structured Outputs удалось создать датасет на 11тыс товарах. Обработка велась на 3080ti с использованием модели Qwen 2.5 7b развернутой через ollama под windows, без тонких настроек, что в принципе легко может повторить каждый. Обработка шла примерно 8-9 часов.

Пример из датасета:

{
    "text": "футболка hard work pocket, серый меланж, размер s",
    "labels": [
      {
        "label": "product_type",
        "text": "футболка",
        "start": 0,
        "end": 8
      },
      {
        "label": "make_model",
        "text": "hard work pocket",
        "start": 9,
        "end": 25
      },
      {
        "label": "color",
        "text": "серый меланж",
        "start": 27,
        "end": 39
      },
      {
        "label": "size",
        "text": "размер s",
        "start": 41,
        "end": 49
      }
    ]
  }

После причесывания датасета классическим python кодом, за LLM пришлось проверить и местами подровнять +-1 позицию start/end. Датасет был разбит на 3 выборки и проведено обучение SpaCy в 2 этапа, основной и файнтюнинг обученной модели, в итоге метрика F1 = 0.9433.

Теперь модель готова извлекать ключевые характеристики из любых названий и описаний данной категории товара, SpaCy отлично работает на CPU.

Как итог, чем больше вы будете решать задач с использованием локальных LLM моделей, тем быстрее отобьются ваши затраты на оборудование. Я же ищу сейчас нормальную 3090ti, поставлю в паре с текущей карточкой и тогда уже можно будет использовать модели по серьезнее.

Кстати 2х3090ti дающий в итоге 48Гб ОЗУ стоят в 2 раза дешевле одной 4090. Получается более выгодный вариант, если не учитывать электропотребление.

@nizamov_studio_1c

#localai #nlp #spacy #1с #1c #ai #ии