Как сэкономить на дорогой LLM с помощью дешёвых моделей
Как сэкономить на дорогой LLM с помощью дешёвых моделей

Как сэкономить на дорогой LLM с помощью дешёвых моделей

Что это такое: схема «дорогая модель планирует, дешёвая пишет код»

Сэкономить на дорогой LLM с помощью дешёвых моделей можно только если дешёвая модель не ухудшает результат. Классическая схема: дорогая модель (в тесте — Opus) строит план и проверяет результат, а код пишет дешёвый субагент (в тесте — DeepSeek V4.1 Flash). Пользователь с Reddit проверил эту идею на 12 сложных задачах по кодингу: 7 схем команды, 41 конфигурация, около 1 200 прогонов. Ни одна схема не обошла Opus в одиночку, а большинство вышло дороже.

Логика схемы простая: планирование и ревью — короткие вызовы, генерация кода — длинная. Кажется, что дорогую модель надо ставить на короткое плечо. На практике длинная генерация дешёвой моделью ломает результат, и переделки съедают всю разницу в цене.

Пример с цифрами: что показал тест на 12 задачах

Экономия на дорогой LLM с помощью дешёвых моделей в этом тесте дала минус: качество упало, цена выросла. Базовый вариант — один Opus — решил 81% задач при $1,20 за задачу. Связка Opus + DeepSeek V4.1 Flash решила 67% при $1,29 за задачу.

Что стоит за этими числами:

  • 12 задач — только сложные кодинг-задания, не рутина.
  • 7 схем команды — разные варианты разделения ролей между дорогой и дешёвой моделью.
  • 41 конфигурация — разные комбинации моделей и настроек внутри этих схем.
  • ~1 200 прогонов — на каждую конфигурацию несколько попыток.
  • Итог: 0 схем лучше одиночного Opus, большинство дороже.

Автор изначально искал одно из двух: команду, которая бьёт одну модель без скачка цены, либо схему заметно дешевле Opus при почти том же качестве. Не нашлось ни того, ни другого.

Плюсы и минусы: где схема с дешёвым субагентом не работает

Сэкономить на дорогой LLM с помощью дешёвых моделей не получается на задачах, где ошибка дешёвой модели дороже её токенов. Ограничения из теста:

  • Сложный код. На 12 трудных задачах дешёвый субагент терял 14 процентных пунктов качества (81% → 67%).
  • Переделки. Дешёвая генерация чаще требует повторного прохода дорогой моделью — это и есть источник роста цены до $1,29.
  • Планирование не спасает. Даже с планом и ревью от Opus связка не догнала одиночную модель.
  • Раздутая команда. Из 7 схем ни одна не дала выигрыша — усложнение оркестрации само по себе стоит денег и времени.

Где схема может окупиться: массовая рутина с короткими ответами, где цена ошибки низкая, а объём вызовов большой. Для сложных кодинг-задач данные говорят обратное.

Больше разборов по ИИ и автоматизации — в канале @il_chum

Сколько стоит: из чего складывается цена решения

Сэкономить на дорогой LLM с помощью дешёвых моделей не выйдет, если считать только цену токенов дешёвой модели. В тесте цена считалась за решённую задачу целиком: $1,20 у одиночного Opus против $1,29 у связки.

Из чего складывается стоимость:

  1. Вызовы дорогой модели на план и ревью — они никуда не исчезают.
  2. Генерация кода дешёвой моделью — та часть, на которой ждут экономию.
  3. Повторные прогоны после неудач — главный скрытый расход.
  4. Оркестрация: передача контекста между моделями тоже стоит токенов.

Правильная метрика — цена за решённую задачу, а не цена за миллион токенов. По ней связка проиграла и в качестве, и в деньгах.

Как выбрать и как начать: проверка на своих задачах

Сэкономить на дорогой LLM с помощью дешёвых моделей можно проверить за один вечер, если измерять цену за решённую задачу. Порядок действий:

  1. Соберите 10–15 своих реальных сложных задач, а не синтетику.
  2. Прогоните базовый вариант: одна дорогая модель, без команды.
  3. Зафиксируйте два числа: доля решённых задач и полная стоимость прогона.
  4. Соберите одну связку: дорогая модель планирует и ревьюит, дешёвая пишет код.
  5. Сравните цену за решённую задачу, а не за токен.
  6. Меняйте схему, только если связка выиграла хотя бы по одному из двух чисел.

Если нужен агент, который работает локально и не тратит токены на облако, начните с 3 проектов для запуска ИИ-агента на своём устройстве. А чтобы не переплачивать за облако, сверьтесь с разбором локальная LLM или облачная: как выбрать по бенчмаркам.

Частые вопросы

Дешёвая модель вместо дорогой реально экономит? На сложных кодинг-задачах — нет. В тесте связка Opus + DeepSeek V4.1 Flash дала 67% против 81% у одного Opus и стоила $1,29 против $1,20 за задачу.

Сколько схем команды стоит перепробовать? В тесте проверили 7 схем и 41 конфигурацию, около 1 200 прогонов. Ни одна не обошла одиночную дорогую модель, так что начинать стоит с проверки базового варианта.

Какую метрику считать главной? Цену за решённую задачу. Она объединяет качество и расход токенов, включая переделки после ошибок дешёвой модели.


Больше разборов по ИИ и автоматизации — в канале: @il_chum