Что это такое: схема «дорогая модель планирует, дешёвая пишет код»
Сэкономить на дорогой LLM с помощью дешёвых моделей можно только если дешёвая модель не ухудшает результат. Классическая схема: дорогая модель (в тесте — Opus) строит план и проверяет результат, а код пишет дешёвый субагент (в тесте — DeepSeek V4.1 Flash). Пользователь с Reddit проверил эту идею на 12 сложных задачах по кодингу: 7 схем команды, 41 конфигурация, около 1 200 прогонов. Ни одна схема не обошла Opus в одиночку, а большинство вышло дороже.
Логика схемы простая: планирование и ревью — короткие вызовы, генерация кода — длинная. Кажется, что дорогую модель надо ставить на короткое плечо. На практике длинная генерация дешёвой моделью ломает результат, и переделки съедают всю разницу в цене.
Пример с цифрами: что показал тест на 12 задачах
Экономия на дорогой LLM с помощью дешёвых моделей в этом тесте дала минус: качество упало, цена выросла. Базовый вариант — один Opus — решил 81% задач при $1,20 за задачу. Связка Opus + DeepSeek V4.1 Flash решила 67% при $1,29 за задачу.
Что стоит за этими числами:
- 12 задач — только сложные кодинг-задания, не рутина.
- 7 схем команды — разные варианты разделения ролей между дорогой и дешёвой моделью.
- 41 конфигурация — разные комбинации моделей и настроек внутри этих схем.
- ~1 200 прогонов — на каждую конфигурацию несколько попыток.
- Итог: 0 схем лучше одиночного Opus, большинство дороже.
Автор изначально искал одно из двух: команду, которая бьёт одну модель без скачка цены, либо схему заметно дешевле Opus при почти том же качестве. Не нашлось ни того, ни другого.
Плюсы и минусы: где схема с дешёвым субагентом не работает
Сэкономить на дорогой LLM с помощью дешёвых моделей не получается на задачах, где ошибка дешёвой модели дороже её токенов. Ограничения из теста:
- Сложный код. На 12 трудных задачах дешёвый субагент терял 14 процентных пунктов качества (81% → 67%).
- Переделки. Дешёвая генерация чаще требует повторного прохода дорогой моделью — это и есть источник роста цены до $1,29.
- Планирование не спасает. Даже с планом и ревью от Opus связка не догнала одиночную модель.
- Раздутая команда. Из 7 схем ни одна не дала выигрыша — усложнение оркестрации само по себе стоит денег и времени.
Где схема может окупиться: массовая рутина с короткими ответами, где цена ошибки низкая, а объём вызовов большой. Для сложных кодинг-задач данные говорят обратное.
Сколько стоит: из чего складывается цена решения
Сэкономить на дорогой LLM с помощью дешёвых моделей не выйдет, если считать только цену токенов дешёвой модели. В тесте цена считалась за решённую задачу целиком: $1,20 у одиночного Opus против $1,29 у связки.
Из чего складывается стоимость:
- Вызовы дорогой модели на план и ревью — они никуда не исчезают.
- Генерация кода дешёвой моделью — та часть, на которой ждут экономию.
- Повторные прогоны после неудач — главный скрытый расход.
- Оркестрация: передача контекста между моделями тоже стоит токенов.
Правильная метрика — цена за решённую задачу, а не цена за миллион токенов. По ней связка проиграла и в качестве, и в деньгах.
Как выбрать и как начать: проверка на своих задачах
Сэкономить на дорогой LLM с помощью дешёвых моделей можно проверить за один вечер, если измерять цену за решённую задачу. Порядок действий:
- Соберите 10–15 своих реальных сложных задач, а не синтетику.
- Прогоните базовый вариант: одна дорогая модель, без команды.
- Зафиксируйте два числа: доля решённых задач и полная стоимость прогона.
- Соберите одну связку: дорогая модель планирует и ревьюит, дешёвая пишет код.
- Сравните цену за решённую задачу, а не за токен.
- Меняйте схему, только если связка выиграла хотя бы по одному из двух чисел.
Если нужен агент, который работает локально и не тратит токены на облако, начните с 3 проектов для запуска ИИ-агента на своём устройстве. А чтобы не переплачивать за облако, сверьтесь с разбором локальная LLM или облачная: как выбрать по бенчмаркам.
Частые вопросы
Дешёвая модель вместо дорогой реально экономит? На сложных кодинг-задачах — нет. В тесте связка Opus + DeepSeek V4.1 Flash дала 67% против 81% у одного Opus и стоила $1,29 против $1,20 за задачу.
Сколько схем команды стоит перепробовать? В тесте проверили 7 схем и 41 конфигурацию, около 1 200 прогонов. Ни одна не обошла одиночную дорогую модель, так что начинать стоит с проверки базового варианта.
Какую метрику считать главной? Цену за решённую задачу. Она объединяет качество и расход токенов, включая переделки после ошибок дешёвой модели.
Больше разборов по ИИ и автоматизации — в канале: @il_chum