Как выбрать LLM по цене и качеству: сравнение на Gemini 4
Выбирать LLM по цене и качеству нужно по стоимости одной задачи, а не по цене за миллион токенов. Свежий повод пересчитать — линейка Gemini 4: младшая Hydrogen через четыре недели после запуска обошла старшую Argon в независимом индексе Artificial Analysis Intelligence Index. Об этом пишет The Decoder.
Выбор LLM по цене и качеству — это не поиск самой дешёвой модели, а поиск модели, которая дотягивает до нужного качества за минимальные деньги на вашем типе задач. Цена за токен врёт: длинные ответы, ретраи и вызовы инструментов меняют счёт в разы. Поэтому сравнивать надо на своём сценарии — с реальными промптами, а не на демо из лендинга.
Как сравнивать LLM по цене и качеству: что это такое
Сравнивать модели нужно по трём числам: результат в независимом бенчмарке, цена за конкретную задачу и отдельная оценка по вашему профилю. В случае с Gemini 4 Hydrogen бенчмарк показал почти паритет с Claude Sonnet 5.5 — при меньшей цене. Но та же модель проигрывает на агентном кодинге, и это важнее общего балла, если вы гоняете агента по репозиторию.
Второй слой — тип задачи. Чат, суммаризация и генерация кода ведут себя по-разному на одной и той же модели. Общий индекс усредняет, ваш пайплайн — нет. Третий слой — стоимость ошибки: дешёвая модель, которая дважды переспрашивает, обходится дороже.
- независимый индекс — общая планка качества;
- цена за задачу — реальный счёт;
- ваш профиль — агентный кодинг, чат, извлечение данных.
Если хотите понять, как формулировать тестовые промпты, чтобы сравнение было честным, начните с материала как писать запросы к нейросети.
Виды моделей и чем они отличаются: Hydrogen против Argon
Внутри одной линейки модели делятся на младшую и старшую, и старшая не всегда лучше. Hydrogen заменила серию Flash и по бенчмаркам сделала более дорогую Argon фактически ненужной — при том что Argon выпущена раньше и позиционируется выше.
Разница проявляется в двух местах. Первое — общий интеллект: здесь Hydrogen почти догнала Sonnet 5.5. Второе — специализированные задачи: на агентном кодинге Hydrogen всё ещё отстаёт, и никакой общий балл этого не покажет. То есть «младшая» и «старшая» — это про позиционирование и цену, а не про гарантированное превосходство.
Практический вывод простой: не покупайте старшую модель по умолчанию. Сначала прогоните младшую на своих задачах — если разрыв в качестве не виден, переплата бессмысленна.
Как выбрать LLM по цене и качеству: критерии
Выбор сводится к пяти критериям, у каждого есть проверяемое число. Начните с цены за задачу, а не за токен: в случае Gemini 4 Hydrogen она примерно в 2,5 раза выше, чем у GPT-6.1 Sol, — и это уже аргумент против, если качество сопоставимо.
Дальше смотрите на бенчмарк по вашему профилю: общий индекс и отдельная строка «агентный кодинг» могут расходиться. Третий критерий — потолок сложности: где модель ломается. Четвёртый — стабильность формата ответа, если вы парсите JSON. Пятый — доступность и лимиты API.
- цена за задачу на вашем пайплайне;
- балл в независимом индексе;
- результат на вашем типе задач;
- стабильность структурированного вывода;
- лимиты и доступность API.
Сколько стоит LLM и где она не работает
Стоимость складывается из цены токенов, длины ответов и числа повторных вызовов. Модель, которая дороже за токен, но отвечает короче и не переспрашивает, в итоге может стоить меньше — именно поэтому сравнение по прайсу за миллион токенов почти всегда ошибочно.
Ограничения тоже конкретные. Hydrogen хороша как рабочая лошадка для чата и типовых задач, но на агентном кодинге ей пока не хватает глубины — там смотрите в сторону моделей, заточенных под код, например из разбора как выбрать open-source модель для агентного кодинга. И помните: данные по Hydrogen — из одного источника, статьи The Decoder, это оценка на основе Artificial Analysis, а не ваше измерение.
Вот как это выглядит на практике. Я взял два своих типовых сценария — разбор логов на 40 строк и генерацию функции на 60 строк — и прогнал их через три модели, считая вызовы, а не токены. Дешёвая модель на первом сценарии справилась с первого раза, на втором сделала две лишние итерации. Дорогая наоборот: логи разобрала с переспросом, код выдала сразу. В сумме счёт оказался почти равным, хотя прайс за токен различался заметно. Споткнулся я на другом — на парсинге ответа: одна модель вставляла пояснения перед JSON, и скрипт падал. Пришлось добавить жёсткий формат вывода в промпт и проверку на валидность. После этого сравнение стало честным: считаем не «сколько стоит токен», а «сколько стоит доведённая до конца задача».
Как начать сравнивать модели: шаги
Начинать нужно с одного своего сценария и одного числа — стоимости доведённой задачи. Возьмите Gemini 4 Hydrogen через API Google и GPT-6.1 Sol как базу для сравнения, прогоните одинаковые промпты и посчитайте вызовы.
- Соберите 10–20 реальных промптов из своего пайплайна.
- Зафиксируйте формат вывода и добавьте проверку валидности.
- Прогоните каждый промпт на Hydrogen и на модели-базе, логируя число вызовов и длину ответа.
- Умножьте на цену токенов и получите цену задачи.
- Отдельно оцените качество: сколько ответов принято без правок.
Команду для быстрого старта с Gemini 4 Hydrogen можно собрать через официальный SDK Google; главное — логировать usage в ответе, иначе считать будет нечего.
Кому это не подходит и что бы я сделал иначе
Честно: этот подход не нужен, если у вас один простой сценарий и объём в сотни запросов в месяц — там разница в цене не окупит времени на замеры. Не подходит он и тем, кто выбирает модель по вайбу: без логов вы всё равно будете угадывать.
Если бы я начинал сегодня, я бы сразу писал обёртку с логированием вызовов и цены, а не сравнивал модели вручную в чате. И не гнался бы за старшей моделью линейки: Hydrogen показывает, что младшая может обойти её по общему баллу, а решает всё цена за задачу на вашем профиле.
Частые вопросы
Hydrogen лучше Argon? По независимому индексу — да, младшая модель обошла старшую. Но на агентном кодинге она всё ещё слабее, так что для кода проверяйте отдельно.
Считать цену за токен или за задачу? За задачу. Цена за токен не учитывает длину ответов и повторные вызовы, а именно они формируют счёт.
Можно ли доверять одному бенчмарку? Нет. Общий индекс усредняет, а ваш пайплайн — конкретный. Прогоняйте свои промпты.
Больше разборов по ИИ и автоматизации — в канале: @il_chum