Модель для голосового ИИ-агента выбирают не по общим бенчмаркам, а по собственному тесту на реальных звонках: качество распознавания, задержка и цена за минуту важнее строчки в лидерборде. Retell AI, провайдер голосовых агентов, обслуживает 100 млн звонков в месяц на моделях OpenAI и отдельно замеряет их на собственном бенчмарке.
Как выбрать модель для голосового ИИ-агента: что это и с чего начать
Выбор модели для голосового ИИ-агента — это подбор LLM под цепочку «распознавание речи → ответ модели → синтез речи», где каждая модель проверяется на своих реальных диалогах. Голосовой агент отличается от текстового чата тем, что ошибка модели слышна сразу: пауза, неверная интонация или оборванная фраза рушат разговор.
Поэтому критерий один — не средний рейтинг модели, а результат на вашем сценарии звонка. Retell для этого держит собственный бенчмарк голосовых агентов и прогоняет через него новые модели. По данным OpenAI, на этом бенчмарке верхнюю строчку заняла GPT-6 Astra — то есть провайдер сравнивает модели именно в голосовой задаче, а не в общем текстовом тесте.
Практический вывод: если вы строите голосового ИИ-агента, заводите такой же внутренний набор из 20–50 записей звонков и прогоняйте каждую новую модель через него.
Виды моделей для голосовых агентов и чем они отличаются
Для голосового агента нужны три типа моделей, и выбирать их надо по отдельности. В цепочке работают распознавание речи, языковая модель-ответчик и синтез речи; проваливается обычно самое слабое звено, а не среднее.
- LLM-ответчик — держит контекст диалога и логику ответа. Её и меряют бенчмарки вроде того, что использует Retell.
- Модель распознавания речи — отвечает за то, чтобы агент услышал номер заказа или адрес с первого раза.
- Модель синтеза речи — определяет, звучит ли ответ естественно и укладывается ли в паузу.
Отдельно стоит вариант «одна модель на всё» против «сборки из разных». Retell выбрал второй путь: провайдер использует модели OpenAI как основу и меняет их по мере выхода новых версий, а не фиксирует одну навсегда.
Как выбрать модель для голосового ИИ-агента: критерии
Выбор делают по четырём измеримым критериям, и у каждого должна быть цифра из вашего теста. Ниже — что именно замерять и на что смотреть.
- Результат на своём бенчмарке. Соберите 20–50 реальных звонков и оцените долю корректно закрытых сценариев. Ориентир масштаба: Retell гоняет через свои агенты 100 млн звонков в месяц — на таком объёме бенчмарк быстро показывает разницу между моделями.
- Задержка ответа. Замерьте время от конца реплики клиента до начала ответа агента. Для голосового агента это критичнее, чем для чата: длинная пауза читается как обрыв связи.
- Стабильность на длинных диалогах. Проверьте, держит ли модель контекст к 5–10-й реплике, не теряет ли уже названные данные.
- Цена за минуту разговора. Считайте не цену за токен, а стоимость одной минуты звонка целиком — с учётом распознавания и синтеза.
- Скорость выхода обновлений. Если провайдер меняет модели по мере выхода новых версий, ваша задача — быстро перепроверять их на своём бенчмарке, а не переписывать агента.
Плюсы и минусы: где выбранная модель не работает
Сильная модель на бенчмарке не гарантирует хорошего агента — ограничения лежат вне самой LLM. Главный риск в том, что качество голосового агента определяется самым слабым звеном цепочки: отличный ответчик при плохом распознавании даёт неверные ответы на верно понятый вопрос.
Ограничения, которые стоит проверить до запуска:
- Шум и акценты. Бенчмарк на чистых записях не покажет, как модель работает на звонке из машины.
- Домены. Номера заказов, адреса и суммы модель может путать даже при хорошей общей оценке.
- Пиковые нагрузки. Тест на 50 звонках не покажет поведение на тысячах одновременных разговоров.
Отсюда правило: выбор модели для голосового ИИ-агента заканчивается не победой в бенчмарке, а прогоном на шумных и пограничных записях.
Сколько стоит голосовой ИИ-агент и из чего складывается цена
Цена голосового агента складывается из трёх статей — распознавание, ответ модели и синтез речи — плюс инфраструктура провайдера. Считать надо за минуту разговора, а не за токены: именно минута — единица, которую видит заказчик.
Ориентир по масштабу бизнеса даёт сам Retell: по данным OpenAI, компания вышла на годовой доход $1,6 млн на одного сотрудника. Это не цена модели, но показывает, насколько плотным должен быть поток звонков, чтобы голосовой агент окупался.
Практика расчёта: возьмите среднюю длительность звонка в вашем сценарии, умножьте на стоимость минуты по каждой из трёх моделей и сравните с ценой, которую платит клиент за обработку обращения. Если разница меньше стоимости повторного звонка при ошибке — модель дешевле заменить.
Как начать: шаги
Начать стоит с собственного бенчмарка, а не с выбора модели. Порядок такой:
- Запишите 20–50 реальных звонков вашего сценария, включая шумные и сложные.
- Зафиксируйте метрики: доля закрытых сценариев, задержка ответа, число переспросов.
- Прогоните через тест текущую модель и одну-две альтернативы.
- Сравните цену минуты разговора по каждой цепочке целиком.
- Оставьте модель, которая выигрывает на ваших записях, и перепроверяйте её при каждом обновлении.
Если агент должен не только говорить, но и тянуть данные из внешних систем, понадобится доступ к инструментам — об этом в разборе как дать ИИ-агенту доступ к интернету. А если агентов несколько и они работают параллельно, пригодится материал как запустить несколько ИИ-агентов на одной видеокарте.
Частые вопросы
Какая модель лучше для голосового ИИ-агента? Та, что выигрывает на вашем бенчмарке звонков. У Retell на собственном бенчмарке голосовых агентов лидирует GPT-6 Astra, но это результат на их сценариях, а не универсальный ответ.
Сколько звонков выдерживает голосовой агент? Ориентир — 100 млн звонков в месяц: столько обслуживает Retell на моделях OpenAI. Ваш потолок зависит от задержки и цены минуты в вашей цепочке.
Нужно ли менять модель при выходе новой версии? Только после прогона на своём бенчмарке. Retell обновляет модели по мере выхода новых версий, но решение принимает по результатам теста, а не по дате релиза.
Больше разборов по ИИ и автоматизации — в канале: @il_chum