Что это и какую задачу решает
Автоматическая оценка ИИ-агента — это отдельный проверяющий слой, который сверяет каждый ответ агента со списком критериев и выносит вердикт без человека. Задача вечная: как только агент начинает работать с реальными документами и решениями, нужен способ ловить отклонения от правил, а не читать логи руками.
Свежий пример — Terminal X от OpenAI. Их Eval Agent оценивает вывод агента по рубрике из 54 критериев и с моделью GPT-6.1 Sol ловит на 25% больше отклонений от мандата фонда, чем предыдущая конфигурация. Заявленное совпадение с суждением старшего инвестора — 88,6%. То есть проверяющий слой уже подбирается к уровню живого эксперта по узкой задаче.
Важно: это не «ещё один чат-бот». Это агент-ревьюер, у которого есть фиксированный чек-лист и который выдаёт структурированную оценку, а не свободный текст.
Почему рубрика важнее модели
Качество автооценки упирается в критерии, а не в размер модели. 54 критерия в Terminal X — это и есть основная работа: пока не сформулировано, что считается отклонением, никакая LLM не отличит хороший ответ от плохого.
Как это выглядит на практике:
- Критерий — атомарное утверждение, на которое можно ответить «да / нет / не применимо». Не «ответ хороший», а «в ответе нет рекомендаций вне утверждённого инвестиционного мандата».
- Рубрика покрывает разные оси: факты, соответствие регламенту, полнота, формат. Если все критерии про одно, проверка слепнет.
- Отклонение фиксируется отдельно от оценки качества. Агент может дать отличный ответ, который нарушает мандат — это разные вещи.
- Порог совпадения с человеком измеряется. 88,6% в Terminal X — это метрика, которую можно отслеживать и улучшать, а не «на глаз вроде норм».
Если у вас нет рубрики, начните с 10–15 критериев по самой дорогой ошибке вашего агента. Расширять до 50+ имеет смысл только после того, как первые критерии стабильно ловят реальные промахи.
Как собрать проверяющего агента: шаги
Ниже — воспроизводимый каркас, повторяющий логику Eval Agent.
- Выпишите мандат. Один документ: что агенту можно, что нельзя, какие формулировки запрещены. Это источник критериев.
- Разбейте мандат на критерии. Каждый пункт — проверяемое утверждение с однозначным ответом. Цель — 20–50 штук, как 54 в Terminal X.
- Соберите эталонную выборку. 30–50 реальных ответов агента, которые старший специалист уже разметил вручную. Без этого не измерить совпадение.
- Настройте Eval-агента. Отдельный вызов LLM с системным промптом: роль ревьюера, полная рубрика, требование вернуть JSON вида
{criterion_id, verdict, reason}. См. системный промт. - Прогоните на эталонной выборке. Считайте долю совпадений с ручной разметкой по каждому критерию отдельно, а не только в среднем.
- Доработайте критерии, где расхождение максимальное. Обычно проблема в двусмысленной формулировке, а не в модели.
- Встройте в пайплайн. Каждый ответ агента проходит проверку до публикации; при провале — блок или эскалация человеку.
Пример с числами: если ваш агент выдаёт 200 ответов в день, а ручное ревью занимает 4 минуты на ответ, это ~13 часов работы ежедневно. Eval-агент при совпадении с человеком на уровне 88,6% снимает большую часть этой нагрузки, а человек смотрит только спорные случаи.
Где это нужно, а где перебор
Автооценка окупается там, где у агента есть регламент и цена ошибки. Финансы, юридические документы, поддержка с SLA, код-ревью по чек-листу — везде, где «отклонение от мандата» означает реальные деньги или репутацию.
Перебор — когда:
- ответы однотипные и проверяются обычным скриптом (наличие поля, длина, формат);
- нет ни одного размеченного примера — сначала нужна ручная разметка;
- критериев меньше пяти и они очевидны — хватит валидатора схемы.
Разница с обычными тестами: юнит-тест проверяет детерминированный вывод, а Eval-агент — смысловое соответствие свободного текста рубрике. Это разные слои, и второй не заменяет первый.
Что может пойти не так
Главный риск — проверяющий агент сам галлюцинирует и штампует «всё ок». Второй — рубрика настолько размытая, что любой ответ проходит.
Практические меры:
- Держите эталонную выборку отдельно и не подгоняйте под неё критерии — иначе совпадение 100% будет только на ней.
- Логируйте reason по каждому критерию. Без обоснования вердикт нельзя проверить.
- Сравнивайте модели на своей задаче. GPT-6.1 Sol в Terminal X дал +25% к отлову отклонений, но на вашей рубрике лидер может быть другим — методика в сравнении двух LLM на реальной задаче.
- Не отдавайте агенту финальное решение по спорным кейсам: 88,6% — это не 100%, оставьте эскалацию человеку.
Частые вопросы
Сколько критериев нужно для старта? 10–15 по самой дорогой ошибке. До 50+ расширяйте только после того, как первые стабильно ловят промахи на реальных данных.
Можно ли обойтись без ручной разметки? Нет. Без эталонной выборки вы не измерите, насколько Eval-агент совпадает с человеком, и не поймёте, растёт ли качество проверки.
Заменяет ли Eval-агент человека? Нет. Даже в Terminal X совпадение с суждением старшего инвестора — 88,6%, а не 100%. Агент снимает рутину, спорные случаи остаются за человеком.
Больше разборов по ИИ и автоматизации — в канале: @il_chum