Как отслеживать выполнение workflow в ИИ-агенте: разбор Dify 1.19
Как отслеживать выполнение workflow в ИИ-агенте: разбор Dify 1.19

Как отслеживать выполнение workflow в ИИ-агенте: разбор Dify 1.19

Отслеживать выполнение workflow в ИИ-агенте — значит видеть не только верхний уровень цепочки, но и каждый вложенный вызов Workflow Tools: какие шаги выполнились внутри, с каким контекстом LLM и в каком порядке. В релизе Dify 1.19.0 эта трассировка вложенных workflow встроена в observability-инструменты, а сами Workflow Tools стали переносимыми вместе с App packages.

Что такое трассировка вложенных workflow в ИИ-агенте

Трассировка workflow — это запись дерева выполнения: агент вызывает инструмент, инструмент запускает вложенный workflow, и все шаги фиксируются вместе с контекстом LLM. Раньше observability показывал только внешний вызов; теперь в Dify 1.19.0 видно, что произошло внутри каждого invocation.

Зачем это нужно на практике:

  • отладка: ошибка часто сидит не в верхнем агенте, а в шаге вложенного workflow;
  • стоимость: по дереву видно, на каком шаге сжигается контекст LLM;
  • воспроизводимость: execution tree сохраняется целиком, а не обрывками логов.

Отслеживание workflow без вложенности даёт ложную картину: верхний вызов выглядит успешным, хотя внутри инструмент вернул мусор.

Как выбрать инструмент для отслеживания workflow

Выбирать инструмент для отслеживания workflow стоит по четырём критериям, и вложенность — главный из них.

  1. Глубина трассировки. Поддерживает ли инструмент вложенные Workflow Tools или показывает только верхний вызов. Dify 1.19.0 закрывает именно этот пункт.
  2. Контекст LLM рядом с деревом. Нужно видеть промпт и ответ на каждом шаге, а не отдельно в другом окне. В Dify контекст LLM идёт вместе с execution tree.
  3. Переносимость. Могут ли Workflow Tools переезжать между инсталляциями вместе с App packages — иначе трассировку придётся заново собирать в каждом окружении.
  4. Экспорт в observability. Отдаёт ли инструмент дерево во внешние системы мониторинга, а не только в свой UI.

Если хотя бы один пункт не выполняется, отслеживание workflow превращается в ручной разбор логов.

Как начать: обновление и настройка

Начать отслеживать workflow в Dify можно за несколько шагов: обновить инсталляцию, проверить плагины и прогнать тестовый вызов.

  1. Обновите Dify до версии 1.19.0 по upgrade guide из релиза.
  2. Проверьте, что встроенный plugin daemon поднялся до версии 0.6.14-local — она идёт в комплекте с релизом.
  3. Убедитесь, что ваши Workflow Tools упакованы как App packages: в 1.19.0 они переносятся вместе с приложением.
  4. Запустите агента, который вызывает хотя бы один Workflow Tool, и откройте observability: должен появиться вложенный execution tree.
  5. Сверьте шаги внутри invocation с ожидаемой логикой — это и есть проверка трассировки.

Что может пойти не так: старый plugin daemon не покажет вложенные шаги, а Workflow Tools, собранные до обновления, придётся перепаковать.

Больше разборов по ИИ и автоматизации — в канале @il_chum

Пример с цифрами: что даёт Dify 1.19.0

Отслеживание workflow в Dify 1.19.0 — это три конкретных изменения в одном релизе. Во-первых, nested workflow tracing: агент вызывает Workflow Tools, и в observability виден каждый invocation с шагами внутри. Во-вторых, Workflow Tools теперь переносятся с App packages — трассировка не ломается при переносе приложения. В-третьих, добавлена автоматизация Skill Hub и упрощена загрузка и предпросмотр файлов агента, а plugin daemon обновлён до 0.6.14-local.

Практический сценарий: агент-исследователь вызывает инструмент «собрать источники», внутри которого три шага — поиск, фильтрация, суммаризация. Без вложенной трассировки вы видите один успешный вызов. С ней — какой из трёх шагов вернул пустой результат и сколько контекста LLM ушло на каждый.

Ограничения и типичные ошибки

Отслеживание workflow не решает проблему само по себе: трассировка показывает, что произошло, но не почему модель приняла решение.

  • Трассировка не заменяет оценку качества ответа — для этого нужна отдельная рубрика критериев, см. как автоматизировать оценку ИИ-агента по рубрике критериев.
  • Если инструменты не упакованы как App packages, переносимость не заработает и дерево придётся собирать заново.
  • Вложенность видна только для Workflow Tools; произвольный код внутри агента в дерево не попадёт.
  • Не стоит гнаться за глубиной ради глубины: если у агента один инструмент, вложенная трассировка даёт мало.

Частые вопросы

Что даёт трассировка вложенных workflow? Она показывает, какие Workflow Tools вызвал агент, какие шаги выполнились внутри каждого вызова и с каким контекстом LLM, — вместо одного верхнего вызова в логах.

Как перенести Workflow Tools в другое приложение? В Dify 1.19.0 они переносятся вместе с App packages: упакуйте приложение и разверните его в новом окружении, инструменты переедут вместе с ним.

Какая версия plugin daemon нужна для Dify 1.19.0? В релиз встроен plugin daemon версии 0.6.14-local. На старом демоне вложенные шаги в observability не отобразятся.


Больше разборов по ИИ и автоматизации — в канале: @il_chum