Как сделать видео с ИИ-агентом на локальных моделях: пошагово

Один промпт — короткометражка. Код-агент способен собрать видео целиком на локальных моделях: сам разворачивает промпт в детальный сценарий, раздаёт задачи моделям на текст, изображения, видео, озвучку, музыку и звуковые эффекты, а затем рендерит результат. Ниже — как устроен такой пайплайн и что нужно, чтобы повторить его у себя.

Что именно сделал агент

Агент получил один короткий промпт и сам превратил его в рабочее ТЗ примерно на 2500 слов с жёсткими правилами. Результат — промо-ролик в стиле A24 для Unsloth Studio MCP, где 2D-персонаж говорит, а функции продукта раскрываются по одной.

Ключевое: агент не генерировал контент сам. Он выступил оркестратором — распределил роли между локальными моделями и следил, чтобы каждая выдавала результат в нужном формате. Исходный промпт задавал и стиль, и конкретные модели под каждую задачу.

Какие модели за что отвечают

Каждый этап пайплайна закрывает отдельная локальная модель. Такой расклад важен: не одна универсальная модель делает всё, а специализированные инструменты под узкую задачу.

Разделение по моделям даёт предсказуемость: если ломается озвучка, вы меняете одну модель, а не пересобираете весь ролик. Логика выбора локальной модели под задачу разобрана в материале Локальная LLM или облачная: как выбрать по бенчмаркам.

Как собрать такой пайплайн: шаги

1. Сформулируйте задание для агента как ТЗ, а не как просьбу. Укажите жанр, стиль, длину, персонажа и то, что все модели — локальные.
2. Перечислите модели по ролям. Прямо в промпте напишите, какая модель пишет текст, какая рисует, какая делает видео, голос, музыку, SFX и транскрипцию.
3. Задайте финальный рендер. Назовите инструмент сборки (в примере — HyperFrames), чтобы агент готовил ассеты под его требования.
4. Потребуйте развёрнутый план. Пусть агент сначала развернёт ваш короткий промпт в детальный сценарий с жёсткими правилами — как в кейсе, где вышло около 2500 слов.
5. Прогоните этапы по порядку: сценарий → изображения → видео → голос → музыка и SFX → транскрипция → рендер.
6. Проверяйте каждый этап отдельно. Ошибка в озвучке не должна требовать перегенерации всего видео.

Конкретный пример промпта

В исходном кейсе промпт выглядел так: «Сделай загадочный промо-ролик в стиле A24 для Unsloth Studio MCP, используя сам Unsloth Studio MCP: 2D-персонаж, который говорит, каждая функция раскрывается по одной, только локальные модели. Qwen3.8-27B — текст, Qwen-Image-2.1-Turbo — изображения, MiniMax-H3/Wan2.2 — видео, Breeze-TTS-2 — голос, YuE 2 — музыка, MiDashengLM — SFX, MOSS — транскрипция. Рендер в HyperFrames».

Из этого агент вывел ТЗ на ~2500 слов. Цифра показывает масштаб: короткая формулировка — это только вход, основную работу по декомпозиции агент делает сам. Чем жёстче правила в исходнике, тем меньше импровизации на выходе.

Что может пойти не так

Главный риск — рассинхрон этапов. Модели работают независимо, и агент должен следить за стыковкой: длина реплики под кадр, темп музыки под монтаж, формат ассетов под рендер.

Второй риск — расползание промпта. Без жёстких правил агент начнёт добавлять детали, которых вы не просили. В кейсе это решено явным требованием строгих правил в сценарии.

Третий — ресурсы. Десять локальных моделей в одном пайплайне требуют заметного запаса VRAM; сколько нужно под конкретную модель, считается заранее — см. Сколько VRAM нужно для локальной LLM: считаем до скачивания.

Частые вопросы

Можно ли собрать такое без код-агента? Да, но вручную. Агент берёт на себя декомпозицию промпта и раздачу задач моделям — без него каждый этап вы запускаете и стыкуете сами.

Обязательно ли десять моделей? Нет. Это пример полного пайплайна. Можно начать с трёх: текст, изображения и озвучка, затем добавлять видео, музыку и SFX.

Нужны ли облачные сервисы? В описанном кейсе — нет, все модели локальные. Это и было условием задания.

Больше разборов по ИИ и автоматизации — в канале: @il_chum