Как сделать видео с говорящим человеком из аудио: разбор LongCat 1.6
Как сделать видео с говорящим человеком из аудио: разбор LongCat 1.6

Как сделать видео с говорящим человеком из аудио: разбор LongCat 1.6

Как сделать видео с говорящим человеком из аудио, не платя за закрытые сервисы: open-source модель LongCat-Video-Avatar 1.6 от Meituan генерирует такое видео локально. Это апгрейд версии 1.5, и в апдейте заявлены четыре улучшения — естественность мимики, синхронизация губ со звуком, согласованность движений лица и тела, стабильность картинки на длинных роликах.

Данные здесь из единственного источника — поста в r/LocalLLaMA со ссылкой на карточку модели на Hugging Face. Это анонс разработчика, а не независимое измерение, поэтому цифры производительности ниже не приводим: их в материалах нет.

Как сделать видео с говорящим человеком из аудио: что это

LongCat-Video-Avatar 1.6 — фреймворк для генерации видео человека по аудиодорожке. На вход подаётся звук, на выходе получается ролик, где персонаж говорит в такт записи.

Модель открытая, веса лежат на Hugging Face в репозитории meituan-longcat. Липсинк и движения строятся на аудио, а не на текстовом промпте: текст вы не пишете, вы даёте голос. Отсюда и главный сценарий — озвучка, где нужен говорящий человек без съёмки. Пост в r/LocalLLaMA вышел коротким, поэтому сравнение с конкурентами вроде закрытых аватаров и других open-source липсинк-моделей в материале не разобрано. Оценивать 1.6 стоит по четырём заявленным осям: мимика, синхрон губ, связка лица с телом, стабильность на длинной форме.

Чем версия 1.6 отличается от 1.5

Апгрейд бьёт по четырём слабым местам предыдущей версии и добавляет оптимизации инференса. Разработчик перечисляет улучшения явно, без общих слов.

По описанию Meituan, 1.6 стал естественнее в выражении эмоций и точнее попадает губами в звук. Движения лица и тела теперь согласованы между собой, а не живут отдельно. На длинных роликах картинка меньше расползается — это то, что обычно ломает видеоаватары первым. Плюс к качеству идёт инженерная часть: «comprehensive inference optimizations» для более быстрого и экономного развёртывания. Насколько быстрее — в источнике не сказано.

Если вы уже гоняли 1.5, смысл обновления в стабильности на длинной форме. Короткий ролик и старая версия отработает прилично, а вот длинный монолог — там разница и проявляется.

Как выбрать модель и запустить: пошаговый старт

Берите LongCat-Video-Avatar 1.6, если нужен открытый липсинк с аудио и возможность крутить его на своём железе. Ниже шаги, как подступиться.

  1. Откройте карточку meituan-longcat/LongCat-Video-Avatar-1.6 на Hugging Face и прочитайте раздел Model Introduction и Key Features — там полный список улучшений.
  2. Склонируйте репозиторий модели и поставьте зависимости по инструкции из карточки: git clone https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.6.
  3. Скачайте веса через huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.6.
  4. Подготовьте аудио: чистый голос без музыки и шума, липсинк цепляется за речь.
  5. Запустите инференс по скрипту из репозитория и проверьте результат на коротком фрагменте, прежде чем гнать весь монолог.

Критерии выбора простые: открытые веса против подписки, локальный запуск против облака, длина ролика против скорости. Точных требований к GPU в источнике нет, поэтому железо подбирайте по документации репозитория, а не по чужим постам.

Больше разборов по ИИ и автоматизации — в канале @il_chum

Ограничения: где видео с говорящим человеком из аудио ломается

Открытая модель не отменяет слабых мест видеоаватаров. Первое — длинная форма: именно её разработчик правил в 1.6, значит в 1.5 она текла. Второе — качество входного аудио: шум и музыка сбивают синхрон губ.

Третье ограничение — железо. Локальный инференс видео требует видеопамяти, а конкретных цифр в анонсе нет. Четвёртое — оценка. Все четыре улучшения заявлены самим Meituan, независимых замеров в материале не приведено, так что «естественнее» и «стабильнее» — слова разработчика.

Где не работает: если нужен ролик с точной артикуляцией под специфический язык или сложные эмоции, проверяйте на своих данных. И не ждите, что модель заменит съёмку в проектах, где важна реальная мимика актёра.

Кому это не подходит и что бы я сделал иначе

Скажу честно: если вам нужен один ролик в неделю и вы не хотите возиться с весами и GPU, берите закрытый сервис. LongCat 1.6 — для тех, кто готов держать пайплайн у себя и крутить параметры.

Я бы не начинал с длинного монолога. Сначала прогон на десятисекундном фрагменте: видно, как модель держит губы и не плывёт ли лицо. Потом уже наращивал длину. Ещё бы сразу готовил аудио в чистовом виде — перекодирование и чистка звука после генерации только добавляют кругов.

Не подходит модель и тем, кто ждёт готовую кнопку «сделать видео» без чтения документации: репозиторий на Hugging Face — это код и веса, а не интерфейс. Если хотите сначала разобраться с базой под агента, посмотрите разбор подключения базы знаний к ИИ-агенту, а за запуском open-source проектов на своём железе — подборку из трёх репозиториев.

Частые вопросы

LongCat-Video-Avatar 1.6 бесплатный? Да, это открытая модель: веса опубликованы на Hugging Face в репозитории meituan-longcat, платить за генерацию не нужно — только за своё железо.

Нужен ли текст для генерации? Нет. Модель аудио-управляемая: вход — звук, текст не подаётся.

Чем 1.6 лучше 1.5? Заявлены более естественная мимика, точный синхрон губ, согласованные движения лица и тела, стабильность на длинных роликах и ускоренный инференс.


Больше разборов по ИИ и автоматизации — в канале: @il_chum