Happy Horse 1.1, разработанная Alibaba, представляет собой значительный структурный скачок в области генеративного видео: она больше не относится к звуку как к второстепенной задаче. Построенная на единой архитектуре трансформера, она одновременно генерирует как визуальные кадры, так и сопровождающий их звук — диалоги, шумовые и фоновые эффекты — за один проход.
Результатом является видео в 1080p длительностью до 15 секунд с нативно синхронизированным звуком. Она даже справляется с многоязычной синхронизацией губ на 7 языках прямо из промпта. Для создателей контента, привыкших генерировать немые видеоклипы и часами искать звуковые эффекты или использовать отдельные инструменты для синхронизации губ, Happy Horse 1.1 сжимает многоэтапный рабочий процесс в один клик.
В то время как версия 1.0 была скорее проверкой концепции, версия 1.1 привносит согласованность персонажей и временную стабильность, необходимые для реального производства. Однако этот единый подход имеет свой компромисс: аудио и видео неразрывно связаны. Если видео идеально, но звуковой эффект не совсем тот, вы не можете легко перегенерировать только звуковую дорожку внутри модели. Несмотря на это, ее способность выдавать синхронизированный аудиовизуальный контент высокого разрешения делает ее одним из самых захватывающих инструментов в сегодняшнем рейтинге видео.
