Video As Prompt API: Унифицированное управление генерацией видео

Video As Prompt — это передовая модель от ByteDance, предназначенная для унифицированного семантического управления генерацией видео. Она позволяет анимировать статическое опорное изображение, используя движение и семантику из опорного видео в качестве подсказки. Это открывает новые возможности для создания динамического контента, значительно сокращая время и ресурсы на производство.

Возможности и сценарии использования

Модель Video As Prompt позволяет переносить концепции, стили, движения и движения камеры из одного видео на другое изображение, а также изменять тонкие атрибуты с помощью текстового запроса, сохраняя при этом семантику и идентичность. Для разработчиков это означает возможность быстрого прототипирования и создания сложных видеоэффектов без глубоких знаний в компьютерной графике. Бизнес-заказчики получают инструмент для автоматизации создания маркетинговых материалов, обучающих видео и персонализированного контента.

• Перенос движения и стиля: Анимируйте статичные изображения, используя динамику из любого видео. Это идеально подходит для создания рекламных роликов или демонстрационных материалов, где нужно быстро адаптировать существующие визуальные активы.
• Семантическое управление: Изменяйте тонкие атрибуты сгенерированного видео с помощью текстовых запросов, сохраняя при этом общую семантику и идентичность исходного изображения. Это позволяет точно настраивать результат под конкретные требования бренда или кампании.
• Автоматизация контента: Создавайте видео с разными или одинаковыми семантиками из опорных видео, перенося их на различные опорные изображения. Это значительно ускоряет процесс создания большого объема уникального видеоконтента для социальных сетей или внутренних коммуникаций.

Платформа обеспечивает единый API-синтаксис для всех моделей, минимизируя время на интеграцию и тестирование. Вы можете быстро перейти от экспериментов в Playground к продакшену, не меняя логику интеграции.

Интеграция и быстрый старт

Наш API работает по принципу асинхронной очереди задач, что гарантирует надёжность и масштабируемость ваших проектов. Вы создаёте задачу через POST-запрос, система ставит её в очередь и возвращает ID задачи. Задача обрабатывается в фоне, а вы проверяете статус и получаете результат по её ID.

Для быстрого старта:

1. Выберите эндпоинт из списка слева, например, POST /jobs для создания новой задачи.
2. Укажите API-ключ и настройте окружение в своём проекте.
3. Сформируйте запрос, передав URL опорного видео, опорного изображения и текстовый запрос, затем отправьте его.
4. Используйте GET /jobs/:jobId для проверки статуса и получения URL сгенерированного видео.

Payload для POST /jobs зависит от выбранного endpoint и включает параметры, такие как webhookUrl для получения уведомлений о завершении задачи. В Playground вы можете экспериментировать с различными параметрами и сразу видеть результат, что значительно ускоряет процесс разработки и отладки.

Параметры и контроль качества

Модель Video As Prompt предлагает детальный контроль над процессом генерации видео. Входами для модели являются опорное видео (URL), опорное изображение (URL), текстовый запрос, а также опциональные параметры, такие как seed, количество кадров, FPS, описание видео, включение проверки безопасности, соотношение сторон, разрешение и масштаб руководства. Выходом является URL сгенерированного видео.

Для разработчиков это означает возможность точной настройки каждого аспекта генерации, обеспечивая высокое качество и соответствие техническим требованиям. Бизнес получает гарантию, что итоговый продукт будет соответствовать их стандартам качества и бренда. Оценка задач производится с использованием нашей внутренней валюты — токенов, что позволяет гибко управлять затратами.

Мы предлагаем две основные вариации модели: CogVideoX-I2V-5B для стабильной работы в большинстве семантических условий и Wan2.1-I2V-14B для сильной производительности в отношении человеческих действий и новых концепций. Это позволяет выбрать оптимальную модель в зависимости от конкретных требований проекта, балансируя между стабильностью и производительностью. Единый API-синтаксис гарантирует, что переход между этими моделями не потребует значительных изменений в вашем коде.