Text-to-video (текст в видео) — это технология, при которой нейросеть создаёт короткий видеоролик по текстовому описанию, а в ряде сервисов ещё и по картинке или другому видео.
Видео сложнее картинки: модель должна не просто нарисовать кадр, а сделать десятки кадров в секунду так, чтобы объекты не менялись, не мерцали и двигались по законам физики. Поэтому генераторы видео строят на тех же принципах, что и Text-to-image, то есть на диффузионных моделях (Диффузионная модель), но добавляют ещё и время: модель учится предсказывать, как сцена развивается от кадра к кадру. Обучают такие системы на больших массивах видео с описаниями.
Популярные сервисы — Sora от OpenAI, Runway, Kling, Veo от Google, Pika. Они отличаются длиной роликов, качеством движения, возможностью управлять камерой и условиями доступа, которые быстро меняются.
Режимы работы
- По тексту: вы описываете сцену словами.
- По изображению: статичный кадр оживает и получает движение.
- Видео в видео: стилизация или изменение уже снятого ролика.
- Продление: ролик достраивается дальше.
Пример
Для рекламы кофейни вы пишете: «Пар поднимается над чашкой, камера медленно приближается, тёплый утренний свет, уютная кофейня». Получаете десять секунд атмосферного ролика для сторис. Для финала его дополняют логотипом, звуком и текстом в видеоредакторе.
Как получить хороший ролик
- Опишите одну сцену и одно действие, а не целую историю.
- Укажите движение камеры: приближение, облёт, статичный кадр.
- Задайте стиль, освещение и время суток.
- Сделайте несколько вариантов и выберите лучший.
- Склейте удачные фрагменты и добавьте звук в монтажёре.
Типичные ошибки
- Просить длинный сюжет в одном запросе: сцена развалится.
- Ждать точного текста и логотипов в кадре: они искажаются.
- Не проверять реализм деталей: руки, лица, предметы.
- Публиковать реалистичное видео, не предупреждая, что оно создано нейросетью.
Ограничения
Ролики пока короткие, на длинное повествование нужно собирать несколько кусков. Стоимость генерации выше, чем у картинок, а повторяемость результата ниже. Остаются вопросы авторских прав и подмены реальности, поэтому появляются правила маркировки и водяные знаки.
Отдельно подумайте о звуке. Многие генераторы создают только картинку, и озвучку, музыку и шумы добавляют отдельно, например с помощью синтеза речи (TTS) и редактора. Планируйте этот этап заранее: без звука даже красивый ролик выглядит незаконченным.
Частый вопрос
Заменит ли text-to-video видеооператоров? Для коротких черновых роликов, концептов и фонов уже заменяет часть работы. Для рекламы с реальными людьми и продуктами, сложной режиссуры и фирменного стиля нужны люди. Нейросеть лучше рассматривать как быстрый инструмент для идей и прототипов.