Sora — это модель компании OpenAI, которая создаёт короткие видеоролики по текстовому описанию, а также по изображению или другому видео.
OpenAI показала Sora в феврале 2024 года, и демонстрационные ролики произвели большое впечатление: модель рисовала сцены с несколькими объектами, движением камеры и правдоподобным освещением. Позднее сервис стал доступен пользователям, а OpenAI выпускала новые версии модели. Подробности доступа, длительность роликов и лимиты меняются, поэтому актуальные условия смотрите на сайте OpenAI.
Sora относится к классу Text-to-video. Под капотом такие системы обычно комбинируют идеи диффузионных моделей (Диффузионная модель) и архитектуры трансформер: видео представляют как набор небольших пространственно-временных фрагментов, из шума постепенно получают связную картинку и учатся удерживать согласованность объектов от кадра к кадру. Именно согласованность — главная сложность видео по сравнению с генерацией отдельных картинок.
Что умеет
- Создавать ролик по тексту: «Крупный план: капли дождя на стекле, на фоне огни ночного города».
- Оживлять картинку: превращать статичный кадр в сцену с движением.
- Продолжать и изменять существующее видео.
- Подражать разным стилям: реалистичному, мультипликационному, кинематографичному.
Для чего используют
Маркетологи делают черновые видео для рекламы и соцсетей, дизайнеры — раскадровки и концепты, команды продуктов — демонстрации идей. Для финального продакшена результат часто нужно монтировать, а у клиентов проверять права и репутационные риски.
Ограничения и риски
- Физика и мелкие детали порой нарушаются: руки, текст, взаимодействие предметов.
- Ролики короткие, а длинные сцены собирают из нескольких кусков.
- Есть вопросы авторских прав и использования похожих стилей.
- Реалистичные ролики могут вводить в заблуждение, поэтому появляется маркировка и водяные знаки.
Чем отличается от других генераторов
Среди сервисов этого класса — Runway, Kling от Kuaishou, Veo от Google. Все они делают похожую работу, но различаются качеством движения, длиной роликов, контролем над камерой и условиями доступа. Выбор зависит от задачи, поэтому полезно прогнать один и тот же запрос через несколько сервисов.
Хороший запрос для видео похож на режиссёрскую заметку. Опишите объект, действие, место, время суток, стиль и движение камеры, например «медленный пролёт над горным озером на рассвете». Чем конкретнее описание, тем меньше случайностей, но и тогда придётся сгенерировать несколько вариантов и выбрать лучший.
Частый вопрос
Можно ли использовать ролики Sora в рекламе? Это зависит от условий сервиса и законов вашей страны. Прочитайте правила использования, проверьте права на материал и оценивайте риск: реалистичное видео без пометки о нейросети может ввести аудиторию в заблуждение. Для крупных кампаний лучше посоветоваться с юристом.