Мультимодальность — это способность модели работать с несколькими типами данных одновременно: текстом, изображениями, звуком и видео.
Раньше языковые модели понимали только текст, а для картинок и звука были отдельные системы. Мультимодальные модели принимают разные типы входа в одном запросе и могут отвечать также в разных форматах. Вы показываете фотографию чека и просите посчитать сумму. Загружаете скриншот интерфейса и просите найти ошибки в вёрстке. Говорите голосом и слышите голосовой ответ. Это стало возможным, когда разные данные научились превращать в общее числовое представление — эмбеддинги, с которыми работает одна и та же модель на основе трансформера.
Мультимодальными являются современные версии GPT, Gemini и Claude в части работы с изображениями и документами. Не все модели умеют все форматы: одни только читают картинки, другие ещё слушают аудио и смотрят видео, третьи ещё и создают изображения.
Примеры использования
- Разобрать таблицу или график на скриншоте.
- Описать фото товара для карточки в каталоге.
- Расшифровать голосовое сообщение и сделать из него конспект.
- Прочитать скан документа и извлечь поля.
- Проверить макет страницы и дать замечания по дизайну.
Как получить хороший результат
- Загружайте чёткие изображения достаточного размера.
- Объясняйте, что именно нужно сделать с картинкой: описать, сравнить, найти, извлечь.
- Для документов указывайте формат результата: таблица, список, JSON.
- Проверяйте цифры и мелкий текст: на плохих сканах модель ошибается.
Типичные ошибки
- Считать, что модель видит картинку так же, как человек. Она может пропустить мелкие детали или неверно посчитать объекты.
- Загружать документы с персональными данными без проверки условий сервиса и требований 152-ФЗ.
- Ожидать, что любая модель умеет и слушать, и смотреть видео.
Чем отличается от генерации
Мультимодальный вход означает, что модель умеет понимать разные форматы. Генерация изображений или видео — отдельная способность, которой может не быть. Часто эти функции подключают как отдельные модели, например диффузионную.
Кому и когда это нужно
Всем, у кого информация живёт не только в тексте: интернет-магазинам с фото, бухгалтерам со сканами, службам поддержки со скриншотами ошибок, авторам видео и подкастов. Мультимодальная модель экономит время на ручном переписывании данных из картинок и аудио.
Частый вопрос
Может ли обычный текстовый чат-бот работать с картинками? Только если модель мультимодальная. Если в интерфейсе есть значок загрузки изображений, она, скорее всего, умеет их читать; проверить можно в описании модели и по ответу на простой тест.