Трансформер — это архитектура нейросети, построенная на механизме внимания (attention), которая лежит в основе почти всех современных языковых моделей, включая GPT, Claude, Gemini и YandexGPT. Её предложили исследователи Google в статье «Attention Is All You Need» в 2017 году.
До трансформеров тексты обрабатывали рекуррентные сети: они читали слова по одному, и информация о начале длинного текста терялась к концу. Трансформер читает все токены одновременно и для каждого вычисляет, на какие другие токены в тексте ему стоит «обратить внимание». В предложении «Кошка не села на диван, потому что она устала» механизм внимания связывает «она» с «кошкой», а не с «диваном». Благодаря параллельной обработке трансформеры хорошо масштабируются: их можно обучать на огромных объёмах данных на тысячах видеокарт.
Базовый блок состоит из слоя внимания и небольшой полносвязной сети. Таких блоков друг над другом десятки или сотни. Перед первым блоком токены превращаются в числовые векторы (эмбеддинги), к ним добавляется информация о порядке слов. Буква T в названии GPT (Generative Pre-trained Transformer) как раз означает трансформер.
Пример
Запрос «Переведи на английский: банк на берегу реки». Слой внимания связывает слово «банк» со словами «берег» и «река», поэтому модель выберет значение «берег» (bank), а не «финансовое учреждение». Контекст влияет на каждое слово.
Чем отличается от рекуррентных сетей
Рекуррентные сети обрабатывают текст последовательно и плохо помнят далёкий контекст. Трансформер видит весь текст сразу и учитывает связи между любыми двумя словами. Цена за это — рост вычислений при увеличении длины текста, поэтому у моделей есть ограниченное Контекстное окно.
Какие бывают варианты
- Только энкодер (например, BERT): хорошо понимает текст, используется в поиске и классификации.
- Только декодер (GPT и большинство чат-моделей): генерирует текст токен за токеном.
- Энкодер и декодер вместе (T5 и похожие): подходят для перевода и пересказа.
Типичные ошибки
- Считать, что трансформер «понимает» текст как человек. Он статистически предсказывает продолжение, опираясь на закономерности из обучения.
- Путать трансформер с конкретной моделью. Это архитектура, а ChatGPT или Алиса AI — продукты на её основе.
- Думать, что трансформеры применяются только к тексту: их используют для изображений, звука и видео.
Кому и когда это нужно
Тем, кто хочет понимать, почему у LLM есть лимит контекста и откуда берутся их сильные и слабые стороны. Для практической работы с промптами углубляться в формулы необязательно.
Частый вопрос
Трансформер и нейросеть — это одно и то же? Нет. Нейросеть — общее название класса моделей, трансформер — одна из архитектур нейросетей, самая распространённая для работы с текстом.