Никита АлимпиевNikAlimp

Трансформер

Transformer

Трансформер — это архитектура нейросети, построенная на механизме внимания (attention), которая лежит в основе почти всех современных языковых моделей, включая GPT, Claude, Gemini и YandexGPT. Её предложили исследователи Google в статье «Attention Is All You Need» в 2017 году.

До трансформеров тексты обрабатывали рекуррентные сети: они читали слова по одному, и информация о начале длинного текста терялась к концу. Трансформер читает все токены одновременно и для каждого вычисляет, на какие другие токены в тексте ему стоит «обратить внимание». В предложении «Кошка не села на диван, потому что она устала» механизм внимания связывает «она» с «кошкой», а не с «диваном». Благодаря параллельной обработке трансформеры хорошо масштабируются: их можно обучать на огромных объёмах данных на тысячах видеокарт.

Базовый блок состоит из слоя внимания и небольшой полносвязной сети. Таких блоков друг над другом десятки или сотни. Перед первым блоком токены превращаются в числовые векторы (эмбеддинги), к ним добавляется информация о порядке слов. Буква T в названии GPT (Generative Pre-trained Transformer) как раз означает трансформер.

Пример

Запрос «Переведи на английский: банк на берегу реки». Слой внимания связывает слово «банк» со словами «берег» и «река», поэтому модель выберет значение «берег» (bank), а не «финансовое учреждение». Контекст влияет на каждое слово.

Чем отличается от рекуррентных сетей

Рекуррентные сети обрабатывают текст последовательно и плохо помнят далёкий контекст. Трансформер видит весь текст сразу и учитывает связи между любыми двумя словами. Цена за это — рост вычислений при увеличении длины текста, поэтому у моделей есть ограниченное Контекстное окно.

Какие бывают варианты

  • Только энкодер (например, BERT): хорошо понимает текст, используется в поиске и классификации.
  • Только декодер (GPT и большинство чат-моделей): генерирует текст токен за токеном.
  • Энкодер и декодер вместе (T5 и похожие): подходят для перевода и пересказа.

Типичные ошибки

  • Считать, что трансформер «понимает» текст как человек. Он статистически предсказывает продолжение, опираясь на закономерности из обучения.
  • Путать трансформер с конкретной моделью. Это архитектура, а ChatGPT или Алиса AI — продукты на её основе.
  • Думать, что трансформеры применяются только к тексту: их используют для изображений, звука и видео.

Кому и когда это нужно

Тем, кто хочет понимать, почему у LLM есть лимит контекста и откуда берутся их сильные и слабые стороны. Для практической работы с промптами углубляться в формулы необязательно.

Частый вопрос

Трансформер и нейросеть — это одно и то же? Нет. Нейросеть — общее название класса моделей, трансформер — одна из архитектур нейросетей, самая распространённая для работы с текстом.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.