Никита АлимпиевNikAlimp

Токен

Token

Токен — это минимальная единица текста, с которой работает языковая модель: слово, часть слова, знак препинания или пробел. Модель не читает буквы и слова напрямую, она получает последовательность токенов и предсказывает следующий.

Перед обработкой текст разбивается на токены специальным алгоритмом, это называется токенизацией. Каждому токену соответствует номер в словаре модели, а дальше номер превращается в числовой вектор — эмбеддинг. Короткие и частые слова обычно занимают один токен, длинные и редкие делятся на несколько кусков. Для английского один токен — это в среднем около четырёх символов, для русского токенов уходит больше: кириллица в большинстве словарей дробится мельче. Поэтому один и тот же по смыслу текст на русском «весит» больше, чем на английском.

Токены важны по двум причинам. Во-первых, от них зависит стоимость: API обычно тарифицируют за токены на входе и на выходе. Во-вторых, они ограничивают объём: Контекстное окно модели измеряется в токенах, и всё, что в него не влезло, модель не видит.

Пример

Фраза «Привет, мир!» может разбиться на несколько токенов: «Прив», «ет», «,», « мир», «!». Точное деление зависит от конкретной модели, у разных моделей оно разное. Поэтому нельзя точно посчитать токены «на глаз» и переносить число с одной модели на другую.

Как оценить количество токенов

  1. Откройте официальный счётчик токенов у вашего провайдера, если он есть, или используйте библиотеку токенизатора модели.
  2. Вставьте текст и посмотрите число токенов на входе.
  3. Добавьте запас на ответ: он тоже считается и входит в лимит окна.
  4. Для грубой прикидки по русскому тексту закладывайте заметно больше токенов, чем слов.

Типичные ошибки

  • Путать токены со словами и считать лимит окна в словах.
  • Не учитывать, что в лимит входят и вопрос, и инструкции, и история диалога, и ответ.
  • Использовать оценку для английского при расчёте бюджета на русские тексты.
  • Считать, что токен всегда равен слову: на практике так бывает только у коротких частых слов.

Чем отличается от символа и слова

Символ — одна буква или знак, слово определяется пробелами. Токен определяется словарём модели и может быть частью слова, целым словом или несколькими словами вместе. Поэтому у токенов нет универсального соотношения со словами.

Кому и когда это нужно

Тем, кто платит за API, встраивает LLM в продукт или загружает в модель длинные документы. Для обычного чата достаточно знать, что очень длинный диалог рано или поздно перестаёт помещаться в память модели.

Частый вопрос

Сколько токенов в одном слове? Зависит от слова и модели: короткое частое слово обычно занимает один токен, длинное или редкое — два-четыре. Для русского языка токенов в среднем больше, чем для английского.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.