Никита АлимпиевNikAlimp

Токенизация

Tokenization

Токенизация — это процесс разбиения текста на токены, то есть на небольшие фрагменты, из которых состоит вход языковой модели. Это первый шаг обработки любого запроса: пока текст не превращён в токены, модель с ним работать не может.

Нейросеть оперирует числами, поэтому текст нужно закодировать. Токенизатор берёт строку, режет её на фрагменты по заранее обученному словарю и заменяет каждый фрагмент номером. Самые распространённые подходы работают на уровне подслов: BPE (byte pair encoding), WordPiece и SentencePiece. Идея одна: частые слова остаются целыми, редкие и новые слова распадаются на знакомые куски. Благодаря этому у модели нет «неизвестных слов», любую строку можно собрать из имеющегося набора, а размер словаря остаётся разумным.

Токенизатор обучается отдельно, на большом корпусе текстов, и затем фиксируется. Его нельзя произвольно заменить: модель обучена под конкретный словарь, и другой токенизатор даст ей на вход бессмыслицу. Поэтому у каждого семейства моделей свой токенизатор, и число токенов в одном тексте у них различается.

Пример

Слово «токенизация» словарь, обученный в основном на английском, может разрезать на «ток», «ен», «из», «ация». Английское «token» останется одним токеном. Отсюда разница в стоимости и в объёме, который помещается в Контекстное окно.

Чем отличается от лемматизации и стемминга

Лемматизация приводит слово к начальной форме («книгами» → «книга»), стемминг отсекает окончания. Это приёмы классической обработки текста для поиска. Токенизация в современных моделях не пытается сохранить грамматический смысл: она работает со статистически удобными кусками, а смысл модель восстанавливает сама.

Как проверить, как текст делится на токены

  1. Найдите онлайн-визуализатор токенизатора нужной модели или подключите её библиотеку.
  2. Вставьте текст на русском и на английском.
  3. Сравните число токенов и посмотрите, где слова разрезаются.
  4. Если токенов слишком много, сократите текст или уберите лишнее форматирование.

Типичные ошибки

  • Ожидать, что модель видит буквы. Из-за токенизации она плохо справляется с задачами вроде «посчитай буквы в слове» или «переверни слово».
  • Считать длину промпта в словах.
  • Копировать цифры из документации одной модели для другой.
  • Забывать, что пробелы, переносы строк и разметка тоже превращаются в токены.

Кому и когда это нужно

Разработчикам, которые считают стоимость и лимиты, и всем, кто пишет длинные промпты. Для обычного пользователя достаточно понимать, почему русский текст расходует лимит быстрее английского.

Частый вопрос

Влияет ли токенизация на качество ответа? Да, косвенно. Если слово раздроблено на много мелких кусков, модели сложнее работать с его написанием, а русский текст занимает больше места в окне. Поэтому на редких словах и именах модели ошибаются чаще.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.