Языковая модель — это программа, которая оценивает вероятность слов и фраз и умеет предсказывать, какое слово или фрагмент текста идёт дальше. Современные языковые модели — это нейросети, обученные на огромных массивах текстов, и именно они стоят за чат-ботами вроде ChatGPT, Алисы AI и GigaChat.
Идея проста: если модель хорошо научилась продолжать текст, она может отвечать на вопросы, переводить, писать код и пересказывать документы. Всё это сводится к одной задаче: подобрать следующий токен, затем следующий, и так до конца ответа. Раньше использовали статистические модели, которые считали частоту сочетаний слов, например в подсказках клавиатуры. Сегодня почти все сильные модели построены на архитектуре трансформер.
Если модель очень большая, её называют большой языковой моделью, LLM (large language model). Размер измеряют числом параметров, то есть настраиваемых чисел внутри сети. Обучение проходит в два этапа: сначала предобучение на текстах из интернета и книг, потом доводка на примерах диалогов и оценках людей, чтобы модель следовала инструкциям. Для узких задач её можно дообучить, см. Fine-tuning.
Пример
Вы вводите «Столица России — ». Модель считает вероятности для следующих токенов и выбирает «Москва», потому что в обучающих данных эта связь встречалась постоянно. Так же модель строит и длинные ответы, токен за токеном.
Чем отличается от поисковой системы
Поисковик находит готовые документы в индексе и показывает ссылки. Языковая модель генерирует новый текст по закономерностям, усвоенным при обучении. Поэтому она может уверенно выдать неверный факт, см. Галлюцинация. Чтобы ответы опирались на источники, модель соединяют с поиском, как в RAG.
Что модель умеет и чего не умеет
- Умеет: писать и редактировать тексты, переводить, классифицировать, извлекать данные, объяснять, писать код.
- Не умеет сама по себе: знать события после даты обучения, помнить прошлые диалоги, точно считать и проверять собственные ответы.
- Ограничена объёмом контекстного окна: всё, что не влезло, она не видит.
Типичные ошибки
- Считать языковую модель базой знаний с точными фактами.
- Не проверять цифры, даты, ссылки и цитаты в ответе.
- Давать модели расплывчатую задачу и ждать идеального результата без уточнений.
Частый вопрос
Языковая модель и ChatGPT — это одно и то же? Нет. Языковая модель — технология, а ChatGPT — продукт, в котором за интерфейсом чата работает семейство языковых моделей GPT. Такие же продукты есть у Яндекса, Сбера и других компаний.