Fine-tuning (дообучение) — это дополнительное обучение уже готовой модели на небольшом наборе собственных примеров, чтобы она лучше выполняла конкретную задачу или писала в нужном стиле.
Базовую языковую модель обучают на огромных массивах текстов, это дорого и делается один раз. Дообучение берёт готовую модель и продолжает её обучение на сотнях или тысячах пар «запрос — желаемый ответ». Веса модели слегка меняются, и она закрепляет нужное поведение: формат, терминологию, тон бренда, классификацию по вашим категориям. Результат — новая версия модели, которую вызывают по отдельному имени.
Дообучение подходит, когда нужно стабильно получать узкий формат или стиль и промптов недостаточно. Но оно не лучший способ «научить» модель фактам: знания, которые часто меняются, надёжнее подавать через поиск по документам (RAG). А для многих задач хватает примеров в запросе и точной инструкции. Поэтому порядок такой: сначала промпт, потом few-shot и RAG, и только затем дообучение.
Когда это оправдано
- Нужен строго одинаковый формат или голос на большом объёме.
- Много однотипных задач: классификация, извлечение данных.
- Длинные инструкции в каждом запросе дороги, а дообучение их заменяет.
- Есть качественный набор размеченных примеров.
Как подойти к дообучению
- Убедитесь, что промпт и few-shot не решают задачу.
- Соберите набор примеров: сотни пар вход-выход хорошего качества.
- Очистите данные от ошибок, противоречий и персональных данных, учитывая 152-ФЗ.
- Выделите часть примеров на проверку, не используя их при обучении.
- Запустите обучение через сервис провайдера или инструменты для открытых моделей.
- Сравните результат с исходной моделью на проверочном наборе и решите, стоит ли применять.
Типичные ошибки
- Дообучать ради знаний, которые меняются: лучше RAG.
- Использовать мало или грязные данные: модель закрепит ошибки.
- Не проверять на отложенных примерах: нет понимания реального качества.
- Не учитывать, что при смене версии базовой модели придётся повторять процесс.
- Включать в обучающие данные конфиденциальную информацию.
Пример
Служба поддержки готовит 1 000 пар «обращение клиента — ответ по стандартам компании». Дообученная модель отвечает в нужном тоне и формате без длинной инструкции в каждом запросе.
Частый вопрос
Fine-tuning или RAG — что выбрать? Если модели не хватает знаний или они меняются, берите RAG. Если нужно изменить стиль, формат и поведение, пробуйте дообучение. Часто их сочетают.