RAG (Retrieval-Augmented Generation, генерация с дополнением из поиска) — это подход, при котором перед ответом языковая модель сначала находит нужные фрагменты в базе документов и отвечает, опираясь на них, а не только на то, что запомнила при обучении.
Идея описана в 2020 году в статье исследователей Facebook AI Research. Проблема, которую она решает, знакома каждому, кто пользовался чат-ботами: модель не знает ваших внутренних документов, не видит свежих данных (Knowledge cutoff) и склонна выдумывать (Галлюцинация). Переучивать модель на каждое обновление дорого, поэтому ей показывают нужные тексты прямо в запросе.
Схема работы простая. Документы заранее режут на кусочки и превращают в числовые векторы (Эмбеддинг). Векторы хранятся в векторной базе. Когда приходит вопрос, система превращает его в вектор, находит самые близкие по смыслу кусочки и добавляет их в запрос к модели вместе с инструкцией «отвечай по этим материалам». Модель формулирует ответ и может сослаться на источник.
Пример
Компания загружает в RAG-систему инструкции, прайс и регламенты. Сотрудник спрашивает: «Какие условия возврата для оптовых клиентов?» Система находит абзац из регламента и отдаёт его модели. Та отвечает точно и указывает, откуда взят ответ. Если регламент изменился, достаточно заменить документ в базе, переобучать ничего не нужно.
Из чего состоит RAG
- Источники: страницы сайта, PDF, база знаний, CRM.
- Нарезка на фрагменты (Чанкинг контента).
- Индекс с эмбеддингами.
- Поиск по смыслу, часто вместе с поиском по словам.
- Языковая модель, которая собирает ответ.
Чем отличается от fine-tuning
Fine-tuning меняет саму модель: учит стилю, формату и терминам. Знания о фактах он усваивает плохо и быстро устаревает. RAG не меняет модель, а подкладывает ей актуальные сведения в момент ответа. Для вопросов по документам обычно подходит RAG, для настройки манеры и формата — дообучение, а часто нужны оба.
Типичные ошибки
- Нарезать документы кусками без смысла, так что ответ теряется на границе.
- Не обновлять базу после изменений.
- Не проверять, что поиск находит нужный фрагмент: ответ не лучше найденного текста.
- Сваливать в базу устаревшие и противоречивые документы.
Частый вопрос
Убирает ли RAG галлюцинации полностью? Нет, но заметно снижает их. Если нужный фрагмент найден, модель отвечает по нему, а не выдумывает. Если поиск ошибся, модель всё равно может ответить неверно, поэтому качество поиска и проверка источников остаются обязательными.