Никита АлимпиевNikAlimp

RAG

Retrieval-Augmented Generation

RAG (Retrieval-Augmented Generation, генерация с дополнением из поиска) — это подход, при котором перед ответом языковая модель сначала находит нужные фрагменты в базе документов и отвечает, опираясь на них, а не только на то, что запомнила при обучении.

Идея описана в 2020 году в статье исследователей Facebook AI Research. Проблема, которую она решает, знакома каждому, кто пользовался чат-ботами: модель не знает ваших внутренних документов, не видит свежих данных (Knowledge cutoff) и склонна выдумывать (Галлюцинация). Переучивать модель на каждое обновление дорого, поэтому ей показывают нужные тексты прямо в запросе.

Схема работы простая. Документы заранее режут на кусочки и превращают в числовые векторы (Эмбеддинг). Векторы хранятся в векторной базе. Когда приходит вопрос, система превращает его в вектор, находит самые близкие по смыслу кусочки и добавляет их в запрос к модели вместе с инструкцией «отвечай по этим материалам». Модель формулирует ответ и может сослаться на источник.

Пример

Компания загружает в RAG-систему инструкции, прайс и регламенты. Сотрудник спрашивает: «Какие условия возврата для оптовых клиентов?» Система находит абзац из регламента и отдаёт его модели. Та отвечает точно и указывает, откуда взят ответ. Если регламент изменился, достаточно заменить документ в базе, переобучать ничего не нужно.

Из чего состоит RAG

  • Источники: страницы сайта, PDF, база знаний, CRM.
  • Нарезка на фрагменты (Чанкинг контента).
  • Индекс с эмбеддингами.
  • Поиск по смыслу, часто вместе с поиском по словам.
  • Языковая модель, которая собирает ответ.

Чем отличается от fine-tuning

Fine-tuning меняет саму модель: учит стилю, формату и терминам. Знания о фактах он усваивает плохо и быстро устаревает. RAG не меняет модель, а подкладывает ей актуальные сведения в момент ответа. Для вопросов по документам обычно подходит RAG, для настройки манеры и формата — дообучение, а часто нужны оба.

Типичные ошибки

  • Нарезать документы кусками без смысла, так что ответ теряется на границе.
  • Не обновлять базу после изменений.
  • Не проверять, что поиск находит нужный фрагмент: ответ не лучше найденного текста.
  • Сваливать в базу устаревшие и противоречивые документы.

Частый вопрос

Убирает ли RAG галлюцинации полностью? Нет, но заметно снижает их. Если нужный фрагмент найден, модель отвечает по нему, а не выдумывает. Если поиск ошибся, модель всё равно может ответить неверно, поэтому качество поиска и проверка источников остаются обязательными.

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.