Эмбеддинг — это числовое представление текста, изображения или другого объекта в виде вектора, то есть списка чисел, где близкие по смыслу объекты оказываются рядом. По эмбеддингам компьютер сравнивает смысл, а не буквы.
Модель эмбеддингов получает фразу и возвращает вектор длиной от нескольких сотен до нескольких тысяч чисел. Эти числа сами по себе не читаются человеком, но у них есть важное свойство: тексты с похожим смыслом дают близкие векторы. «Как оформить возврат товара» и «хочу вернуть покупку» окажутся рядом, хотя общих слов у них почти нет. Близость измеряют математически, чаще всего косинусным расстоянием, это основа семантической близости.
Внутри языковых моделей эмбеддинги тоже есть: каждый токен на входе превращается в вектор, и дальше Трансформер работает уже с ним. Но обычно под эмбеддингом имеют в виду отдельный продукт: модель, которая превращает документы и запросы в векторы для поиска.
Где применяются
- Семантический поиск: запрос и документы превращают в векторы и ищут ближайшие.
- RAG: из базы знаний достают нужные фрагменты и подставляют в запрос к LLM.
- Рекомендации: похожие товары, статьи, вакансии.
- Кластеризация: группировка обращений клиентов или отзывов по темам.
- Поиск дубликатов и проверка на плагиат по смыслу.
Как использовать эмбеддинги в поиске по документам
- Разбейте документы на фрагменты по несколько абзацев.
- Получите вектор для каждого фрагмента через модель эмбеддингов.
- Сохраните векторы в векторной базе данных.
- При запросе превратите вопрос в вектор той же моделью и найдите ближайшие фрагменты.
- Покажите их пользователю или передайте языковой модели как контекст.
Типичные ошибки
- Смешивать векторы разных моделей: сравнивать можно только числа, полученные одной и той же моделью.
- Не обновлять векторы после изменения текста документа.
- Резать документы на слишком мелкие или слишком крупные куски: смысл теряется.
- Считать, что эмбеддинг заменяет точный поиск. Артикулы, номера и редкие имена лучше находить обычным поиском по словам, а лучшие системы совмещают оба подхода.
Чем отличается от токена
Токен — это кусок текста, с которого начинается обработка. Эмбеддинг — смысловой вектор, который получается из токенов или из целого текста.
Частый вопрос
Нужно ли разбираться в математике эмбеддингов? Нет. Достаточно понимать принцип: близкие по смыслу тексты получают близкие векторы. Остальное делает библиотека или сервис.