Семантическая близость — мера того, насколько два текста похожи по смыслу, а не по совпадению слов. Вычисляется через сравнение векторных представлений (эмбеддингов) текстов.
Современный поиск и генеративные системы находят фрагменты для ответа по семантической близости к запросу. Поэтому текст, точно раскрывающий смысл вопроса, может победить текст, где просто много ключевых слов.
История
Математическая идея сравнивать тексты как векторы появилась в 1970-х: модель векторного пространства Джерарда Солтона использовалась в первых поисковых системах. Но тогда векторы строились по совпадению слов. В 2013 году word2vec от Google научился переводить слова в векторы по смыслу. В 2018–2019 годах модели BERT и их аналоги научились так же кодировать целые предложения. Яндекс внедрил нейросетевые алгоритмы «Палех» в 2016 году и «Королёв» в 2017 году, а Google — BERT в поиск в 2019 году.
Как это работает
- Текст запроса и фрагменты документов переводятся в векторы — наборы из сотен чисел.
- Векторы с похожим смыслом оказываются рядом в многомерном пространстве.
- Близость считают, например, через косинус угла между векторами.
- Система выбирает фрагменты с самой высокой близостью к запросу.
Так «как сделать сайт быстрее» и «ускорение загрузки страниц» оказываются близкими, хотя общих слов почти нет.
Что это значит для текстов
- Повторять ключевое слово много раз бессмысленно: важен смысл.
- Текст должен раскрывать тему полно, с синонимами и связанными понятиями.
- Каждый раздел должен быть сфокусирован на одном вопросе, иначе его вектор «размоется».
- Конкретные примеры и термины ниши усиливают смысловую связь с запросами.
Практический совет
Пишите так, как объясняли бы клиенту устно, с примерами и терминами. Такой текст естественно близок к вопросам аудитории — и к тому, как их задают нейросетям.
Частый вопрос
Можно ли измерить близость своего текста к запросу? Да, через API эмбеддинг-моделей. Но для бизнеса хватает простой проверки: отвечает ли раздел на вопрос прямо и полно.