YandexAdditional — токен в robots.txt, которым владелец сайта управляет использованием своего контента в генеративных ответах Яндекса, например в Нейро и Алисе AI.
Это отдельный токен: правила для основного поискового робота YandexBot он не меняет. Если цель — попадать в AI-ответы Яндекса, YandexAdditional закрывать не нужно.
Как устроены роботы Яндекса
У Яндекса много роботов с разными задачами: основной поисковый YandexBot, роботы для картинок, видео, рекламы, проверки доступности сайтов. Токен YandexAdditional отвечает за использование контента в продуктах с генеративными ответами. Он появился, когда Яндекс запустил ответы на основе нейросетей и издатели стали спрашивать, как управлять их участием. Подробное описание токена есть в справке Яндекс Вебмастера.
Что регулирует токен
- Регулирует: использование страниц сайта в генеративных ответах — пересказах и сводках, которые Яндекс показывает в Нейро и Алисе AI.
- Не регулирует: индексацию и позиции в обычном поиске — за них отвечает YandexBot.
- Не регулирует: показ сайта в рекламе, картинках и других сервисах.
Пример настройки
User-agent: YandexAdditional
Allow: /
Чтобы запретить использование контента в генеративных ответах, поставьте Disallow: /. Можно закрыть только отдельные разделы, например платный контент.
Что выбрать бизнесу
Для компании, которая хочет получать клиентов из Алисы AI, токен нужно оставить открытым. Если закрыть YandexAdditional, сайт будет в поиске, но Яндекс не сможет пересказывать его в нейросетевых ответах и ссылаться на него как на источник. Закрывать токен имеет смысл медиа и издателям, которые зарабатывают на просмотрах страниц и не хотят, чтобы ответ давался без перехода.
Как проверить
- Откройте robots.txt и найдите правила для YandexAdditional и общие правила User-agent: *.
- Проверьте файл в инструменте анализа robots.txt в Яндекс Вебмастере.
- Задайте Алисе AI вопрос по теме сайта и посмотрите, появляется ли он в источниках.
На сайтах NikAlimp YandexAdditional открыт по умолчанию.