Google-Extended — специальный токен в robots.txt, которым сайт разрешает или запрещает Google использовать свой контент для обучения и работы моделей Gemini.
Google-Extended не влияет на индексацию и ранжирование в обычном поиске Google: за него отвечает Googlebot. При этом AI Overviews строятся на данных поиска, поэтому закрытие Google-Extended не убирает сайт из AI Overviews.
Когда и зачем появился токен
Google представил Google-Extended в сентябре 2023 года, через месяц после того, как OpenAI объявила о GPTBot. Издатели требовали способ запретить использование своих текстов в моделях, не теряя трафик из поиска. Отдельного робота Google не создал: сайты обходит тот же Googlebot, а токен в robots.txt лишь сообщает, можно ли использовать собранное для Gemini и Vertex AI. Поэтому Google-Extended не появляется в логах сервера — его видно только в файле robots.txt.
Что токен регулирует, а что нет
- Регулирует: использование контента для обучения будущих моделей Gemini и для grounding — подстановки найденных фактов в ответы приложения Gemini и API Vertex AI.
- Не регулирует: индексацию и позиции в поиске Google.
- Не регулирует: показ сайта в AI Overviews и AI Mode — эти функции считаются частью поиска и опираются на данные Googlebot.
Как настроить
User-agent: Google-Extended
Allow: /
Чтобы запретить использование контента, поставьте Disallow: /. Обычный Googlebot при этом продолжит индексировать сайт.
Рекомендация для бизнеса
Если цель — чтобы Gemini знал и советовал компанию, токен стоит оставить открытым. Закрывать его разумно издателям, которые продают доступ к контенту или ведут переговоры о лицензировании. Учтите, что закрытие не убирает сайт из AI Overviews: если задача — не попадать туда, понадобятся директивы nosnippet, которые убирают и обычные сниппеты. Для большинства компаний правильный вариант — всё открыто, а работа идёт над тем, чтобы контент был точным и полезным.