Никита АлимпиевNikAlimp

Google-Extended

токен Google для Gemini

Google-Extended — специальный токен в robots.txt, которым сайт разрешает или запрещает Google использовать свой контент для обучения и работы моделей Gemini.

Google-Extended не влияет на индексацию и ранжирование в обычном поиске Google: за него отвечает Googlebot. При этом AI Overviews строятся на данных поиска, поэтому закрытие Google-Extended не убирает сайт из AI Overviews.

Когда и зачем появился токен

Google представил Google-Extended в сентябре 2023 года, через месяц после того, как OpenAI объявила о GPTBot. Издатели требовали способ запретить использование своих текстов в моделях, не теряя трафик из поиска. Отдельного робота Google не создал: сайты обходит тот же Googlebot, а токен в robots.txt лишь сообщает, можно ли использовать собранное для Gemini и Vertex AI. Поэтому Google-Extended не появляется в логах сервера — его видно только в файле robots.txt.

Что токен регулирует, а что нет

  • Регулирует: использование контента для обучения будущих моделей Gemini и для grounding — подстановки найденных фактов в ответы приложения Gemini и API Vertex AI.
  • Не регулирует: индексацию и позиции в поиске Google.
  • Не регулирует: показ сайта в AI Overviews и AI Mode — эти функции считаются частью поиска и опираются на данные Googlebot.

Как настроить

User-agent: Google-Extended
Allow: /

Чтобы запретить использование контента, поставьте Disallow: /. Обычный Googlebot при этом продолжит индексировать сайт.

Рекомендация для бизнеса

Если цель — чтобы Gemini знал и советовал компанию, токен стоит оставить открытым. Закрывать его разумно издателям, которые продают доступ к контенту или ведут переговоры о лицензировании. Учтите, что закрытие не убирает сайт из AI Overviews: если задача — не попадать туда, понадобятся директивы nosnippet, которые убирают и обычные сниппеты. Для большинства компаний правильный вариант — всё открыто, а работа идёт над тем, чтобы контент был точным и полезным.

Связанные термины

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.