Никита АлимпиевNikAlimp

robots.txt

robots.txt — текстовый файл в корне сайта, который сообщает поисковым и AI-ботам, какие разделы можно сканировать, а какие нет, и где лежит карта сайта.

Файл доступен по адресу site.ru/robots.txt. Добросовестные боты читают его перед обходом сайта и выполняют правила. Это просьба, а не защита: вредоносный бот файл проигнорирует.

Откуда появился термин

Стандарт исключений для роботов (Robots Exclusion Protocol) предложил Мартейн Костер в 1994 году, когда первые поисковые роботы начали перегружать сайты. Почти 30 лет стандарт жил как неформальная договорённость. В 2022 году его оформили как официальный документ RFC 9309.

Как работает

Файл состоит из групп правил. Каждая группа начинается со строки User-agent — имени бота — и содержит директивы:

  • Disallow — запретить путь;
  • Allow — разрешить путь внутри запрещённого раздела;
  • Sitemap — адрес карты сайта.

Пример: группа «User-agent: GPTBot» с «Disallow: /» закрывает весь сайт для бота OpenAI. Отдельные правила можно задать для GPTBot, ClaudeBot, PerplexityBot, YandexBot, Googlebot и других.

У Яндекса есть свои директивы, например Clean-param для параметров в адресах. Google их не учитывает.

Где ошибаются

  • Закрывают сайт целиком строкой «Disallow: /» после разработки и забывают убрать.
  • Блокируют AI-ботов по шаблону из интернета — и нейросети перестают читать и цитировать сайт.
  • Пытаются убрать страницу из поиска через robots.txt. Запрет обхода не убирает страницу из индекса: если на неё есть ссылки, она может остаться в выдаче. Для этого нужен Noindex.
  • Закрывают папки со стилями и скриптами, и поисковик видит страницу сломанной.

Что сделать на своём сайте

  1. Откройте site.ru/robots.txt и проверьте, что сайт открыт для нужных ботов.
  2. Решите, каких AI-ботов пускать: поисковых ассистентов обычно пускают, чтобы попадать в ответы.
  3. Укажите адрес карты сайта.
  4. Проверьте файл в Яндекс Вебмастере и Google Search Console.
  5. Рядом добавьте llms.txt — краткую карту сайта для нейросетей.

Проверка robots.txt и доступа AI-ботов — первый шаг GEO-аудита.

Связанные термины

Аудит сайта

Разберу ваш сайт и скажу, что мешает заявкам

Пришлите адрес сайта. Проверю индексацию, тексты, разметку и доступ для нейросетей и пришлю главные исправления по приоритету. Бесплатно.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.