robots.txt — текстовый файл в корне сайта, который сообщает поисковым и AI-ботам, какие разделы можно сканировать, а какие нет, и где лежит карта сайта.
Файл доступен по адресу site.ru/robots.txt. Добросовестные боты читают его перед обходом сайта и выполняют правила. Это просьба, а не защита: вредоносный бот файл проигнорирует.
Откуда появился термин
Стандарт исключений для роботов (Robots Exclusion Protocol) предложил Мартейн Костер в 1994 году, когда первые поисковые роботы начали перегружать сайты. Почти 30 лет стандарт жил как неформальная договорённость. В 2022 году его оформили как официальный документ RFC 9309.
Как работает
Файл состоит из групп правил. Каждая группа начинается со строки User-agent — имени бота — и содержит директивы:
- Disallow — запретить путь;
- Allow — разрешить путь внутри запрещённого раздела;
- Sitemap — адрес карты сайта.
Пример: группа «User-agent: GPTBot» с «Disallow: /» закрывает весь сайт для бота OpenAI. Отдельные правила можно задать для GPTBot, ClaudeBot, PerplexityBot, YandexBot, Googlebot и других.
У Яндекса есть свои директивы, например Clean-param для параметров в адресах. Google их не учитывает.
Где ошибаются
- Закрывают сайт целиком строкой «Disallow: /» после разработки и забывают убрать.
- Блокируют AI-ботов по шаблону из интернета — и нейросети перестают читать и цитировать сайт.
- Пытаются убрать страницу из поиска через robots.txt. Запрет обхода не убирает страницу из индекса: если на неё есть ссылки, она может остаться в выдаче. Для этого нужен Noindex.
- Закрывают папки со стилями и скриптами, и поисковик видит страницу сломанной.
Что сделать на своём сайте
- Откройте site.ru/robots.txt и проверьте, что сайт открыт для нужных ботов.
- Решите, каких AI-ботов пускать: поисковых ассистентов обычно пускают, чтобы попадать в ответы.
- Укажите адрес карты сайта.
- Проверьте файл в Яндекс Вебмастере и Google Search Console.
- Рядом добавьте llms.txt — краткую карту сайта для нейросетей.
Проверка robots.txt и доступа AI-ботов — первый шаг GEO-аудита.