Никита АлимпиевNikAlimp

GPTBot

краулер OpenAI

GPTBot — робот OpenAI, который собирает общедоступные страницы для обучения моделей GPT.

Для поиска в ChatGPT у OpenAI есть отдельный робот OAI-SearchBot, поэтому их можно настроить по-разному: например, запретить обучение, но разрешить попадание в поисковые ответы. Настройка делается в robots.txt через User-agent: GPTBot.

История GPTBot

OpenAI объявила о GPTBot в августе 2023 года и сразу опубликовала инструкцию, как его закрыть. Это был первый случай, когда крупный разработчик моделей дал сайтам понятный способ отказаться от обучения на их текстах. Реакция была быстрой: за несколько недель робота заблокировали многие крупные СМИ, часть из них позже заключила с OpenAI лицензионные соглашения. Для обычного бизнеса вопрос стоит иначе: не защитить контент, а сделать так, чтобы модель знала о компании.

Какие роботы есть у OpenAI

  • GPTBot — собирает страницы для обучения будущих моделей.
  • OAI-SearchBot — индексирует сайты для поиска в ChatGPT.
  • ChatGPT-User — открывает страницу, когда пользователь просит ChatGPT прочитать ссылку или когда модель обращается к сайту во время ответа.

Роботы независимы: закрытие GPTBot не убирает сайт из поиска ChatGPT, а закрытие OAI-SearchBot не влияет на обучение.

Что выбрать

Если компания хочет, чтобы ChatGPT знал о ней даже без поиска, GPTBot стоит оставить открытым: тексты сайта попадут в обучающие данные следующих моделей. Закрывать его имеет смысл, если на сайте платный или уникальный контент, который не должен пересказываться бесплатно. Решение лучше записать в техническое задание сайта, чтобы оно не менялось случайно при переезде или смене хостинга.

Пример robots.txt

User-agent: GPTBot
Allow: /

Чтобы закрыть обучение, замените Allow: / на Disallow: /. Проверить, что робот приходит, можно по логам сервера: в поле User-Agent будет строка GPTBot. Если визитов нет, проверьте защиту от ботов у хостинга и CDN: многие сервисы блокируют AI-роботов по умолчанию.

Связанные термины

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.