GPTBot — робот OpenAI, который собирает общедоступные страницы для обучения моделей GPT.
Для поиска в ChatGPT у OpenAI есть отдельный робот OAI-SearchBot, поэтому их можно настроить по-разному: например, запретить обучение, но разрешить попадание в поисковые ответы. Настройка делается в robots.txt через User-agent: GPTBot.
История GPTBot
OpenAI объявила о GPTBot в августе 2023 года и сразу опубликовала инструкцию, как его закрыть. Это был первый случай, когда крупный разработчик моделей дал сайтам понятный способ отказаться от обучения на их текстах. Реакция была быстрой: за несколько недель робота заблокировали многие крупные СМИ, часть из них позже заключила с OpenAI лицензионные соглашения. Для обычного бизнеса вопрос стоит иначе: не защитить контент, а сделать так, чтобы модель знала о компании.
Какие роботы есть у OpenAI
- GPTBot — собирает страницы для обучения будущих моделей.
- OAI-SearchBot — индексирует сайты для поиска в ChatGPT.
- ChatGPT-User — открывает страницу, когда пользователь просит ChatGPT прочитать ссылку или когда модель обращается к сайту во время ответа.
Роботы независимы: закрытие GPTBot не убирает сайт из поиска ChatGPT, а закрытие OAI-SearchBot не влияет на обучение.
Что выбрать
Если компания хочет, чтобы ChatGPT знал о ней даже без поиска, GPTBot стоит оставить открытым: тексты сайта попадут в обучающие данные следующих моделей. Закрывать его имеет смысл, если на сайте платный или уникальный контент, который не должен пересказываться бесплатно. Решение лучше записать в техническое задание сайта, чтобы оно не менялось случайно при переезде или смене хостинга.
Пример robots.txt
User-agent: GPTBot
Allow: /
Чтобы закрыть обучение, замените Allow: / на Disallow: /. Проверить, что робот приходит, можно по логам сервера: в поле User-Agent будет строка GPTBot. Если визитов нет, проверьте защиту от ботов у хостинга и CDN: многие сервисы блокируют AI-роботов по умолчанию.