OAI-SearchBot — робот OpenAI, который индексирует сайты для поиска в ChatGPT (ChatGPT Search). Не используется для обучения моделей.
Если сайт хочет показываться в ответах ChatGPT со ссылками, OAI-SearchBot должен быть разрешён в robots.txt.
Когда появился
OpenAI описала OAI-SearchBot в 2024 году, когда готовила запуск поиска в ChatGPT. До этого у компании был только GPTBot для обучения, и издатели не могли разрешить поиск, запретив обучение. Разделение роботов решило проблему: теперь сайт сам выбирает, участвовать ли в обучающих данных и показываться ли в поисковых ответах. Поиск в ChatGPT открылся для всех пользователей в конце 2024 года, и OAI-SearchBot стал одним из главных роботов для GEO.
Чем отличается от других роботов OpenAI
- OAI-SearchBot — индексирует страницы заранее, чтобы ChatGPT мог найти их и сослаться в ответе.
- ChatGPT-User — открывает конкретную страницу в момент запроса пользователя, например когда тот вставил ссылку в чат.
- GPTBot — собирает тексты для обучения моделей и на поисковые ответы напрямую не влияет.
Как настроить доступ
User-agent: OAI-SearchBot
Allow: /
Изменения в robots.txt OpenAI учитывает примерно в течение суток. Если раздел сайта не должен попадать в поиск ChatGPT, его можно закрыть отдельной строкой Disallow для этого робота.
Почему робот может не приходить
- Он закрыт в robots.txt явно или общим правилом для всех роботов.
- Хостинг или CDN блокирует незнакомых роботов по умолчанию.
- Сервер отвечает медленно или с ошибками.
- На сайт мало ссылок, и робот не знает о новых страницах.
Как проверить
Найдите в логах сервера строки с OAI-SearchBot в поле User-Agent. Затем задайте ChatGPT вопрос по теме страницы с включённым поиском и посмотрите, появляется ли сайт в источниках. Если робот заходит, а ссылок нет, проблема в контенте: модели не хватает прямого ответа или фактов.