Никита АлимпиевNikAlimp

OAI-SearchBot

поисковый бот OpenAI

OAI-SearchBot — робот OpenAI, который индексирует сайты для поиска в ChatGPT (ChatGPT Search). Не используется для обучения моделей.

Если сайт хочет показываться в ответах ChatGPT со ссылками, OAI-SearchBot должен быть разрешён в robots.txt.

Когда появился

OpenAI описала OAI-SearchBot в 2024 году, когда готовила запуск поиска в ChatGPT. До этого у компании был только GPTBot для обучения, и издатели не могли разрешить поиск, запретив обучение. Разделение роботов решило проблему: теперь сайт сам выбирает, участвовать ли в обучающих данных и показываться ли в поисковых ответах. Поиск в ChatGPT открылся для всех пользователей в конце 2024 года, и OAI-SearchBot стал одним из главных роботов для GEO.

Чем отличается от других роботов OpenAI

  • OAI-SearchBot — индексирует страницы заранее, чтобы ChatGPT мог найти их и сослаться в ответе.
  • ChatGPT-User — открывает конкретную страницу в момент запроса пользователя, например когда тот вставил ссылку в чат.
  • GPTBot — собирает тексты для обучения моделей и на поисковые ответы напрямую не влияет.

Как настроить доступ

User-agent: OAI-SearchBot
Allow: /

Изменения в robots.txt OpenAI учитывает примерно в течение суток. Если раздел сайта не должен попадать в поиск ChatGPT, его можно закрыть отдельной строкой Disallow для этого робота.

Почему робот может не приходить

  1. Он закрыт в robots.txt явно или общим правилом для всех роботов.
  2. Хостинг или CDN блокирует незнакомых роботов по умолчанию.
  3. Сервер отвечает медленно или с ошибками.
  4. На сайт мало ссылок, и робот не знает о новых страницах.

Как проверить

Найдите в логах сервера строки с OAI-SearchBot в поле User-Agent. Затем задайте ChatGPT вопрос по теме страницы с включённым поиском и посмотрите, появляется ли сайт в источниках. Если робот заходит, а ссылок нет, проблема в контенте: модели не хватает прямого ответа или фактов.

Связанные термины

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.