Никита АлимпиевNikAlimp

PerplexityBot

краулер Perplexity

PerplexityBot — робот Perplexity, который индексирует сайты, чтобы показывать их в ответах и списке источников Perplexity.

Если закрыть PerplexityBot в robots.txt, страницы сайта перестанут появляться в источниках ответов этого поисковика.

Какие роботы есть у Perplexity

У сервиса два агента:

  • PerplexityBot — заранее обходит сайты и строит индекс, по которому Perplexity ищет источники для ответов. Компания заявляет, что не использует его для обучения базовых моделей.
  • Perplexity-User — открывает страницу в момент запроса пользователя, например когда тот просит прочитать конкретную ссылку.

Оба робота описаны в документации Perplexity вместе с диапазонами IP-адресов, по которым их можно проверить.

История вопроса

В 2024 году Perplexity критиковали издатели: в СМИ появились обвинения, что сервис получает контент сайтов в обход robots.txt через сторонние сервисы и пользовательские запросы. Компания ответила, что соблюдает правила для своего краулера, и уточнила разделение роботов. Для обычного бизнеса эта история важна по другой причине: она показала, что AI-поисковики активно ищут контент, и сайт, который их пускает, получает шанс оказаться в ответе.

Как настроить доступ

User-agent: PerplexityBot
Allow: /

Как проверить работу

  1. Найдите в логах сервера визиты с PerplexityBot в поле User-Agent.
  2. Задайте Perplexity вопрос по теме страницы и посмотрите на список источников.
  3. Если робот заходит, а сайта в источниках нет, улучшайте контент: прямой ответ в начале раздела, факты, свежие даты.
  4. Если робот не заходит, проверьте защиту от ботов у хостинга и CDN.

Рекомендация

Для большинства компаний PerplexityBot стоит держать открытым. Он не нагружает сайт сильнее обычных поисковых роботов, а Perplexity — один из немногих сервисов, где пользователь видит и сразу открывает источники. На сайтах NikAlimp он разрешён по умолчанию.

Частый вопрос

Как отличить настоящего PerplexityBot от подделки? Сверьте IP-адрес визита со списком, который Perplexity публикует в документации. Подделки используют имя робота, но приходят с других адресов.

Связанные термины

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.