PerplexityBot — робот Perplexity, который индексирует сайты, чтобы показывать их в ответах и списке источников Perplexity.
Если закрыть PerplexityBot в robots.txt, страницы сайта перестанут появляться в источниках ответов этого поисковика.
Какие роботы есть у Perplexity
У сервиса два агента:
- PerplexityBot — заранее обходит сайты и строит индекс, по которому Perplexity ищет источники для ответов. Компания заявляет, что не использует его для обучения базовых моделей.
- Perplexity-User — открывает страницу в момент запроса пользователя, например когда тот просит прочитать конкретную ссылку.
Оба робота описаны в документации Perplexity вместе с диапазонами IP-адресов, по которым их можно проверить.
История вопроса
В 2024 году Perplexity критиковали издатели: в СМИ появились обвинения, что сервис получает контент сайтов в обход robots.txt через сторонние сервисы и пользовательские запросы. Компания ответила, что соблюдает правила для своего краулера, и уточнила разделение роботов. Для обычного бизнеса эта история важна по другой причине: она показала, что AI-поисковики активно ищут контент, и сайт, который их пускает, получает шанс оказаться в ответе.
Как настроить доступ
User-agent: PerplexityBot
Allow: /
Как проверить работу
- Найдите в логах сервера визиты с PerplexityBot в поле User-Agent.
- Задайте Perplexity вопрос по теме страницы и посмотрите на список источников.
- Если робот заходит, а сайта в источниках нет, улучшайте контент: прямой ответ в начале раздела, факты, свежие даты.
- Если робот не заходит, проверьте защиту от ботов у хостинга и CDN.
Рекомендация
Для большинства компаний PerplexityBot стоит держать открытым. Он не нагружает сайт сильнее обычных поисковых роботов, а Perplexity — один из немногих сервисов, где пользователь видит и сразу открывает источники. На сайтах NikAlimp он разрешён по умолчанию.
Частый вопрос
Как отличить настоящего PerplexityBot от подделки? Сверьте IP-адрес визита со списком, который Perplexity публикует в документации. Подделки используют имя робота, но приходят с других адресов.