Applebot-Extended — токен для robots.txt, которым владелец сайта разрешает или запрещает Apple использовать его контент для обучения генеративных моделей, включая Apple Intelligence.
Главное отличие — Applebot-Extended сам не обходит сайт. Страницы скачивает обычный Applebot, а этот токен лишь определяет, можно ли использовать скачанное для обучения AI.
Как это работает
- Applebot обходит сайты для Siri, Spotlight и поиска Safari.
- Applebot-Extended — правило в robots.txt, отдельный робот не приходит.
- Запрет обучения: Disallow для Applebot-Extended исключает контент из данных для обучения моделей Apple.
- Поиск не страдает: при запрете страницы по-прежнему показываются в Siri и Spotlight.
- Проверка: правило видно в robots.txt, его можно проверить любым валидатором.
Кому подходит
Владельцам сайтов, SEO- и GEO-специалистам, которые сознательно управляют тем, какие AI-компании могут учиться на их контенте.
Как пользоваться
Добавьте в robots.txt блок User-agent: Applebot-Extended и правило Allow или Disallow для нужных разделов. Обычный Applebot не трогайте, если хотите оставаться в поиске Apple.
Совет
Для GEO обучение моделей — это шанс, что AI будет знать о вашем бренде. Закрывайте от обучения платный и уникальный контент, а публичные страницы об услугах оставляйте открытыми. Доступ всех AI-ботов удобно сверять в Dark Visitors.
Ограничения
Правило добровольное и действует только на будущий сбор данных. Для блокировки на уровне сети используют Cloudflare AI Crawl Control.