Никита АлимпиевNikAlimp

Applebot-Extended

Applebot-Extended — токен для robots.txt, которым владелец сайта разрешает или запрещает Apple использовать его контент для обучения генеративных моделей, включая Apple Intelligence.

Работает в РоссииБесплатный план: естьРусский язык: нетAI-краулеры и доступ к контенту

Кому подходит

Владельцам сайтов и GEO-специалистам, которые управляют доступом AI-компаний к контенту.

Кому не подходит

Тем, кто не хочет разбираться в robots.txt и правилах AI-краулеров.

Итог

Простой способ разрешить или запретить Apple обучать модели на вашем сайте, не теряя позиций в поиске Apple.

Applebot-Extended — токен для robots.txt, которым владелец сайта разрешает или запрещает Apple использовать его контент для обучения генеративных моделей, включая Apple Intelligence.

Главное отличие — Applebot-Extended сам не обходит сайт. Страницы скачивает обычный Applebot, а этот токен лишь определяет, можно ли использовать скачанное для обучения AI.

Как это работает

  • Applebot обходит сайты для Siri, Spotlight и поиска Safari.
  • Applebot-Extended — правило в robots.txt, отдельный робот не приходит.
  • Запрет обучения: Disallow для Applebot-Extended исключает контент из данных для обучения моделей Apple.
  • Поиск не страдает: при запрете страницы по-прежнему показываются в Siri и Spotlight.
  • Проверка: правило видно в robots.txt, его можно проверить любым валидатором.

Кому подходит

Владельцам сайтов, SEO- и GEO-специалистам, которые сознательно управляют тем, какие AI-компании могут учиться на их контенте.

Как пользоваться

Добавьте в robots.txt блок User-agent: Applebot-Extended и правило Allow или Disallow для нужных разделов. Обычный Applebot не трогайте, если хотите оставаться в поиске Apple.

Совет

Для GEO обучение моделей — это шанс, что AI будет знать о вашем бренде. Закрывайте от обучения платный и уникальный контент, а публичные страницы об услугах оставляйте открытыми. Доступ всех AI-ботов удобно сверять в Dark Visitors.

Ограничения

Правило добровольное и действует только на будущий сбор данных. Для блокировки на уровне сети используют Cloudflare AI Crawl Control.

Плюсы

  • Бесплатно и настраивается одной строкой

  • Отделяет обучение AI от поиска Siri и Spotlight

  • Можно закрыть только отдельные разделы

  • Официально поддерживается Apple

Минусы

  • Правило добровольное, без технической блокировки

  • Не удаляет уже собранные данные

  • Нет отчёта о том, как используется контент

Тарифы Applebot-Extended

ТарифЦенаЧто входит
robots.txtбесплатноПравило Allow или Disallow для Applebot-Extended
Категория

GEO и AI-поиск · AI-краулеры и доступ к контенту

Цена

Бесплатно: это токен для robots.txt, а не сервис.

Работа из России

Работает без ограничений: правило прописывается в robots.txt вашего сайта. Регистрация и оплата не нужны.

Платформы

robots.txt

Applebot-Extended и аналоги

ИнструментЦенаРоссияБесплатно
Applebot-ExtendedБесплатно: это токен для robots.txt, а не сервисРаботает в Россииесть
Cloudflare AI Crawl ControlБазовые функции доступны на всех тарифах Cloudflare, включая бесплатныйРаботает в Россииесть
Dark VisitorsFreemium: бесплатный план на 1 проект и 100 000 событий в месяц, платные — от $29 в месяцРаботает в Россииесть

С чем используют вместе

  • Dark Visitors

    Dark Visitors — это сервис, который отслеживает AI-ботов и агентов на сайте и автоматически поддерживает robots.txt со списком актуальных краулеров. Сейчас сервис называется Known Agents.

  • Cloudflare AI Crawl Control

    Cloudflare AI Crawl Control — это раздел Cloudflare, который показывает, какие AI-краулеры заходят на сайт, сколько страниц они забирают, и позволяет разрешать или блокировать каждого из них.

  • Google Search Console

    Google Search Console — бесплатный кабинет вебмастера в Google. Он показывает, как сайт выглядит в поиске Google: по каким запросам его находят, какие страницы в индексе и какие ошибки мешают показам.

Частые вопросы о Applebot-Extended

Applebot-Extended бесплатный?+

Да, это просто правило в robots.txt, платить не за что.

Работает ли Applebot-Extended в России?+

Да, правило в robots.txt действует для любого сайта независимо от страны.

Если запретить Applebot-Extended, сайт пропадёт из Siri?+

Нет. Поиск Siri и Spotlight использует обычный Applebot. Запрет Applebot-Extended касается только обучения моделей.

Как закрыть сайт от всех AI-краулеров?+

Пропишите правила для каждого AI-бота в robots.txt, список ботов берите в Dark Visitors. Для жёсткой блокировки используйте защиту на уровне CDN.

Узнайте, что нейросети говорят о вашем бизнесе

GEO-аудит: проверю 5 нейросетей по 20+ запросам клиентов, найду, кого советуют вместо вас, и дам план на 90 дней.

О GEO-аудите

Бесплатные инструменты на сайте

Подборки инструментов в TelegramНовые сервисы, аналоги и что работает из России — раз в неделю.
Перейти на support.apple.com/en-us/119829

GEO-аудит

Узнайте, что нейросети говорят о вашем бизнесе

Проверю ChatGPT, Алису AI, GigaChat, Perplexity и DeepSeek по запросам ваших клиентов. Покажу, кого советуют вместо вас и почему. Экспресс-проверка — бесплатно, полный аудит — от 9 900 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.