robots.txt и ИИ-боты: кого пускать на сайт, а кого нет

Многие сайты в последние годы закрылись от «ИИ-ботов» целиком — из опасений, что контент уйдёт на обучение моделей. Проблема в том, что под одним словом «ИИ-бот» скрываются роботы с очень разными задачами. Закрыв всех без разбора, легко исчезнуть из ответов ассистентов, где покупатели как раз выбирают товар.

Три типа роботов

У крупных разработчиков ИИ обычно несколько роботов с разными ролями:

1. Сбор данных для обучения. Страницы могут попасть в данные для будущих моделей.
2. Поиск для ответов. Робот индексирует страницы, чтобы ассистент мог найти и процитировать их, когда отвечает пользователю.
3. Запросы по просьбе пользователя. Ассистент открывает конкретную страницу, потому что человек попросил или ассистенту понадобилась страница для ответа прямо сейчас.

Для видимости бренда в ответах важен прежде всего второй тип.

Кто есть кто: официальные названия

OpenAI прямо пишет: если закрыть OAI-SearchBot, сайт не будет показываться в ответах поиска ChatGPT. Perplexity отмечает, что PerplexityBot не используется для обучения моделей.

У Яндекса своя схема. Правила robots.txt для роботов YandexAdditional ограничивают использование страниц в быстрых ответах на основе YandexGPT и в ответах «Поиска с Алисой»; на индексацию сайта в поиске они не влияют (Яндекс Вебмастер (откроется в новой вкладке)).

Типичная настройка

Частый компромисс — не отдавать контент на обучение, но оставаться в ответах ассистентов:

# Обучение моделей — запрещаем
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Поиск для ответов ассистентов — разрешаем
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Это пример, а не готовое решение для любого сайта. Решение о данных для обучения — бизнесовое, и его стоит принять осознанно.

Что ещё проверить, кроме robots.txt

• Файрвол и защита от ботов. CDN и антибот-системы часто блокируют неизвестных роботов на уровне сети. OpenAI и Anthropic публикуют списки IP-адресов своих роботов — их можно добавить в исключения.
• Ответы сервера. Робот, который получает ошибку 403 или капчу, видит то же самое, что при запрете в robots.txt.
• Контент без скриптов. Цены и характеристики, которые подгружаются только через JavaScript, робот может не увидеть.
• Время применения. Изменения robots.txt вступают в силу не мгновенно: например, OpenAI и Perplexity пишут о сроке до суток.

Как понять, что это сработало

Robots.txt — необходимое условие, но не гарантия упоминаний. Ассистент может прочитать сайт и всё равно опереться на чужие обзоры. Поэтому после настройки стоит регулярно проверять:

• называют ли ассистенты ваш бренд на вопросы покупателей;
• цитируют ли они страницы вашего сайта;
• верно ли передают цены и условия.

В KleoGEO это видно в разделах с источниками и ошибками в фактах, а проверка сайта покажет, может ли ИИ прочитать и процитировать ваши страницы. Начать можно с . Подробнее о подходе — в руководстве .