Cloudflare может закрыть поиск для ИИ
Cloudflare с 15 сентября 2026 года меняет логику доступа автоматических роботов, которые обходят сайты ради поиска и обучения моделей. Раньше владелец включал единый переключатель для ИИ-ботов, теперь доступ настраивают по назначению робота. Компания разделила трафик на три группы и просит проверить, к какой группе отнесён каждый краулер, прежде чем менять правила на сайте.
В новой схеме три категории: поиск отвечает за обход страниц для выдачи, агент — за разовые обращения по запросу пользователя, обучение — за сбор текстов для развития моделей. Для каждой группы задают своё правило доступа. Один и тот же робот способен попадать сразу в несколько категорий, и тогда применяется более строгий из назначенных вариантов, а не более мягкий.
Из-за такого пересечения запрет на обучение может неожиданно отключить и обычный поисковый обход того же робота. Cloudflare называет Googlebot, Applebot и BingBot краулерами с несколькими функциями сразу. Файл с инструкциями для роботов и настройки самой Cloudflare работают независимо: сайт разрешает обход в файле, а запрос всё равно остановится на уровне защиты.
У крупных ИИ-компаний обход для поиска и для обучения разведён на отдельных роботов. OAI-SearchBot отвечает за появление сайта в ответах ChatGPT, а GPTBot связан со сбором данных для обучения. Ранее Cloudflare зафиксировала перевес ботов в веб-запросах — теперь тот же трафик делят по типу задачи.
Для продвижения сайтов пересмотр правил Cloudflare — повод свериться с журналами обхода, а не полагаться на прежние настройки блокировки ИИ-ботов. В задачах интернет-маркетинга важно не потерять видимость бренда в ChatGPT из-за случайного запрета робота, отвечавшего сразу за поиск и обучение. Проверка кодов ответа сервера покажет, какие краулеры реально сохранили доступ после обновления правил.
