Google обновила документацию по краулерам
Google обновила документацию по общим краулерам, которые используются для индексации поиска, отдельных продуктов и анализа. Справочник описывает user agent, токены robots.txt и зоны влияния каждого робота. Общие краулеры при автоматическом обходе соблюдают robots.txt, а их IP-адреса публикуются в файле common-crawlers.json на сайте Google for Developers.
В списке перечислены Googlebot, Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, GoogleOther и связанные варианты. Отдельно описан Google-InspectionTool с user agent Google-InspectionTool/1.0 для десктопа и мобильной версии. Правила для токена Google-InspectionTool в robots.txt также распространяются на группу Googlebot, что важно учитывать при настройке доступа к разделам сайта.
Краулер Google-InspectionTool влияет только на инструменты проверки в Search Console, включая проверку URL и Rich Result Test. Он не затрагивает ранжирование в Google Search и другие продукты компании. Документация также уточняет роль Google-Extended для управления использованием контента в обучении моделей Gemini без влияния на включение сайта в поисковый индекс.
Обновление помогает вебмастерам точнее различать роботов в логах сервера и корректно настраивать robots.txt под конкретные задачи. Ранее Google объяснила, как Googlebot скачивает страницы, и новый справочник дополняет эту информацию о регулярно встречающихся краулерах Google.
Для команд, занимающихся продвижением сайтов, понимание разницы между Googlebot и Google-InspectionTool снижает риск ошибочной блокировки тестовых обходов. Специалистам по созданию сайтов и SEO полезно сверять user agent в логах с официальным списком Google и проверять IP-адрес робота, а не полагаться только на строку в HTTP-запросе без дополнительной верификации.
