Google обновил документацию по тегу robots
Google обновил англоязычную документацию по спецификации тега meta с атрибутом robots, атрибута data-nosnippet и HTTP-заголовка X-Robots-Tag. В текст добавлено примечание, уточняющее поведение поискового робота при обработке соответствующих директив управления индексацией. Изменение затронуло официальный ресурс для разработчиков — страницу на сайте developers.google.com.
Согласно добавленному примечанию, поиск Google не требует обязательного размещения метатега robots в разделе HTML-кода страницы. Поисковый робот учитывает метатеги robots также и в разделе HTML-документа. Таким образом, компания официально подтвердила реальное поведение своего краулера, которое прежде не было отражено в официальной документации в явном виде.
Уточнение относится сразу к нескольким смежным директивам: тегу meta с атрибутом robots, атрибуту data-nosnippet, а также HTTP-заголовку X-Robots-Tag. На практике это означает, что технические директивы управления индексацией и формированием сниппетов могут корректно интерпретироваться роботом вне зависимости от того, в каком разделе HTML-документа — в или — они физически размещены.
Для большинства сайтов, следующих стандартным рекомендациям по вёрстке, изменение носит скорее информационный характер. Однако оно может быть значимым для проектов с нестандартной структурой HTML или динамически генерируемым контентом. Ранее компания предупреждала об особенностях использования noindex на JavaScript-страницах, обращая внимание разработчиков на нюансы технической индексации.
Актуальность подобных уточнений особенно высока в контексте продвижения сайтов: даже небольшие изменения в официальной документации Google способны влиять на технические решения, принимаемые при создании сайтов с нестандартной HTML-архитектурой. SEO-специалистам и разработчикам рекомендуется учитывать обновлённые сведения при проведении технических аудитов и настройке параметров индексации.
