Google объяснила как Googlebot скачивает страницы
Сотрудник Google Гэри Ильеш опубликовал подробные сведения о работе Googlebot в официальном материале блога Google Search. Специалист уточнил ограничения на объём загружаемых данных, механику частичного обхода и логику передачи страниц в индексирующие системы. Отдельно отмечается, что термин Googlebot обозначает не один, а множество специализированных роботов для разных задач.
Для обычных HTML-страниц краулер загружает не более 2 МБ данных на каждый URL, включая HTTP-заголовки. Для PDF-файлов этот порог составляет 64 МБ, а для прочих типов контента без явно указанного лимита применяется значение по умолчанию — 15 МБ. Лимиты краулеров изображений и видео варьируются в зависимости от конкретного продукта Google, для которого выполняется обход.
Если HTML-файл превышает 2 МБ, Googlebot не отклоняет страницу, а останавливает загрузку на этой отметке. Скачанная часть передаётся в индексирующие системы и WRS как законченный документ — оставшиеся байты не скачиваются, не рендерятся и не индексируются. Каждый внешний ресурс, упомянутый в HTML, обрабатывается с отдельным счётчиком в 2 МБ и не влияет на лимит родительской страницы.
Google рекомендует выносить CSS и JavaScript во внешние файлы, не перегружая HTML, а ключевые элементы — мета-теги, canonical и структурированные данные — размещать как можно выше в коде. Также стоит следить за серверными логами: при медленной отдаче данных краулер автоматически снижает частоту обходов. Ранее Google предупреждала об особенностях применения noindex на JavaScript-страницах, последовательно раскрывая нюансы технической индексации.
Знание ограничений краулера помогает разработчикам принимать более осознанные решения при создании сайтов, избегая ситуаций, при которых критически важный контент страницы окажется за пределами 2 МБ. Для специалистов по интернет-маркетингу эта информация означает необходимость аудита структуры HTML и порядка размещения ключевых элементов на страницах, критичных для индексации.
