Google тестирует протокол аутентификации Web Bot Auth

Google объявила о тестировании нового криптографического протокола Web Bot Auth для подтверждения подлинности запросов, которые отправляют боты и ИИ-агенты при обходе веб-сайтов. Об этом сообщается в официальной документации для разработчиков. Протокол разработан в рамках рабочей группы IETF и на текущем этапе имеет статус экспериментального.

Протокол меняет принцип идентификации автоматизированных запросов. Вместо того чтобы опираться на самодекларируемые заголовки и IP-адреса, Web Bot Auth позволяет агентам криптографически подписывать каждый запрос. Это даёт владельцам сайтов возможность с высокой степенью достоверности определять, является ли конкретный запрос подлинным агентом Google, а не его имитацией.

Google выделяет несколько преимуществ протокола. Криптографическая подпись устраняет зависимость от легко подделываемых заголовков, обеспечивая верифицированную идентичность агента. Протокол также даёт более чёткое понимание того, как автоматизированные системы взаимодействуют с контентом, и закладывает основу для взаимного доверия между провайдерами агентов и владельцами сайтов.

Необходимость в подобных механизмах верификации возрастает по мере увеличения доли автоматизированного трафика в сети. Ранее исследования фиксировали, что трафик ИИ-ботов в интернете превысил исторические максимумы, что создаёт дополнительную нагрузку на системы защиты и аналитики веб-ресурсов по всему миру.

На практике владельцы сайтов могут задействовать поддерживаемые CDN и WAF-сервисы или самостоятельно реализовать верификацию согласно документации, размещённой на GitHub. В сфере продвижения сайтов корректная идентификация поисковых и прикладных агентов становится всё более значимой задачей по мере широкого распространения искусственного интеллекта в экосистеме веб-краулинга.