Что такое Web Bot Auth
Web Bot Auth — протокол, по которому автоматизированный клиент доказывает сайту, кто он. Бот или агент подписывает каждый HTTP-запрос своим закрытым ключом, а сайт проверяет подпись по открытому ключу, который оператор бота публикует в каталоге. Подход описала Cloudflare в мае 2025 года, а 23 октября 2025 года IETF утвердила рабочую группу webbotauth. В её задачи входит аутентификация поисковых краулеров, веб-архивов, ИИ-краулеров для обучения моделей и агентов, которые получают контент по запросу пользователя.
Почему User-Agent и IP ненадёжны
| Способ | Как работает | Слабое место |
|---|---|---|
| User-Agent | Бот сам сообщает своё имя | Подделывается одной строкой в скрипте |
| IP-диапазоны | Сверка адреса с опубликованным списком оператора | Облачные адреса делят разные сервисы, пользователи ходят через прокси и VPN, диапазоны меняются |
| Web Bot Auth | Подпись закрытым ключом оператора | Работает только для ботов, которые участвуют в протоколе |
Последняя строка важна: протокол помогает доверять тем, кто подписывается, но не распознаёт ботов, которые не подписываются. Их по-прежнему отсекают антибот-системы по поведению.
Как устроена подпись
По текущему черновику рабочей группы запрос несёт три заголовка:
Signature-Agent— где лежит каталог ключей оператора. Каталог отдаётся по адресу/.well-known/http-message-signatures-directoryв формате JWKS.Signature-Input— что подписано (как минимум@authorityи самsignature-agent), меткаtag="web-bot-auth", идентификатор ключаkeyidи времяcreatedиexpires. Срок действия рекомендовано держать в пределах 24 часов.Signature— сама подпись, например по алгоритму Ed25519.
Сайт или его CDN получает ключ из каталога, проверяет подпись и срок, и только после этого считает запрос пришедшим от заявленного бота.
Кто поддерживает на сентябрь 2026 года
- Проверка: Cloudflare (программы verified bots и signed agents), Akamai (с ноября 2025 года), AWS WAF (с ноября 2025 года, для сайтов за Amazon CloudFront).
- Подпись: ChatGPT agent, Goose, Browserbase, Anchor Browser, Amazon Bedrock AgentCore Browser; Google тестирует протокол для Google-Agent.
- Надстройки: Visa Trusted Agent Protocol и Mastercard Agent Pay используют Web Bot Auth как слой аутентификации агентов.
Что это даёт интернет-магазину
Главная польза — возможность отличить агента покупателя от скрапера цен без капчи и чёрных списков IP. Практические шаги:
- Узнайте у своего CDN или WAF, проверяет ли он подписи и как помечает такие запросы.
- Заведите правило: подписанные агенты из известных каталогов проходят к каталогу и корзине, неподписанная автоматизация идёт через обычную защиту.
- Сохраняйте в логах
Signature-Agentиkeyid— так видно, какие операторы приносят заказы. - Не отменяйте robots.txt: подпись отвечает на вопрос «кто пришёл», а правила обхода — «что ему можно».