Спросите любую хостинговую компанию, что сильнее всего изменилось за последние два года. Ответ будет: «боты». Но не те старые, что собирали email-адреса для спама.
Речь об ИИ-краулерах. Они выглядят как обычные посетители, но создают гигантскую нагрузку на серверы: быстрые, повторяющиеся запросы, которые жрут ресурсы. При этом реальных (человеческих) посетителей не прибавляется. Ни продаж, ни конверсий — одна головная боль.
Что придумали Cloudflare и GoDaddy
GoDaddy (крупнейший регистратор доменов) встроил инструмент AI Crawl Control от Cloudflare прямо в свою панель управления хостингом.
Что это даёт обычному владельцу сайта:
- Разрешить доступ конкретным ИИ-ботам
- Заблокировать нежелательных краулеров
- Требовать оплату за доступ к контенту
Да, вы не ослышались. Теперь можно выставить счёт нейросети, которая хочет прочитать ваш сайт.
Как это работает под капотом (упрощённо)
Две открытые технологии лежат в основе:
ANS (Agent Name Service) — что-то вроде паспорта для ИИ-бота. Использует DNS и криптографию, чтобы подтвердить: «я действительно тот бот, за кого себя выдаю».
Web Bot Auth — криптографическая подпись для проверки трафика. Бот предъявляет «удостоверение личности» — сервер проверяет и решает, пускать или нет.
Cloudflare внедрил это в прошлом году. GoDaddy — первый крупный хостинг, который интегрировал технологию прямо в свою панель.
Почему это меняет правила игры
Раньше защита от ботов была платной и сложной. Теперь GoDaddy даёт её своим клиентам бесплатно и в один клик.
Это напоминает историю с Let’s Encrypt. Когда SSL-сертификаты стали бесплатными, хостинги, которые продавали их как премиум-услугу, были вынуждены подстраиваться. Или потерять клиентов.
С управлением ИИ-краулерами — та же история. Если GoDaddy предлагает это из коробки, остальным хостам придётся догонять.
Главная проблема: старый интернет умирает
Раньше работало так: поисковик отправлял трафик на сайт → автор контента получал посетителей → монетизировал их (реклама, продажи).
Теперь ИИ просто даёт ответ сам. Пользователь получает нужную информацию, даже не заходя на ваш сайт. Вы не получаете ни трафика, ни денег, ни даже упоминания.
Это разрыв модели.
Что дальше
Cloudflare и GoDaddy предлагают выход: владельцы сайтов смогут требовать плату за доступ к контенту для ИИ-ботов. А новые стандарты идентификации (ANS и Web Bot Auth) сделают эту схему реально работающей.
Вопрос «будет ли это работать» постепенно сменяется вопросом «как быстро это станет нормой».
Сами компании говорят: «Мы движемся со скоростью интернета». Учитывая, что на их стороне крупнейший CDN-провайдер и крупнейший регистратор доменов, это стоит воспринимать всерьёз.
