На протяжении десятилетий интернет строился вокруг простого предположения:

человек открывает веб-страницу, читает информацию, переходит по ссылкам, смотрит рекламу и вручную выполняет необходимые действия.

Вокруг этой модели выросла целая индустрия инфраструктурных решений:

CDN, WAF, антибот-системы, SEO, аналитика, рекламные сети, paywall-системы, механизмы обнаружения краулеров и инструменты оптимизации трафика.

Но AI-агенты начинают разрушать ключевые предположения, на которых была построена вся эта экосистема.

Проблема в том, что исторически веб воспринимал автоматизацию как угрозу. Любой бот автоматически считался:

• скрейпером;
• DDoS-атакой;
• мошенническим трафиком;
• SEO-спамом;
• или инструментом для массового извлечения данных.

В результате такие компании, как Cloudflare, Akamai, Imperva и другие, годами создавали всё более сложные системы для обнаружения и блокировки автоматизированного трафика.

И они научились делать это чрезвычайно хорошо.

А затем появился AI.

AI-агенты разрушили границу между пользователями и ботами

Раньше различие было простым:

• люди — легитимные пользователи;
• боты — подозрительная автоматизация.

Теперь это различие больше не работает.

Если пользователь говорит AI-агенту:

• «прочитай документацию»;
• «сравни эти продукты»;
• «проанализируй эти сайты»;
• «исследуй эту тему»;
• «сделай краткое резюме этой информации»;

то кто на самом деле выполняет действие?

Технически — бот.

Функционально — пользователь.

И именно здесь старая модель начинает разваливаться.

Традиционные антибот-системы никогда не проектировались для делегированного интеллектуального взаимодействия.

Для них автоматизация по-прежнему означает подозрительное поведение.

В результате интернет-инфраструктура всё чаще блокирует не злоумышленников, а новый нормальный способ взаимодействия пользователей с вебом.

Cloudflare и конфликт интересов интернет-инфраструктуры

Cloudflare сегодня оказался в самом центре этого конфликта.

Исторически его бизнес-модель строилась вокруг:

• защиты сайтов;
• фильтрации трафика;
• блокировки скрейпинга;
• противодействия атакам;
• и обнаружения автоматизации.

Но AI меняет саму экономику веба.

Теперь сайты одновременно хотят:

• защищаться от массового извлечения данных;
• и оставаться доступными для AI-агентов.

Потому что если AI станет основным интерфейсным слоем интернета, сайты, к которым агенты не смогут получить доступ, фактически станут невидимыми.

Именно поэтому Cloudflare начал внедрять:

• инструменты управления AI-краулерами;
• разделение между краулерами для обучения моделей и агентами, работающими по запросу пользователя;
• поддержку llms.txt;
• эксперименты с оплатой за обход сайта;
• и специальные firewall-политики для AI.

Но это порождает новый конфликт.

Многие разработчики утверждают, что такие системы не решают проблему по-настоящему — они лишь централизуют контроль над тем, кому разрешено получать доступ к вебу.

Например, robots.txt и llms.txt — добровольные стандарты.

Технически ничто не заставляет краулер им подчиняться.

Но на практике краулеры, соблюдающие эти правила, получают:

• официальные User-Agent;
• доверенную репутацию;
• доступ через белые списки;
• стандартизированные каналы для получения данных.

А независимые агенты всё чаще по умолчанию выглядят подозрительно.

Поставщики инфраструктуры постепенно занимают позицию, в которой фактически начинают определять, каким AI-системам разрешено читать интернет.

Старый веб строился вокруг просмотров страниц. AI уничтожает просмотры

Главная проблема здесь не техническая.

Она экономическая.

Значительная часть современного веба зависит от:

• рекламы;
• SEO-трафика;
• просмотров страниц;
• партнёрских комиссий;
• удержания внимания пользователя.

AI-агенты делают zero-click веб практически неизбежным.

Пользователям больше не нужно:

• открывать десять вкладок;
• читать несколько статей;
• вручную сравнивать сайты;
• или просматривать страницы с результатами поиска.

Эту работу выполняет агент.

Пользователь получает:

• краткое резюме;
• рекомендацию;
• синтезированный ответ;
• или уже выполненное действие.

Контент превращается в сырьё для инференса.

Именно поэтому многие издатели воспринимают AI как экзистенциальную угрозу.

Не потому, что «боты — это плохо», а потому, что AI уничтожает экономическую ценность самого интерфейсного слоя.

Старая модель выглядела так:

контент → трафик → реклама → доход

Новая модель всё чаще выглядит так:

контент → получение данных AI → синтезированный ответ → пользователь вообще не посещает сайт

Публичная информация больше не является дефицитом

AI ускоряет процесс, который интернет начал ещё десятилетия назад.

Если информация:

• публична;
• доступна для машинной обработки;
• легко структурируется;
• и легко копируется;

то со временем она превращается в товар массового потребления.

Для многих компаний это создаёт неприятную реальность:

сам факт владения публичной информацией больше не является устойчивым конкурентным преимуществом.

AI лишь делает этот факт гораздо более очевидным.

В формирующейся экосистеме ценность смещается в сторону:

• выполнения действий;
• рабочих процессов;
• доверия;
• данных в реальном времени;
• контроля над транзакциями;
• дистрибуции;
• персонализации;
• интеграции с агентами.

Победителями, скорее всего, окажутся не компании, которые просто «владеют страницами».

Победят компании, которые:

• выполняют действия;
• владеют инфраструктурой;
• контролируют рабочие процессы;
• и напрямую интегрируются в агентские экосистемы.

Интернет движется к архитектуре, изначально ориентированной на агентов

Самый важный сдвиг заключается в том, что AI-агенты перестают быть пограничным сценарием.

Они сами становятся новым слоем интернета.

Сегодня большинство сайтов по-прежнему проектируются как:

интерфейсы в первую очередь для людей.

Но формируется новая модель:

системы, изначально ориентированные на агентов.

В такой архитектуре:

• UI становится вторичным;
• API и структурированные ответы выходят на первый план;
• агенты становятся полноценными клиентами первого класса;
• автоматизация перестаёт считаться аномалией.

Эта трансформация затрагивает:

• SEO;
• антибот-системы;
• CDN;
• поиск;
• цифровую идентичность;
• монетизацию;
• контроль доступа.

Нынешний конфликт вокруг AI-краулинга — не временное явление.

Это столкновение двух эпох интернета:

веба, ориентированного на человека,

и

веба, ориентированного на агентов.