Я сделал сайт полностью читаемым для ИИ-агентов. Вот реальные цифры.

By Jacob Campbell · Published August 1, 2026 · Updated August 1, 2026 · 🤖 Готовность к агентам · 9 мин чтения

В цифрах

• 209 600 — URL отправлено в IndexNow
• 1 319 — Страниц реально проиндексировано Bing
• 28 685 — URL в карте сайта
• 16 — Ссылающихся доменов — настоящий потолок

Что именно я построил

Полный перечень задокументирован на странице agent-ready, но вкратце: MCP-сервер на /mcp с семью инструментами, server card по SEP-2127, A2A agent card с торговым расширением AP2, дескриптор ACP, коммерческий профиль UCP, права агентов по путям, endpoint /ask, который выполняет BM25 по сайту и возвращает типизированные по Schema.org ответы, llms.txt и llms-full.txt, AGENTS.md, карта сайта в Markdown и лицензия RSL 1.0, на которую ссылается robots.txt и которая явно разрешает индексацию, RAG и обучение моделей.

Всё это работает, публично и не требует API-ключа. Ничего не использует фреймворк — это написанный вручную PHP на общем хостинге. Хотите посмотреть — просто вызовите.

Что получилось: цифры

Здесь честность полезнее кейса. Примерно за три месяца:

• 209 600 URL отправлено в IndexNow
• 1 319 страниц проиндексировано в Bing
• 28 685 URL в карте сайта
• 111 показов, 0 кликов в поиске Bing
• 16 ссылающихся доменов

Seznam рассказывает ту же историю с другой стороны: обнаружено 3 390 URL, в базе краулера сохранено 86, проиндексировано 19. Это 0,6 % от найденного.

Итого: я сообщил поисковикам о своих страницах примерно по семь раз на каждую, и проиндексировано около 4,5 % сайта. Уведомление никогда не было узким местом.

Cloudflare Crawler Hints отправлял 4 900 URL каждые 18 часов

Эту часть я бы не заметил, если бы не открыл Bing Webmaster Tools. Все 209 600 отправок в IndexNow приходили от Cloudflare Crawler Hints, который я включил и забыл. На сайте из 28 685 URL он выталкивал 4 900 URL каждые 18 часов — включая страницы, намеренно помеченные noindex, и как минимум один проверочный файл в .well-known, отдающий 404.

Bing это заметил. Первая рекомендация в моей панели гласила: «Избегайте пакетного режима IndexNow, чтобы предотвратить избыточную нагрузку на сервер и возможные задержки индексации». Я умудрился превратить полезный протокол в самому себе созданную проблему, просто оставив переключатель включённым. IndexNow нужен для контента, который изменился. Раз за разом отправлять туда весь сайт — верный способ понизить приоритет своего ключа.

Мой CDN противоречил моему же robots.txt

Второй сюрприз оказался хуже, потому что бил прямо по цели, которую я преследовал. Мой robots.txt тратит около 200 строк на то, чтобы явно приветствовать ИИ-краулеров — GPTBot, ClaudeBot, PerplexityBot, CCBot и остальных — с Content-Signal: search=yes, ai-input=yes, ai-train=yes.

А над всем этим Cloudflare вставлял управляемый блок, который говорил обратное:

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

Он же объявлял ai-train=no там, где у меня было yes. По RFC 9309 одинаковые группы user-agent объединяются, а при равенстве побеждает Allow: /, так что воспитанные краулеры, скорее всего, продолжали качать — но я полагался на правило разрешения ничьей, чтобы отменить директиву, которую никогда не писал. Проверяйте отдаваемый robots.txt, а не исходный файл. Ваш CDN может его редактировать.

Обнаружение и цитируемость — разные задачи

Вот вывод, которого я не хотел, но на котором настаивают данные. Все внедрённые мной протоколы решают обнаружение: помогают машине найти и разобрать то, что существует. Ни один не решает авторитетность: не даёт никому причины вас процитировать.

С 16 ссылающимися доменами Bing решает не индексировать большую часть моего сайта, и никакое количество уведомлений это решение не меняет. Bing сказал это прямо во второй рекомендации: «У вашего сайта недостаточно входящих ссылок с качественных доменов». Две поисковые системы, ноль ошибок сканирования, ноль нарушений правил — и почти ничего не проиндексировано. Это не техническая неудача. Это суждение о том, стоит ли контент хранения.

Если вы рассматриваете эту работу как SEO-приём — не стоит. Это не он.

Баг, который прятался под всем этим

Во время аудита я нашёл кое-что более неловкое и более важное, чем любая деталь протокола. Тринадцать URL моих статей отдавали не ту статью.

Правила rewrite указывали несколько слагов на позиционные якоря — blog-card-1, blog-card-3 — которые обозначали места в списке блога, а не конкретные материалы. Когда список пересортировали, слаги тихо отвязались от содержимого. URL о переезде с Shopify отдавал статью о критическом CSS. Один из них был в моей карте сайта.

При этом все якоря с описательными именами остались верными. Ни один не «уплыл». Урок скучный и универсальный: называйте вещи по тому, чем они являются, а не по тому, где они лежат. А индекс, полный страниц, не выполняющих обещание заголовка, очень хорошо объясняет нулевой CTR.

Что я посоветую делать

Если хотите сделать сайт читаемым для агентов, порядок, который действительно важен:

1. Сначала почините сломанное. Я нашёл несовпадающие маршруты, 2 020 устаревших 404 из-за апострофов в слагах городов и правило CSS, из-за которого страница рисовалась белым по белому. Это дороже любого недостающего манифеста.
2. Опубликуйте llms.txt и endpoint в духе /ask. Дёшево, реально полезно и позволяет ассистенту получить ответ со ссылкой на источник, а не гадать.
3. Проверьте, что CDN делает от вашего имени. Обе мои крупнейшие проблемы были настройками по умолчанию, которых я не выбирал.
4. И только потом зарабатывайте ссылки. Это медленная часть — и именно она решает всё остальное.

Так стоило ли оно того?

Да — но не по той причине, с которой я начинал. Это купило точность, а не трафик. Когда ассистента спрашивают, сколько стоит сайт на заказ, он теперь может получить типизированный ответ со ссылкой, а не пересказывать маркетинговый текст. На моём origin ничего не генерируется, поэтому про мои цены ничего не выдумывается. Это ценно само по себе и разумная ставка на то, как люди будут искать дальше.

Но это не короткий путь. Нет такого манифеста, который заменил бы «быть достойным цитирования». Лучше я скажу это прямо, чем продам вам версию, где график идёт вверх.

Если хотите сайт, сделанный так же

Я пишу вручную каждый сайт на PHP — без WordPress, без конструкторов, без абонентской платы — и агентский слой выше относится к той же работе. Если вам нужен быстрый сайт, который читают и люди, и машины, запросите бесплатную смету и расскажите, что нужно.

Читайте также

• Все endpoint-ы с документацией — Полный агентский слой с рабочими примерами.
• Куда отправлять карту сайта — IndexNow и все поисковики, которые важны.
• Разрыв по ссылкам — Ограничение, в которое упирается вся эта статья.

Частые вопросы

Улучшили ли позиции MCP, A2A и llms.txt?

Нет. За три месяца сайт вырос с нескольких проиндексированных страниц до 1 319 из 28 685, при 111 показах и 0 кликах в Bing. Эти протоколы решают обнаружение — помогают машинам находить и разбирать контент. Они не создают авторитетность, а именно она решает, станет ли поисковик вас индексировать.

Что такое Cloudflare Crawler Hints и стоит ли его отключать?

Он автоматически отправляет изменённые URL в IndexNow от вашего имени. На моём сайте он отправил 209 600 URL, около 4 900 каждые 18 часов, включая noindex-страницы и один 404. Bing пометил это как избыточное. Если сайт большой или сгенерирован по шаблонам, проверьте, что именно он отправляет, прежде чем оставлять включённым.

Зачем CDN менять мой robots.txt?

Cloudflare может вставить управляемый блок, запрещающий ИИ-краулеров, и он оказывается выше ваших собственных правил. Мой блокировал GPTBot, ClaudeBot, CCBot и Google-Extended, хотя мой файл явно их приветствовал, и объявлял ai-train=no против моего ai-train=yes. Всегда читайте файл, отдаваемый по рабочему URL, а не исходник на диске.

Стоит ли настраивать IndexNow?

Да, для действительно изменившегося контента: это файл-ключ плюс один POST-запрос, и его используют Bing, Yandex, Naver и Seznam. Google — нет. Только не отправляйте массово неизменившийся сайт заново; именно такое поведение понижает приоритет ключа.

С чего начать небольшому сайту?

Почините сломанное, опубликуйте llms.txt и endpoint, отвечающий на вопросы, проверьте поведение CDN по умолчанию, а остальные силы направьте на получение ссылок. Техническая часть — это выходные. Ссылки — это годы.