サイトを完全に「AIエージェント可読」にした結果、本当の数字はこうでした。

By Jacob Campbell · Published August 1, 2026 · Updated August 1, 2026 · 🤖 エージェント対応 · 9 分で読めます

数字で見る

• 209,600 — IndexNow に送信した URL
• 1,319 — Bing が実際にインデックスしたページ
• 28,685 — サイトマップ内の URL
• 16 — 参照ドメイン——これが本当の上限

実際に作ったもの

全体像は agent-ready ページに記載していますが、要点だけ挙げると、7 つのツールを公開する /mcp の MCP サーバー、SEP-2127 サーバーカード、AP2 マーチャント拡張付きの A2A エージェントカード、ACP ディスクリプタ、UCP コマースプロファイル、パス単位のエージェント権限、サイト全体に BM25 を実行して Schema.org 型付きで返す /ask エンドポイント、llms.txt と llms-full.txt、AGENTS.md、Markdown サイトマップ、そして robots.txt から参照され検索インデックス・RAG・モデル学習を明示的に許可する RSL 1.0 ライセンスです。

いずれも公開稼働中で、API キーは不要です。フレームワークは一切使っていません——共有ホスティング上の手書き PHP です。見たければ、そのまま呼び出してください。

何が起きたか：数字

ここでは成功事例より正直さのほうが役に立ちます。約 3 か月で:

• IndexNow に 209,600 URL を送信
• Bing でのインデックスは 1,319 ページ
• サイトマップには 28,685 URL
• Bing 検索で 111 インプレッション、0 クリック
• 参照ドメイン 16

Seznam も別角度から同じ話をしています。3,390 URL を発見、クローラーDBに保持したのは 86、インデックスは 19。発見分の 0.6% です。

つまり、各ページを平均 7 回ほど検索エンジンに通知して、サイトの約 4.5% がインデックスされた。通知はボトルネックではありませんでした。

Cloudflare Crawler Hints が 18 時間ごとに 4,900 URL を送っていた

これは Bing Webmaster Tools を開かなければ気づけなかった部分です。あの 209,600 件の IndexNow 送信はすべて、有効化したまま忘れていた Cloudflare Crawler Hints によるものでした。28,685 URL のサイトで、18 時間ごとに 4,900 URL を送信——意図的に noindex にしたページや、404 を返す .well-known の検証ファイルまで含めて。

Bing は気づいていました。ダッシュボードの最上位の推奨事項にはこうありました：「サーバー負荷の増大とインデックス遅延を防ぐため、IndexNow のバッチモードは避けてください。」スイッチを切り忘れただけで、有用なプロトコルを自作自演の問題に変えていたわけです。IndexNow は変更されたコンテンツのためのものです。サイト全体を繰り返し撃ち込むのは、キーの優先度を下げられる典型的なやり方です。

CDN が自分の robots.txt と矛盾していた

2 つ目の驚きはもっと厄介でした。狙いと正面から衝突していたからです。私の robots.txt は約 200 行を費やして AI クローラー——GPTBot、ClaudeBot、PerplexityBot、CCBot など——を明示的に歓迎し、Content-Signal: search=yes, ai-input=yes, ai-train=yes を宣言しています。

そのすべての上に、Cloudflare が正反対の管理ブロックを挿入していました：

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

さらに、私が yes と書いた箇所に ai-train=no と宣言していました。RFC 9309 では同名 user-agent グループは統合され、同点なら Allow: / が勝つので、行儀のよいクローラーは取得を続けていた可能性が高い——とはいえ、自分が書いてもいないディレクティブを打ち消すのに同点ルール頼みだったわけです。ディスク上のソースではなく、実際に配信されている robots.txt を確認してください。CDN が書き換えているかもしれません。

「発見」と「引用」は別の問題です

望んでいなかったが、データが突きつける結論です。私が実装したプロトコルはすべて発見を解決します——存在するものを機械が見つけて解析できるようにする。しかし権威性は解決しません——誰かが引用する理由を作ることは。

参照ドメインが 16 の状態では、Bing はサイトの大半をインデックスしないという判断を下し、通知をいくら増やしてもその判断は変わりません。Bing は 2 番目の推奨事項で直接こう言っています：「あなたのサイトは高品質ドメインからの被リンクが不足しています。」検索エンジン 2 社、クロールエラーゼロ、ガイドライン違反ゼロ、それでもほとんどインデックスされない。これは技術的な失敗ではなく、そのコンテンツを保存する価値があるかという判断です。

この作業を SEO 施策として検討しているなら、やめておきましょう。そういうものではありません。

その下に隠れていたバグ

監査中に、どのプロトコルの細部よりも恥ずかしく、影響の大きい問題を見つけました。記事 URL のうち 13 本が、まったく別の記事を表示していたのです。

リライトルールが複数のスラッグを位置ベースのアンカー——blog-card-1、blog-card-3——に向けていました。これらは特定の記事ではなく、ブログ一覧の「枠」を指すものです。一覧の並びを変えた時点で、スラッグは静かに中身から切り離されました。Shopify からの移行についての URL が、クリティカル CSS の記事を表示していた。しかもそのうち 1 本はサイトマップに入っていました。

一方、内容を説明する名前を付けたアンカーはすべて正しいままでした。1 つもずれていません。教訓は地味で普遍的です：ものには「どこにあるか」ではなく「何であるか」で名前を付ける。そして、タイトルの約束を果たさないページだらけのインデックスは、クリック率 0% を実によく説明します。

私からの推奨手順

サイトをエージェント可読にしたいなら、本当に重要な順序はこうです：

1. まず壊れているものを直す。不一致のルート、都市スラッグのアポストロフィに起因する 2,020 件の古い 404、ページを白地に白文字で描画していた CSS ルールが見つかりました。欠けているマニフェストより高くつきます。
2. llms.txt と /ask 型のエンドポイントを公開する。安価で本当に役立ち、アシスタントが推測ではなく出典付きの回答を得られます。
3. CDN があなたの名前で何をしているか確認する。私の最大の問題 2 つは、選んだ覚えのない初期設定でした。
4. そのうえでリンクを獲得する。これが遅い工程であり、他のすべてを決める工程です。

やる価値はあったのか

ありました——ただし始めたときの理由とは違います。得られたのはトラフィックではなく精度です。「オーダーメイドのサイトはいくらか」と尋ねられたアシスタントは、マーケティング文を言い換えるのではなく、出典付きの型付き回答を取得できるようになりました。オリジンでは何も生成しないので、価格について幻覚が生じることもありません。それ自体に価値がありますし、これから人が物を見つける方法への妥当な賭けでもあります。

ただし近道ではありません。「引用に値する」ことの代わりになるマニフェストは存在しません。グラフが右肩上がりになる話を売るより、はっきりそう伝えるほうがいいと思います。

こうした作りのサイトが欲しい方へ

私はすべてのサイトを PHP で手書きしています——WordPress なし、ページビルダーなし、月額費用なし。上記のエージェント面も同じ種類の仕事です。人にも機械にも読める高速なサイトが欲しければ、無料見積もりから必要なことをお聞かせください。

関連記事

• 全エンドポイントのドキュメント — 実行可能な例つきの完全なエージェント面。
• サイトマップの送信先 — IndexNow と押さえるべき検索エンジン。
• 被リンクギャップ — この記事全体がぶつかる制約。

よくある質問

MCP・A2A・llms.txt を追加して検索順位は上がりましたか？

いいえ。3 か月で 28,685 URL 中 1,319 ページのインデックスになりましたが、Bing では 111 インプレッション、0 クリックでした。これらのプロトコルが解決するのは「発見」——機械がコンテンツを見つけて解析できるようにすることです。権威性は作れませんし、検索エンジンがインデックスするかどうかを決めるのは権威性のほうです。

Cloudflare Crawler Hints とは何で、切るべきですか？

変更された URL を自動で IndexNow に送信する機能です。私のサイトでは 209,600 URL、18 時間ごとに約 4,900 件を送信し、noindex ページや 404 まで含まれていました。Bing は過剰だと警告しました。大規模サイトやテンプレート生成サイトなら、有効のままにする前に実際に何を送信しているか確認してください。

なぜ CDN が robots.txt を書き換えるのですか？

Cloudflare は AI クローラーを禁止する管理ブロックを挿入することがあり、それが自分のルールより上に現れます。私の場合、ファイル側では明示的に歓迎していた GPTBot、ClaudeBot、CCBot、Google-Extended をブロックし、ai-train=yes に対して ai-train=no と宣言していました。ディスク上のソースではなく、公開 URL で配信されているファイルを必ず読んでください。

IndexNow は設定する価値がありますか？

実際に変更されたコンテンツについては、あります。キーファイル 1 つと POST リクエスト 1 回で済み、Bing、Yandex、Naver、Seznam が対応しています（Google は非対応）。ただし変更のないサイトを一括再送信しないこと。それがキーの優先度を下げられる行為です。

小規模サイトはまず何をすべきですか？

壊れているものを直し、llms.txt と質問に答えるエンドポイントを公開し、CDN の初期動作を点検し、残りの労力はリンク獲得に充てる。技術作業は週末で終わります。リンクには年単位かかります。