Ich habe meine Website vollständig agentenlesbar gemacht. Hier sind die echten Zahlen.

By Jacob Campbell · Published August 1, 2026 · Updated August 1, 2026 · 🤖 Agentenbereitschaft · 9 Min. Lesezeit

In Zahlen

• 209.600 — An IndexNow gemeldete URLs
• 1.319 — Tatsächlich von Bing indexierte Seiten
• 28.685 — URLs in der Sitemap
• 16 — Verweisende Domains – die echte Grenze

Was ich tatsächlich gebaut habe

Die vollständige Oberfläche ist auf der Agent-Ready-Seite dokumentiert, kurz gefasst: ein MCP-Server unter /mcp mit sieben Tools, eine SEP-2127-Server-Card, eine A2A-Agent-Card mit der AP2-Merchant-Erweiterung, ein ACP-Deskriptor, ein UCP-Commerce-Profil, Agentenrechte pro Pfad, ein /ask-Endpoint, der BM25 über die Website laufen lässt und Schema.org-typisierte Antworten liefert, llms.txt und llms-full.txt, AGENTS.md, eine Markdown-Sitemap und eine RSL-1.0-Lizenz, die aus der robots.txt referenziert wird und Indexierung, RAG und Modelltraining ausdrücklich erlaubt.

Alles davon ist live, öffentlich und benötigt keinen API-Schlüssel. Nichts nutzt ein Framework – es ist handgeschriebenes PHP auf Shared Hosting. Wer es sehen will, ruft es einfach auf.

Was passiert ist: die Zahlen

Hier ist Ehrlichkeit nützlicher als eine Erfolgsgeschichte. Über rund drei Monate:

• 209.600 URLs an IndexNow übermittelt
• 1.319 Seiten in Bing indexiert
• 28.685 URLs in der Sitemap
• 111 Impressionen, 0 Klicks in der Bing-Suche
• 16 verweisende Domains

Seznam erzählt dieselbe Geschichte aus anderer Richtung: 3.390 URLs entdeckt, 86 in der Crawler-Datenbank behalten, 19 indexiert. Das sind 0,6 % dessen, was gefunden wurde.

Also: Ich habe den Suchmaschinen meine Seiten etwa siebenmal pro Seite gemeldet, und rund 4,5 % der Website ist indexiert. Die Benachrichtigung war nie der Engpass.

Cloudflare Crawler Hints schickte alle 18 Stunden 4.900 URLs

Das ist der Teil, den ich ohne einen Blick in die Bing Webmaster Tools nie bemerkt hätte. Jede einzelne dieser 209.600 IndexNow-Übermittlungen kam von Cloudflare Crawler Hints, das ich aktiviert und dann vergessen hatte. Auf einer Website mit 28.685 URLs schob es alle 18 Stunden 4.900 URLs raus – darunter Seiten, die ich bewusst auf noindex gesetzt hatte, und mindestens eine .well-known-Challenge-Datei, die 404 zurückgibt.

Bing hat es bemerkt. Die oberste Empfehlung in meinem Dashboard lautete: „Vermeiden Sie den IndexNow-Batch-Modus, um übermäßige Serverlast und mögliche Indexierungsverzögerungen zu verhindern." Ich hatte es geschafft, ein hilfreiches Protokoll durch einen vergessenen Schalter in ein selbstverschuldetes Problem zu verwandeln. IndexNow ist für Inhalte gedacht, die sich geändert haben. Die gesamte Website wiederholt dorthin zu feuern, ist der sichere Weg, einen Key depriorisieren zu lassen.

Mein CDN widersprach meiner eigenen robots.txt

Die zweite Überraschung war schlimmer, weil sie direkt gegen das arbeitete, was ich erreichen wollte. Meine robots.txt verwendet rund 200 Zeilen darauf, KI-Crawler ausdrücklich willkommen zu heißen – GPTBot, ClaudeBot, PerplexityBot, CCBot und die übrigen – mit Content-Signal: search=yes, ai-input=yes, ai-train=yes.

Über all dem fügte Cloudflare einen verwalteten Block ein, der das Gegenteil sagte:

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

Außerdem deklarierte er ai-train=no, wo meiner Ja sagte. Nach RFC 9309 werden doppelte User-Agent-Gruppen zusammengeführt und Allow: / gewinnt bei Gleichstand, gut erzogene Crawler haben also vermutlich weiter geladen – aber ich verließ mich auf eine Gleichstandsregel, um eine Direktive aufzuheben, die ich nie geschrieben hatte. Prüfen Sie Ihre ausgelieferte robots.txt, nicht Ihre Quelldatei. Ihr CDN bearbeitet sie möglicherweise.

Auffindbarkeit und Zitierwürdigkeit sind zwei Probleme

Das ist die Schlussfolgerung, die ich nicht wollte, auf die die Daten aber bestehen. Alle Protokolle, die ich umgesetzt habe, lösen die Auffindbarkeit: Sie helfen einer Maschine, Vorhandenes zu finden und zu verstehen. Keines löst die Autorität: jemandem einen Grund zu geben, Sie zu zitieren.

Mit 16 verweisenden Domains entscheidet Bing, den Großteil meiner Website nicht zu indexieren, und keine Menge an Benachrichtigungen ändert diese Entscheidung. Bing sagte es direkt in seiner zweiten Empfehlung: „Ihre Website hat nicht genügend eingehende Links von hochwertigen Domains." Zwei Suchmaschinen, null Crawling-Fehler, null Richtlinienverstöße – und trotzdem fast nichts indexiert. Das ist kein technisches Versagen. Es ist ein Urteil darüber, ob der Inhalt es wert ist, gespeichert zu werden.

Wenn Sie diese Arbeit als SEO-Maßnahme erwägen: Lassen Sie es. Sie ist keine.

Der Fehler, der darunter versteckt lag

Beim Audit fand ich etwas Peinlicheres und Folgenreicheres als jedes Protokolldetail. Dreizehn meiner Artikel-URLs lieferten den falschen Artikel aus.

Meine Rewrite-Regeln zeigten mehrere Slugs auf positionelle Anker – blog-card-1, blog-card-3 –, die Plätze auf der Blog-Übersicht bezeichneten statt konkrete Beiträge. Als die Übersicht umsortiert wurde, lösten sich die Slugs stillschweigend von ihrem Inhalt. Eine URL über die Migration von Shopify lieferte einen Artikel über kritisches CSS aus. Eine davon stand in meiner Sitemap.

Jeder beschreibend benannte Anker war weiterhin korrekt. Nicht ein einziger war abgedriftet. Die Lehre ist langweilig und allgemeingültig: Benennen Sie Dinge nach dem, was sie sind, nicht nach ihrer Position. Und ein Index voller Seiten, die nicht halten, was ihr Titel verspricht, erklärt eine Klickrate von 0 % ziemlich gut.

Was ich Ihnen raten würde

Wenn Sie eine Website agentenlesbar machen wollen, zählt diese Reihenfolge:

1. Reparieren Sie zuerst, was kaputt ist. Ich fand falsch zugeordnete Routen, 2.020 veraltete 404er durch Apostrophe in Städte-Slugs und eine CSS-Regel, die eine Seite weiß auf weiß darstellte. Das kostet mehr als jedes fehlende Manifest.
2. Veröffentlichen Sie llms.txt und einen /ask-Endpoint. Günstig, wirklich nützlich, und ein Assistent bekommt eine belegte Antwort statt zu raten.
3. Prüfen Sie, was Ihr CDN in Ihrem Namen tut. Meine beiden größten Probleme waren Voreinstellungen, die ich nie gewählt hatte.
4. Danach verdienen Sie sich Links. Das ist der langsame Teil – und der, der über alles andere entscheidet.

Hat es sich also gelohnt?

Ja – aber nicht aus dem Grund, mit dem ich angefangen habe. Es hat Präzision gebracht, keinen Traffic. Wenn ein Assistent gefragt wird, was eine individuelle Website kostet, kann er jetzt eine typisierte Antwort mit Quellenangabe abrufen, statt Marketingtexte zu paraphrasieren. Auf meinem Origin wird nichts generiert, also wird nichts über meine Preise halluziniert. Das ist für sich genommen etwas wert und eine vernünftige Wette darauf, wie Menschen künftig Dinge finden.

Eine Abkürzung ist es nicht. Es gibt kein Manifest, das ersetzt, zitierwürdig zu sein. Das sage ich Ihnen lieber klar, als Ihnen die Version zu verkaufen, in der die Kurve nach oben zeigt.

Wenn Sie eine so gebaute Website wollen

Ich schreibe jede Website, die ich baue, von Hand in PHP – kein WordPress, kein Page-Builder, keine monatlichen Gebühren – und die Agentenoberfläche oben ist dieselbe Art von Arbeit. Wenn Sie eine schnelle Website wollen, die Menschen und Maschinen lesen können, fordern Sie ein kostenloses Angebot an und sagen Sie mir, was Sie brauchen.

Weiterlesen

• Alle Endpoints, dokumentiert — Die vollständige Agentenoberfläche mit Live-Beispielen.
• Wo Sie Ihre Sitemap einreichen — IndexNow und jede Suchmaschine, die zählt.
• Die Backlink-Lücke — Die Grenze, auf die dieser ganze Beitrag stößt.

Häufige Fragen

Haben MCP, A2A und llms.txt die Rankings verbessert?

Nein. In drei Monaten ging die Website von wenigen indexierten Seiten auf 1.319 von 28.685, bei 111 Impressionen und 0 Klicks in Bing. Diese Protokolle lösen die Auffindbarkeit – sie helfen Maschinen, Inhalte zu finden und zu verstehen. Sie schaffen keine Autorität, und Autorität entscheidet, ob eine Suchmaschine Sie überhaupt indexiert.

Was ist Cloudflare Crawler Hints und sollte ich es abschalten?

Es übermittelt geänderte URLs automatisch in Ihrem Namen an IndexNow. Auf meiner Website waren das 209.600 URLs, etwa 4.900 alle 18 Stunden, inklusive noindex-Seiten und einer 404. Bing markierte das als übermäßig. Bei großen oder Template-generierten Websites sollten Sie prüfen, was tatsächlich gesendet wird, bevor Sie es aktiviert lassen.

Warum sollte mein CDN meine robots.txt ändern?

Cloudflare kann einen verwalteten Block einfügen, der KI-Crawler ausschließt, und dieser steht über Ihren eigenen Regeln. Meiner blockierte GPTBot, ClaudeBot, CCBot und Google-Extended, während meine Datei sie ausdrücklich willkommen hieß, und deklarierte ai-train=no gegen mein ai-train=yes. Lesen Sie immer die ausgelieferte Datei unter Ihrer Live-URL, nicht die Quelle auf der Platte.

Lohnt sich IndexNow?

Ja, für tatsächlich geänderte Inhalte – es sind eine Key-Datei und ein POST-Request, und Bing, Yandex, Naver und Seznam nutzen es. Google nicht. Übermitteln Sie nur keine unveränderte Website massenhaft erneut; genau das führt dazu, dass ein Key depriorisiert wird.

Was sollte eine kleine Website zuerst tun?

Reparieren, was kaputt ist, llms.txt und einen Frage-Antwort-Endpoint veröffentlichen, prüfen, was das CDN standardmäßig tut, und den restlichen Aufwand in Links stecken. Die technische Arbeit ist ein Wochenende. Die Links sind die Jahre.