Ik maakte mijn site volledig leesbaar voor agents. Dit zijn de echte cijfers.

By Jacob Campbell · Published August 1, 2026 · Updated August 1, 2026 · 🤖 Klaar voor agents · 9 min leestijd

In cijfers

• 209.600 — URL’s naar IndexNow gestuurd
• 1.319 — Pagina’s daadwerkelijk geïndexeerd door Bing
• 28.685 — URL’s in de sitemap
• 16 — Verwijzende domeinen — het echte plafond

Wat ik werkelijk heb gebouwd

Het volledige oppervlak staat op de agent-ready-pagina, maar kort: een MCP-server op /mcp met zeven tools, een SEP-2127 server card, een A2A agent card met de AP2-merchantextensie, een ACP-descriptor, een UCP-commerceprofiel, agentrechten per pad, een /ask-endpoint dat BM25 over de site draait met Schema.org-getypeerde antwoorden, llms.txt en llms-full.txt, AGENTS.md, een Markdown-sitemap en een RSL 1.0-licentie waarnaar vanuit robots.txt wordt verwezen en die indexering, RAG en modeltraining expliciet toestaat.

Alles draait live, is openbaar en vereist geen API-sleutel. Niets gebruikt een framework: het is handgeschreven PHP op gedeelde hosting. Wil je het zien, roep het gewoon aan.

Wat er gebeurde: de cijfers

Hier is eerlijkheid nuttiger dan een succesverhaal. Over ongeveer drie maanden:

• 209.600 URL’s aangeboden aan IndexNow
• 1.319 pagina’s geïndexeerd in Bing
• 28.685 URL’s in de sitemap
• 111 vertoningen, 0 klikken in Bing-zoekresultaten
• 16 verwijzende domeinen

Seznam vertelt hetzelfde verhaal vanuit een andere hoek: 3.390 URL’s ontdekt, 86 bewaard in de crawlerdatabase, 19 geïndexeerd. Dat is 0,6% van wat het vond.

Dus: ik heb zoekmachines ongeveer zeven keer per pagina op mijn pagina’s gewezen, en zo’n 4,5% van de site is geïndexeerd. Melden was nooit het knelpunt.

Cloudflare Crawler Hints stuurde elke 18 uur 4.900 URL’s

Dit had ik nooit gevonden zonder Bing Webmaster Tools te openen. Al die 209.600 IndexNow-inzendingen kwamen van Cloudflare Crawler Hints, dat ik had aangezet en vergeten. Op een site met 28.685 URL’s duwde het elke 18 uur 4.900 URL’s naar buiten — inclusief pagina’s die ik bewust op noindex had gezet en minstens één .well-known-verificatiebestand dat 404 geeft.

Bing merkte het. De bovenste aanbeveling in mijn dashboard luidde: „Vermijd de IndexNow-batchmodus om overmatige serverbelasting en mogelijke indexeringsvertraging te voorkomen." Ik had het voor elkaar gekregen een nuttig protocol in een zelfveroorzaakt probleem te veranderen door één schakelaar aan te laten staan. IndexNow is bedoeld voor content die veranderd is. Je hele site er herhaaldelijk in schieten is precies hoe een sleutel lager geprioriteerd raakt.

Mijn CDN sprak mijn eigen robots.txt tegen

De tweede verrassing was erger, omdat die rechtstreeks inging tegen wat ik probeerde te bereiken. Mijn robots.txt besteedt zo’n 200 regels aan het expliciet verwelkomen van AI-crawlers — GPTBot, ClaudeBot, PerplexityBot, CCBot en de rest — met Content-Signal: search=yes, ai-input=yes, ai-train=yes.

Daarboven injecteerde Cloudflare een beheerd blok dat het tegenovergestelde zei:

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

Het verklaarde ook ai-train=no waar het mijne ja zei. Volgens RFC 9309 worden dubbele user-agentgroepen samengevoegd en wint Allow: / bij gelijkspel, dus welopgevoede crawlers haalden waarschijnlijk gewoon door — maar ik vertrouwde op een gelijkspelregel om een richtlijn ongedaan te maken die ik nooit had geschreven. Controleer je uitgeleverde robots.txt, niet je bronbestand. Je CDN bewerkt het mogelijk.

Vindbaarheid en citeerbaarheid zijn verschillende problemen

Dit is de conclusie die ik niet wilde, maar die de data afdwingt. Alle protocollen die ik implementeerde lossen vindbaarheid op: een machine helpen te vinden en te ontleden wat bestaat. Geen enkele lost autoriteit op: iemand een reden geven je te citeren.

Met 16 verwijzende domeinen kiest Bing ervoor het grootste deel van mijn site niet te indexeren, en geen hoeveelheid meldingen verandert dat besluit. Bing zei het direct in zijn tweede aanbeveling: „Je site heeft niet genoeg inkomende links van kwalitatieve domeinen." Twee zoekmachines, nul crawlfouten, nul richtlijnovertredingen, en toch bijna niets geïndexeerd. Dat is geen technisch falen. Het is een oordeel of de content het bewaren waard is.

Overweeg je dit werk als SEO-zet? Niet doen. Dat is het niet.

De bug die er onder verstopt zat

Tijdens de audit vond ik iets gênanter en ingrijpender dan welk protocoldetail ook. Dertien van mijn artikel-URL’s serveerden het verkeerde artikel.

Mijn rewrite-regels wezen meerdere slugs naar positionele ankers — blog-card-1, blog-card-3 — die plekken op de blogindex aanduidden in plaats van specifieke artikelen. Toen de index werd herschikt, raakten de slugs stilletjes los van hun inhoud. Een URL over migreren vanaf Shopify serveerde een artikel over critical CSS. Eén ervan stond in mijn sitemap.

Elk anker met een beschrijvende naam klopte nog steeds. Niet één was afgedreven. De les is saai en universeel: noem dingen naar wat ze zijn, niet naar waar ze staan. En een index vol pagina’s die niet leveren wat hun titel belooft, verklaart een doorklikratio van 0% uitstekend.

Wat ik je zou aanraden

Wil je een site agent-leesbaar maken, dan is dit de volgorde die er echt toe doet:

1. Repareer eerst wat stuk is. Ik vond verkeerd gekoppelde routes, 2.020 verouderde 404’s door apostrofs in stad-slugs, en een CSS-regel die een pagina wit-op-wit weergaf. Dat kost meer dan welk ontbrekend manifest ook.
2. Publiceer llms.txt en een /ask-achtig endpoint. Goedkoop, echt nuttig, en een assistent krijgt een geciteerd antwoord in plaats van te gokken.
3. Kijk wat je CDN namens jou doet. Mijn twee grootste problemen waren standaardinstellingen die ik nooit koos.
4. Verdien daarna links. Dat is het trage deel, en het deel dat al het andere bepaalt.

Was het de moeite waard?

Ja — maar niet om de reden waarmee ik begon. Het leverde precisie op, geen verkeer. Als een assistent wordt gevraagd wat een maatwerksite kost, kan die nu een getypeerd antwoord met bronvermelding ophalen in plaats van marketingtekst te parafraseren. Op mijn origin wordt niets gegenereerd, dus over mijn prijzen wordt niets gehallucineerd. Dat is op zichzelf iets waard, en een redelijke gok op hoe mensen straks dingen vinden.

Wat het niet is, is een sluiproute. Er bestaat geen manifest dat vervangt dat je het citeren waard bent. Dat zeg ik liever ronduit dan dat ik je de versie verkoop waarin de grafiek omhoog gaat.

Wil je een site die zo gebouwd is?

Ik schrijf elke site die ik bouw met de hand in PHP — geen WordPress, geen pagebuilders, geen maandelijkse kosten — en het agentoppervlak hierboven is hetzelfde soort werk. Wil je een snelle site die zowel mensen als machines kunnen lezen, vraag een gratis offerte aan en vertel me wat je nodig hebt.

Verder lezen

• Alle endpoints, gedocumenteerd — Het volledige agentoppervlak met werkende voorbeelden.
• Waar je je sitemap indient — IndexNow en elke zoekmachine die telt.
• De backlinkkloof — De beperking waar dit hele artikel tegenaan loopt.

Veelgestelde vragen

Verbeterden MCP, A2A en llms.txt de posities?

Nee. In drie maanden ging de site van een handvol geïndexeerde pagina’s naar 1.319 van de 28.685, met 111 vertoningen en 0 klikken in Bing. Deze protocollen lossen vindbaarheid op — ze helpen machines content te vinden en te ontleden. Ze creëren geen autoriteit, en autoriteit bepaalt of een zoekmachine je überhaupt indexeert.

Wat is Cloudflare Crawler Hints en moet ik het uitzetten?

Het stuurt gewijzigde URL’s automatisch namens jou naar IndexNow. Op mijn site waren dat 209.600 URL’s, zo’n 4.900 elke 18 uur, inclusief noindex-pagina’s en een 404. Bing markeerde dit als overmatig. Is je site groot of templategegenereerd, kijk dan eerst wat er echt verstuurd wordt voordat je het aan laat staan.

Waarom zou mijn CDN mijn robots.txt aanpassen?

Cloudflare kan een beheerd blok injecteren dat AI-crawlers verbiedt, en dat verschijnt boven je eigen regels. Het mijne blokkeerde GPTBot, ClaudeBot, CCBot en Google-Extended terwijl mijn bestand ze expliciet verwelkomde, en verklaarde ai-train=no tegenover mijn ai-train=yes. Lees altijd het uitgeleverde bestand op je live-URL, niet de bron op schijf.

Is IndexNow de moeite waard?

Ja, voor content die echt gewijzigd is — het is een sleutelbestand plus één POST-verzoek, en Bing, Yandex, Naver en Seznam gebruiken het. Google niet. Dien alleen geen ongewijzigde site massaal opnieuw in; dat gedrag zorgt ervoor dat een sleutel lager geprioriteerd raakt.

Wat moet een kleine site eerst doen?

Repareer wat stuk is, publiceer llms.txt en een endpoint dat vragen beantwoordt, controleer wat je CDN standaard doet, en steek de rest van je energie in het verdienen van links. Het technische werk is een weekend. De links zijn de jaren.