Tornei o meu site totalmente legível por agentes. Eis os números reais.

By Jacob Campbell · Published August 1, 2026 · Updated August 1, 2026 · 🤖 Preparação para agentes · 9 min de leitura

Em números

• 209.600 — URLs enviados ao IndexNow
• 1.319 — Páginas realmente indexadas pelo Bing
• 28.685 — URLs no sitemap
• 16 — Domínios de referência — o verdadeiro limite

O que construí de facto

A superfície completa está documentada na página agent-ready, mas em resumo: um servidor MCP em /mcp com sete ferramentas, um server card SEP-2127, um agent card A2A com a extensão comercial AP2, um descritor ACP, um perfil comercial UCP, permissões de agente por caminho, um endpoint /ask que corre BM25 sobre o site com respostas tipadas em Schema.org, llms.txt e llms-full.txt, AGENTS.md, um sitemap em Markdown e uma licença RSL 1.0 referenciada no robots.txt que permite explicitamente indexação, RAG e treino de modelos.

Tudo isto está no ar, é público e não exige chave de API. Nada usa framework: é PHP escrito à mão em alojamento partilhado. Se quiser ver, basta chamar.

O que aconteceu: os números

Aqui a honestidade é mais útil do que um caso de sucesso. Ao longo de cerca de três meses:

• 209.600 URLs enviados ao IndexNow
• 1.319 páginas indexadas no Bing
• 28.685 URLs no sitemap
• 111 impressões, 0 cliques na pesquisa do Bing
• 16 domínios de referência

O Seznam conta a mesma história por outro ângulo: 3.390 URLs descobertos, 86 guardados na base de dados do rastreador, 19 indexados. Isso é 0,6 % do que encontrou.

Ou seja: notifiquei os motores sobre as minhas páginas cerca de sete vezes cada, e cerca de 4,5 % do site está indexado. A notificação nunca foi o estrangulamento.

O Cloudflare Crawler Hints enviava 4.900 URLs a cada 18 horas

Esta é a parte que eu não teria apanhado sem abrir o Bing Webmaster Tools. Todos aqueles 209.600 envios ao IndexNow vieram do Cloudflare Crawler Hints, que eu tinha ativado e esquecido. Num site de 28.685 URLs, estava a empurrar 4.900 URLs a cada 18 horas — incluindo páginas deliberadamente marcadas como noindex e pelo menos um ficheiro de verificação em .well-known que devolve 404.

O Bing reparou. A recomendação principal no meu painel dizia: «Evite o modo em lote do IndexNow para prevenir carga excessiva do servidor e possíveis atrasos de indexação.» Tinha conseguido transformar um protocolo útil num problema autoinfligido por deixar um interruptor ligado. O IndexNow serve para conteúdo que mudou. Disparar o site inteiro repetidamente é a forma de uma chave ser despriorizada.

O meu CDN contradizia o meu próprio robots.txt

A segunda surpresa foi pior, porque ia diretamente contra o que eu queria. O meu robots.txt gasta cerca de 200 linhas a dar as boas-vindas explícitas aos rastreadores de IA — GPTBot, ClaudeBot, PerplexityBot, CCBot e os restantes — com Content-Signal: search=yes, ai-input=yes, ai-train=yes.

Por cima de tudo isso, a Cloudflare injetava um bloco gerido que dizia o contrário:

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

Declarava também ai-train=no onde o meu dizia sim. Pela RFC 9309, grupos de user-agent duplicados são fundidos e Allow: / ganha o empate, por isso os rastreadores bem-comportados provavelmente continuaram — mas eu dependia de uma regra de desempate para anular uma diretiva que nunca escrevi. Verifique o robots.txt servido, não o ficheiro de origem. O seu CDN pode estar a editá-lo.

Descoberta e citação são problemas diferentes

Esta é a conclusão que eu não queria, mas que os dados impõem. Todos os protocolos que implementei resolvem a descoberta: ajudar uma máquina a encontrar e interpretar o que existe. Nenhum resolve a autoridade: dar a alguém uma razão para o citar.

Com 16 domínios de referência, o Bing escolhe não indexar a maior parte do meu site, e nenhuma quantidade de notificações muda essa decisão. O Bing disse-o diretamente na segunda recomendação: «O seu site não tem links de entrada suficientes de domínios de qualidade.» Dois motores, zero erros de rastreio, zero violações de diretrizes, e ainda assim quase nada indexado. Isto não é uma falha técnica. É um juízo sobre se vale a pena guardar o conteúdo.

Se está a considerar este trabalho como jogada de SEO, não o faça. Não é.

O bug que estava escondido por baixo de tudo

Durante a auditoria encontrei algo mais embaraçoso e mais consequente do que qualquer detalhe de protocolo. Treze dos URLs dos meus artigos serviam o artigo errado.

As minhas regras de rewrite apontavam vários slugs para âncoras posicionais — blog-card-1, blog-card-3 — que designavam lugares no índice do blogue em vez de artigos concretos. Quando o índice foi reordenado, os slugs desligaram-se silenciosamente do seu conteúdo. Um URL sobre migrar do Shopify servia um artigo sobre CSS crítico. Um deles estava no meu sitemap.

Todas as âncoras com nome descritivo continuavam corretas. Nem uma tinha derivado. A lição é banal e universal: dê às coisas o nome do que são, não de onde estão. E um índice cheio de páginas que não cumprem o que o título promete explica muito bem uma taxa de cliques de 0 %.

O que eu recomendaria fazer

Se quiser tornar um site legível por agentes, a ordem que realmente importa:

1. Corrija primeiro o que está partido. Encontrei rotas mal emparelhadas, 2.020 erros 404 antigos por apóstrofos em slugs de cidades e uma regra CSS que deixava uma página branca sobre branco. Isso custa mais do que qualquer manifesto em falta.
2. Publique llms.txt e um endpoint tipo /ask. Barato, genuinamente útil, e permite que um assistente obtenha uma resposta com fonte em vez de adivinhar.
3. Verifique o que o seu CDN faz em seu nome. Os meus dois maiores problemas eram predefinições que nunca escolhi.
4. Depois, conquiste links. É a parte lenta, e é a que decide tudo o resto.

Então, valeu a pena?

Sim — mas não pela razão com que comecei. Comprou precisão, não tráfego. Quando se pergunta a um assistente quanto custa um site à medida, ele pode agora obter uma resposta tipada com citação em vez de parafrasear texto de marketing. Nada é gerado na minha origem, portanto nada sobre os meus preços é alucinado. Isso já vale alguma coisa, e é uma aposta razoável sobre como as pessoas vão encontrar coisas a seguir.

O que não é, é um atalho. Não há manifesto que substitua o merecer ser citado. Prefiro dizê-lo com clareza do que vender-lhe a versão em que o gráfico sobe.

Se quiser um site construído assim

Escrevo à mão todos os sites que construo em PHP — sem WordPress, sem construtores de páginas, sem mensalidades — e a superfície para agentes acima é o mesmo tipo de trabalho. Se quiser um site rápido que tanto pessoas como máquinas consigam ler, peça um orçamento gratuito e diga-me do que precisa.

Leitura relacionada

• Todos os endpoints, documentados — A superfície completa para agentes com exemplos ao vivo.
• Onde submeter o seu sitemap — IndexNow e todos os motores que interessam.
• A lacuna de backlinks — A limitação com que todo este artigo esbarra.

Perguntas frequentes

Adicionar MCP, A2A e llms.txt melhorou o posicionamento?

Não. Em três meses o site passou de poucas páginas indexadas para 1.319 de 28.685, com 111 impressões e 0 cliques no Bing. Estes protocolos resolvem a descoberta: ajudam as máquinas a encontrar e interpretar conteúdo. Não criam autoridade, e é a autoridade que decide se um motor se dá ao trabalho de o indexar.

O que é o Cloudflare Crawler Hints e devo desligá-lo?

Submete automaticamente URLs alterados ao IndexNow em seu nome. No meu site enviou 209.600 URLs, cerca de 4.900 a cada 18 horas, incluindo páginas noindex e um 404. O Bing sinalizou isso como excessivo. Se o seu site for grande ou gerado por templates, verifique o que está realmente a enviar antes de o deixar ativo.

Porque é que o meu CDN alteraria o meu robots.txt?

A Cloudflare pode injetar um bloco gerido que proíbe rastreadores de IA, e ele aparece acima das suas próprias regras. O meu bloqueava GPTBot, ClaudeBot, CCBot e Google-Extended enquanto o meu ficheiro os acolhia explicitamente, e declarava ai-train=no contra o meu ai-train=yes. Leia sempre o ficheiro servido no seu URL em produção, não a fonte em disco.

Vale a pena configurar o IndexNow?

Sim, para conteúdo genuinamente alterado: é um ficheiro de chave mais um pedido POST, e o Bing, Yandex, Naver e Seznam consomem-no. O Google não. Apenas não resubmeta em massa um site inalterado; é esse comportamento que faz despriorizar uma chave.

O que deve um site pequeno fazer primeiro?

Corrigir o que está partido, publicar llms.txt e um endpoint que responda a perguntas, auditar o que o CDN faz por predefinição e dedicar o resto do esforço a conquistar links. O trabalho técnico é um fim de semana. Os links são os anos.