Saltar al contenido principal
EnglishEN EspañolES FrançaisFR DeutschDE ItalianoIT PortuguêsPT 中文ZH 日本語JA 한국어KO РусскийRU NederlandsNL
← Back to all articles

Hice mi sitio totalmente legible para agentes. Estas son las cifras reales.

Durante los últimos meses convertí built2winweb.com en un sitio tan legible para agentes como puede construirlo un desarrollador en solitario: un servidor MCP, una tarjeta de agente A2A, un endpoint NLWeb /ask, ACP, UCP, agents.txt, llms.txt, una licencia RSL, negociación de contenido en Markdown en cada página e IndexNow conectado al CDN. Después me senté a medirlo de verdad. Esta es la versión honesta, incluidas las partes que no funcionaron, las dos opciones por defecto de Cloudflare que jugaban en mi contra y el número que importa más que toda la fontanería de protocolos junta.

En cifras

  • 209.600 — URLs enviadas a IndexNow
  • 1.319 — Páginas realmente indexadas por Bing
  • 28.685 — URLs en el sitemap
  • 16 — Dominios de referencia: el techo real

Qué construí exactamente

La superficie completa está documentada en la página agent-ready, pero en resumen: un servidor MCP en /mcp con siete herramientas, una tarjeta de servidor SEP-2127, una tarjeta de agente A2A con la extensión de comercio AP2, un descriptor ACP, un perfil comercial UCP, permisos de agente por ruta, un endpoint /ask que ejecuta BM25 sobre el sitio con respuestas tipadas en Schema.org, llms.txt y llms-full.txt, AGENTS.md, un sitemap en Markdown y una licencia RSL 1.0 referenciada desde robots.txt que permite explícitamente la indexación, el RAG y el entrenamiento de modelos.

Todo eso está en producción, es público y no requiere clave de API. Nada usa un framework: es PHP escrito a mano en hosting compartido. Si quieres verlo, llámalo.

Qué pasó: las cifras

Aquí la honestidad es más útil que un caso de éxito. En unos tres meses:

  • 209.600 URLs enviadas a IndexNow
  • 1.319 páginas indexadas en Bing
  • 28.685 URLs en el sitemap
  • 111 impresiones, 0 clics en la búsqueda de Bing
  • 16 dominios de referencia

Seznam cuenta la misma historia desde otro ángulo: 3.390 URLs descubiertas, 86 conservadas en su base de datos de rastreo, 19 indexadas. Eso es el 0,6 % de lo que encontró.

Es decir: notifiqué mis páginas a los buscadores unas siete veces por página, y hay indexado aproximadamente el 4,5 % del sitio. La notificación nunca fue el cuello de botella.

Cloudflare Crawler Hints enviaba 4.900 URLs cada 18 horas

Esta es la parte que no habría detectado sin abrir Bing Webmaster Tools. Cada uno de esos 209.600 envíos a IndexNow venía de Cloudflare Crawler Hints, que había activado y olvidado. En un sitio de 28.685 URLs estaba enviando 4.900 URLs cada 18 horas, incluidas páginas marcadas deliberadamente como noindex y al menos un archivo de verificación en .well-known que devuelve 404.

Bing se dio cuenta. Su recomendación principal en mi panel decía: «Evita el modo por lotes de IndexNow para prevenir carga excesiva del servidor y posibles retrasos de indexación.» Había conseguido convertir un protocolo útil en un problema autoinfligido dejando un interruptor encendido. IndexNow es para contenido que cambió. Disparar el sitio entero repetidamente es la forma de que una clave se despriorice.

Mi CDN contradecía mi propio robots.txt

La segunda sorpresa fue peor, porque iba directamente en contra de lo que intentaba conseguir. Mi robots.txt dedica unas 200 líneas a dar la bienvenida explícita a los rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, CCBot y los demás) con Content-Signal: search=yes, ai-input=yes, ai-train=yes.

Por encima de todo eso, Cloudflare inyectaba un bloque gestionado que decía lo contrario:

# BEGIN Cloudflare Managed content
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# END Cloudflare Managed Content

También declaraba ai-train=no donde el mío decía que sí. Según la RFC 9309 los grupos de user-agent duplicados se fusionan y Allow: / gana el empate, así que los rastreadores que se portan bien probablemente siguieron descargando, pero yo dependía de un desempate para deshacer una directiva que nunca escribí. Revisa tu robots.txt renderizado, no tu archivo fuente. Puede que tu CDN lo esté editando.

Descubrimiento y citación son problemas distintos

Esta es la conclusión que no quería, pero que los datos imponen. Todos los protocolos que implementé resuelven el descubrimiento: ayudar a una máquina a encontrar y analizar lo que existe. Ninguno resuelve la autoridad: dar a alguien un motivo para citarlo.

Con 16 dominios de referencia, Bing decide no indexar la mayor parte de mi sitio, y ninguna cantidad de notificaciones cambia esa decisión. Bing lo dijo directamente en su segunda recomendación: «Tu sitio no tiene suficientes enlaces entrantes de dominios de calidad.» Dos buscadores, cero errores de rastreo, cero incumplimientos de directrices y aun así casi nada indexado. Eso no es un fallo técnico. Es un juicio sobre si vale la pena almacenar el contenido.

Si estás considerando este trabajo como una jugada de SEO, no lo hagas. No lo es.

El error que se escondía debajo de todo

Durante la auditoría encontré algo más embarazoso y más importante que cualquier detalle de protocolo. Trece de las URLs de mis artículos servían el artículo equivocado.

Mis reglas de reescritura apuntaban varios slugs a anclas posicionales (blog-card-1, blog-card-3) que se referían a huecos del índice del blog en lugar de a artículos concretos. Cuando el índice se reordenó, los slugs se desligaron silenciosamente de su contenido. Una URL sobre migrar desde Shopify servía un artículo sobre CSS crítico. Una de ellas estaba en mi sitemap.

Todas las anclas con nombre descriptivo seguían siendo correctas. Ni una se había desviado. La lección es aburrida y universal: nombra las cosas por lo que son, no por dónde están. Y un índice lleno de páginas que no cumplen lo que promete su título explica muy bien un porcentaje de clics del 0 %.

Qué te recomiendo hacer

Si quieres que un sitio sea legible para agentes, el orden que de verdad importa:

  1. Arregla primero lo que está roto. Encontré rutas mal emparejadas, 2.020 errores 404 antiguos por apóstrofes en slugs de ciudades y una regla CSS que dejaba una página blanca sobre blanco. Eso cuesta más que cualquier manifiesto que falte.
  2. Publica llms.txt y un endpoint tipo /ask. Barato, realmente útil y permite que un asistente obtenga una respuesta citada en vez de adivinar.
  3. Comprueba qué hace tu CDN en tu nombre. Mis dos mayores problemas eran opciones por defecto que nunca elegí.
  4. Después consigue enlaces. Esta es la parte lenta, y es la que decide todo lo demás.

¿Mereció la pena?

Sí, pero no por el motivo con el que empecé. Compró precisión, no tráfico. Cuando se le pregunta a un asistente cuánto cuesta un sitio a medida, ahora puede obtener una respuesta tipada con cita en lugar de parafrasear textos de marketing. En mi origen no se genera nada, así que nada sobre mis precios se alucina. Eso ya vale algo por sí solo, y es una apuesta razonable sobre cómo se buscarán las cosas a continuación.

Lo que no es, es un atajo. No hay manifiesto que sustituya el hecho de merecer ser citado. Prefiero decírtelo claramente antes que venderte la versión en la que el gráfico sube.

Si quieres un sitio construido así

Escribo a mano cada sitio que construyo en PHP —sin WordPress, sin maquetadores, sin cuotas mensuales— y la superficie para agentes de arriba es el mismo tipo de trabajo. Si quieres un sitio rápido que puedan leer tanto las personas como las máquinas, pide un presupuesto gratis y cuéntame qué necesitas.

Lecturas relacionadas

Preguntas frecuentes

¿Añadir MCP, A2A y llms.txt mejoró el posicionamiento?

No. En tres meses el sitio pasó de unas pocas páginas indexadas a 1.319 de 28.685, con 111 impresiones y 0 clics en Bing. Estos protocolos resuelven el descubrimiento: ayudan a las máquinas a encontrar y analizar contenido. No crean autoridad, y la autoridad es lo que decide si un buscador se molesta en indexarte.

¿Qué es Cloudflare Crawler Hints y debería desactivarlo?

Envía automáticamente las URLs modificadas a IndexNow en tu nombre. En mi sitio envió 209.600 URLs, unas 4.900 cada 18 horas, incluidas páginas noindex y un 404. Bing lo marcó como excesivo. Si tu sitio es grande o generado por plantillas, comprueba qué está enviando de verdad antes de dejarlo activado.

¿Por qué cambiaría mi CDN mi robots.txt?

Cloudflare puede inyectar un bloque gestionado que prohíbe los rastreadores de IA, y aparece por encima de tus propias reglas. El mío bloqueaba GPTBot, ClaudeBot, CCBot y Google-Extended mientras mi archivo los daba la bienvenida explícitamente, y declaraba ai-train=no frente a mi ai-train=yes. Lee siempre el archivo renderizado en tu URL en vivo, no el fuente en disco.

¿Merece la pena configurar IndexNow?

Sí, para contenido que realmente cambió: es un archivo de clave más una petición POST, y Bing, Yandex, Naver y Seznam lo consumen. Google no. Simplemente no reenvíes en bloque un sitio sin cambios; ese es el comportamiento que hace que se despriorice una clave.

¿Qué debería hacer primero un sitio pequeño?

Arreglar lo que está roto, publicar llms.txt y un endpoint que responda preguntas, auditar lo que hace tu CDN por defecto y dedicar el resto del esfuerzo a conseguir enlaces. El trabajo técnico es un fin de semana. Los enlaces son los años.

¿Quieres un sitio que las máquinas puedan leer?

Escribo a mano sitios PHP rápidos con datos estructurados, schema y endpoints para agentes incluidos: una tarifa única, sin suscripciones y el código es tuyo.

Pedir presupuesto gratis