Saltar al contenido
SCRAWL

Comprobador de acceso para crawlers de IA

Lee robots.txt, busca llms.txt y mira señales en el HTML. No pregunta a ChatGPT ni a Perplexity si ya citan la página. Separa crawlers de entrenamiento (GPTBot, Google-Extended) de los de recuperación (OAI-SearchBot, PerplexityBot). Para ver qué bots llegaron de verdad, analiza los access logs. Para redactar llms.txt, usa el generador.

  • Pega la URL
  • Mira robots y llms.txt
  • Separa entrenamiento y recuperación
  • Basado en navegador — sin instalación
  • Resultados al instante

Pide la página, robots.txt y llms.txt, y puntúa cinco áreas

Pegas una URL. La herramienta pide la página, el robots.txt y el llms.txt, y resume cómo queda cada crawler de IA conocido y cómo de fácil es leer el contenido. No consulta un chat para saber si la URL ya sale citada. La nota sale de cinco áreas sobre 100, con una banda de Excelente, Buena, Necesita trabajo o Pobre, y una lista de arreglos ordenada por impacto en la visibilidad en respuestas de IA.

Es una revisión de preparación GEO y AEO: si los motores pueden rastrear, entender y citar. La comprobación de contenido lee HTML crudo. Si la página parece renderizada con JavaScript, eso es un indicador, no un veredicto cerrado. Un veredicto de render de verdad pediría un navegador headless, y esta herramienta no lo ejecuta.

Recuperación y entrenamiento no pesan igual en la nota

Los crawlers de recuperación piden páginas para armar respuestas y citas en vivo. Aquí entran OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot y PerplexityBot. Bloquearlos te saca de esas respuestas. Los de entrenamiento recogen datos para entrenar modelos: GPTBot, ClaudeBot, CCBot, Google-Extended y otros. Bloquearlos es una decisión legítima de muchos editores y no cambia la visibilidad en la búsqueda con IA.

La pasada lee tu robots.txt y marca cada agente como permitido, bloqueado o no mencionado, agrupado por empresa y por propósito. En la nota, los de recuperación pesan mucho más que los de entrenamiento. Google-Extended es solo una señal de opt-out de entrenamiento para Gemini. Bloquearlo impide que Google use el contenido para entrenar Gemini. No afecta al ranking de Google Search, a la indexación ni a la aparición en AI Overviews: eso lo gobierna Googlebot. Puedes bloquear Google-Extended sin ese efecto en la búsqueda normal.

La lista activa incluye OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Google (Google-Extended) y otros: Amazonbot, Applebot-Extended, CCBot, Bytespider y Meta-ExternalAgent. Si robots.txt aún nombra los agentes retirados anthropic-ai y claude-web, se marcan, porque Anthropic ya no los usa.

Cinco comprobaciones alimentan la nota de 0 a 100

Primera: directivas de crawlers de IA en robots.txt. Cada agente conocido queda en permitido, bloqueado o no mencionado.

Segunda: llms.txt. Si el archivo de descubrimiento, de carácter orientativo, existe en la raíz y tiene una estructura markdown válida.

Tercera: datos estructurados. Qué tipos schema.org en JSON-LD hay para que un motor lea de qué va la página.

Cuarta: acceso al contenido. Cuánto texto sustantivo hay en el HTML crudo. La mayoría de crawlers de IA no ejecutan JavaScript. Si el cuerpo es un cascarón de aplicación, la nota de contenido baja aunque el navegador se vea lleno.

Quinta: metas de base. Title, meta description, canonical y h1.

Cada comprobación entra en la nota ponderada. Publicar un llms.txt es un extra barato. En 2026 la adopción sigue siendo desigual. Trátalo como un añadido, no como un factor de ranking. Desbloquear los crawlers de recuperación y servir el contenido en el HTML del servidor pesan más.

El primer arreglo es el fallo de más peso

Si un crawler de recuperación está en disallow dentro de robots.txt, quita ese bloqueo primero. Es el cambio de más peso en esta pasada para la visibilidad en búsqueda con IA. Deja el contenido principal en el HTML que envía el servidor, porque estos crawlers en general se saltan el JavaScript. Añade datos estructurados schema.org para que el motor lea qué es cada página. Mantén title, meta description, canonical y un solo h1.

La herramienta informa las directivas tal como están escritas. No puede garantizar que un crawler concreto las obedezca. El soporte de llms.txt sigue siendo desigual entre motores. Usa el resultado para quitar los bloqueos más claros y confirma las páginas críticas con las herramientas de cada motor cuando existan. Para ver qué bots llegaron de verdad, mira los access logs. Esta pasada no los lee.

La nota no dice si un chat ya te citó

No se envía la página a una API de chat ni se pregunta a ChatGPT o a Perplexity si la URL ya sale citada. El indicador de página renderizada con JavaScript no es una prueba de render: mide palabras en el HTML crudo y señala el patrón. Corregirlo pasa por servir o prerenderizar el contenido principal.

robots.txt se lee como texto de reglas, no como un registro de obediencia. llms.txt no controla el acceso: robots.txt sigue siendo el mecanismo de permiso de rastreo. Un agente no mencionado no es lo mismo que un disallow. La banda Excelente, Buena, Necesita trabajo o Pobre resume la nota de 0 a 100. No es una predicción de citas.

Preguntas frecuentes

¿Cómo sé si ChatGPT puede ver mi sitio?

La búsqueda de ChatGPT usa el crawler OAI-SearchBot para pedir páginas que entran en respuestas y citas. Si tu robots.txt hace disallow de OAI-SearchBot, esas páginas quedan fuera de la búsqueda de ChatGPT. Esta pasada lee robots.txt y dice si OAI-SearchBot, ChatGPT-User y GPTBot están permitidos, bloqueados o no mencionados. No pregunta a ChatGPT si ya te cita.

¿Qué diferencia hay entre un crawler de entrenamiento y uno de recuperación?

Los de recuperación (OAI-SearchBot, Claude-SearchBot, PerplexityBot) piden páginas en el momento para armar respuestas y citas. Bloquearlos te quita de esas respuestas. Los de entrenamiento (GPTBot, ClaudeBot, CCBot, Google-Extended) recogen datos para entrenar modelos. Bloquear entrenamiento es una decisión legítima y no cambia la visibilidad en la búsqueda con IA. Por eso la nota penaliza mucho más el bloqueo de los de recuperación.

¿Bloquear Google-Extended perjudica mi ranking en Google?

No. Google-Extended es solo una señal de opt-out de entrenamiento para Gemini. Bloquearlo impide que Google use tu contenido para entrenar Gemini. No afecta al ranking de Google Search, a la indexación ni a la aparición en AI Overviews, que dependen de Googlebot. Puedes bloquear Google-Extended sin ese efecto en la búsqueda normal. Esta pasada lo agrupa con los crawlers de entrenamiento, no con los de recuperación.

¿Necesito un archivo llms.txt para el SEO de IA?

No es obligatorio. llms.txt es un archivo orientativo en la raíz que señala el contenido importante en markdown. Ayuda como pista de descubrimiento y no controla el acceso. En 2026 la adopción y el cumplimiento entre motores siguen siendo desiguales. Trátalo como un extra barato, no como un factor de ranking. Desbloquear los crawlers de recuperación y servir HTML legible pesan más.

¿Por qué la nota de contenido sale baja si la página se ve llena?

La mayoría de crawlers de IA leen HTML crudo y no ejecutan JavaScript. Si un framework pinta el contenido en el cliente, el HTML que recibe el crawler puede traer muy poco texto, un cascarón de aplicación, aunque el navegador se vea completo. Esta herramienta cuenta palabras en ese HTML y marca el patrón como indicador. Servir o prerenderizar el contenido principal lo corrige.

¿Qué crawlers de IA comprueba?

Los agentes activos de OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Google (Google-Extended) y otros: Amazonbot, Applebot-Extended, CCBot, Bytespider y Meta-ExternalAgent. Si robots.txt todavía nombra anthropic-ai o claude-web, los marca como retirados, porque Anthropic ya no los usa. Cada uno sale como permitido, bloqueado o no mencionado.