Saltar al contenido
SCRAWL

Tester de robots.txt de Google

Introduce la URL del sitio y la ruta que quieres probar. El tester lee el robots.txt publicado y aplica las reglas del user-agent que elijas, incluida la coincidencia de la línea Allow o Disallow. robots.txt no es noindex. Si la página debe salir del índice, usa el comprobador de indexación y el de meta robots. Para redactar el archivo, usa el generador de robots.txt.

  • Indica la URL
  • Elige el crawler
  • Ve permitido o bloqueado
  • Basado en navegador — sin instalación
  • Resultados al instante
Guía paso a paso
Robots.txt explicado: cómo funcionan Allow, Disallow y los comodines

Robots.txt indica a los rastreadores qué URLs pueden obtener. No saca páginas del índice de Google por sí solo. Aquí verás cómo coinciden las reglas, errores habituales y cómo probar antes de bloquear algo importante.

Qué campos devuelve la prueba

La prueba descarga el robots.txt publicado de ese sitio y evalúa la ruta que indicas con el user-agent que eliges, por ejemplo Googlebot o *. La respuesta trae allowed (true o false), matchedRule, matchedDirective y el grupo de user-agent que se aplicó. matchedDirective vale allow, disallow o default-allow.

Si el robots.txt no existe y el servidor responde 404, las rutas quedan permitidas por defecto. El resultado no inventa una regla: o hay una línea que coincidió, o no había nada que bloqueara esa ruta.

Gana la regla más larga y, si empatan, gana Allow

Dentro del grupo de user-agent elegido, se prueban todas las líneas Allow y Disallow contra la ruta. Gana la regla coincidente más larga. Si dos reglas empatan en longitud, Allow gana a Disallow. Una línea Disallow vacía significa permitir todo y no cuenta como bloqueo.

En los comodines al estilo de Google, * vale por cualquier secuencia de caracteres. Un $ al final ancla el fin de la ruta. Por eso una prueba solo de la home no dice nada de una ruta con parámetros o de un prefijo más largo que sí tiene línea propia.

Cómo cae cada ruta en un archivo de ejemplo

Con este archivo, User-agent: * y tres líneas — Disallow: /search, Allow: /search/help, Disallow: /admin/ — el resultado de cada ruta es concreto. /search/results queda bloqueada por Disallow: /search, porque ninguna Allow más larga coincide. /search/help queda permitida: Allow: /search/help es más larga que Disallow: /search. /admin/login queda bloqueada por Disallow: /admin/. /blog/hello queda permitida porque no hay Disallow que coincida y entra el default-allow.

Si cambias el user-agent, puede aplicarse otro grupo. Una regla solo para Googlebot no afecta a Bingbot. Un bloqueo de otro bot no cambia el rastreo de Google. Prueba el agente que te importa, no des por hecho que * y Googlebot comparten las mismas líneas.

Cómo leer permitido, bloqueado y default-allow

Permitido con un Allow coincidente: ese bot puede pedir la ruta. Bloqueado con un Disallow coincidente: el rastreador no debería pedir la URL. Si eso no era lo que querías publicar, corrige la línea antes de desplegar. default-allow sin regla coincidente significa que no hay robots.txt o que ninguna línea cubría esa ruta.

La línea que coincidió manda, no la impresión general del archivo. matchedRule es esa línea. Si allowed es false, no asumas que la URL sale del índice: Disallow impide la descarga. Para desindexar hace falta un noindex en una URL que el bot sí pueda leer.

Fallos que esta prueba pilla antes del despliegue

El fallo grave es copiar a producción un Disallow: / de staging. Después de cada despliegue, prueba / y las plantillas principales. Un Disallow: /search demasiado ancho bloquea URLs facetadas que aún quieres indexar: añade un Allow más largo para las rutas que deben seguir siendo rastreables.

robots.txt no saca URLs del índice de Google. Disallow frena la descarga. Si hace falta desindexar, usa noindex en una URL rastreable. Para ver esas señales, pasa por el comprobador de indexación y el comprobador de meta robots. Para redactar el archivo, usa el generador de robots.txt. No pruebes solo la home: incluye paginación, /wp-admin/ y rutas de assets del CDN si escribiste reglas para ellas.

Preguntas frecuentes

¿Cómo pruebo mi archivo robots.txt?

Indica la URL del sitio, la ruta concreta que quieres probar y el rastreador a simular. La herramienta descarga el robots.txt en vivo, aplica las reglas de ese user-agent y te dice si la ruta está permitida o bloqueada. También muestra la regla que decidió el resultado y si la directiva fue allow, disallow o default-allow. Si el archivo responde 404, la ruta queda permitida por defecto.

¿Qué pasa si robots.txt bloquea a Googlebot?

Si Googlebot no puede rastrear la URL, no puede leer su contenido para indexarla. El fallo grave es publicar en producción un robots.txt de staging que bloquea a todos los crawlers. Tras un cambio en el servidor, prueba la home y las páginas clave. Un Disallow no borra una URL que Google ya vio enlazada: para sacarla hace falta noindex en una URL rastreable.

¿En qué se diferencian Disallow y noindex?

Disallow en robots.txt pide que no se descargue la URL, pero no la quita del índice. Google puede seguir indexando la dirección si ve enlaces hacia ella. Un noindex, en la meta robots o en X-Robots-Tag, solo surte efecto si Googlebot puede leerlo, así que la página tiene que ser rastreable. Bloquear en robots.txt una URL con noindex impide que el bot vea el noindex.

¿robots.txt puede bloquear a un rastreador concreto?

Sí. Las directivas User-agent aplican reglas a crawlers distintos. Puedes bloquear a Googlebot y dejar a Bingbot, o bloquear a todos con User-agent: * y abrir excepciones para bots concretos. El tester simula el user-agent que elijas y te muestra qué grupo de reglas se aplicó a esa ruta. Una línea escrita solo para un bot no cambia el resultado de otro agente.

¿robots.txt afecta al PageRank?

Bloquear una URL en robots.txt impide que Googlebot la rastree. El PageRank de los enlaces que apuntan a esa URL no sigue hacia las páginas a las que ella enlaza, porque el bot no llega a ver esos enlaces. Si quieres evitar la indexación sin cortar el flujo interno de PageRank, usa noindex en una página que sí se pueda rastrear, en lugar de un Disallow sobre esa ruta.

Compare with SmallSEOTools — free, no sign-up