Tester de robots.txt de Google
Introduce la URL del sitio y la ruta que quieres probar. El tester lee el robots.txt publicado y aplica las reglas del user-agent que elijas, incluida la coincidencia de la línea Allow o Disallow. robots.txt no es noindex. Si la página debe salir del índice, usa el comprobador de indexación y el de meta robots. Para redactar el archivo, usa el generador de robots.txt.
- Indica la URL
- Elige el crawler
- Ve permitido o bloqueado
- Basado en navegador — sin instalación
- Resultados al instante
Robots.txt indica a los rastreadores qué URLs pueden obtener. No saca páginas del índice de Google por sí solo. Aquí verás cómo coinciden las reglas, errores habituales y cómo probar antes de bloquear algo importante.
Qué campos devuelve la prueba
La prueba descarga el robots.txt publicado de ese sitio y evalúa la ruta que indicas con el user-agent que eliges, por ejemplo Googlebot o *. La respuesta trae allowed (true o false), matchedRule, matchedDirective y el grupo de user-agent que se aplicó. matchedDirective vale allow, disallow o default-allow.
Si el robots.txt no existe y el servidor responde 404, las rutas quedan permitidas por defecto. El resultado no inventa una regla: o hay una línea que coincidió, o no había nada que bloqueara esa ruta.
Gana la regla más larga y, si empatan, gana Allow
Dentro del grupo de user-agent elegido, se prueban todas las líneas Allow y Disallow contra la ruta. Gana la regla coincidente más larga. Si dos reglas empatan en longitud, Allow gana a Disallow. Una línea Disallow vacía significa permitir todo y no cuenta como bloqueo.
En los comodines al estilo de Google, * vale por cualquier secuencia de caracteres. Un $ al final ancla el fin de la ruta. Por eso una prueba solo de la home no dice nada de una ruta con parámetros o de un prefijo más largo que sí tiene línea propia.
Cómo cae cada ruta en un archivo de ejemplo
Con este archivo, User-agent: * y tres líneas — Disallow: /search, Allow: /search/help, Disallow: /admin/ — el resultado de cada ruta es concreto. /search/results queda bloqueada por Disallow: /search, porque ninguna Allow más larga coincide. /search/help queda permitida: Allow: /search/help es más larga que Disallow: /search. /admin/login queda bloqueada por Disallow: /admin/. /blog/hello queda permitida porque no hay Disallow que coincida y entra el default-allow.
Si cambias el user-agent, puede aplicarse otro grupo. Una regla solo para Googlebot no afecta a Bingbot. Un bloqueo de otro bot no cambia el rastreo de Google. Prueba el agente que te importa, no des por hecho que * y Googlebot comparten las mismas líneas.
Cómo leer permitido, bloqueado y default-allow
Permitido con un Allow coincidente: ese bot puede pedir la ruta. Bloqueado con un Disallow coincidente: el rastreador no debería pedir la URL. Si eso no era lo que querías publicar, corrige la línea antes de desplegar. default-allow sin regla coincidente significa que no hay robots.txt o que ninguna línea cubría esa ruta.
La línea que coincidió manda, no la impresión general del archivo. matchedRule es esa línea. Si allowed es false, no asumas que la URL sale del índice: Disallow impide la descarga. Para desindexar hace falta un noindex en una URL que el bot sí pueda leer.
Fallos que esta prueba pilla antes del despliegue
El fallo grave es copiar a producción un Disallow: / de staging. Después de cada despliegue, prueba / y las plantillas principales. Un Disallow: /search demasiado ancho bloquea URLs facetadas que aún quieres indexar: añade un Allow más largo para las rutas que deben seguir siendo rastreables.
robots.txt no saca URLs del índice de Google. Disallow frena la descarga. Si hace falta desindexar, usa noindex en una URL rastreable. Para ver esas señales, pasa por el comprobador de indexación y el comprobador de meta robots. Para redactar el archivo, usa el generador de robots.txt. No pruebes solo la home: incluye paginación, /wp-admin/ y rutas de assets del CDN si escribiste reglas para ellas.
Preguntas frecuentes
¿Cómo pruebo mi archivo robots.txt?
Indica la URL del sitio, la ruta concreta que quieres probar y el rastreador a simular. La herramienta descarga el robots.txt en vivo, aplica las reglas de ese user-agent y te dice si la ruta está permitida o bloqueada. También muestra la regla que decidió el resultado y si la directiva fue allow, disallow o default-allow. Si el archivo responde 404, la ruta queda permitida por defecto.
¿Qué pasa si robots.txt bloquea a Googlebot?
Si Googlebot no puede rastrear la URL, no puede leer su contenido para indexarla. El fallo grave es publicar en producción un robots.txt de staging que bloquea a todos los crawlers. Tras un cambio en el servidor, prueba la home y las páginas clave. Un Disallow no borra una URL que Google ya vio enlazada: para sacarla hace falta noindex en una URL rastreable.
¿En qué se diferencian Disallow y noindex?
Disallow en robots.txt pide que no se descargue la URL, pero no la quita del índice. Google puede seguir indexando la dirección si ve enlaces hacia ella. Un noindex, en la meta robots o en X-Robots-Tag, solo surte efecto si Googlebot puede leerlo, así que la página tiene que ser rastreable. Bloquear en robots.txt una URL con noindex impide que el bot vea el noindex.
¿robots.txt puede bloquear a un rastreador concreto?
Sí. Las directivas User-agent aplican reglas a crawlers distintos. Puedes bloquear a Googlebot y dejar a Bingbot, o bloquear a todos con User-agent: * y abrir excepciones para bots concretos. El tester simula el user-agent que elijas y te muestra qué grupo de reglas se aplicó a esa ruta. Una línea escrita solo para un bot no cambia el resultado de otro agente.
¿robots.txt afecta al PageRank?
Bloquear una URL en robots.txt impide que Googlebot la rastree. El PageRank de los enlaces que apuntan a esa URL no sigue hacia las páginas a las que ella enlaza, porque el bot no llega a ver esos enlaces. Si quieres evitar la indexación sin cortar el flujo interno de PageRank, usa noindex en una página que sí se pueda rastrear, en lugar de un Disallow sobre esa ruta.
Compare with SmallSEOTools — free, no sign-up
Herramientas relacionadas
Comprobador de indexabilidad: ¿puede Google indexar esta página?
Crawl y auditoríaPega una URL. El servidor obtiene la página y el robots.txt del mismo origen y l…
Comprobador de indexación
SEO técnicoDiagnostica si una URL se deja indexar: noindex, bloqueo en robots.txt, canonica…
Comprobador de noindex
SEO técnicoPega hasta 50 URLs y ve si cada una lleva noindex o nofollow en el HTML o en la…
Generador de robots.txt
UtilidadesCompón reglas Allow y Disallow por user-agent, añade la línea del sitemap y desc…