Tester de robots.txt de Google
Prueba una URL contra tu robots.txt. Simula Googlebot, Bingbot y otros crawlers para ver si la ruta está permitida o bloqueada.
Introduce la URL del sitio y la ruta que quieres probar. El tester lee el robots.txt publicado y aplica las reglas del user-agent que elijas, incluida la coincidencia de la línea Allow o Disallow. robots.txt no es noindex. Si la página debe salir del índice, usa el comprobador de indexación y el de meta robots. Para redactar el archivo, usa el generador de robots.txt.
¿Qué hace el tester de robots.txt?
No adivina: descarga el robots.txt del host y evalúa la ruta con las reglas de ese user-agent. Si Googlebot está bloqueado, Google no puede rastrear la URL. Eso no la saca del índice si ya estaba indexada y otras páginas la enlazan; para desindexar hace falta noindex en una URL que el crawler sí pueda ver, o una retirada en Search Console.
Disallow no es noindex
Disallow pide que no se rastree. Noindex pide que no se indexe. Bloquear en robots.txt una URL con noindex impide que Google vea el noindex. Prueba las plantillas importantes — fichas, facetas, parámetros — antes de publicar un cambio de reglas.
Cómo leer el match
La línea que coincidió es la que manda, no la impresión general del archivo. Revisa también el user-agent: una regla solo para Googlebot no afecta a Bingbot, y un bloqueo de GPTBot no cambia el rastreo de Google. El PageRank no “se apaga” con robots.txt; solo impides el rastreo de esa ruta.
Preguntas frecuentes
¿Cómo pruebo mi robots.txt?
Pega la URL completa de la página. El tester descarga el robots.txt del dominio y dice si ese crawler puede pedir la ruta.
¿Qué pasa si robots.txt bloquea a Googlebot?
Googlebot no rastrea esa URL. Si necesitas que salga del índice, no basta con Disallow: la URL tiene que poder verse con noindex, o retirarla en Search Console.
¿Puedo bloquear un crawler concreto?
Sí, con un grupo User-agent para ese bot. El tester simula el agente que elijas para confirmar que la regla aplica a esa ruta.
¿robots.txt afecta el PageRank?
No transfiere ni quita PageRank por sí mismo. Solo controla si el crawler puede solicitar la URL.
Herramientas relacionadas
Generador de robots.txt
UtilidadesCompón reglas Allow y Disallow por user-agent, añade la línea del sitemap y desc…
Comprobador de indexación
SEO técnicoDiagnostica si una URL se deja indexar: noindex, bloqueo en robots.txt, canonica…
Comprobador de noindex
SEO técnicoPega hasta 50 URLs y ve si cada una lleva noindex o nofollow en el HTML o en la…
Comprobador de errores del sitemap
Crawl y auditoríaRecorre las URLs listadas en el sitemap y marca 404, redirecciones, noindex y ca…
Compare with SmallSEOTools — ad-free alternative