Generador de robots.txt
No bloquea en tu servidor hasta que subes el archivo a la raíz. Probar el resultado con el tester evita un Disallow: / accidental. Después de subirlo, simula Googlebot en el tester de robots.txt.
- Define user-agents y rutas
- Añade el sitemap
- Descarga y prueba
- Basado en navegador — sin instalación
- Resultados al instante
El formulario arma un robots.txt con Allow, Disallow, sitemap y crawl-delay
Defines reglas para Googlebot, Bingbot, AdsBot, GPTBot, Claude-Web, CCBot o cualquier otro user-agent. Marcas Allow y Disallow sobre patrones de URL, indicas el sitemap XML y, si quieres, un crawl-delay. La salida es un robots.txt con el formato correcto, listo para copiar y subir a la raíz del dominio. No bloquea nada en el servidor hasta que el archivo está en esa raíz. Un robots.txt bien armado evita gastar presupuesto de rastreo en URLs de poco valor —admin, checkout, duplicados por parámetros— y deja abiertas las páginas que sí deben rastrearse.
Úsalo en un sitio nuevo, en una revisión grande o al añadir crawlers de IA
Tiene sentido al montar un sitio nuevo, cuando el robots.txt actual pide un cambio grande, o cuando hay que añadir directivas para crawlers de IA que no existían cuando se escribió el archivo: GPTBot de OpenAI, Claude-Web de Anthropic y CCBot de Common Crawl. No lo uses como sustituto de noindex. Disallow evita el rastreo; no promete quitar una URL del índice si otros sitios la enlazan. Después de subirlo, simula Googlebot en el tester de robots.txt para no dejar un Disallow: / suelto que cierre el sitio entero.
Disallow: / sin acotar el user-agent cierra el sitio a todos los crawlers
Lee cada Disallow antes de subir el archivo. Una regla Disallow: / sin acotar el user-agent bloquea a todos los crawlers en todo el sitio. Disallow: /admin/ solo afecta a las URLs que empiezan por esa ruta. Los comodines pueden casar más URLs de las que tenías en mente: pruébalos en el tester de robots.txt con URLs concretas. Para bloquear un solo bot y dejar pasar al resto, pon primero el bloque de ese user-agent con Disallow: / y después el bloque User-agent: * con Allow: /. El bloque específico va antes que el comodín.
No bloquees CSS ni JavaScript; sí cierra admin, checkout, carrito y cuenta
No bloquees CSS ni JavaScript. Googlebot necesita renderizar la página para entenderla como la ve una persona. Si esos recursos están en Disallow, puede malinterpretar el contenido o dejar de indexarlo. Sí puedes cerrar rutas sin valor de índice: /wp-admin/, /checkout/, /cart/, /account/ y cualquier path que genere variantes de sesión o enseñe el interior del sitio. Al final del archivo incluye la URL del sitemap XML. Bloquear una URL no garantiza desindexarla: si otro sitio la enlaza, Google puede mantenerla en el índice. Para quitarla con seguridad usa una etiqueta noindex.
Cada crawler de IA lleva su propio bloque de User-agent
Si quieres cerrar el rastreo para entrenamiento o para respuestas de IA, añade un bloque por crawler. En el formulario ya puedes nombrar GPTBot, Claude-Web y CCBot. Para una lista más fina: GPTBot (OpenAI), ClaudeBot y anthropic-ai (Anthropic), PerplexityBot (Perplexity), Google-Extended (entrenamiento de Gemini) y CCBot (Common Crawl). Bloquearlos evita que citen tu contenido en respuestas generadas. Valora eso frente a la privacidad de los datos de entrenamiento antes de publicar el Disallow. Un bloque mal ordenado, con el comodín delante, puede dejar pasar al bot que querías frenar. Compruébalo en el tester con una URL de una página que sí debe seguir abierta para Googlebot.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
robots.txt es un archivo de texto en la raíz del sitio, en tudominio.com/robots.txt, que les dice a los crawlers de buscadores qué URLs pueden visitar y cuáles no. Forma parte del Robots Exclusion Protocol. Los crawlers que lo respetan lo leen antes de pedir cualquier otra página. Esta herramienta te deja armar ese archivo; no tiene efecto hasta que lo subes a la raíz. Conviene probarlo después con el tester.
¿Cómo bloqueo una página concreta para Google en robots.txt?
Añade un Disallow con la ruta: User-agent: * y después Disallow: /pagina-a-bloquear/. Eso aplica a todos los crawlers. Para limitar solo a Googlebot, cambia el asterisco por Googlebot. Disallow impide el rastreo, pero no garantiza la desindexación: si otros sitios enlazan la página, Google puede seguir indexándola. Para quitarla del índice con más seguridad, usa una etiqueta noindex y prueba la URL en el tester.
¿Cómo permito todos los crawlers menos uno?
Crea un bloque User-agent para el crawler que quieres frenar, con Disallow: /, y otro bloque User-agent: * con Allow: /. El bloque del bot concreto va antes que el comodín. Para frenar solo a GPTBot: User-agent: GPTBot y luego Disallow: /. El resto sigue las reglas del asterisco. Revisa el orden en el archivo generado y confirma una URL permitida y otra bloqueada en el tester de robots.txt.
¿Debo bloquear CSS y JavaScript en robots.txt?
No. Bloquear CSS y JavaScript impide que Googlebot renderice la página como la ve una persona. Si esos archivos están en Disallow, Google puede interpretar el contenido de otra forma, y eso puede afectar a cómo rankea. Bloquea solo lo que no aporta en público: admin, rutas de staging, URLs de sesión, checkout, carrito o cuenta. El sitemap XML, en cambio, sí debe figurar al final del archivo.
¿Cómo bloqueo crawlers de IA en robots.txt?
Añade un bloque User-agent por cada crawler que quieras frenar: GPTBot (OpenAI), ClaudeBot y anthropic-ai (Anthropic), PerplexityBot (Perplexity), Google-Extended (entrenamiento de Gemini) y CCBot (Common Crawl). El generador también nombra Claude-Web. Ten en cuenta que bloquearlos evita que citen tu contenido en respuestas generadas: compáralo con lo que te importa de la privacidad del entrenamiento. Coloca esos bloques antes del User-agent: * y pruébalos en el tester.
Compare with SmallSEOTools — free, no sign-up
Herramientas relacionadas
Tester de robots.txt de Google
Crawl y auditoríaSimula un crawler contra el robots.txt en vivo. Indica si la ruta está permitida…
Generador de llms.txt
SEO para IAConstruye un llms.txt con páginas sacadas del sitemap o con enlaces que añades.…
Generador de sitemap XML
UtilidadesPega URLs canónicas y descarga un sitemap.xml. No descubre el sitio solo: usa tu…
Comprobador de acceso para crawlers de IA
SEO para IAAudita una URL para ver si bots de entrenamiento y de recuperación están bloquea…