Generador de robots.txt
Arma un robots.txt con allow, disallow, sitemap y reglas por user-agent. Lo descargas tú. No se publica solo.
No bloquea en tu servidor hasta que subes el archivo a la raíz. Probar el resultado con el tester evita un Disallow: / accidental. Después de subirlo, simula Googlebot en el tester de robots.txt.
Qué es el archivo
Va en https://dominio/robots.txt. Cada grupo empieza con User-agent. Disallow indica rutas que ese bot no debería pedir. Allow puede reabrir una ruta dentro de un bloqueo más amplio. No es noindex.
Errores clásicos
Disallow: / bloquea todo el sitio. No bloquees CSS ni JS: Google necesita renderizar. Un sitemap se declara con Sitemap: https://dominio/sitemap.xml, absoluto.
Bots de IA
Puedes añadir un grupo para GPTBot u otro user-agent si quieres un opt-out de entrenamiento. Eso no quita la URL de la búsqueda de Google. Revisa el nombre exacto del bot antes de publicarlo.
Preguntas frecuentes
¿Dónde lo subo?
A la raíz del host, como /robots.txt. El generador no lo sube.
¿Cómo bloqueo una sola carpeta?
User-agent: * y Disallow: /carpeta/. Prueba esa URL en el tester.
¿Puedo dejar pasar a todos menos a uno?
Sí: un grupo amplio con Allow y otro User-agent específico con Disallow.
¿Bloquear CSS ayuda?
No. Dificulta el render. No lo pongas en el archivo generado.
Herramientas relacionadas
Tester de robots.txt de Google
Crawl y auditoríaSimula un crawler contra el robots.txt en vivo. Indica si la ruta está permitida…
Generador de llms.txt
SEO para IAConstruye un llms.txt con páginas sacadas del sitemap o con enlaces que añades.…
Generador de sitemap XML
UtilidadesPega URLs canónicas y descarga un sitemap.xml. No descubre el sitio solo: usa tu…
Comprobador de acceso para crawlers de IA
SEO para IAAudita una URL para ver si bots de entrenamiento y de recuperación están bloquea…
Compare with SmallSEOTools — ad-free alternative