¿Qué diferencia hay entre rastreable e indexable?

Rastreable implica que robots.txt y HTTP permiten obtener la URL. Indexable implica que la respuesta no lleva noindex ni un 404/410 final.

¿Existe noindex en robots.txt?

No. Se usa disallow para bloquear rastreo o noindex en HTML/cabeceras para bloquear indexación tras rastrear.

¿En qué se diferencia de Inspección de URLs?

Inspección muestra el último rastreo de Google en tu propiedad. El comprobador muestra lo que ve nuestro fetch ahora. Usa ambos.

¿Puedo revisar todo el sitio?

No de una vez. Muestrea o usa el comprobador masivo de meta robots y un rastreador.

¿Por qué importa JavaScript?

Etiquetas solo en cliente no aparecen en HTML crudo. Renderiza en servidor o verifica en Inspección tras desplegar.

Indexabilidad: cómo comprobar si una página se puede indexar

Search Console puede decir «Excluida por noindex» mientras la página se ve bien en el navegador. Indexabilidad es si una página puede indexarse por señales técnicas. Indexada es si Google decidió conservarla. Rastreable es si Googlebot puede obtenerla. Son tres preguntas distintas.

Esta guía recorre el orden en que un rastreador encuentra señales, la trampa robots.txt frente a noindex, errores de canónica y cómo combinar Inspección de URLs con el Comprobador de indexabilidad. El comprobador responde si puede indexarse con dos peticiones al servidor. No sustituye al Comprobador de índice de Google.

!Tres pasos: obtener página y robots.txt, leer señales, veredicto y correcciones

Rastreo, indexabilidad e indexación

Rastreo: robots.txt y HTTP. Si Googlebot tiene disallow, puede no descargar el HTML.

Indexabilidad: noindex, none, X-Robots-Tag, 404/410. Una página puede rastrearse y llevar noindex.

Indexada: decisión de Google tras el rastreo. Calidad y duplicados siguen importando.

Señales en orden

Estado y redirecciones

Comprueba la primera respuesta y la URL final. Cadenas largas gastan presupuesto. 404/410 indican URL retirada.

curl -I -L https://www.ejemplo.com/pagina

robots.txt

Consulta la introducción a robots.txt. El comprobador usa solo el origen de la URL introducida. Tras redirección entre dominios, no se obtiene robots.txt del destino.

X-Robots-Tag

Útil en PDF e imágenes. Ver etiqueta robots meta y MDN X-Robots-Tag.

Meta robots

Plugins SEO, plantillas de staging y meta googlebot son fuentes habituales. Si coexisten robots y googlebot, aplica la combinación más restrictiva.

Canónica

Pista de consolidación (duplicados). Errores: canónica a URL redirigida, a página con noindex, varias canónicas distintas.

Hreflang

Pistas de versiones localizadas (versiones localizadas).

Trampa robots.txt + noindex

Antes: Disallow: /pagina-secreta y noindex en HTML. Googlebot no rastrea y puede ignorar el noindex.

Después: permitir rastreo y mantener noindex, o usar retirada en Search Console.

Ejemplo ilustrativo

curl -sI https://www.ejemplo.com/landing | grep -i x-robots
curl -s https://www.ejemplo.com/landing | grep -i meta

Veredictos del comprobador

Indexable (probable) — 2xx, robots permite, sin noindex efectivo, canónica propia o ausente.
Bloqueada para indexación — noindex, disallow sin contradicción, o 404/410.
Señales mixtas — disallow + noindex visible, canónica a otro sitio, robots incierto.

Lista manual

curl -I y cadena de redirecciones.
robots.txt para Googlebot.
Cabecera X-Robots-Tag.
meta robots en el HTML.
Una sola canónica correcta.
Revalidar en Inspección de URLs.

Otras herramientas Scrawl

Límites

Sin JavaScript, solo Googlebot y * en robots, una URL por ejecución, WAF puede responder distinto. No muestra el índice real de Google (informe de indexación).

Arreglos por señal

Quita noindex en CMS o CDN. Ajusta disallow en crear robots.txt. Estados 200 para contenido vivo. Una canónica HTTPS. Revisa códigos HTTP en errores persistentes.

¿Todo el sitio?

Muestrea plantillas y usa herramientas masivas. Este comprobador es para una URL concreta.

Pega la URL en el Comprobador de indexabilidad, corrige bloqueos y confirma en Inspección de URLs.