Analizador de logs de bots de IA
Parsea logs Apache/Nginx en el cliente. Detecta GPTBot, ClaudeBot y otros crawlers de IA con códigos de estado. Gratis, sin login.
Sube o pega logs de acceso del servidor para ver qué crawlers de IA golpean tu sitio, qué URLs piden y si quedan bloqueados — 100% en tu navegador.
¿Qué es un analizador de logs de bots de IA?
Un analizador de logs de bots de IA lee los logs de acceso de tu servidor web e identifica tráfico de crawlers y asistentes de IA — sin enviar tus logs a un tercero. Parsea el formato combined estándar de Apache/Nginx en tu navegador, hace match con firmas de user-agent conocidas y reporta con qué frecuencia visitó cada bot, qué URLs pidió y qué códigos HTTP recibió.
¿Por qué analizar logs de acceso por bots de IA?
Robots.txt dice lo que *intentas* permitir; los logs de acceso muestran lo que pasó de verdad. GPTBot puede estar disallowed y aún así aparecer si las reglas están mal. OAI-SearchBot y PerplexityBot indican retrieval IA en vivo — el tráfico que alimenta citas en ChatGPT y Perplexity. Los crawlers de entrenamiento (GPTBot, ClaudeBot, Bytespider) son otra cosa — bloquearlos no te saca de respuestas IA a menos que también bloquees bots de retrieval. Nota — **Google-Extended** es solo un token de robots.txt para opt-out de entrenamiento de Gemini y nunca aparece en logs de acceso.
¿Qué detecta esta herramienta?
Tres categorías — **asistente / búsqueda IA** (ChatGPT-User, OAI-SearchBot, PerplexityBot, Claude-SearchBot, etc.), **crawlers de entrenamiento** (GPTBot, ClaudeBot, CCBot, Bytespider, Applebot-Extended y más) y **búsqueda tradicional** (Googlebot, Bingbot) para contexto. Obtienes un resumen (% de tráfico que es IA), una tabla de bots ordenable, un timeline diario, URLs top, desglose de códigos de estado e insights automáticos.
¿Se suben mis datos de log?
No. El parseo usa FileReader y corre entero en el cliente. Los logs contienen IPs y URLs — esta herramienta nunca los transmite. Pega un fragmento o sube un .log hasta el tope de tamaño; archivos muy grandes se truncan con una advertencia.
¿Qué formato de log soporta?
Formato **combined** de Apache y Nginx — IP, ident, user, timestamp entre corchetes, request entre comillas, status, size, referer y user-agent opcionales. Las líneas que no hacen match se cuentan como no parseadas. Campos trailing después del user-agent se ignoran.
Preguntas frecuentes
¿Se suben mis access logs a Scrawl?
No. El analizador procesa tus access logs en tu dispositivo. Tus logs no salen de tu sistema ni se suben a los servidores de Scrawl. Todo el análisis ocurre en local, con tus datos privados.
¿Cuál es la diferencia entre GPTBot y ChatGPT-User?
GPTBot es el crawler de entrenamiento de OpenAI — recolecta datos para entrenar modelos. ChatGPT-User y OAI-SearchBot son agentes de retrieval cuando el usuario dispara browsing o search en vivo en ChatGPT. Bloquear GPTBot no bloquea la búsqueda de ChatGPT a menos que también bloquees OAI-SearchBot o ChatGPT-User.
¿Por qué no aparece Google-Extended en mis logs?
Google-Extended es solo un token de robots.txt para opt-out de entrenamiento de Gemini; no es un user-agent que aparezca en access logs. Si buscas señales de Gemini en logs, no las verás bajo ese nombre.
¿Qué formato de log soporta el analizador?
Formato combined de Apache y Nginx. Las líneas que no coinciden se cuentan como no parseadas.
¿Qué significa ver muchos 403 para GPTBot?
Un 403 significa que tu servidor, o algo delante de él, rechazó la solicitud. Normalmente se debe a una regla del CDN o del firewall, como la gestión de bots de Cloudflare o una regla WAF, o a una regla de bloqueo en el servidor, por ejemplo en .htaccess. robots.txt no puede causar un 403. Solo pide a los rastreadores que no soliciten una página, así que si GPTBot recibe errores 403, revisa la configuración de tu CDN, tu WAF y tu servidor.
Herramientas relacionadas
Comprobador de acceso para crawlers de IA
SEO para IAAudita una URL para ver si bots de entrenamiento y de recuperación están bloquea…
Generador de llms.txt
SEO para IAConstruye un llms.txt con páginas sacadas del sitemap o con enlaces que añades.…
Comprobador de estado de URL masivo
Crawl y auditoríaComprobador de URL masivo gratis para hasta 200 URLs. Corre un verificador 404 m…
Comprobador de cabeceras de seguridad
SEO técnicoPide las cabeceras de una URL, pone una letra y deja listos fragmentos para Apac…