Analizador de logs de bots de IA
Parsea logs Apache/Nginx en el cliente. Detecta GPTBot, ClaudeBot y otros crawlers de IA con códigos de estado. Gratis, sin login.
# Stop Guessing Which AI Crawlers Are Actually Hitting Your Site Your server logs contain the answer to a question you probably haven't even asked yet: which AI crawlers are actually visiting your site, what they're fetching, and whether your robots.txt is stopping them or letting them through. You can't see this in Google Search Console or any analytics platform—you have to read the raw logs yourself, and most people don't know where to start. That's what makes this broken. Your site might be getting scraped by 15 different AI models every week, feeding training datasets you didn't consent to, while simultaneously blocking legitimate crawlers that could drive traffic. You need visibility into what's actually happening at the server level, and you need it fast. What Is AI Bot Log Analyzer? AI Bot Log Analyzer is a free browser-based tool that parses your server access logs and shows you exactly which AI crawlers visited your site, which URLs they requested, and whether they hit a 200 (success), 403 (blocked), or other status code. You upload or paste your logs directly into the tool—no login required, no data sent anywhere. Everything runs locally in your browser, so your logs stay private. The tool identifies crawlers from OpenAI, Anthropic, Google, Apify, and dozens of other AI companies and data-scraping operations. It categorizes them, timestamps them, and tells you their success rate in a clean, readable format. Why It Matters for SEO First, you need to know if you're leaking content to AI training without permission. If a crawler like `ChatGPTBot` or `CCBot` is hitting your site with a 200 status, your content is being indexed for AI model training. Some companies want this; others don't. You can't make that choice if you don't know it's happening. Second, blocking the wrong crawlers costs…
Leer la guía completaSube o pega logs de acceso del servidor para ver qué crawlers de IA golpean tu sitio, qué URLs piden y si quedan bloqueados — 100% en tu navegador.
¿Qué es un analizador de logs de bots de IA?
Un analizador de logs de bots de IA lee los logs de acceso de tu servidor web e identifica tráfico de crawlers y asistentes de IA — sin enviar tus logs a un tercero. Parsea el formato combined estándar de Apache/Nginx en tu navegador, hace match con firmas de user-agent conocidas y reporta con qué frecuencia visitó cada bot, qué URLs pidió y qué códigos HTTP recibió.
¿Por qué analizar logs de acceso por bots de IA?
Robots.txt dice lo que *intentas* permitir; los logs de acceso muestran lo que pasó de verdad. GPTBot puede estar disallowed y aún así aparecer si las reglas están mal. OAI-SearchBot y PerplexityBot indican retrieval IA en vivo — el tráfico que alimenta citas en ChatGPT y Perplexity. Los crawlers de entrenamiento (GPTBot, ClaudeBot, Bytespider) son otra cosa — bloquearlos no te saca de respuestas IA a menos que también bloquees bots de retrieval. Nota — **Google-Extended** es solo un token de robots.txt para opt-out de entrenamiento de Gemini y nunca aparece en logs de acceso.
¿Qué detecta esta herramienta?
Tres categorías — **asistente / búsqueda IA** (ChatGPT-User, OAI-SearchBot, PerplexityBot, Claude-SearchBot, etc.), **crawlers de entrenamiento** (GPTBot, ClaudeBot, CCBot, Bytespider, Applebot-Extended y más) y **búsqueda tradicional** (Googlebot, Bingbot) para contexto. Obtienes un resumen (% de tráfico que es IA), una tabla de bots ordenable, un timeline diario, URLs top, desglose de códigos de estado e insights automáticos.
¿Se suben mis datos de log?
No. El parseo usa FileReader y corre entero en el cliente. Los logs contienen IPs y URLs — esta herramienta nunca los transmite. Pega un fragmento o sube un .log hasta el tope de tamaño; archivos muy grandes se truncan con una advertencia.
¿Qué formato de log soporta?
Formato **combined** de Apache y Nginx — IP, ident, user, timestamp entre corchetes, request entre comillas, status, size, referer y user-agent opcionales. Las líneas que no hacen match se cuentan como no parseadas. Campos trailing después del user-agent se ignoran.
Preguntas frecuentes
¿Se suben mis access logs a Scrawl?
No. El analizador procesa tus access logs en tu dispositivo. Tus logs no salen de tu sistema ni se suben a los servidores de Scrawl. Todo el análisis ocurre en local, con tus datos privados.
¿Cuál es la diferencia entre GPTBot y ChatGPT-User?
GPTBot es el crawler de entrenamiento de OpenAI — recolecta datos para entrenar modelos. ChatGPT-User y OAI-SearchBot son agentes de retrieval cuando el usuario dispara browsing o search en vivo en ChatGPT. Bloquear GPTBot no bloquea la búsqueda de ChatGPT a menos que también bloquees OAI-SearchBot o ChatGPT-User.
¿Por qué no aparece Google-Extended en mis logs?
Google-Extended es solo un token de robots.txt para opt-out de entrenamiento de Gemini; no es un user-agent que aparezca en access logs. Si buscas señales de Gemini en logs, no las verás bajo ese nombre.
¿Qué formato de log soporta el analizador?
Formato combined de Apache y Nginx. Las líneas que no coinciden se cuentan como no parseadas.
¿Qué significa ver muchos 403 para GPTBot?
Un 403 significa que tu servidor rechazó el acceso de GPTBot. Suele pasar cuando robots.txt bloquea GPTBot o el firewall niega su rango de IP. Revisa controles de acceso y robots.txt para permitir o bloquear el bot de forma explícita.
Related tools
AI Crawler Accessibility Checker
AI SEOAudit any URL for how ready it is to be crawled, understood, and cited by AI sea…
llms.txt Generator
AI SEOGenerate a valid llms.txt file for any website — auto-fill from your sitemap or…
Bulk Status Checker
Crawl & AuditCheck HTTP status codes for hundreds of URLs at once to audit site health, find…
Security Headers Checker
Technical SEOAudit HTTP security headers, get a letter grade, and copy ready-made Apache, Ngi…