≡En resumen
- Un crawler es el programa; el crawling es el proceso de rastreo que ese programa realiza.
- Cada bot se presenta con un user agent y un token que puedes permitir o bloquear en robots.txt.
- Los bots de IA se dividen en dos grupos: los que recogen datos para entrenar modelos y los que buscan fuentes para responder en tiempo real.
- Bloquear GPTBot o Google-Extended no te saca de ChatGPT ni de Google; bloquear OAI-SearchBot o Googlebot, sí.
- El user agent se puede falsificar: para saber si una visita es de Googlebot de verdad hay que verificarla por DNS o por IP.
01 ¿Qué es un crawler? Definición y origen
La palabra viene del inglés to crawl («arrastrarse, gatear»). En español se usan como sinónimos rastreador, araña web, spider, bot o robot. No hay que confundir el programa con el proceso: el crawler es quien rastrea y el crawling es el rastreo en sí, con sus fases, su diferencia con la indexación y su impacto en el SEO.
El primer crawler conocido fue el World Wide Web Wanderer, que Matthew Gray creó en el MIT en junio de 1993 para medir el tamaño de la web. En abril de 1994 llegó WebCrawler, de Brian Pinkerton (Universidad de Washington), el primer buscador que indexaba el texto completo de las páginas; AOL lo compró el 1 de junio de 1995. Ese mismo 1994, Martijn Koster propuso el protocolo de exclusión de robots, el origen del archivo robots.txt.
| Término | Qué es | Ejemplo |
|---|---|---|
| Crawler | Programa que visita URL y sigue enlaces | Googlebot, Bingbot, GPTBot |
| Crawling | El proceso de rastreo que hace el crawler | Googlebot rastrea 300 URL de tu web al día |
| Indexador | Sistema que analiza lo rastreado y lo guarda en un índice | El índice de Google |
| Scraper | Programa que extrae datos concretos de páginas | Un bot que copia precios de una tienda |
| User agent | Nombre con el que un programa se identifica en cada petición | Mozilla/5.0 (compatible; bingbot/2.0…) |
02 Cómo funciona un crawler
Todos los rastreadores, de un buscador o de una IA, siguen un ciclo parecido. Lo que cambia es qué hacen después con lo que descargan: indexarlo, citarlo en una respuesta, entrenar un modelo o extraer datos.
-
1
Lista de URL semilla
El crawler parte de direcciones que ya conoce: páginas rastreadas antes, sitemaps enviados o enlaces encontrados en otras webs.
-
2
Lectura de robots.txt
Antes de pedir una página, un bot legítimo descarga el robots.txt del dominio y comprueba qué rutas tiene permitidas para su user agent.
-
3
Petición HTTP
Solicita la URL al servidor identificándose con su user agent y recibe un código de estado (200, 301, 404, 503…) y el contenido.
-
4
Procesado
Analiza el HTML y, en los crawlers más avanzados como Googlebot, ejecuta el JavaScript para ver la página renderizada.
-
5
Extracción de enlaces
Añade los enlaces nuevos a su cola y decide con qué prioridad y frecuencia volverá a visitar cada URL.
03 Tipos de crawlers según para qué rastrean
De buscadores
Googlebot, Bingbot, Applebot o YandexBot rastrean para construir el índice que luego muestran en sus resultados.
De entrenamiento de IA
GPTBot (OpenAI), ClaudeBot (Anthropic) o CCBot (Common Crawl) recogen contenido que puede acabar en los datos de entrenamiento de modelos.
De búsqueda con IA
OAI-SearchBot, Claude-SearchBot o PerplexityBot buscan páginas para mostrarlas y enlazarlas en las respuestas de sus asistentes.
A petición del usuario
ChatGPT-User, Claude-User o Perplexity-User visitan una URL en el momento en que un usuario le pide algo al asistente.
De herramientas SEO
AhrefsBot, SemrushBot o el rastreador de Screaming Frog recorren webs para analizar enlaces, errores y palabras clave.
Scrapers
Bots que copian contenido, precios o datos de contacto; muchos ignoran las reglas y falsean su identidad. Es la cara abusiva del web scraping.
No todo el tráfico automatizado es malo. Un rastreo como el que hacen las herramientas de web scraping puede ser legítimo (comparar precios públicos, investigar) o abusivo (copiar contenido, sobrecargar el servidor). La diferencia está en si el bot se identifica, respeta robots.txt y no satura tu hosting.
04 Lista de crawlers y user agents más comunes
| Crawler (token) | Empresa | Para qué rastrea | ¿Afecta a tu visibilidad si lo bloqueas? |
|---|---|---|---|
| Googlebot | Búsqueda, Discover, Imágenes, Vídeos y Noticias | Sí: desapareces de Google | |
| Googlebot-Image / Googlebot-Video | Google Imágenes y búsqueda de vídeos | Solo en imágenes o vídeos | |
| Google-Extended | No rastrea: controla el uso de tu contenido para entrenar Gemini | No afecta a la Búsqueda | |
| bingbot | Microsoft | Índice de Bing y servicios que lo usan | Sí, en Bing |
| Applebot / Applebot-Extended | Apple | Spotlight, Siri y Safari / uso para entrenar la IA de Apple | Applebot sí; Applebot-Extended no rastrea |
| OAI-SearchBot | OpenAI | Mostrar webs en las búsquedas de ChatGPT | Sí, en ChatGPT search |
| GPTBot | OpenAI | Contenido que puede usarse para entrenar modelos | No en ChatGPT search |
| ClaudeBot / Claude-SearchBot | Anthropic | Entrenamiento / calidad de las búsquedas de Claude | Claude-SearchBot reduce tu visibilidad en Claude |
| PerplexityBot | Perplexity | Mostrar y enlazar webs en Perplexity (no entrena modelos) | Sí, en Perplexity |
| CCBot | Common Crawl | Repositorio abierto de la web, muy usado para entrenar IA | No en buscadores |
05 Crawlers de IA: entrenamiento frente a búsqueda
Hoy la mayoría de empresas de IA separan sus bots por función. Es clave porque la decisión de negocio es distinta: puedes no querer que tu contenido entrene un modelo y, a la vez, querer que ChatGPT, Claude o Perplexity te citen como fuente cuando alguien pregunta por tu sector.
El cambio más visible llegó el 1 de julio de 2025, cuando Cloudflare anunció que pasaba a bloquear por defecto los crawlers de IA salvo que el editor los autorice o reciba un pago por el rastreo. Si tu web está detrás de Cloudflare, revisa ese ajuste: puede estar cerrando la puerta a bots que te interesan.
Si quieres aparecer en respuestas de IA
Permite OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y bingbot. Son los que alimentan las búsquedas con IA.
Si no quieres entrenar modelos
Bloquea GPTBot, ClaudeBot, CCBot, Google-Extended y Applebot-Extended. No afecta a tu posicionamiento en buscadores.
Si quieres cerrar todo a la IA
Añade también los bots de búsqueda de IA, sabiendo que perderás citas y tráfico de esos asistentes.
06 Cómo bloquear o permitir crawlers en tu web
La herramienta principal es el archivo robots.txt, en la raíz del dominio. Cada grupo empieza por User-agent: con el token del bot y sigue con reglas Disallow o Allow. Por ejemplo, para impedir que GPTBot y CCBot rastreen tu web y dejar pasar al resto:
User-agent: GPTBotDisallow: /User-agent: CCBotDisallow: /User-agent: *Allow: /
- ✓Usa el token exacto que publica cada empresa (Googlebot, bingbot, GPTBot, ClaudeBot…), no la cadena completa del user agent.
- ✓Añade las reglas en cada subdominio: robots.txt solo se aplica al host donde está publicado.
- ✓No bloquees CSS ni JavaScript a Googlebot: los necesita para renderizar la página.
- ✓Para sacar una URL de Google no uses robots.txt: usa noindex en la página o en la cabecera X-Robots-Tag.
- ✓Google ignora la regla Crawl-delay; Anthropic sí la respeta para frenar a ClaudeBot.
- ✓Para bots que no respetan robots.txt, bloquea por IP o user agent en el servidor, el CDN o el firewall.
- ✓Revisa el robots.txt después de cada migración o cambio de plugin: es la causa más común de bloqueos accidentales.
07 Cómo ver qué crawlers visitan tu web y verificar Googlebot
Los logs del servidor registran cada petición con su IP y su user agent: es la forma más fiable de saber qué bots te visitan, cuántas veces y qué URL piden. En Search Console, el informe de estadísticas de rastreo muestra la actividad de Googlebot y ayuda a detectar si malgasta el presupuesto de rastreo en URL sin valor.
-
1
Localiza la IP
Busca en los logs la dirección IP de la visita que dice ser Googlebot.
-
2
DNS inverso
Haz una consulta de DNS inversa (por ejemplo, con el comando host) sobre esa IP.
-
3
Comprueba el dominio
El nombre devuelto debe terminar en googlebot.com, google.com o googleusercontent.com.
-
4
DNS directo
Consulta ese nombre de dominio y verifica que devuelve la misma IP de tus logs. Si no coincide, no es Google.
Una tienda con WooCommerce sufría caídas por la noche. En los logs aparecían miles de peticiones por hora con el user agent de Googlebot, pero la verificación por DNS inverso mostró que las IP no eran de Google: era un scraper copiando fichas de producto. Se bloquearon esas IP en el firewall, se dejó pasar al Googlebot verificado y las caídas desaparecieron sin tocar el posicionamiento.
Es un caso típico de nuestro servicio de auditoría SEO: separar los bots que te traen visibilidad de los que solo consumen recursos. Si quieres ver cómo lo explicaba la prensa generalista, este reportaje sobre La araña web: ¿cómo funciona Google? es una buena introducción, y en nuestra ficha de Googlebot tienes sus versiones y cómo optimizar para él.
Preguntas frecuentes sobre Crawlers
Es un programa que recorre la web automáticamente, descarga páginas y sigue sus enlaces para descubrir otras. También se le llama rastreador, araña, spider o bot. Googlebot es el ejemplo más conocido.
Crawlers significa rastreadores. Viene del verbo inglés to crawl, arrastrarse o gatear, por la imagen de una araña que avanza por la telaraña de la web.
El crawler es el programa y el crawling es la acción de rastrear. Googlebot es un crawler; que Googlebot visite tus páginas es crawling.
Googlebot y bingbot entre los buscadores; GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot entre los de IA; CCBot de Common Crawl, y AhrefsBot o SemrushBot entre las herramientas SEO.
Añade en robots.txt un grupo User-agent con el token de cada bot (GPTBot, ClaudeBot, CCBot, Google-Extended…) y la regla Disallow: /. Para los que no respetan robots.txt, bloquéalos en el servidor o el firewall.
No. Según OpenAI, GPTBot se usa para entrenamiento; la visibilidad en las búsquedas de ChatGPT depende de OAI-SearchBot. Si bloqueas OAI-SearchBot, sí dejarás de aparecer en ellas.
Haz un DNS inverso de la IP, comprueba que el dominio termina en googlebot.com, google.com o googleusercontent.com y confirma con un DNS directo que devuelve la misma IP. El user agent solo no basta, porque se puede falsificar.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗