≡En resumen
- Googlebot descarga las páginas; la indexación y el ranking son procesos posteriores y distintos.
- Desde julio de 2024 Google rastrea e indexa todos los sitios con Googlebot Smartphone; el de escritorio queda para usos puntuales.
- El user agent se falsifica a menudo: la única forma fiable de saber si una visita es de Google es el DNS inverso o sus rangos de IP publicados.
- Para frenar un rastreo excesivo se devuelven códigos 500, 503 o 429 durante poco tiempo; la herramienta de Search Console para limitarlo desapareció en enero de 2024.
- Bloquear en robots.txt impide rastrear, pero no garantiza que la URL no aparezca en Google: para eso se usa noindex.
01 ¿Qué es Googlebot?
Googlebot es un tipo concreto de araña web: sigue enlaces de páginas ya conocidas, lee sitemaps y vuelve periódicamente a las URLs que ya tiene para ver si han cambiado. Sin ese rastreo o crawling no hay indexación, y sin indexación no hay posiciones que trabajar en ninguna estrategia de posicionamiento SEO.
02 Cómo funciona Googlebot: rastreo, renderizado e indexación
-
1
Descubrimiento
Googlebot encuentra URLs nuevas sobre todo a partir de enlaces en páginas ya rastreadas, y también en sitemaps XML y en las solicitudes de indexación de Search Console.
-
2
Comprobación de robots.txt
Antes de descargar una URL consulta el robots.txt del host. Si la ruta está bloqueada para el token Googlebot, no la descarga.
-
3
Descarga
Pide la URL por HTTP/1.1 o HTTP/2 (elige el que mejor rendimiento da), acepta compresión gzip, deflate y Brotli y lee como máximo los primeros 2 MB del HTML sin comprimir.
-
4
Renderizado
Ejecuta el JavaScript con un Chromium actualizado y descarga por separado CSS, JS e imágenes, cada recurso con el mismo límite de tamaño.
-
5
Envío a indexación
El contenido renderizado pasa a los sistemas de indexación, que deciden si la página entra en el índice y con qué URL canónica.
03 Tipos de Googlebot y sus user agents
Puedes distinguir la variante por la cabecera User-Agent de cada petición. Las dos usan el mismo token en robots.txt, así que no puedes bloquear una y permitir la otra. Desde el 5 de julio de 2024 Google rastrea e indexa los sitios con Googlebot para smartphones, y Googlebot Desktop solo aparece en tareas concretas.
| Rastreador | Token en robots.txt | Rasgo del user agent |
|---|---|---|
| Googlebot Smartphone | Googlebot | Android, Nexus 5X, «Mobile Safari» y «Googlebot/2.1» |
| Googlebot Desktop | Googlebot | «Googlebot/2.1» y Chrome/W.X.Y.Z sin «Mobile» |
| Googlebot Image | Googlebot-Image o Googlebot | Googlebot-Image/1.0 |
| Googlebot Video | Googlebot-Video o Googlebot | Googlebot-Video/1.0 |
| Googlebot News | Googlebot-News o Googlebot | No tiene user agent propio: usa los de Googlebot |
| Google-InspectionTool | Google-InspectionTool o Googlebot | Lo usan la inspección de URLs y la prueba de resultados enriquecidos |
04 Cómo verificar que una visita es realmente de Googlebot
Cualquier scraper puede escribir «Googlebot» en su user agent para saltarse bloqueos. Google recomienda comprobar la IP de origen antes de tomar decisiones como bloquear o dar trato especial a un bot.
-
1
DNS inverso
Toma la IP de tus logs y ejecuta host sobre ella, por ejemplo host 66.249.66.1. Debe devolver un nombre del tipo crawl-66-249-66-1.googlebot.com.
-
2
Comprueba el dominio
El nombre debe terminar en googlebot.com, google.com o googleusercontent.com. Para Googlebot lo habitual es crawl-…googlebot.com o geo-crawl-…geo.googlebot.com.
-
3
DNS directo
Ejecuta host sobre ese nombre. Debe resolver exactamente a la IP original; si no coincide, la visita no es de Google.
-
4
Automatízalo si tienes mucho tráfico
Compara las IPs con los rangos CIDR que Google publica en common-crawlers.json (Googlebot), special-crawlers.json (por ejemplo AdsBot) y los archivos de fetchers activados por usuarios.
host 66.249.66.1 → crawl-66-249-66-1.googlebot.comhost crawl-66-249-66-1.googlebot.com → 66.249.66.1
La IP y el nombre coinciden en los dos sentidos: es Googlebot. Si el DNS inverso devuelve un hosting cualquiera, estás ante un bot que se hace pasar por Google.
05 Frecuencia de rastreo y crawl budget
Según Google, en la mayoría de sitios Googlebot no debería acceder más de una vez cada pocos segundos de media, aunque puntualmente puede parecer más. Cuántas URLs rastrea de tu web depende de lo que aguanta tu servidor y del interés que tiene tu contenido, lo que se conoce como crawl budget o presupuesto de rastreo. Googlebot se frena solo si tu servidor responde lento o devuelve errores 5xx.
Frenarlo en una emergencia
Devuelve 500, 503 o 429 en lugar de 200 durante uno o dos días como mucho. Si una URL da error varios días seguidos puede salir del índice.
Rastreo excesivo prolongado
Google permite enviar una solicitud especial indicando la frecuencia óptima. No sirve para pedir más rastreo y tarda días en aplicarse.
Adiós al limitador
La herramienta de Search Console para limitar la frecuencia de rastreo dejó de existir el 8 de enero de 2024, según anunció Google en noviembre de 2023.
Dónde medirlo
En el informe «Estadísticas de rastreo» de Search Console ves peticiones por tipo de Googlebot, código de respuesta y tiempo medio de respuesta.
Si en ese informe ves muchos 404, redirecciones o errores de rastreo, Googlebot está gastando visitas en URLs que no te aportan nada. Revísalo junto al informe de indexación de Search Console.
06 Googlebot frente a otros rastreadores de Google
No todo lo que llega desde IPs de Google es Googlebot. Google clasifica sus bots en tres grupos: rastreadores comunes (Googlebot y similares, que siempre respetan robots.txt en rastreos automáticos), rastreadores de casos especiales como AdsBot, que pueden no respetarlo porque existe un acuerdo con el sitio, y fetchers activados por usuarios, como Google Site Verifier, que ignoran robots.txt porque la petición la lanza una persona.
GoogleOther
Rastreador genérico que usan distintos equipos de Google, por ejemplo para rastreos puntuales de investigación. Bloquearlo no afecta a tu presencia en la búsqueda.
Google-Extended
No es un bot con user agent propio, sino un token de robots.txt. Decide si Google puede usar tu contenido para entrenar Gemini y para el grounding de sus respuestas. No influye en tu inclusión ni en tu ranking en Google Search.
AdsBot
Revisa la calidad de las páginas de destino de Google Ads. Ignora las reglas genéricas «User-agent: *», así que tienes que nombrarlo de forma explícita si quieres limitarlo.
Storebot-Google
Rastrea para Google Shopping, con versiones de escritorio y móvil. Lo que le indiques en robots.txt afecta a todas las superficies de Shopping, incluida la pestaña de compras de la búsqueda.
07 Cómo bloquear o controlar a Googlebot
| Objetivo | Método | Qué no hace |
|---|---|---|
| Que no rastree una ruta | Disallow en robots.txt | No impide que la URL aparezca en resultados si recibe enlaces |
| Que no indexe una página | Meta robots o cabecera X-Robots-Tag con noindex | Funciona solo si Googlebot puede rastrear la página |
| Que nadie acceda | Contraseña u otra restricción de acceso | Tampoco podrá verla ningún usuario sin credenciales |
| Que rastree menos | Códigos 500, 503 o 429 temporales | No es una solución a largo plazo |
08 Cómo ponérselo fácil a Googlebot en tu web
- ✓Enlaza cada página importante desde otras páginas rastreables con enlaces HTML normales (etiquetas a con href).
- ✓Mantén un sitemap XML con solo URLs canónicas que respondan 200.
- ✓Asegúrate de que el contenido principal está en los primeros 2 MB del HTML y no depende de clics del usuario para cargarse.
- ✓Sirve el mismo contenido en móvil y en escritorio: Google indexa la versión que ve el rastreador de smartphone.
- ✓Evita cadenas de redirecciones, parámetros infinitos y filtros facetados indexables.
- ✓Vigila el tiempo de respuesta del servidor: si sube, Googlebot rastrea menos.
- ✓Usa ETag o Last-Modified para que Google pueda saltarse páginas que no han cambiado.
En una auditoría SEO técnica cruzamos los logs del servidor con Search Console para ver qué URLs visita Googlebot, cuáles ignora y en qué se le va el rastreo. Si tu web ha dejado de aparecer, repasa también las causas de por qué una web pierde posiciones en Google.
Preguntas frecuentes sobre Googlebot
Googlebot es el nombre del robot de rastreo de Google Search. Visita páginas web, las descarga y las renderiza para que Google pueda indexarlas y mostrarlas en los resultados de búsqueda.
Sirve para descubrir páginas nuevas y detectar cambios en las ya conocidas. Sin su visita una página no puede entrar en el índice de Google ni posicionar.
Haz un DNS inverso de la IP: debe resolver a googlebot.com, google.com o googleusercontent.com, y el DNS directo de ese nombre debe devolver la misma IP. También puedes comparar la IP con los rangos que Google publica en common-crawlers.json.
Depende del tamaño, la velocidad del servidor y lo que cambia tu contenido. Google indica que en la mayoría de sitios no debería acceder más de una vez cada pocos segundos de media; las páginas populares y actualizadas se rastrean con más frecuencia.
El primero simula un móvil y el segundo un ordenador. Desde el 5 de julio de 2024 Google rastrea e indexa todos los sitios con Googlebot Smartphone; el de escritorio se usa solo en funciones concretas, como fichas de producto o Google for Jobs.
En una emergencia, devuelve códigos 500, 503 o 429 durante uno o dos días como máximo. Si el problema persiste, puedes enviar a Google una solicitud especial por rastreo excesivo; el limitador de Search Console ya no existe desde enero de 2024.
Sí. Renderiza las páginas con una versión actualizada de Chromium desde mayo de 2019, aunque el renderizado puede producirse después de la descarga inicial y cada recurso tiene su propio límite de tamaño.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗