≡En resumen
- El robots.txt controla el rastreo, no la indexación: para sacar una página de Google se usa noindex.
- Se organiza en grupos: cada user-agent con sus reglas disallow y allow; gana la regla más específica.
- Google lo guarda en caché hasta 24 horas y trata los errores 4xx como si no existiera, pero los 5xx pueden frenar el rastreo.
- Con él puedes bloquear bots de entrenamiento de IA como GPTBot o Google-Extended sin salir de Google ni de ChatGPT Search.
- No es una medida de seguridad: es público y los bots maliciosos lo ignoran.
01 ¿Qué es el archivo robots.txt?
El protocolo nació en 1994, cuando Martijn Koster lo propuso para que los primeros rastreadores no saturaran los servidores. Durante 25 años fue un estándar de facto que cada buscador interpretaba a su manera, hasta que en 2019 Google impulsó su normalización y publicó su analizador como código abierto. El resultado es el RFC 9309, publicado por la IETF en septiembre de 2022 y firmado por Koster junto a Gary Illyes, Henner Zeller y Lizzi Sassman.
02 Sintaxis del robots.txt: user-agent, disallow, allow y sitemap
| Campo | Qué hace | Ejemplo |
|---|---|---|
| User-agent | Abre un grupo e indica a qué rastreador se aplican las reglas; * significa todos | User-agent: Googlebot |
| Disallow | Ruta que el rastreador no debe rastrear | Disallow: /admin/ |
| Allow | Excepción que permite rastrear una ruta dentro de otra bloqueada | Allow: /admin/ayuda.html |
| Sitemap | URL absoluta del sitemap XML; puede ir en cualquier parte del archivo | Sitemap: https://ejemplo.com/sitemap.xml |
- ✓Las rutas distinguen mayúsculas y minúsculas: /Blog/ y /blog/ son rutas distintas.
- ✓El asterisco (*) equivale a cualquier secuencia de caracteres y el dólar ($) marca el final de la URL: Disallow: /*.pdf$ bloquea todos los PDF.
- ✓Si una URL encaja con varias reglas, Google aplica la más específica (la de ruta más larga) y, si empatan, la menos restrictiva.
- ✓Un rastreador solo obedece el grupo que mejor coincide con su nombre; si existe un grupo para Googlebot, ignora el de User-agent: *.
- ✓Cada subdominio y cada protocolo necesitan su propio archivo: el de www.ejemplo.com no vale para blog.ejemplo.com.
La regla que más se usa es Disallow, que tiene su propia ficha con ejemplos listos para copiar. La línea Sitemap es la forma más sencilla de que cualquier buscador encuentre tu sitemap XML sin tener que darlo de alta en cada herramienta.
03 Cómo interpreta Google el robots.txt
Google publica su propia especificación, alineada con el RFC 9309, con algunos detalles que conviene conocer: lee como máximo 500 KiB del archivo, lo guarda en caché normalmente hasta 24 horas y no admite campos que no estén documentados, como crawl-delay. Desde el 1 de septiembre de 2019 tampoco hace caso a un noindex escrito en el robots.txt.
| Respuesta | Cómo lo trata Google |
|---|---|
| 2xx (correcto) | Aplica las reglas del archivo |
| 3xx (redirección) | Sigue al menos cinco saltos; si no llega a un archivo, lo trata como un 404 |
| 4xx salvo 429 | Como si no hubiera robots.txt: puede rastrearlo todo |
| 5xx y 429 | Durante 12 horas deja de rastrear el sitio; hasta 30 días usa la última copia en caché; después decide según la disponibilidad del sitio |
04 Robots.txt vs noindex: bloquear el rastreo no es desindexar
Es el malentendido más caro del SEO técnico. Google lo dice claro: el robots.txt sirve sobre todo para no sobrecargar el sitio con peticiones y no es un mecanismo para mantener una página fuera de Google. Si una URL bloqueada recibe enlaces, puede aparecer en los resultados sin descripción. Para que no se indexe hay que usar noindex, mediante la etiqueta meta robots o la cabecera X-Robots-Tag.
| Objetivo | Robots.txt (disallow) | Noindex |
|---|---|---|
| Que Google no rastree una sección | Sí | No: la página se rastrea para leer la etiqueta |
| Que una página no salga en resultados | No lo garantiza | Sí |
| Ahorrar presupuesto de rastreo en filtros y parámetros | Sí | Solo a largo plazo |
| Bloquear archivos que no son HTML (PDF, imágenes) | Sí, bloquea el rastreo | Con la cabecera X-Robots-Tag |
| Ocultar información privada | No: el archivo es público | No: usa contraseña |
05 Robots.txt y bots de IA: GPTBot, Google-Extended y otros
Desde 2023, las empresas de IA publican los nombres de sus rastreadores para que las webs decidan si su contenido se usa para entrenar modelos o para responder en buscadores con IA. La clave es distinguir tres funciones: entrenamiento, búsqueda y peticiones que hace un usuario en tiempo real.
| User agent | Empresa | Para qué se usa | ¿Respeta robots.txt? |
|---|---|---|---|
| Google-Extended | Entrenar futuros modelos Gemini y su grounding; no afecta a Google Search | Sí (es un token, rastrea con los agentes de Google) | |
| GPTBot | OpenAI | Entrenamiento de modelos | Sí |
| OAI-SearchBot | OpenAI | Mostrar webs en la búsqueda de ChatGPT | Sí |
| ChatGPT-User | OpenAI | Visitas iniciadas por un usuario de ChatGPT | No siempre, al ser una acción del usuario |
| ClaudeBot / Claude-SearchBot / Claude-User | Anthropic | Entrenamiento, búsqueda y peticiones de usuarios | Sí, según Anthropic |
| PerplexityBot / Perplexity-User | Perplexity | Resultados de búsqueda / peticiones de usuarios | PerplexityBot sí; Perplexity-User por lo general no |
User-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: ClaudeBotDisallow: /
Con este bloque no se bloquea a Googlebot, OAI-SearchBot ni Claude-SearchBot, de modo que la web puede seguir saliendo en Google, en ChatGPT Search y en Claude. Bloquear también los bots de búsqueda te quitaría visibilidad en esas respuestas.
Si tu objetivo es justo el contrario, que las IA te citen, trabaja el posicionamiento en inteligencia artificial y revisa que tu robots.txt no bloquee sus buscadores. El archivo llms.txt es otra propuesta distinta, que no sustituye al robots.txt.
06 Ejemplos de robots.txt
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://www.ejemplo.com/sitemap_index.xml
Bloquea el panel de administración pero deja accesible el archivo que usan muchos temas y plugins para cargar contenido.
User-agent: *Disallow: /buscarDisallow: /*?orden=Disallow: /*?color=*&talla=Disallow: /carrito/Disallow: /mi-cuenta/
Evita que los rastreadores se pierdan en miles de combinaciones de filtros sin valor, lo que ayuda a aprovechar el crawl budget en las páginas que sí deben posicionar.
User-agent: *Disallow: /
Útil para una web en desarrollo, pero protégela también con contraseña. Y revisa este archivo al publicar: olvidarlo es una de las causas más habituales de que una web nueva no aparezca en Google.
07 Cómo crear y probar tu robots.txt
-
1
Escríbelo en texto plano
Con cualquier editor, en UTF-8 y con el nombre robots.txt en minúsculas. En WordPress puedes editarlo desde plugins SEO como Yoast o Rank Math.
-
2
Súbelo a la raíz
Debe responder en https://tudominio.com/robots.txt con código 200. Si lo pones en una subcarpeta, los rastreadores no lo leerán.
-
3
Revisa el informe de Search Console
El informe de robots.txt muestra los archivos que Google ha encontrado en los 20 hosts principales del sitio, cuándo los leyó, si hubo errores y las versiones de los últimos 30 días.
-
4
Comprueba URLs concretas
La inspección de URLs de Search Console indica si una página está bloqueada por robots.txt.
-
5
Pide un nuevo rastreo si es urgente
Tras corregir un bloqueo grave, solicita desde el mismo informe que Google vuelva a leer el archivo.
- ✓No bloquees CSS, JavaScript ni imágenes que Google necesita para renderizar la página.
- ✓No uses el robots.txt para ocultar zonas privadas: lo lee cualquiera y deja a la vista esas rutas.
- ✓No dejes un Disallow: / heredado del entorno de pruebas.
- ✓No confíes en crawl-delay para Google: no lo admite.
- ✓Revisa el archivo tras cada migración, cambio de CMS o de estructura de URLs.
Un robots.txt mal configurado puede desindexar media web sin que nadie lo note durante semanas. Revisarlo es uno de los primeros pasos de nuestro servicio de auditoría SEO.
Preguntas frecuentes sobre Robots txt
Es un archivo de texto en la raíz de la web que indica a los rastreadores qué rutas pueden rastrear. Sirve para no gastar rastreo en zonas sin valor, indicar el sitemap y decidir qué bots, incluidos los de IA, acceden al contenido.
Siempre en la raíz del dominio: https://www.dominio.com/robots.txt. Puedes ver el de cualquier web escribiendo esa dirección en el navegador.
No. Si no existe, o devuelve un 404, Google entiende que puede rastrear todo. Solo es necesario si quieres limitar el rastreo o declarar el sitemap.
No. Bloquea el rastreo, pero una URL bloqueada puede indexarse si recibe enlaces, aunque sin descripción. Para evitar la indexación usa noindex o protege la página con contraseña.
Añade un grupo User-agent: GPTBot con Disallow: / para impedir que OpenAI use tu contenido en entrenamiento. Si también bloqueas OAI-SearchBot, tu web dejará de aparecer en la búsqueda de ChatGPT.
No. Google indica que Google-Extended no influye en la inclusión ni en el ranking en Google Search; solo controla el uso del contenido para entrenar Gemini y para su grounding.
Es el documento de la IETF, publicado en septiembre de 2022, que estandariza el Robots Exclusion Protocol, las reglas del robots.txt que los rastreadores deben respetar.
Normalmente menos de 24 horas, porque Google lo guarda en caché hasta ese tiempo. En casos urgentes puedes pedir un nuevo rastreo desde el informe de robots.txt de Search Console.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗