≡En resumen
- Disallow le dice a un rastreador qué rutas no debe rastrear; se escribe en el robots.txt de la raíz del dominio.
- Bloquear el rastreo no es desindexar: Google puede indexar una URL bloqueada si recibe enlaces, aunque no vea su contenido.
- Cuando Allow y Disallow chocan, Google aplica la regla con la ruta más larga y, en empate, la menos restrictiva.
- Admite los comodines * (cualquier secuencia de caracteres) y $ (final de la URL); las rutas distinguen mayúsculas.
- Robots.txt no es seguridad: es una petición que los bots respetables cumplen, no un control de acceso.
01 ¿Qué es Disallow y qué significa?
La palabra viene del inglés disallow, «no permitir» o «denegar». El mecanismo nació en 1994, cuando Martijn Koster propuso el protocolo de exclusión de robots para que los primeros rastreadores no saturasen los servidores. Durante casi tres décadas fue un estándar de facto, hasta que en septiembre de 2022 la IETF lo publicó como RFC 9309, firmado por el propio Koster junto a Gary Illyes, Henner Zeller y Lizzi Sassman.
Disallow es la mitad de la ecuación: su contraria es Allow, que permite rastrear una ruta concreta dentro de otra bloqueada. Las dos trabajan sobre el mismo archivo, el robots.txt, que siempre vive en la raíz: https://www.ejemplo.com/robots.txt.
02 Cómo funciona Disallow en robots.txt
Cuando un rastreador llega a tu web, lo primero que descarga es el robots.txt. Busca el grupo cuyo User-agent coincide de forma más específica con su nombre (si no hay ninguno, usa el de *) y compara cada URL que quiere visitar con las reglas de ese grupo.
| Aspecto | Cómo se aplica |
|---|---|
| Coincidencia | La ruta se compara desde el principio: Disallow: /blog bloquea /blog, /blog/ y /blogueros |
| Conflicto Allow/Disallow | Gana la regla con la ruta más larga; si empatan, Google aplica la menos restrictiva (Allow) |
| Comodín * | Equivale a cero o más caracteres cualesquiera |
| Comodín $ | Marca el final de la URL: /*.pdf$ solo coincide con URL que acaban en .pdf |
| Mayúsculas | Las rutas distinguen mayúsculas; los nombres de campo y de user-agent no |
| Disallow vacío | Una regla sin ruta se ignora: no bloquea nada |
| Ámbito | Solo vale para el mismo host, protocolo y puerto; cada subdominio necesita su propio archivo |
| Tamaño y caché | Google lee hasta 500 KiB y guarda el archivo en caché un máximo de 24 horas |
03 Ejemplos de Disallow listos para copiar
Bloquear toda la web a todos los bots (típico en un entorno de pruebas):User-agent: *Disallow: /
Permitir todo (equivale a no tener reglas):User-agent: *Disallow:
Bloquear una carpeta, pero no un archivo dentro de ella:User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php
Bloquear URL con parámetros de filtro:Disallow: /*?orderby=
Bloquear todos los PDF:Disallow: /*.pdf$
Puedes combinar grupos para tratar distinto a cada bot. Por ejemplo, un grupo User-agent: Googlebot con sus propias reglas y otro User-agent: * para el resto. Un bot solo obedece al grupo más específico que le corresponde, no suma las reglas de varios grupos.
04 Disallow vs. noindex: bloquear el rastreo no es desindexar
Es la confusión más cara. Disallow impide que Google lea la página, pero si otras webs la enlazan, Google puede indexar la URL igualmente y mostrarla en los resultados sin descripción. Para sacar una página del índice necesitas la etiqueta noindex, y para que Google la vea la página debe poder rastrearse.
| Herramienta | Qué hace | Úsala para |
|---|---|---|
| Disallow (robots.txt) | Pide no rastrear una ruta | Ahorrar rastreo en filtros, búsquedas internas, carritos o zonas sin valor |
| Meta robots noindex | Pide no mostrar la página en los resultados | Páginas que el usuario puede ver pero no deben aparecer en Google |
| X-Robots-Tag | Noindex enviado en la cabecera HTTP | PDF, imágenes y otros archivos que no son HTML |
| Contraseña o 404/410 | Impide el acceso o indica que no existe | Contenido privado o eliminado de verdad |
05 ¿Para qué sirve Disallow en SEO?
En una web pequeña, lo normal es no bloquear casi nada. Disallow cobra sentido cuando el sitio genera miles de URL sin valor que consumen el crawl budget: combinaciones de filtros, ordenaciones, resultados de búsqueda interna o calendarios infinitos. Es una pieza habitual del trabajo técnico de una agencia SEO, siempre con cuidado de no bloquear lo que sí debe posicionar.
Ahorrar rastreo
Evitas que Googlebot pierda tiempo en facetas y parámetros y dedique más visitas a tus páginas importantes.
Apartar zonas técnicas
Carrito, checkout, área de cliente o resultados de búsqueda interna no aportan nada en Google.
Proteger un entorno de pruebas
Un Disallow: / en staging reduce el riesgo de rastreo, aunque lo seguro es protegerlo con contraseña.
Controlar bots concretos
Puedes bloquear rastreadores de IA o herramientas SEO de terceros sin afectar a Google.
06 Disallow para bots de IA: GPTBot, Google-Extended y otros
Desde 2023, muchas webs usan Disallow para decidir qué pueden hacer los rastreadores de inteligencia artificial con su contenido. OpenAI, por ejemplo, distingue entre GPTBot, que recopila contenido para entrenar modelos, y OAI-SearchBot, que alimenta las respuestas de búsqueda de ChatGPT. Si bloqueas este último, tu web no aparecerá citada en esas respuestas.
User-agent: GPTBotDisallow: /
User-agent: OAI-SearchBotAllow: /
OpenAI advierte que ChatGPT-User, que actúa cuando un usuario pide a ChatGPT visitar una página, puede no seguir estas reglas porque la visita la inicia una persona.
07 Cómo comprobar si un Disallow está bloqueando tu web
-
1
Abre tu robots.txt
Escribe tu dominio seguido de /robots.txt y revisa cada grupo User-agent y sus reglas.
-
2
Consulta el informe de robots.txt
En Google Search Console verás qué versión del archivo ha leído Google, cuándo y si encontró errores.
-
3
Inspecciona una URL concreta
La inspección de URL indica si la página está bloqueada por robots.txt y si aun así está indexada.
-
4
Revisa el informe de indexación
El estado «Indexada, aunque bloqueada por robots.txt» señala páginas que deberías gestionar con noindex en lugar de Disallow.
-
5
Rastrea con una herramienta SEO
Un rastreador como Screaming Frog puede respetar tu robots.txt y listar las URL que quedan fuera.
- ✓No hay un Disallow: / heredado del entorno de desarrollo.
- ✓Las páginas que quieres posicionar no coinciden con ninguna regla.
- ✓CSS, JavaScript e imágenes necesarias son rastreables.
- ✓Lo que debe salir del índice usa noindex, no Disallow.
- ✓El archivo incluye la línea Sitemap con la URL de tu sitemap XML.
Un robots.txt mal escrito puede tumbar el tráfico orgánico de un día para otro sin que nadie lo note. Por eso es uno de los primeros puntos que revisamos en cualquier auditoría SEO.
08 Disallow vs. disavow: no los confundas
Se parecen en la escritura, pero no tienen nada que ver. Disallow controla el rastreo de tu propia web desde el robots.txt. Disavow es la herramienta de Search Console para pedir a Google que no tenga en cuenta ciertos enlaces externos que apuntan a tu sitio. Si lo que te preocupa son enlaces de baja calidad, lo que necesitas es aprender a revisar los backlinks de una web antes de plantearte un disavow.
| Disallow | Disavow | |
|---|---|---|
| Dónde se usa | Archivo robots.txt de tu web | Herramienta de Google Search Console |
| Sobre qué actúa | Rastreo de tus URL | Enlaces entrantes de otras webs |
| Quién lo lee | Cualquier rastreador que respete el protocolo | Solo Google |
| Riesgo si se usa mal | Bloquear páginas que deberían posicionar | Perder enlaces que sí te ayudaban |
Preguntas frecuentes sobre Disallow
Significa «no permitir». En robots.txt es la regla que pide a los rastreadores que no visiten una ruta concreta de tu web.
Bloquea el rastreo de toda la web para los bots del grupo al que pertenece. Con User-agent: * afecta a todos los rastreadores que respetan el protocolo.
No. Impide el rastreo, pero Google puede indexar la URL si recibe enlaces. Para desindexar usa la etiqueta noindex y deja la página rastreable.
Disallow bloquea una ruta y Allow permite una ruta concreta dentro de otra bloqueada. Si chocan, Google aplica la regla más larga y, en empate, la menos restrictiva.
Usa los comodines: Disallow: /*.pdf$ bloquea todas las URL que terminan en .pdf. El signo $ indica el final de la URL.
No. Es una petición que los bots respetables cumplen, no un control de acceso, y el archivo es público. Protege lo privado con contraseña.
Google guarda en caché el robots.txt hasta 24 horas, así que un cambio suele aplicarse en ese plazo. Puedes pedir un nuevo rastreo del archivo desde Search Console.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗