≡En resumen
- Un cuasiexperimento compara tratados y no tratados sin reparto aleatorio, por lo que necesita supuestos para atribuir causalidad.
- En marketing se usa cuando no puedes aleatorizar personas: campañas por zonas, televisión, exterior, cambios de precio o SEO.
- Diferencias en diferencias compara la evolución del grupo tratado con la del grupo de control antes y después.
- CausalImpact construye con series de control lo que habría pasado sin la acción y mide la diferencia.
- La mayor amenaza es que algo distinto de tu acción explique el cambio: estacionalidad, competencia o contagio entre zonas.
01 ¿Qué es un quasi-experiment o cuasiexperimento?
El término se popularizó con el libro de Donald T. Campbell y Julian C. Stanley Experimental and Quasi-Experimental Designs for Research (1963), que clasificó los diseños que se quedan a medio camino entre el experimento controlado y la simple observación, y las amenazas a su validez. Nació en educación y ciencias sociales, pero hoy es una herramienta diaria de la medición en marketing, sobre todo desde que las cookies y los modelos de atribución por clics explican cada vez peor el efecto real de la publicidad.
02 Cuasiexperimento vs experimento vs estudio observacional
| Experimento (test A/B) | Cuasiexperimento | Estudio observacional | |
|---|---|---|---|
| Asignación | Aleatoria | No aleatoria, pero controlada por el investigador (eliges las zonas o el momento) | Ninguna: se analiza lo que ya pasó |
| Grupo de control | Sí, equivalente por azar | Sí, comparable pero no equivalente | A veces, construido a posteriori |
| Fuerza de la conclusión causal | Alta | Media, depende de los supuestos | Baja |
| Ejemplo en marketing | 50 % de visitas ve la landing A y 50 % la B | Campaña en 5 provincias, control en otras 5 parecidas | Comparar clientes que abrieron un email con los que no |
Si puedes aleatorizar, aleatoriza: un test controlado sigue siendo el patrón oro, como explicamos en la ficha de optimization testing. El cuasiexperimento es la mejor alternativa cuando no puedes, y casi siempre supera a atribuir resultados solo con un modelo de atribución basado en clics, que reparte mérito pero no demuestra que la campaña causara las ventas.
03 Cuándo usar un cuasiexperimento en marketing
Medios sin segmentación individual
Televisión, radio, exterior o patrocinios: no puedes decidir qué persona ve el anuncio, pero sí en qué zona se emite.
Incrementalidad de campañas digitales
Saber cuántas ventas no habrían ocurrido sin la campaña de búsqueda o de redes, más allá de las conversiones que atribuye la plataforma.
Cambios que afectan a todos
Un rediseño web, una migración o una mejora SEO: no hay grupo sin tratar en el mismo sitio, pero sí antes y después.
Precios y promociones
Un cambio de precio en unas tiendas o regiones y no en otras.
Canales offline
Buzoneo, eventos o aperturas de tienda cuyo efecto se ve en ventas o búsquedas de marca por zona.
04 Diseños cuasiexperimentales más usados
| Diseño | Cómo funciona | Supuesto crítico |
|---|---|---|
| Diferencias en diferencias (DiD) | Compara el cambio antes/después del grupo tratado con el cambio del grupo de control | Tendencias paralelas: sin la acción, ambos habrían evolucionado igual |
| Geo experimento con mercados emparejados | Se eligen zonas de control parecidas a las tratadas en su histórico y se comparan durante la campaña | Las zonas no se contagian entre sí (personas que ven el anuncio en una y compran en otra) |
| Control sintético | Combina varias zonas de control con pesos para imitar la serie de la zona tratada | La combinación reproduce bien el periodo previo |
| Serie temporal interrumpida | Modela la tendencia previa y mide la ruptura tras la intervención | Nada más cambió en el mismo momento |
| Holdout | Se deja una zona, lista o segmento sin la acción como referencia | El grupo reservado es comparable al tratado |
| Regresión discontinua | Compara casos justo por encima y justo por debajo de un umbral (p. ej., pedidos de más de 50 € con envío gratis) | Nadie manipula el umbral |
El ejemplo clásico de diferencias en diferencias es el estudio de David Card y Alan Krueger (1994), que comparó el empleo en restaurantes de comida rápida de Nueva Jersey, donde subió el salario mínimo, con los de la vecina Pensilvania, donde no subió. En marketing, la lógica es idéntica con zonas con y sin campaña.
05 Cómo hacer un geo experimento paso a paso
-
1
Define la métrica y la hipótesis
Una sola métrica de negocio medible por zona (ventas, leads, búsquedas de marca) y el efecto que esperas: «la campaña de YouTube sube los leads un 10 %».
-
2
Elige zonas y su control
Provincias o áreas con histórico estable. Empareja las tratadas con otras que hayan evolucionado igual en los últimos meses, o asígnalas al azar si tienes muchas.
-
3
Comprueba el periodo previo
Antes de lanzar, verifica que tratadas y control se movían en paralelo. Si no, cambia el emparejamiento.
-
4
Lanza solo en las zonas tratadas
Con segmentación geográfica en la plataforma y sin tocar el resto de acciones en ninguna zona durante la prueba.
-
5
Mantén la prueba el tiempo suficiente
Varias semanas, incluido el ciclo de compra habitual, y evita fechas atípicas como Black Friday o vacaciones.
-
6
Analiza con un método adecuado
Diferencias en diferencias, control sintético (por ejemplo, con GeoLift, la librería de código abierto de Meta) o CausalImpact.
06 CausalImpact: la herramienta de Google para medir el impacto
CausalImpact es un paquete de R publicado por Google que estima el efecto causal de una intervención sobre una serie temporal. A partir de la serie que quieres medir (por ejemplo, clics diarios) y de series de control no afectadas (clics en otros mercados, o búsquedas de otra categoría), construye un modelo bayesiano de series temporales estructurales y predice el contrafactual: cómo habría evolucionado la métrica si la intervención no hubiera ocurrido. El método se describe en Brodersen et al., Annals of Applied Statistics (2015).
Los datos de entrada suelen salir de tu analítica: conviene tener bien etiquetadas las conversiones y las dimensiones geográficas, como explicamos en la guía para configurar Google Analytics 4 con eventos y conversiones.
07 Ejemplo de cuasiexperimento en una campaña
Una cadena de autoescuelas lanza una campaña de YouTube durante seis semanas en Valencia y Alicante (tratadas). Como control usa Castellón y Murcia, que en el año anterior siguieron la misma tendencia de matrículas.
- Tratadas: 400 leads semanales antes, 520 durante la campaña (+120).
- Control: 300 leads semanales antes, 330 en el mismo periodo (+30), por la subida estacional de septiembre.
- Efecto estimado: 120 − 30 = 90 leads semanales atribuibles a la campaña.
Sin grupo de control, se habrían atribuido a YouTube los 120 leads, incluida la estacionalidad. Con zonas de tamaño muy distinto conviene comparar variaciones relativas en lugar de absolutas. Para saber si 90 es una diferencia fiable y no ruido, se calcula un intervalo de confianza o se aplica una prueba como el test Z sobre los datos semanales.
08 Amenazas a la validez y cómo reducirlas
- ✓Sesgo de selección: elegiste como tratadas las zonas que ya iban mejor. Empareja por histórico o aleatoriza.
- ✓Historia: otro suceso coincide con la prueba (una promoción de la competencia, una noticia). Anota todo lo que pase.
- ✓Estacionalidad: la métrica sube o baja por la época. El grupo de control debe tener la misma estacionalidad.
- ✓Contagio: la campaña llega a zonas de control (televisión nacional, personas que se desplazan). Deja zonas de separación.
- ✓Regresión a la media: empezar la acción tras un mes anormalmente malo exagera la mejora.
- ✓Poca potencia: con pocas zonas o poco tiempo, efectos reales no se distinguen del ruido. Calcula antes el efecto mínimo detectable.
Un cuasiexperimento es tan bueno como sus supuestos, así que conviene documentarlos antes de ver resultados. Es la misma disciplina de la investigación cuantitativa, aplicada a la inversión publicitaria. En nuestra gestión de campañas de Google Ads y Meta usamos este enfoque para decidir dónde crecer, y lo combinamos con la optimización de la conversión para que el tráfico incremental también convierta.
Preguntas frecuentes sobre Quasi-experiment (cuasiexperimento)
Es un cuasiexperimento: un diseño que estima el efecto de una acción comparando un grupo que la recibe con otro que no, pero sin asignación aleatoria, por lo que necesita supuestos adicionales para concluir causalidad.
En un experimento los participantes se reparten al azar entre tratamiento y control, lo que iguala los grupos. En un cuasiexperimento el reparto no es aleatorio, así que los grupos pueden diferir y hay que controlar esas diferencias.
No. Un test A/B bien hecho reparte a los usuarios al azar, así que es un experimento controlado. Se convierte en cuasiexperimento cuando no puedes aleatorizar, por ejemplo al comparar zonas elegidas.
Es un método que resta el cambio antes/después del grupo de control al cambio del grupo tratado. Así elimina la tendencia común, como la estacionalidad, siempre que ambos grupos hubieran evolucionado en paralelo sin la acción.
Es un paquete de R de Google que usa modelos bayesianos de series temporales para estimar qué habría pasado sin una intervención y medir su efecto causal, a partir de series de control no afectadas.
Es una prueba en la que la publicidad se activa en unas zonas geográficas y no en otras para comparar resultados. Si las zonas se asignan al azar es un experimento; si se eligen, el análisis es cuasiexperimental.
Lo suficiente para cubrir al menos un ciclo de compra y acumular datos para detectar el efecto esperado; en campañas por zonas, normalmente varias semanas, evitando fechas atípicas.
Fuentes consultadas
Sobre el autor
Kevin Rouget Perona
Especialista en marketing, publicidad y Amazon en appyweb
Gestiona estrategias de marketing, campañas de publicidad y cuentas de Amazon orientadas a ventas y captación de clientes.
Ver perfil en LinkedIn ↗