≡En resumen
- El optimization testing compara versiones con tráfico real repartido al azar para aislar el efecto de un cambio.
- El test A/B es el formato básico; multivariantes y bandits necesitan más tráfico o aceptan otros compromisos.
- Antes de lanzar un test se fija la métrica, el efecto mínimo que interesa detectar y el tamaño de muestra.
- Mirar los resultados cada día y parar al primer «ganador» dispara los falsos positivos.
- Tras el cierre de Google Optimize, las herramientas más usadas son de terceros, como VWO, Optimizely, AB Tasty o Convert.
01 ¿Qué es el optimization testing?
Es la herramienta central del CRO, aunque se usa también en producto, email marketing y publicidad. Su valor está en aislar el efecto del cambio: como las dos versiones conviven en el mismo periodo, la estacionalidad, las campañas o las noticias afectan a ambas por igual. Quien suele diseñarlos es el optimizador de conversiones o un equipo de producto.
02 Tipos de test: A/B, multivariante, split URL y bandit
| Tipo | Qué compara | Tráfico necesario | Úsalo para |
|---|---|---|---|
| Test A/B | Original frente a una variante | Moderado | Un cambio concreto: titular, botón, precio visible, formulario |
| Test A/B/n | Original frente a varias variantes | Mayor, crece con cada variante | Elegir entre varias propuestas de un mismo elemento |
| Multivariante (MVT) | Todas las combinaciones de varios elementos | Muy alto | Saber qué combinación y qué elemento pesan más |
| Split URL | Dos páginas completas en URL distintas | Moderado | Rediseños completos o landings construidas por separado |
| Multi-armed bandit | Varias variantes, reasignando tráfico a la que va ganando | Moderado | Promociones cortas donde importa ganar durante el test más que aprender |
| Test A/A | Dos versiones idénticas | Moderado | Comprobar que la herramienta reparte y mide bien |
El test A/B es el formato de referencia y el más fácil de interpretar. El testing multivariable multiplica las combinaciones: tres elementos con dos opciones cada uno son ocho versiones, y cada una necesita su propia muestra.
03 Significación estadística sin complicaciones
Un test enfrenta dos hipótesis: la nula (no hay diferencia real) y la alternativa (la variante es distinta). El valor p indica lo sorprendente que sería el resultado observado si no hubiera diferencia real. Si es menor que el umbral fijado, normalmente 0,05, se habla de resultado estadísticamente significativo. Para comparar dos tasas de conversión, muchas herramientas usan un test Z de proporciones o métodos equivalentes.
| Concepto | Qué significa | Valor habitual |
|---|---|---|
| Nivel de significación (α) | Probabilidad de declarar ganador a un cambio que no mejora nada (falso positivo) | 5 % |
| Potencia (1 − β) | Probabilidad de detectar una mejora real del tamaño buscado | 80 % |
| Efecto mínimo detectable (MDE) | La mejora más pequeña que te interesa poder detectar | Lo decide el negocio |
| Intervalo de confianza | Rango plausible del efecto real | Se reporta junto al resultado |
| Enfoque bayesiano | Expresa el resultado como probabilidad de que B supere a A | Lo usan varias herramientas |
04 Tamaño de muestra y duración del test
La muestra necesaria depende de tres cosas: tu tasa de conversión actual, la mejora que quieres detectar y los umbrales de significación y potencia. Cuanto más pequeña es la mejora buscada, más visitas hacen falta, y crece de forma cuadrática: detectar la mitad de efecto requiere unas cuatro veces más tráfico.
| Conversión actual | Mejora relativa buscada | Conversión objetivo | Visitas por variante |
|---|---|---|---|
| 2 % | +20 % | 2,4 % | ≈ 21.100 |
| 3 % | +20 % | 3,6 % | ≈ 13.900 |
| 3 % | +10 % | 3,3 % | ≈ 53.200 |
| 5 % | +20 % | 6 % | ≈ 8.200 |
| 10 % | +20 % | 12 % | ≈ 3.800 |
- ✓Calcula la muestra antes de lanzar, con una calculadora de tamaño de muestra.
- ✓Deja correr el test semanas completas (mínimo una o dos) para cubrir diferencias entre días laborables y fin de semana.
- ✓Comprueba que el reparto real se parece al previsto (por ejemplo, 50/50); si no, puede haber un fallo técnico.
- ✓No cambies la variante ni la segmentación a mitad de test.
- ✓Si tu web no llega a la muestra en un plazo razonable, busca cambios más grandes o trabaja con investigación cualitativa.
05 Cómo hacer optimization testing paso a paso
-
1
Investiga
Analítica, mapas de calor, grabaciones y encuestas para saber dónde y por qué se pierden usuarios.
-
2
Escribe la hipótesis
«Si mostramos el envío junto al precio, subirán las compras porque el usuario no se sorprenderá en el carrito».
-
3
Elige la métrica principal
Una sola métrica de decisión (compras, leads) y algunas de control (ingresos por visita, devoluciones).
-
4
Calcula muestra y duración
Con tu conversión actual y el efecto mínimo que te interesa, decide cuántas visitas y semanas necesitas.
-
5
Monta y revisa la variante
Prueba en varios navegadores y dispositivos; evita el parpadeo de la versión original en los tests del lado del cliente.
-
6
Analiza y documenta
Revisa el resultado por dispositivo y canal, implanta si gana y guarda el aprendizaje aunque pierda.
Los tests de diseño de landing pages suelen ser los más rentables al principio: reciben tráfico de pago, tienen un único objetivo y los cambios se implantan rápido. Para la fase de investigación, la guía de mapas de calor web explica qué mirar en Clarity y Hotjar.
06 Herramientas de testing tras el cierre de Google Optimize
| Herramienta | Tipo | Encaja en |
|---|---|---|
| VWO | Plataforma comercial de testing y CRO | Marketing y ecommerce; integración con GA4 |
| Optimizely | Plataforma comercial de experimentación | Empresas grandes; tests web y de producto |
| AB Tasty | Plataforma comercial de testing y personalización | Ecommerce y marcas; integración con GA4 |
| Convert | Plataforma comercial de testing | Agencias y ecommerce medianos |
| Kameleoon | Plataforma comercial de experimentación | Web y producto en empresas medianas y grandes |
| GrowthBook | Código abierto, con versión en la nube | Equipos técnicos con feature flags y datos en su almacén |
| Experimentos de Google Ads y Meta | Nativos de cada plataforma | Probar pujas, anuncios y audiencias dentro de las campañas |
Preguntas frecuentes sobre Optimization testing
Significa testing de optimización: mejorar una web, app o campaña comparando versiones con usuarios reales asignados al azar y quedándote con la que mejor cumple el objetivo según datos estadísticos.
El test A/B compara la versión original con una variante. El multivariante prueba a la vez todas las combinaciones de varios elementos, por lo que necesita mucho más tráfico, pero indica qué elemento influye más.
El que haga falta para alcanzar la muestra calculada de antemano, y como mínimo una o dos semanas completas para recoger el comportamiento de todos los días. Pararlo antes al ver un ganador genera falsos positivos.
Es el criterio para aceptar que la diferencia entre variantes no se debe al azar. Lo habitual es exigir un valor p inferior a 0,05, es decir, un 95 % de confianza.
Google colabora con AB Tasty, Optimizely y VWO para integrar tests con GA4. Otras opciones son Convert, Kameleoon o GrowthBook, que es de código abierto.
Es un tipo de test que reasigna el tráfico de forma automática hacia la variante que va ganando. Reduce las conversiones perdidas durante la prueba, a cambio de una medición menos precisa del efecto.
Depende de tu conversión y de la mejora que busques. Con una conversión del 3 % y una mejora buscada del 20 %, hacen falta unas 13.900 visitas por variante; para detectar un 10 %, unas 53.200.
En el test del lado del cliente, un script cambia la página en el navegador; es rápido de montar, pero puede provocar parpadeos y afectar a la velocidad. En el del lado del servidor, la variante se genera antes de enviar la página; requiere desarrollo, pero es más estable y permite probar lógica, precios o algoritmos.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗