≡En resumen
- El testing A/B convierte los tests sueltos en un proceso: investigar, priorizar, experimentar, aprender y repetir.
- La cola de hipótesis se ordena con modelos sencillos como ICE o PIE para gastar el tráfico en lo que más puede mover el negocio.
- El tráfico limita cuántos tests caben al año; calcula esa capacidad antes de prometer resultados.
- Tras el cierre de Google Optimize, los programas se apoyan en VWO, Optimizely, AB Tasty, Convert, Kameleoon o GrowthBook.
- Un buen programa documenta también los tests que pierden: son la mayoría y enseñan tanto como los ganadores.
01 ¿Qué es el testing A/B?
La diferencia con un test A/B es de escala: el test es el experimento concreto, con su hipótesis, su muestra y su resultado; el testing A/B es el programa que decide qué se prueba, en qué orden, con qué reglas estadísticas y cómo se comparte lo aprendido. Es la herramienta central del CRO y la práctica que llevaron a gran escala empresas como Google o Microsoft, que hoy lanzan más de 10.000 tests al año cada una.
02 Testing A/B, test A/B y CRO: en qué se diferencian
| Concepto | Qué es | Horizonte |
|---|---|---|
| Test A/B | Un experimento que compara una versión original con una variante | Semanas |
| Testing A/B | El programa continuo de tests: hoja de ruta, priorización, reglas y documentación | Trimestres y años |
| CRO | La disciplina de aumentar la tasa de conversión; incluye investigación, UX, copy y testing | Continuo |
| Optimization testing | El conjunto de técnicas de experimentación: A/B, multivariante, split URL, bandits | Según el método |
Si buscas la comparativa de formatos, significación y tamaños de muestra, está en optimization testing. Aquí nos centramos en cómo organizarlo como proceso dentro de la empresa.
03 Cómo montar un programa de testing A/B paso a paso
-
1
Fija el objetivo y la métrica norte
Por ejemplo, ingresos por visitante o leads cualificados. Todos los tests del trimestre se evalúan contra ella, con métricas de control para no romper nada.
-
2
Investiga antes de idear
Embudos de analítica, mapas de calor, grabaciones, encuestas y tests con usuarios muestran dónde y por qué se pierde gente.
-
3
Crea una cola de hipótesis
Cada idea con su formato «si cambiamos X, pasará Y, porque Z», la página afectada, la evidencia que la sostiene y el tráfico disponible.
-
4
Prioriza
Puntúa la cola con ICE, PIE o PXL y revisa el orden cada mes; las ideas sin evidencia bajan solas.
-
5
Diseña, calcula y lanza
Muestra y duración calculadas antes de empezar, control de calidad en varios dispositivos y reparto aleatorio verificado.
-
6
Analiza con reglas fijas
Mismos umbrales para todos los tests, sin cambiar la métrica a posteriori ni parar al ver un ganador.
-
7
Documenta y comparte
Un repositorio con hipótesis, capturas, resultados e interpretación. Los tests perdedores también se registran.
-
8
Itera
Cada resultado genera nuevas hipótesis: si el envío gratis visible funcionó, ¿qué pasa con el umbral o con los plazos de entrega?
La investigación de la segunda fase es la que más suele saltarse y la que más rinde: sin ella, la cola se llena de ocurrencias. En la guía de tácticas para mejorar la tasa de conversión tienes ideas contrastadas para arrancar la cola.
04 Priorización de tests: ICE, PIE y PXL
| Modelo | Criterios | Ventaja | Limitación |
|---|---|---|---|
| ICE | Impacto, confianza y facilidad, de 1 a 10. Popularizado por Sean Ellis en growth marketing | Rápido y fácil de explicar | Muy subjetivo: cada persona puntúa distinto |
| PIE | Potencial de mejora, importancia de la página (tráfico y valor) y facilidad. Creado por Chris Goward (WiderFunnel) | Obliga a pensar dónde está el tráfico que importa | Sigue dependiendo del criterio del equipo |
| PXL | Preguntas de sí o no: si el cambio es visible sin scroll, si se apoya en analítica o en tests con usuarios, cuánto cuesta implantarlo. Propuesto por CXL | Reduce la subjetividad y premia la evidencia | Más lento de montar al principio |
Idea 1: mostrar el envío gratis junto al precio. Impacto 7, confianza 8 (lo piden en encuestas), facilidad 9: media de 8.
Idea 2: rediseñar toda la home. Impacto 8, confianza 4, facilidad 2: media de 4,7.
La idea 1 se prueba antes: es barata, tiene evidencia detrás y afecta a páginas con intención de compra. El rediseño se trocea en hipótesis más pequeñas.
05 Cuántos tests A/B caben al año: la capacidad de tráfico
El número de tests no lo decide la ambición del equipo, sino el tráfico. Con una conversión del 3 % y una mejora mínima de interés del 20 %, cada test A/B necesita unas 13.900 visitas por versión, casi 28.000 en total. Una página con 15.000 visitas semanales puede cerrar, como mucho, un test cada dos semanas: unos 20 al año en esa página si todo va bien.
- ✓Calcula la capacidad por página o plantilla, no por web completa.
- ✓Reserva el tráfico para las hipótesis con más impacto potencial; no lo gastes en cambios de color.
- ✓Si una página no llega a la muestra, prueba cambios más grandes o usa una métrica más frecuente pero bien correlacionada con ventas.
- ✓Evita solapar tests en la misma página y audiencia salvo que la herramienta gestione la interacción entre experimentos.
- ✓Cuando no puedas aleatorizar (campañas offline, cambios de precio globales), recurre a un cuasiexperimento y asume su menor fiabilidad.
Para esos casos sin reparto aleatorio, la entrada sobre el cuasiexperimento explica los diseños que se usan en marketing.
06 Herramientas de testing A/B tras Google Optimize
| Tipo de programa | Herramientas | Cómo se ejecuta |
|---|---|---|
| Marketing y ecommerce | VWO, AB Tasty, Convert | Editor visual y script en el navegador (lado del cliente) |
| Producto y grandes empresas | Optimizely, Kameleoon | Cliente y servidor, con feature flags |
| Equipos técnicos con almacén de datos | GrowthBook (código abierto) | Feature flags y análisis sobre tus propios datos |
| Campañas de pago | Experimentos de Google Ads, pruebas A/B de Meta | Dentro de cada plataforma publicitaria |
Los tests del lado del cliente son rápidos de montar, pero pueden provocar parpadeo de la versión original y penalizar la velocidad. Los del lado del servidor requieren desarrollo, pero permiten probar precios, algoritmos o flujos completos sin esos efectos.
07 Cultura de experimentación: lo que separa a los programas que funcionan
Datos por encima del cargo
El programa pierde sentido si la opinión de la persona con más rango decide por encima de los resultados, lo que en inglés se llama HiPPO.
Aceptar que la mayoría no gana
Buena parte de las ideas no mejora la métrica o la empeora. Un test que evita implantar un mal cambio también ahorra dinero.
Reglas comunes
Umbrales, duración mínima y criterios de parada iguales para todos, escritos antes de ver resultados.
Memoria compartida
Un repositorio accesible evita repetir tests y convierte los aprendizajes en principios de diseño.
Indicadores del programa
Tests lanzados al mes, porcentaje de ganadores e impacto acumulado estimado son los KPI del propio testing.
Quien suele liderar este trabajo es un optimizador de conversiones que coordina analítica, diseño y desarrollo. Si no tienes ese perfil dentro, un servicio de CRO externo puede montar el programa y formar al equipo, empezando por las páginas de mayor valor, como las que se crean pensando en cómo diseñar una landing page que convierta.
Preguntas frecuentes sobre Testing A/B
Es la práctica continua de validar cambios en una web, app o campaña con tests A/B sucesivos, organizados en una hoja de ruta con hipótesis priorizadas y un registro de aprendizajes.
El test A/B es un experimento concreto entre dos versiones. El testing A/B es el programa que decide qué se prueba, en qué orden, con qué reglas y cómo se aprovechan los resultados.
Con modelos de puntuación como ICE (impacto, confianza, facilidad), PIE (potencial, importancia, facilidad) o PXL, que premia las ideas respaldadas por datos. Se ordena la cola por puntuación y se revisa cada mes.
Depende del tráfico. Una página con 15.000 visitas semanales y un 3 % de conversión puede cerrar como mucho un test cada dos semanas si busca mejoras del 20 %, unos 20 al año.
Google colabora con AB Tasty, Optimizely y VWO para integrarse con GA4. Otras opciones son Convert, Kameleoon y GrowthBook, que es de código abierto.
Solo en las páginas con suficiente tráfico y conversiones. Si no llegas a la muestra, rinde más la investigación cualitativa y aplicar buenas prácticas de conversión.
Documentarlo con la hipótesis, el resultado y la interpretación. Un test perdedor evita implantar un cambio inútil o dañino y suele sugerir la siguiente hipótesis.
Fuentes consultadas
Sobre el autor
Raúl Aránega Segura
CEO y especialista SEO en appyweb
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y, ahora, en las respuestas de la IA.
Ver perfil en LinkedIn ↗