A/B testing reemplaza la opinión por evidencia. Se muestran dos versiones (A y B) a audiencias equivalentes y se mide cuál performa mejor en la métrica definida: tasa de click, conversión, ingreso por sesión.
Requisitos para que funcione
Una sola variable diferenciadora a la vez (sino no se sabe qué causó la diferencia). Audiencias asignadas aleatoriamente para evitar sesgo. Volumen suficiente para alcanzar significancia estadística (depende del baseline y del tamaño del efecto buscado). Ventana de tiempo razonable que cubra patrones semanales.
Cuándo conviene y cuándo no
Conviene para decisiones recurrentes con tráfico alto (landing pages, asunto de email, formato de anuncio). No conviene para decisiones únicas con tráfico bajo (lanzamientos, cambios de marca). Para esos casos sirve más el pretest cualitativo o el panel sintético.
Errores comunes
Detener el test antes de alcanzar significancia y declarar ganador. Probar variaciones tan parecidas que no podrían generar diferencia real. Hacer 10 cambios a la vez y atribuir el resultado a uno solo.