Métricas y análisis
Test de creativos que llega a una conclusión
La mayoría de los tests de creativos termina sin respuesta porque cambia dos cosas a la vez o se detiene muy pronto. Cómo armar un test que de verdad decide.
Este artículo también está en: Português · English
La mayor parte de los tests de creativos que corren en cuentas de tráfico pago no produce conocimiento. Produce una sensación de que algo se probó, y un ganador elegido por un número que no aguanta una segunda mirada.
El problema rara vez es falta de rigor estadístico. Son cuatro errores de diseño que se repiten.
Los cuatro errores
Cambiar dos cosas a la vez. La variación B tiene otra imagen y otro titular. Si gana, no sabés qué ganó, y no podés repetirlo.
Frenar al tercer día. Tres días de datos con 11 conversiones no deciden nada. Se suele frenar cuando el resultado se ve bien, que es justo cuando todavía es suerte.
Comparar por CTR. El CTR mide atención. Vos estás pagando por venta. Esas dos cosas suelen ir en direcciones opuestas.
Probar cosas que no cambian nada. Color del botón, tipografía, marco. Aunque una gane, el aprendizaje no se transfiere a la próxima pieza.
El diseño que funciona
Una variable por vez, y que sea grande
Probá el ángulo, no el acabado. El ángulo es lo que la pieza promete y a quién le habla:
| variable | ¿vale probarla? |
|---|---|
| Ángulo (dolor, prueba, precio, objeción) | sí, es lo que más mueve |
| Formato (video, estático, carrusel) | sí |
| Primer segundo del video | sí, decide la retención |
| La oferta en la pieza | sí |
| Color, tipografía, marco | rara vez |
| Posición del logo | no |
Si necesitás una lupa para ver la diferencia entre las variaciones, el test nació sin potencia.
Todo igual menos la variable
Mismo conjunto, mismo público, mismo presupuesto, misma ventana de tiempo. Las campañas separadas parecen más limpias y son peores: cada una entra a la subasta con condiciones propias, y terminás comparando subastas en vez de creativos.
Volumen antes que plazo
No pares por calendario, pará por volumen. La pregunta es: cuántas conversiones más necesitaría la variación perdedora para empatar?
Si la respuesta es "tres", no hay conclusión. Si es "treinta", la hay.
Una regla práctica para quien no quiere calcular significancia: al menos 25 a 30 conversiones por variación, y una diferencia de al menos 20%. Por debajo de eso, declará empate y seguí.
Ciclos de siete días
El martes no es el sábado. Cerrar el test en múltiplos de siete días elimina la distorsión del día de la semana, que es mayor de lo que casi todos suponen.
La métrica de decisión
Decidí por la métrica más cercana al dinero que tenga volumen suficiente en el período del test.
| si tenés | decidí por |
|---|---|
| 30+ ventas por variación | costo por venta |
| 30+ leads calificados | costo por lead calificado |
| solo volumen de leads | CPL, sabiendo que es un proxy débil |
| nada de eso | el test es muy corto, extendelo |
Nunca decidas por CTR cuando haya cualquier métrica de conversión disponible. El creativo de precio casi siempre tiene menos CTR y más calidad; declarar ganador por CTR es elegir sistemáticamente al peor.
Registralo, o el test no ocurrió
Un test sin registro se vuelve un test repetido seis meses después, por quien llegó más tarde.
Con cuatro líneas alcanza:
TEST 14/10 → 28/10
Hipótesis el testimonio en video le gana al estático de precio en costo por venta
Variaciones A: estático precio · B: video testimonio 20s
Resultado A $740/venta (22 ventas) · B $610/venta (31 ventas)
Conclusión Gana B. Pasa a ser el estándar. Próximo: probar testimonio de 10s.
La última línea es la que más vale: todo buen test genera la pregunta siguiente.
Cuándo no vale la pena probar
Volumen demasiado bajo. Con 8 ventas al mes en toda la cuenta, ningún test de creativos va a concluir en tiempo útil. Probá oferta y público, que tienen efectos mayores, o acumulá tres meses por variación.
Un cambio estructural en el medio. Nuevo presupuesto, nuevo evento de optimización, nueva página de destino: cualquiera invalida la comparación. Terminá el test antes, o aceptá que murió.
Presión por resultado inmediato. Probar cuesta dinero en el que pierde. Si la cuenta no puede perder nada este mes, no es mes de probar: es mes de correr lo que funciona y planear el test para el siguiente.
El resumen en cuatro reglas
- Una variable por test, y lo bastante grande como para importar.
- Mismo conjunto, mismo público, mismo presupuesto.
- Pará por volumen, en ciclos de siete días, nunca porque el número quedó lindo.
- Decidí por la métrica más cercana al dinero que tenga volumen.
Un test que concluye por mes vale más que cuatro que terminan en "parece que B anduvo mejor".
Para decidir si la pieza actual ya se cansó antes de armar el test, mirá creativo saturado. Para el criterio de presupuesto por pieza, mirá ingresos por creativo.
Preguntas frecuentes
¿Cuántos creativos probar a la vez?
Tres o cuatro variaciones en el mismo conjunto. Más que eso divide la entrega y ninguna junta volumen suficiente para evaluarla antes de fin de mes.
¿Cuánto tiempo dejar corriendo el test?
Hasta que cada variación acumule conversiones suficientes para que la diferencia no sea suerte, o siete días completos, lo que llegue después. Los ciclos semanales evitan el efecto del día de la semana.
¿Puedo probar en campañas separadas?
Preferí el mismo conjunto. Campañas separadas con presupuestos propios introducen diferencias de subasta y de público que contaminan la comparación.
¿Cómo sé si la diferencia es real?
Si a una variación le faltan pocas conversiones para empatar con la otra, no hay conclusión. Diferencias por debajo del 20% con poco volumen casi siempre son ruido.