Introducción al test A/B y Multivariado (Parte 1)

by Fabio Devin in Estadística

Un verdadero diseñador o desarrollador de Experiencia de Usuario se caracteriza fundamentalmente por una cosa: la capacidad de testear sus premisas con usuarios y/o stakeholders *. Antes, durante y después del lanzamiento de un producto, servicio, página web, etc.

Para este fin, existen infinidad de técnicas, herramientas, aproximaciones, métodos, etc. Aunque a veces hay diferentes formas de medir algo, por lo general existe UNA forma que es la más adecuada, ya sea por su metodología, o por la claridad de los resultados obtenidos, o por las posibilidades de las que dispongamos.

Ejemplo de disponibilidad: si yo diseño una Experiencia de Usuario para usuarios localizados en Francia y yo estoy en Japón, me va a ser muy difícil usar técnicas de guerrilla testing como por ejemplo Hallmark Testing, aún cuando sepa que esta técnica es la más adecuada para mis fines. Sin embargo, si tengo los medios económicos, puedo contratar a alguien en Francia para que lo haga. O reemplazar este test con otro al cual yo tenga acceso.

Dos ejemplos de los tests más comunes que realizamos en Experiencia de Usuario y HCI, especialmente cuando tratamos con páginas web o apps,  son:

  • A/B Test
  • Test Multivariado

Ambos tests son fáciles de realizar a muy bajo costo y con excelente retornos de información. Debido a su simplicidad y que ambos básicamente comparan un elemento con otro, es muy común que ambas metodologías se confundan, específicamente en el sentido de cuándo usar uno u otro método. Tengamos presente:

A/B Tests y Tests Multivariados no son lo mismo y pueden devolver resultados contradictorios Click To Tweet

Test A/B y cuándo usarlo

Un test A/B es básicamente una comparación de resultados entre dos versiones con diferencias mínimas. Para ser claros: una sola diferencia.

Ejemplos de estas diferencias son: colores, slogans, CTA (Call to Action o Llamados a la Acción), tipografía, layout, etc. Sin embargo, para realizar el test correctamente, sólo se debe modificar un parámetro por vez.

Test A/B y su uso

Dar click en la imagen para tamaño completo

Los tests A/B son muy usados en “landing pages” y marketing por correo electrónico dado que son tipos de acciones de comunicación con mucha dinámica y que pueden modificarse muy rápidamente, permitiéndonos comparaciones múltiples casi inmediatas.

El procedimiento para realizar este test es tan simple como comparar los resultados de dos versiones casi idénticas excepto en un detalle. A partir de esta comparación, podemos definir cuál versión funcionó mejor basándonos en el parámetro que mejor se ajuste a nuestras necesidades, como por ejemplo CTR (click-through ratio, o porcentaje de clics)  o ventas totales. Por ejemplo, si la versión A tiene un CTR de 15% y la versión B tiene un CTR de 25%, la versión B es la mejor para nuestros propósitos. (Pregunta: ¿y qué pasa si el CTR de la versión B es mayor, pero las ventas totales son mayores en la versión A? ¡Respondan en los comentarios!)

Para el fin de estas mediciones, existen herramientas integradas a software especializado, pero dependiendo de nuestras necesidades, podemos tomar los datos desde nuestro servidor, o simplemente usar Google Analytics.

DOs y DON’Ts de los Tests A/B (qué hacer y qué NO hacer)

Qué hacer

  • Siempre debemos medir una sola variable
  • Siempre deberemos trata que los contextos sean tan similares como nos sea posible. Pretender comparar una acción de ventas a principio de mes con otra a finales de mes obviamente va a dar resultados muy distintos (y quizás falsos)
  • Siempre debemos tener en claro qué medir con un test A/B. No existen los tests A/B multi-página o site-wide.
  • Es una buena idea tener un sistema automatizado de generación de versiones A/B, el cual puede ser generado fácilmente con servicios de email como Mailchimp, o incluso creando plantillas especiales con WordPress.
  • El texto y slogans suelen ser de fundamental importancia. No todo es botones y colores.
  • Un test A/B bien realizado puede generar incrementos en ingresos de hasta 3000%. Obviamente, un test mal realizado va a generar que perdamos esa posibilidad y hasta puede causar que perdamos dinero en una campaña mal realizada.
  • Siempre atengámonos a los datos, no importa si nos gustan o no

Qué NO hacer

    • Nunca midamos más de un elemento a la vez
    • Nunca creamos que una versión es definitiva. Una vez que encontremos una versión ganadora, debemos testearla en variedad de contextos.
    • Es preferible evitar versiones largas y complejas en favor de versiones simples y más reducidas.

Nunca confiemos en que nuestros instintos van a ser correctos sí o sí: el propósito de estos tests es confirmar o negar las hipótesis.Debemos evitar tomar los datos como unidimensionales. Los datos superficiales obtenidos en un test A/B pueden esconder otro sub-conjunto de datos que contradigan nuestra primera impresión

*esta palabrita en inglés significa algo así como “partes interesadas” y es de uso cotidiano en UX, por lo que más vale aprenderla

¿Listo para continuar con la segunda parte: tests multivariados?

Tagged with: , , ,