“Me considero una fan de la cocina, por lo que hace un tiempo decidí hacer mi propia página web y compartir mis recetas pero quería ir más allá y abrí mi propio canal de cocina para que los usuarios se suscriban y seguir compartiendo recetas pero monetizando el contenido, pero con el tiempo he visto que cada día recibo menos visitas y la tasa de conversión (CR) estaba disminuyendo notablemente, el motivo no lo sé exactamente por lo que he decidido hacer una nueva página cambiando el diseño pero con el mismo contenido y probar si con esta nueva versión consigo captar más usuarios”.
El caso anterior es hipotético, pero asumiendo que es una realidad: ¿Cómo puedo hacer el cambio de página de una manera controlada y comprobar si la nueva página es mejor que la anterior? Básicamente quiero evitar cometer un error al cambiar de página sin estar completamente segura y que el resultado sea aún peor del que tengo ahora, es aquí cuando entra en juego un tipo de test que se conoce como A/B Testing y es muy utilizado en el mundo de marketing para probar la efectividad de algún cambio que se desea realizar en una página web.
Cuando se comienza a realizar este tipo de test se parte de 2 hipótesis, la hipótesis nula (H0) la cual se trata de anular o rechazar en favor de la hipótesis alternativa (H1). Pero ¿cómo se puede interpretar la hipótesis nula y la alternativa en este caso?, sería de la siguiente manera:
H0: La nueva versión no es mejor o inclusive peor que la versión anterior.
H1: La nueva versión es mejor que la versión anterior.
Para comprobar las hipótesis se utilizan métricas o indicadores claves de rendimiento (KPI), con los cuales vamos a medir el desempeño o el resultado obtenido de cada página al hacer el test, en nuestro caso el KPI a medir es el CR, y ¿qué es el CR?
CR = es el número de usuarios que realizan una suscripción a mi canal de cocina entre el total de usuarios únicos que la han visitado.
Una vez establecidas las hipótesis se comienza con las pruebas, se establecen 2 grupos de usuarios, uno de ellos es el grupo de control al cual se le mostrará la página actual y el grupo de experimento el cual verá la nueva página, y en base al resultado en la tasa de conversión para cada grupo se tomará una decisión.
Ahora ¿cómo se aplica toda esta teoría en la práctica?, es decir ¿cómo se ejecuta el A/B Testing en realidad?, actualmente en el mercado existen herramientas que permiten hacer este tipo de test muy fácilmente, otra manera es utilizando algoritmos de Machine Learning, por ejemplo aplicando un algoritmo de Regresión Logística.
Antes de aplicar un modelo de regresión logística hay que identificar las variables de entradas o independientes (x) ya sean cuantitativas o categóricas, y en base a las variables de entrada se predice una variable salida o dependiente con 2 posibles valores (0 ó 1). Un ejemplo de variables de entrada pueden ser el grupo de prueba, país, edad de los participantes o cualquier otra variable significativa que pueda influir en el resultado, y la variable a predecir en nuestro caso sería convierte o no convierte (1 ó 0).
Una vez aplicado y ajustado el modelo de regresión logística, se puede analizar el resultado contrastando con la hipótesis nula, esta misma se puede aceptar o rechazar en favor de la hipótesis alternativa, el cual sería nuestro objetivo ya que queremos cambiar de página con la finalidad de aumentar la tasa de conversión.
Existen varias inconvenientes al aplicar una prueba A/B, por ejemplo que el periodo de tiempo en que se hizo la prueba fue muy corto y no se obtuvo un resultado significativo o que se interrumpa el proceso de la prueba sin ningún motivo, esto puede alterar el resultado obteniendo FP (falsos positivos) o FN (falsos negativos).
Otro motivo puede ser que los grupo de control y experimento sean muy pequeños, es imprescindible hacer el test a una muestra suficientemente significativa que permita obtener resultados válidos. Adicionalmente hay que tener en cuenta dos posibles obstáculos con los grupos de control y experimento:
- Aversión al cambio, existen usuarios que rechacen el cambio por lo que pueda dar una opinión sesgada de la página actual.
- Efecto novedad, al contrario del anterior son usuarios que están a favor del cambio por lo que dan una opinión favorecedora de la nueva página web, sin tener en cuenta que la nueva página web puede ser peor que la actual.
También es importante establecer consistencia entre los grupos de control y experimento, un desequilibrio en la población de cada grupo puede conducir situaciones como la Paradoja de Simpson. La Paradoja de Simpson es cuando los grupos muestran una tendencia pero al agruparlos o combinarlos muestra una tendencia contraria.
Es necesario tener en cuenta que la prueba de A/B no aplica a cualquier cambio que se quiera realizar, se puede utilizar este tipo de prueba para probar una nueva función, una nueva página web, cambios de diseños y colores.
Por último es recomendable tener en cuenta otras métricas, a la hora de tomar la decisión de cambiar la página o no, que no solamente se base en la tasa de conversión, se puede dar el caso que al cambiar la página incremente el CR pero los ingresos disminuyan o que el porcentaje de usuarios que se dan de baja aumente perjudicando el porcentaje de retención.
Imagen: unsplash | @halgatewood
Analista de Datos en Keepler Data Tech. "What I love about my profession is to explore the data, analyze them and then present them in an easy and friendly way to interpret them, so that useful and strategic information can be obtained, but taking care of the design and the way to show them."
0 comentarios