¿Nos enfrentamos correctamente a los datos cuando tomamos decisiones? Y la respuesta normalmente suele ser NO. Y por eso, tuvimos con nosotros a Sergio Alonso.
Yo tuve a Sergio Alonso de profe en el curso de Product Manager en The Hero Camp y sus clases me parecieron fabulosas, y así lo fue también la sesión que tuvimos con él sobre el análisis de datos en la toma de decisiones. Sin duda, merece la pena que veáis el webinar completo ya que nos hizo un ejemplo de diseño, medición y test A/B en amplitude ¡No te lo puedes perder!
Muchos de los CEOs incluso cualquiera de nosotros ha caído, a la hora de definir una métrica, en que ésta sea vanidosa (ej. Número de descargas en los markets), sin embargo, hay que tener cuidado, ya que, aunque nos hacen grande el ego no reflejan el estado del negocio, por ello, debemos decantarnos siempre por métricas accionables (ej. Tasa de conversión). Además de métricas accionables, necesitamos cuantos más datos cuantitativos mejor, los que responden a números y son objetivos. Sin olvidarnos por último de los datos cualitativos. Esta increíble combinación de métricas accionables, datos cuantitativos y cualitativos nos hacen mejorar los desarrollos y sacar nuevas funcionalidades “customer centric”, porque vemos que hay un problema (con números) y podemos preguntar porqué (datos cualitativos).
Por otro lado, nuestras métricas deben cumplir 3 características:
- COMPRENSIBLES: Deben ser útiles y una herramienta de comunicación intra compañía.
- COMPARABLES: Porque te permiten marcar objetivos y tener referencias comparadas en el tiempo para saber si vas por buen camino o no.
- ACCIONABLES: sólo valen accionable, nada de vanidosas, ya que termiten sacar alguna acción clara para mejorar la métrica si algo no va bien.
Principales errores cuando queremos medir y que no hay que cometer
- Tener demasiados datos: Como dice el dicho, “quien mucho abarca, poco aprieta” No debemos caer en el error de querer medir absolutamente todo ya que esto se traduce en dificultad para gestionar todos esos datos y sacar conclusiones y produce la famosa parálisis por análisis.
- Sugestionar resultados: No hay que buscar y rebuscar en los datos resultados preconcebidos, sino que hay que analizar los datos de forma objetiva ya que si no sabemos cuestionar lo que estamos viendo inevitablemente nos llevará a tomar decisiones equivocadas.
Diseño de experimento A/B
Llegados a este punto, Sergio nos hizo partícipe de un caso práctico basado en el diseño de experimento A/B. Los experimentos A/B nos permiten entender que mejoras vamos a realizar en nuestro producto para poder garantizar la mejor experiencia a nuestros usuarios.
¿Cómo se utilizan? La metodología a seguir, nos la explicó Sergio así de fácil:
- Identificar y especificar el problema que se quiere resolver: Definir en una frase cuál es el problema que hemos identificado observando los datos.
- Generar hipótesis para obtener el resultado deseado: Una vez tenemos definido el problema, tenemos que buscar posibles soluciones a través de hipótesis que se pueden testear. Lo ideal es:
- Ser capaces de sacar 2-3 hipótesis distintas para cada problema que hayamos identificado
- Juntar a equipos de distintos departamentos y trabajar conjuntamente para la definición de esas hipótesis (cada departamento tiene sus propios datos)
- Priorizar las hipótesis a través de la metodología ICE Score (Impact, Confidence y Ease, numeradas del 1-10). Una vez priorizadas, hay que formular la hipótesis.
- (LA MÁS IMPORTANTE) Determinar las métricas de éxito, de abandono, significancia estadística y tamaño de la muestra.
- Ejecutar y lanzar los test AB. En este sentido, hay herramientas o plataformas para ello, la que más nos gustan son Amplitude y Optimizely. ¡Mira el webinar que Sergio nos hizo una prueba con ellas).
- Analizar y documentar los resultados (¡No se te olvide, que puede ahorrar a tu equipo tiempo en el futuro!)
Aquí os dejamos la plantilla que compartió Sergio, y que queremos que os ayude.
Si quieres ver el caso práctico que nos planteó Sergio y su sesión para dummies de Amplitude y de Optimizely te recomendamos que veas completo el webinar que no tiene desperdicio.
Y no olvides, que medir tu producto te permite tomar decisiones más inteligentes y llegar a ellas de una forma más fácil con el objetivo de mejorar la experiencia y uso de tus usuarios.
Sara Muñoz Yela: Sara Muñoz Yela
Fellow Researcher en The Hero Camp
