A/B Testing y Capstone Demo
Esta lección aborda las pruebas A/B con PostHog y la preparación del capstone demo.
Como un restaurante que prueba dos platillos con los comensales antes de agregarlos al menú — una prueba A/B prueba dos versiones con usuarios reales antes de decidir qué lanzar.
- p-value
- La probabilidad de que el resultado de la prueba se deba al azar. p < 0.05 significa menos de un 5% de probabilidad de un falso positivo.
- Peeking problem
- Detener una prueba antes de tiempo en cuanto p < 0.05 — infla los falsos positivos.
- MDE
- Minimum Detectable Effect — el lift más pequeño que la prueba es capaz de detectar.
- Novelty effect
- Una reacción más fuerte de lo normal ante un cambio nuevo que se desvanece con el tiempo — no necesariamente una mejora real.
