A/B Testing et Capstone Demo
Cette leçon couvre l'A/B testing avec PostHog et la préparation du capstone demo.
Comme un restaurant qui teste deux plats auprès de ses clients avant de les ajouter à la carte — un test A/B essaie deux versions sur de vrais utilisateurs avant de décider ce qu'on envoie en production.
- p-value
- La probabilité que le résultat du test soit dû au hasard. p < 0.05 signifie moins de 5% de chances d'un faux positif.
- Peeking problem
- Arrêter un test trop tôt dès que p < 0.05 — ça gonfle les faux positifs.
- MDE
- Minimum Detectable Effect — le plus petit lift que le test est capable de détecter.
- Novelty effect
- Une réaction amplifiée à un nouveau changement qui s'estompe avec le temps — pas forcément une vraie amélioration.
