A/B Testing ו-Capstone Demo
שיעור זה עוסק ב-A/B testing עם PostHog ובהכנה ל-capstone demo.
כמו שמסעדה מנסה שני מנות על קהל לפני שמוסיפה לתפריט — A/B test בודק שתי גרסאות על משתמשים אמיתיים לפני שמחליטים מה לשלוח.
- p-value
- הסבירות שתוצאת הtest היתה אקראית. p < 0.05 = פחות מ-5% סיכוי לfalse positive
- Peeking problem
- עצירה מוקדמת של test כשp < 0.05 — מנפחת false positives
- MDE
- Minimum Detectable Effect — הlift הקטן ביותר שהtest מסוגל לגלות
- Novelty effect
- תגובה מוגברת לשינוי חדש שדועכת עם הזמן — לא בהכרח שיפור אמיתי
