اختبار A/B وعرض الـ Capstone
يغطّي هذا الدرس اختبار A/B باستخدام PostHog والتحضير لعرض الـ capstone.
مثل مطعم يختبر طبقين مع الزبائن قبل إضافتهما للقائمة — يجرّب اختبار A/B نسختين على مستخدمين حقيقيين قبل تقرير ما سيُطلَق.
- p-value
- احتمال أن تكون نتيجة الاختبار ناتجة عن الصدفة. القيمة p < 0.05 تعني أقلّ من 5% احتمال نتيجة إيجابية خاطئة.
- مشكلة الاختلاس (Peeking problem)
- إيقاف اختبار مبكرًا بمجرّد أن p < 0.05 — يضخّم النتائج الإيجابية الخاطئة.
- MDE
- Minimum Detectable Effect — أصغر ارتفاع يقدر الاختبار على اكتشافه.
- تأثير الحداثة (Novelty effect)
- استجابة متزايدة لتغيير جديد تتلاشى مع الوقت — ليست بالضرورة تحسّنًا حقيقيًّا.
