A/B-тестирование и демонстрация итогового проекта
Этот урок охватывает A/B-тестирование с PostHog и подготовку к демонстрации итогового проекта.
Как ресторан, тестирующий два блюда с посетителями, прежде чем добавить их в меню, — A/B-тест пробует две версии на реальных пользователях, прежде чем решить, что выпускать.
- p-value
- Вероятность того, что результат теста получен случайно. p < 0.05 означает менее 5% вероятности ложноположительного результата.
- Проблема подглядывания (peeking)
- Досрочная остановка теста, как только p < 0.05, — завышает число ложноположительных результатов.
- MDE
- Minimum Detectable Effect — минимальный прирост, который тест способен обнаружить.
- Эффект новизны
- Повышенная реакция на новое изменение, которая со временем угасает, — не обязательно реальное улучшение.
