A/Bテストでは、テスト対象サービスの全ユーザーを現行施策適用ユーザーと新規施策適用ユーザーに分け、一定期間の観測結果でKPIに有意差が現れるか計測します。
これ良くなかった気がする。新規施策(新規機能)であることがユーザーの選好に影響するので、新規施策Aと新規施策Bでテストしないといけない。みたいなのをどこかで見た気がする。
探すとまあそういう情報は出てくる(「既存のUIと新しいUIのABテストでは、既存が有利になりがち」)。
A/Bテストでは、テスト対象サービスの全ユーザーを現行施策適用ユーザーと新規施策適用ユーザーに分け、一定期間の観測結果でKPIに有意差が現れるか計測します。
これ良くなかった気がする。新規施策(新規機能)であることがユーザーの選好に影響するので、新規施策Aと新規施策Bでテストしないといけない。みたいなのをどこかで見た気がする。
探すとまあそういう情報は出てくる(「既存のUIと新しいUIのABテストでは、既存が有利になりがち」)。
既存のUIと新しいUIのABテストでは、既存が有利になりがち