t_wの輪郭

Feedlyでフォローするボタン
A/Bテスト新規機能『DMMの検索に機械学習を導入して、A/B テストで圧勝した考え方』

あれ

2022/7/23 9:28:00

A/Bテストでは、テスト対象サービスの全ユーザーを現行施策適用ユーザーと新規施策適用ユーザーに分け、一定期間の観測結果でKPIに有意差が現れるか計測します。

これ良くなかった気がする。新規施策(新規機能)であることがユーザーの選好に影響するので、新規施策Aと新規施策Bでテストしないといけない。みたいなのをどこかで見た気がする。

探すとまあそういう情報は出てくる(「既存のUIと新しいUIのABテストでは、既存が有利になりがち」)。

「既存のUIと新しいUIのABテストでは、既存が有利になりがち」