www.m3tech.blog

この数字、成果にできますか? ABテストの落とし穴を公開データで確かめる全5問

こんにちは。AI・機械学習チームの高田です。 施策の効果検証では、発生頻度の低いイベントをKPIに置くことがあります。母数が小さいぶん、集計定義のちょっとした違いで数字が動きやすくなります。「test群が勝っています」と報告を受けたとき、その数字をどこまで信じてよいのか。判断に使う観点を一度整理しておきたいと考えていました。