📊 A/Bテスト計算機

統計的有意差とは、AパターンとBパターンの結果の差が偶然ではなく実際の違いであると統計的に判断できる状態です。一般的にp値が0.05未満（95%信頼度）であれば有意差ありと判断します。

ベースラインCVR、最小検出可能効果（MDE）、有意水準、検出力の4つのパラメータから統計的に算出します。一般的に有意水準5%・検出力80%が使われます。

p値は帰無仮説（AとBに差がない）が正しいと仮定した場合に、観測されたデータ以上に極端な結果が得られる確率です。p値が小さいほど有意差がある可能性が高くなります。

CVR = コンバージョン数 / 訪問者数 × 100（%）で計算します。例えば1000人の訪問者のうち50人がコンバージョンした場合、CVRは5.0%です。

最低1〜2週間の完全なビジネスサイクルを推奨します。十分なサンプルサイズを集めるまでテストを継続し、途中で結果を見て早期終了しないことが統計的に正確な結果を得るコツです。

実際に効果がある場合に、それを統計的に検出できる確率です。一般的には80%が目安とされています。検出力が高いほど必要なサンプルサイズは大きくなりますが、より確実な結果が得られます。

信頼度を上げると必要なサンプルサイズが増えます。一般的に95%から99%に上げると、必要なサンプルサイズは約50%増加します。より確実な結果を求める場合はサンプルサイズを大幅に増やす必要があります。

MDEはビジネス上で「意味のある改善」と判断する最小値です。例えばCVRが2%から2.5%への改善が目標なら、相対改善率25%をMDEに設定します。実務では過去の改善実績を参考に決めることが一般的です。

統計的には「ピークイング問題」が発生し、有意差判定の信頼性が落ちます。事前に必要なサンプルサイズを計算し、その数に達してから有意差を判定することが重要です。途中確認は誤った判定を招きやすいです。

複数のテストを同時実施すると「多重比較問題」が生じ、見かけの有意差が増加します。テスト数が多い場合はボンフェローニ補正などで有意水準を調整する、または各テストの有意水準を厳しくする必要があります。

はい、非常に重要です。テスト期間中のセールイベントや広告キャンペーンは結果を大きく歪めます。できるだけ外部要因が安定した期間を選び、複数の週にまたがるテストを実施することが推奨されます。