ABテストと仮設検定

AB Test with Hypotest

お品書き

1. AB Testおさらい
2. Hypothesis Testing: 仮説検定
3. よくある仮説検定の紹介

AB Test

AB Test

• 2デザイン間でのコンバージョン率等を比較する
• 最も初歩的な方法は、標本平均を比較する

$\text{Conversion Rate} = \frac{\text{Number of Conversions}}{\text{Number of Visitors}}$

Example

1. 2つのデザインA, Bのクリック率を比較する

   • A: $1000$ visitors, $100$ clicks
   • B: $1000$ visitors, $120$ clicks

2. 標本平均を比較する

   • A: $0.1 = 10\%$
   • B: $0.12 = 12\%$

3. よって、デザインBの方がCVRが高いと言える

Question

• その結論は正しいか？
• どの程度の確信度でその結論を出したのか？
• （統計的には）上記の結論は出せない

ハイパー補足タイム

• $\text{CVR}_A = \text{CVR}_B$とすると

$$\begin{align*} \bar{p} &= \frac{100 + 120}{1000 + 1000} = 0.11 \\ Z &= \frac{\bar{X}_A - \bar{X}_B}{\sqrt{(\frac{1}{n_A} + \frac{1}{n_B}) \bar{p} (1 - \bar{p})}} \\ &= \frac{0.1 - 0.12}{\sqrt{(\frac{1}{1000} + \frac{1}{1000}) \times 0.11 \times 0.89}} \\ &\approx -1.43 \rightarrow p = 0.153 \end{align*}$$

Hypothesis Testing

Hypothesis Testing

• ある仮説が正しいかどうかを観測値を元に統計的に検証する方法
• 例：あるコインが公正なコインかどうかを検証するために、コインを何回か投げて結果を観測する

How to

1. 検証したい仮説を立てる($H_1$)
2. その仮説の逆を仮定する($H_0$)
3. その仮定のもとで、観測した結果がどの程度の確率で発生するかを計算する($p$値) ※1
4. もし$p$値がとても低い場合、$H_0$が間違っていると判断する ※2
5. その場合、$H_1$が正しいと結論づけられる

注釈

1. $p$値は正確には「観測値またはそれより極端な値が$H_0$のもとで発生する確率」
2. 「$p$値がとても低い場合」とは、有意水準$\alpha$よりも低い場合を指す、一般的に$\alpha=0.05$または$0.01$が使われる。

Example 1

あるコインがイカサマコインであるか検証したい

• $H_0$: このコインは公正なコインである -> 表の確率は50%
• $H_1$: このコインはイカサマコインである -> 表の確率は50%ではない
• 観測値: コインを$20$回投げた結果、表が$15$回出た

Example 2

• $H_0$のもとで、表が$x$回出る確率は以下のようになる

Example 3

• 表が$15$回以上または$5$回以下出る確率を計算する
• これは「表が$15$回出る確率」から「表が$5$回出る確率」までの確率を足し合わせることで計算できる(グラフの赤い部分)

Example 4

• パワーで計算してもおk

$P(\text{表が15回以上または5回以下}) = P(\text{表が15回}) + P(\text{表が16回}) + \cdots + P(\text{表が20回}) + P(\text{表が5回}) + \cdots + P(\text{表が0回})$ $= \binom{20}{15} \left(\frac{1}{2}\right)^{15} \left(\frac{1}{2}\right)^{5} + \cdots + \binom{20}{20} \left(\frac{1}{2}\right)^{20} + \binom{20}{5} \left(\frac{1}{2}\right)^{5} \left(\frac{1}{2}\right)^{15} + \cdots + \binom{20}{0} \left(\frac{1}{2}\right)^{0} \left(\frac{1}{2}\right)^{20}$ $= 0.041$

Example 5

• $p$値が$0.041$となった
• $5\%$以下と低いので仮説が間違っていると判断する
• よって$H_0$を棄却し$H_1$が正しいする

→ このコインはイカサマコインである

ハイパー補足タイム

両側検定 vs 片側検定

• 両側検定ではCVRが特定の値ドンピシャであるかどうかを検証する
• 片側検定ではCVRが特定の値より高いか低いかを検証する
• $p\leq0.5$ の場合は左図、$p\geq0.5$ の場合は右図の確率を計算する

Hypothesis Testing for AB Test

コインの裏表のように、AB Testでも仮説検定を行なうことができる

• $H_0$: 新デザインのCVRは$x$%である
• $H_1$: 新デザインのCVRは$x$%より高い
• $p$値: $H_0$のもとで観測されたクリック数またはそれ以上が観測される確率

Hypothesis Testing for AB Test + 1

デザイン間で仮説検定を行なうこともできる

• $H_0$: デザインAとデザインBのCVRは等しい
• $H_1$: デザインAとデザインBのCVRは異なる
• $p$値: $\text{CVR}_A$と$\text{CVR}_B$の差を計算し、その差が観測される確率(正規分布)

よくある仮説検定

よくある仮説検定

• 二項検定 ← 今やったやつ
• フィッシャーの正確確率検定
• $\chi^2$検定
• $t$検定
• ウィルコクソンの順位和検定
• $F$検定

いくつか紹介する

二項検定

• CVRなどの「成功」か「失敗」の2値データに対して使われる
• 例：あるデザインのCVRが$0.1$であるかどうかを検証する

$\chi^2$検定

• 二項検定と同じ目的で使われる
• サンプル数が十分に大きい場合に使用する、概ね $30\leq n$

$t$検定

• 連続値データにも使える
• 平均値の差を検証する
• 例：あるデザインの平均滞在時間が$10$秒であるかどうかを検証する
• データに対応がある場合、対応のある$t$検定を使う

まとめ

まとめ

• 単純な分析だと思わぬ落とし穴がある
• 意思決定には統計的な根拠を持たせよう
• 仮説検定はそのための有力なツール

おまけ

なぜエンジニアにこんな知識が必要なのか

• 主観性を排除する
• PDCAを高速に回す
• ユーザーデータの利用に最適化したシステム、DB設計ができる
• (詳しくは今度)設計者の知識を取り込んだ分析ができる

---

次回は ベイズ統計学でABテストを考える をお送りします（難しいです）