ABテストの検証方法<Google採用のカイ二乗検定>

ABテスト

ABテストの検証方法<Google採用のカイ二乗検定>

ABテストを行ってみると、Aの方が良いのか?Bの方が良いのか?甲乙つけがたい結果を得ることが多々あります。本コラムでは、ABテストの結果の信ぴょう性を、偶然率と優位性をもとに判定する計算式『カイ二乗検定』について、実際のやり方を詳しく解説します。

【目次】
1.数値の解釈
2.カイ二乗検定とは?
3.事例・手順
4.優位性が「ない」場合はどうすれば…?
5.まとめ

1.数値の解釈

数値の解釈

先日、パートナー企業様との打合せ中、

「ABテストの結果(数値)ってどうやって解釈しているんですか?」
「キャッチコピーのABテストで、CVRが0.03%(←曖昧な結果)上回った方を採用されたことがあって…」

という質問をいただきました。

さて、この判断は正しかったのか?
皆さんならどうやって解釈しますか?

仕事上、様々な前提条件が伴う「数値」と接するのですが、
正直に申し上げますと「伝えたいことありき」の集計・アウトプットになっている資料を目にする機会が少なくありません。

決して穿った見方をしているのではなく、事実確認をすると「それ」とわかってしまうケースがあります。

事業成長に直結する「施策」を選択するためには、
事業成長に直結する「数値」を読み解き、正しく解釈する力が必要です。

2.カイ二乗検定とは?

カイ二乗検定とは?

先ほどの
「ABテストの結果をどうやって解釈しているのか?」
「信ぴょう性をどうやって確認しているのか?」

という質問に対して、
『カイ二乗検定(カイにじょうけんてい)』を利用しています!と回答しました。

 

【カイ二乗検定とは?】
ネットで調べてみると、「独立性」「分布」「自由度」「帰無仮説」「p値」などなど…。
聞きなれない言葉のオンパレードで、頭がパニックになることかと思います。

ものすごくざっくり説明すると、
ABテストの結果(数値)の信ぴょう性を、『偶然率』と『優位性』をもとに判定する計算式のことです。

● 偶然率:
 偶然得られた結果なのか?(今回たまたま得られた結果なのか?)

● 優位性:
 意味のある統計結果なのか?(何度やっても同じ結果が得られるのか?)

ABテストの結果を統計的に判定できる便利な計算式、とだけ覚えておけばOKです。

3.事例・手順

事例・手順

では、どのようにして『カイ二乗検定』を行うのか?
大まかな手順は、以下の通りです。

▼ STEP1)
 『実測値』の算出

▼ STEP2)
 『期待値』の算出

▼ STEP3)
 『偶然率』と『優位性』の判定

それでは、実例を用いて、具体的に確認していきましょう。

 

【STEP1】実測値の算出
『実測値』とは、ABテストで得られた結果(実際の数値)のことです。(※下図参照)

実測値の計算

まず始めに、クリエイティブAとBそれぞれの「CVR」を算出します。(※赤色塗りつぶし箇所)

● Aの「CVR」 = 実際の「購入者」143 ÷ 実際の「訪問数」40,001 = 0.36%
● Bの「CVR」 = 実際の「購入者」89 ÷ 実際の「訪問数」41,301 = 0.22%

クリエイティブAとBの「CVR」を比較すると「Aの方が良さそうだ!」となるわけですが、
「この差(0.14%)が本当に信用できるのか?」を判定するのが『カイ二乗検定』です。

次、にAとBを合算した際の「CVR」と「非購入率」を算出します。(※青色塗りつぶし箇所)

● AとBを合算した際の「CVR」 = 実際の「購入者」232 ÷ 実際の「訪問数」81,302 = 0.29%
● 〃      「非購入率」 = 100% - 実際の「購入率(CVR)」0.29% = 99.71%

 

【STEP2】期待値の算出
『期待値』とは、AとBに差がないと期待した際の数値のことです。(※下図参照)

期待値の計算

Aについて、以下の『期待値』を算出します。(※緑色塗りつぶし箇所)

● 「非購入者」 = 実際の「訪問者」40,001 × 「非購入率」99.71%* = 39,887
● 「購入者」 = 実際の「訪問者」40,001 × 「CVR」0.29%* = 114

同様に、Bの『期待値』を算出します。(※黄色塗りつぶし箇所)

● 「非購入者」 = 実際の「訪問者」41,301 × 「非購入率」99.71%* = 41,183
● 「購入者」 = 実際の「訪問者」41,301 × 「CVR」0.29%* = 118

*補足:「非購入率」は四捨五入前の【99.7146441661952%】で計算し、「CVR」は四捨五入前の【0.2853558338048%】で計算しています。そのため、図にある四捨五入後の【99.71%】と【0.29%】を使ってお手元で計算すると数字が合わないと思いますが、Excelを利用すれば図と同じ値が算出されるはずです。

ここで、A・Bそれぞれの『実測値』と『期待値』を見比べてみると、
「購入者」も「非購入者」どちらも29件の「差」が生まれていることに気づきます。

この差が「ABテストの差として信用できるのか?」それとも「偶然発生したのか?」を判定するのが『偶然率』になります。

 

【STEP3】偶然率と優位性の判定
ここで登場するのがExcelの『CHISQ.TEST関数』です。(※下図参照)

CHISQ.TEST関数

実測値範囲と期待値範囲を指定します。

● 実測値範囲:
 『実測値』の、ABそれぞれの「非購入者」と「購入者」(※青色塗りつぶし箇所)

● 期待値範囲:
 『期待値』の、ABそれぞれの「非購入者」と「購入者」(※赤色塗りつぶし箇所)

これにより、『カイ二乗検定』を行い、29件の『偶然率』を判定します。

● 『偶然率』が5%未満であれば、
 ⇒「優位性あり(信用できる意味のある統計結果)」

● 『偶然率』が5%以上であれば、
 ⇒「優位性なし(たまたま起こった偶然の結果)」と判断します。

今回の事例では、『偶然率』が0.01%となり、「5%」より小さい数値が導き出されたので、

● クリエイティブAとBの「CVR」の差は「優位性あり(信用できる)」

と判断できます。

4.優位性が「ない」場合はどうすれば…?

優位性が「ない」場合はどうすれば…?

テスト対象のCVRの差がなんとなく大きく見える場合でも、計算してみると『偶然率』が10%・20%を超える場合、つまり、優位性が「ない」ケースが珍しくありません。

そのようなケースでは、数値が悪いパターンを停止する、という判断になります。
実際の現場では、CVRだけでなく、CTRやCPC、CPOなども含めて総合的に判断すべきですが、
優位性が「ない」場合は、停止すべきクリエイティブを停止する、ということを推奨します。

本来『カイ二乗検定』は、「広告インプレッション数」や「サイト訪問数」などの母数が少ない場合などで起こる「際どい検証結果」の信ぴょう性を判定する際に力を発揮します。

昨今では、Googleを中心とする媒体側のAIによる「配信最適化」や「自動化」が進んでいますが、表面的な数値だけを捉えるのではなく、統計的に計算して「正しく解釈する」ということを、この機会に心掛けてみてはいかがでしょうか?

 

【簡易ツールのご紹介】
弊社が独自開発した『カイ二乗検定』の簡易ツールを公開しています。

各項目を入力し、検証ボタンをクリックしてください。

※項目は、検証内容に合わせて、以下のように柔軟に解釈してください。

 └ 訪問者数:広告インプレッション数、セッション数など

 └ 購入者数:クリック数、申込数など

検証名 訪問者数 購入者数

本コラムでご紹介した実例をもとに優位性を判定すると、以下のようになります。(※下図参照)

慣れるまでは面倒に感じますが、意外と簡単です。ぜひ、利用してみてください。

5.まとめ

まとめ

いかがでしたか?最後に、ポイントを整理します。

  • ABテストをしてみると、曖昧なテスト結果が出ることが少なくない。
  • 結果(数値)の信ぴょう性を統計的に判定できるのが『カイ二乗検定』。
  • まずは、『実測値』と『期待値』を算出する。
  • その後、Excelの『CHISQ.TEST関数』を利用して、『偶然率』と『優位性』を判定する。
  • 『偶然率』が5%未満であれば、『優位性』あり(信用できる意味のある統計結果)と判断する。

以上となります。

GA4の設定~運用に使える『必須マニュアル』販売中

「現GA(UA版)」の廃止が決まり、各社で「GA4」への移行を進めているかと思います。

しかし、レポートの見た目だけでなく、設定や指標が変わった事で、現場からは「悲鳴」にも似た「混乱の声」があがっています…

そこで弊社では「広告運用のプロ」の視点から「GA4で見るべき指標・レポート10選」を整理し、『必須マニュアル』として販売する事にしました。

GA4のレポートに不安を感じている方は、詳細をご確認ください。https://www.ecfs.jp/eckaizenlab/202207whitepaper/

ABテストのやり方<メルマガの改善>ABテストのやり方<メルマガの改善>前のページ

ABテストの事例<50日間でCVR2倍!>次のページABテストの事例<50日間でCVR2倍!>

売上を最大化する広告効果改善サービス『DATAD(データード)』

関連記事

  1. ABテストのやり方<LPの改善>

    ABテスト

    ABテストのやり方<LPの改善>

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  2. ABテストの事例<50日間でCVR2倍!>

    ABテスト

    ABテストの事例<50日間でCVR2倍!>

    今回紹介する検証テーマは、LPで使用する「CTA(申込・購入ボタン)…

  3. ABテストのやり方<バナー検証>

    ABテスト

    ABテストのやり方<バナー検証>

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  4. ABテストのやり方<メルマガの改善>

    ABテスト

    ABテストのやり方<メルマガの改善>

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  5. ABテストのやり方をわかりやすく解説

    ABテスト

    ABテストのやり方をわかりやすく解説

    ABテストを進めるにあたり、スタート地点で最も重視したいのは「伝える…

  6. 【無料ツール】GoogleオプティマイズでABテストをする方法

    ABテスト

    【無料ツール】GoogleオプティマイズでABテストをする方法

    今回ご紹介するABテストツールは『Googleオプティマイズ』です。…

【人気ランキング】今月のアクセス数TOP5

  1. 【2022年5月最新】GA4の初期設定・導入方法を4ステップ…
  2. 【2022年5月最新】Googleタグマネージャー(GTM)…
  3. 【2022年5月最新】GA4でパラメータを設定し、流入経路を…
  4. 【2022年7月最新】Cookie規制の衝撃!「ITP問題」…
  5. 【2022年8月最新】GA4で「流入経路別の成果」を分析する…

【話題】Googleアナリティクス4(GA4)

  1. 【完全ガイド】GA4の導入・移行時にマスターすべき「設定」と…
  2. 【2022年9月最新】GTMを活用!GA4で「イベント」「コ…
  3. 【2022年9月最新】「新規購入」「リピート購入」をGA4で…
  4. 【2022年8月最新】GA4で「ランディングページ別の成果」…
  5. 【2022年8月最新】GA4で「流入経路別の成果」を分析する…

【連載】こんな状態の広告主はヤバい

  1. 【第1回】こんな状態の広告事業主は失敗する!?ヤバい理由とあ…
  2. 【第2回】こんな状態の広告事業主は失敗する!?ヤバい理由とあ…
  3. 【第3回】こんな状態の広告事業主は失敗する!?ヤバい理由とあ…
  4. 【第4回】こんな状態の広告事業主は失敗する!?ヤバい理由とあ…

GA4の設定~運用に使える『必須マニュアル』販売中

デジタル人員を育成できる「広告効果改善サービス」

ECサイト総合支援『ECフルポート』

書籍のご案内

PAGE TOP