ABテスト 実践編

ABテストの分析方法【カイ二乗検定】

ABテストを行ってみると、Aの方が良いのか、Bの方が良いのか、甲乙つけがたい結果を得ることが多々あります。本コラムでは、ABテストの結果の信ぴょう性を、偶然率と優位性をもとに判定する計算式「カイ二条検定」について、実際のやり方を詳しく解説します。

【目次】
1.数値の解釈
2.カイ二乗検定とは?
3.カイ二乗検定の事例・手順
4.簡易ツールのご紹介
5.まとめ

1.数値の解釈

先日、パートナー企業様との打合せ中、

「ABテストの結果(数値)ってどうやって解釈しているんですか?」
「キャッチコピーのABテストで、CVRが0.03%(←曖昧な結果)上回った方を採用されたことがあって…」

という質問をいただきました。

さて、この判断は正しかったのか?
皆さんならどうやって解釈しますか?

仕事上、色々な前提条件が伴う「数値」と接するのですが、正直に申し上げますと「伝えたいことありき」の集計・アウトプットになっている資料を目にする機会が少なくありません。

決して穿った見方をしているのではなく、事実確認をすると「それ」とわかってしまうケースがあります。

事業成長に直結する「施策」を選択するためには、事業成長に直結する「数値」を読み解き、正しく解釈する力が必要です。

2.カイ二乗検定とは?

先ほどの

「ABテストの結果をどうやって解釈しているのか?」
「信ぴょう性をどうやって確認しているのか?」

という質問に対して、
「カイ二乗検定(カイにじょうけんてい)」を利用しています!と回答しました。

【カイ二乗検定とは?】

ネットで調べてみると、「独立性」「分布」「自由度」「帰無仮説」「p値」などなど、聞きなれない言葉がオンパレードかと思います。加えて、見るからに難しそうな計算式まで登場するので、きっと頭がパニックになることかと思います。(筆者もそうでした汗)

すごくざっくり説明すると、
ABテストの結果(数値)の信ぴょう性を、『偶然率』と『優位性』をもとに確認する計算式のことです。

● 偶然率:
 偶然得られた結果なのか?(今回たまたま得られた結果なのか?)

● 優位性:
 意味のある統計結果なのか?(何度やっても同じ結果が得られるのか?)

ABテストの結果を統計的に判定できる便利な計算式、とだけ覚えていただければOKです。

3.カイ二乗検定の事例・手順

では、どのようにして「カイ二乗検定」を行うのか?
大まかな手順は、以下の通りです。

▼ STEP1)
 『実測値』の算出

▼ STEP2)
 『期待値』の算出

▼ STEP3)
 『偶然率』と『優位性』の判定

それでは、実際の事例を用いて、具体的に確認してみましょう。

【STEP1】実測値の算出

『実測値』とは、ABテストで得られた結果(実際の数値)のことです。
下の図をご覧ください。

まず始めに、
 ● クリエイティブAとBそれぞれのCVRを算出します。

AのCVR
 = 実際の購入者143 ÷ 実際の訪問数40,001 = 0.36%

BのCVR
 = 実際の購入者89 ÷ 実際の訪問数41,301 = 0.22%

クリエイティブAとBで0.14%の差が生じているわけですが、この差は信用できるのか?偶然なのか?を確認できるのが「カイ二乗検定」です。

次に

● AとBを合算したCVRを算出します
 ➡ 実際の購入者232 ÷ 実際の訪問数81,302 = 0.29%

● 非購入率も算出します
 ➡ 100% - 実際の購入率0.29% = 99.71%

【STEP2】期待値の算出

『期待値』とは、AとBに差がないと期待した際の数値のことです。
下の図をご覧ください。

AとB、それぞれの非購入者と購入者の『期待値』を算出します。

● Aの非購入者の期待値
 = 実際の訪問者40,001 × 非購入率 = 39,887 となり、

● Aの購入者の期待値
 = 実際の訪問者40,001 × CVR = 114 となります。

※非購入率は四捨五入前の「99.7146441661952%」で計算し、CVRは四捨五入前の「0.2853558338048%」で計算しています。そのため、図上にある四捨五入後の「99.71%」と「0.29%」を使ってお手元で計算すると数字が合わない方もいらっしゃるかと思いますが、Excelを利用すれば問題なく算出できるのでご安心ください。

 ● Aと同様に、Bの非購入者と購入者の『期待値』を算出します。

ここで、Aの購入者に注目してください。

① 【実測値】143
② 【期待値】114

29件の差が生じているわけですが、この数値が「ABテストの差として信用できるのか?」それとも「偶然発生したのか?」を判定するのが『偶然率』です。

【STEP3】偶然率と優位性の判定

ここで、Excelの「CHISQ.TEST」関数の登場です。(※下図参照)

実測値範囲と期待値範囲を指定します。

● 実測値範囲:
 実測値の、ABそれぞれの非購入者と購入者

● 期待値範囲:
 期待値の、ABそれぞれの非購入者と購入者

これにより、「カイ二乗検定」を行い、29件の偶然率を測定します。

➡ 一般的に、偶然率が5%未満であれば、優位性あり(信用できる意味のある統計結果)
➡ 反対に、偶然率が5%以上であれば、優位性なし(たまたま起こった偶然の結果)

と判定します。

今回の事例では、『偶然率』が0.01%となり、「5%」より小さい数値が導き出されたので、

 ● クリエイティブAとBのCVRの差は信用できる(優位性あり)

と判断できます。

テスト対象のCVRの差が、なんとなく大きく見える場合でも、計算してみると『偶然率』が10%、20%というケースも珍しくありません。

表面的な数値で感覚的に判断するのではなく、統計的に計算して正しく判断することを心掛けてみてはいかがでしょうか?

慣れるまでは面倒に感じますが、意外と簡単です。ぜひ、実践してみてください。

4.カイ二乗検定ツールのご紹介

独自開発した「カイ二乗検定」の簡易ツールを公開しております。優位性の判定にご利用ください。
※現在は無償でご利用いただけます。

※ 各項目を入力し、検証ボタンをクリックしてください

検証名 インプレッション数 コンバージョン数

※本ツールは、弊社IBFが試験的に開発したパイロット版です。
 皆さまのご意見をもとに、適宜改良させていただく予定です。

5.まとめ

いかがでしたか?最後に、ポイントを整理します。

  • ABテストをしてみると、曖昧なテスト結果が出ることが少なくない。
  • 結果(数値)の信ぴょう性を、統計的に判定できるのが「カイ二乗検定」。
  • まずは、『実測値』と『期待値』を算出する。
  • その後、Excelの「CHISQ.TEST」関数を利用して、『偶然率』と『優位性』を判定する。
  • 『偶然率』が5%未満であれば、『優位性』あり(信用できる意味のある統計結果)と判断する。

以上となります。


ご案内

最後までお読みくださり、ありがとうございました。弊社では、広告運用や成果報酬型ABテストなど、各企業様の課題に応じたWebマーケティングの施策をカスタマイズでご提案できます。また、弊社内で蓄積・体系化されたノウハウを活用した体制・仕組みづくりまで、総合的なご支援が可能です。お悩み・ご相談などございましたら、お気軽にご相談ください。

▼ ABテストに関するセミナー動画を無料配信中です!

※詳細コンテンツはこちらをクリックしてください。

▼ Web広告のマネジメントに関するセミナー動画を無料配信中です!

※詳細コンテンツはこちらをクリックしてください。

ABテストの方法【メルマガ編】前のページ

”売上”を大きく左右する「Webページ読み込み速度・表示速度」次のページ

関連記事

  1. ABテスト 実践編

    ABテストの方法【LP(ランディングページ編)】

    「誰に」「何を」「どうやって」自社の製品・サービスの魅力を伝え、利用…

  2. ABテスト 基本編

    今さら聞けない!「ABテスト」

    ネット事業を活用する企業にとって「サイト改善」は永遠のテーマ。なかで…

  3. ABテスト 実践編

    ABテストの方法【バナー広告:オーディエンス設定編】

    「誰に」「何を」「どうやって」自社の製品・サービスの魅力を伝え、利用…

  4. ABテスト 事例編

    ABテストの事例【CTA:購入ボタンの色編】

    今回ご紹介する事例は、LPで使用する「購入ボタンの色」の検証です。L…

  5. ABテスト 実践編

    ABテストの方法【Google:リスティング広告編】

    「誰に」「何を」「どうやって」自社の製品・サービスの魅力を伝え、利用…

  6. サイト改善

    ”売上”を大きく左右する「Webページ読み込み速度・表示速度」

    SEO対策だけではなく、サイトのCVRを改善するためには、「Webペ…

おススメのコラム

  1. 今さら聞けない!「ABテスト」
  2. ABテストの進め方・やり方_概要編
  3. ABテストの分析方法【カイ二乗検定】
  4. ”売上”を大きく左右する「Webページ読み込み速度・表示速度…
  5. ABテストの事例【CTA:購入ボタンの色編】

書籍のご案内

ECの総合支援サービス『ECフルポート』

PAGE TOP