ABテストとは？今さら聞けない基本の「キ」

２．ABテストって本当に役に立つの？

「ABテスト　意味ない」という検索ワードが月間100回ほど検索されています。(笑)

弊社ではページやバナー、それに広告のタイトルなどを含めれば1万回以上の検証実績があるのですが、そのような経験から、ABテストが役に立つのか？ハッキリと断言できるのは「あなた次第」です！ということです。なぜ、そう言えるのか？具体例と共に、確認していきましょう。

【意味のないABテストとは？】
ABテストとは端的に言えば、事業の売上アップがゴールです。つまり成果が出た時に「どれだけ売上貢献につながるテストを選択しているか？」ということが、とても重要になります。

例えば、
以下の前提条件を持つサイトのABテストを検討してみましょう。(※訪問者の質は考慮しません。)

● 広告表示回数：100,000回
　Ａ）クリック率：0.2％
　Ｂ）訪問者数：200人
　Ｃ）CVR：0.5％
　Ｄ）CV数：1

まず、改善対象のグループ分けをしてみると

● グループ１）
　Ａ～Ｂは広告素材のテストで改善

● グループ２）
　 Ｃ～Ｄはサイトのテストで改善

以上の２つに分類されます。
では、広告素材とサイトのどちらの改善から着手すべきでしょうか？

今回の場合、先に着手すべきは「広告素材」の改善です。
理由は３つあります。

その１）訪問者数200・CV数1では、母数が小さすぎるため、先にサイト改善を行ってもABテストの成果や成功パターンの因果関係を発見しにくいという点があります。

その２）5倍～10倍の改善というインパクトを狙った場合、CVRよりもクリック率の方が現実的なため。

その３）広告素材のテストを行うことで、対象者の興味ポイントが発見できるので、サイト改善にも活用できる。

パターンＡとＢどちらが良いか？の判定が難しいABテストは数多くありますが、ご紹介した例のように意味のあるABテストかどうかは、どのような選択をするか？が非常に重要になります。

３．ABテストの成否の判定方法とは？

実際にABテストを行ってみると甲乙つけがたい結果を得ることが多々あります。
(場合によっては、ドングリの背くらべという寂しい結果も少なくない…。)

例えば、ファーストビューの訴求(キャッチコピー)をテストしたとします。

テスト前）　訪問者5,000　CVR0.70％　CV35
　　↓　
パターンＡ）訪問者2,500　CVR0.92％　CV23
パターンＢ）訪問者2,500　CVR1.00％　CV25

テスト前と比べると合計CVは47件と改善されたので【◎】ですね。
ABテストの結果、CVRはパターンＢが良さそうです。
では、このパターンＢの実力は『本物』と判定して良いのでしょうか？

結論としては、「偶然」という判定となります。なぜ、そのような判定になるのか？
次のテーマで確認していきましょう。

 
【偶然か？を判定する「カイ二乗検定」】

前述のようなテスト結果の時

● 優位性：
　何度やっても同じ結果が得られるのか？

● 偶然率：
　今回、たまたま偶然に良かったのか？

以上を判定してくれる計算方法があります。それが「カイ二乗検定」というものです。

実際には、Googleアナリティクス(GA)の機能を始め、ABテストツールには自動計算してくれることがほとんど
なので必要のない知識かもしれませんが、カイ二乗検定の実際のやり方に興味のある方は別のコラムで詳しく解説していますので、ご確認ください。

※コラム：そのABテスト意味ないかも！カイ二乗検定で「優位性」を判断する方法をわかりやすく解説

ABテストの結果が曖昧な結果な時は、優位性・偶然率を導き出して判定できる。ということを覚えておいてくださいね。

４．まとめ

いかがでしたか？最後に、ポイントを整理します。

• ABテストは、Webマーケに活用する全ての文字・クリエイティブを対象にしても良い。
• ただし、最終ゴールは事業売上アップ。ABテストをすることが主目的になってはいけない。
• そのためには、意味のあるABテストを選択する。順序を間違えない。
• 曖昧なテスト結果が出ることは少なくない。
• テスト結果の成否は「カイ二乗検定」で優位性・偶然率を判定してもらう。

以上となります。