ネット事業を活用する企業にとって「サイト改善」は永遠のテーマ。中でも、転換率・CVRの改善は重要テーマの1つですよね。こちらのコラムでは、ABテストをゼロからおさえておきたい人向けに、事例をもとにABテストの理解を深めていただくことを目的としています。
【目次】
1.ABテストとは?
2.ABテストって本当に役に立つの?
3.ABテストの成否の判定方法とは?
4.まとめ
1.ABテストとは?

ABテストとは、Webページやバナー、広告文章を最適化するためのテスト方法の1つです。
特定部分を変更したAとBのパターン(または複数)を作成し、実際のユーザー向けにAとBをランダムに(または一定の比率で)表示させ、成果のよいパターンを見つけ出す手法です。
【ABテストの目的は?】
主に「クリック率」「成約率(CVR)」を向上・改善するために実施します。
【ABテストの対象は?】
Webマーケティングで利用中の、
● ランディングページ(LP)
● バナー
● 広告文章
● Webページのファーストビュー
● サイト内の導線
などが対象となります。
【ABテストの実施テーマは?】
弊社でよく実施するテーマはテスト対象を問わず「コピー・サブコピー」「画像」「導線」「文章」「構成順序」などが主となります。
2.ABテストって本当に役に立つの?

「ABテスト 意味ない」という検索ワードが月間100回ほど検索されています。(笑)
弊社ではページやバナー、それに広告のタイトルなどを含めれば1万回以上の検証実績があるのですが、そのような経験から、ABテストが役に立つのか?ハッキリと断言できるのは「あなた次第」です!ということです。なぜ、そう言えるのか?具体例と共に、確認していきましょう。
【意味のないABテストとは?】
ABテストとは端的に言えば、事業の売上アップがゴールです。つまり成果が出た時に「どれだけ売上貢献につながるテストを選択しているか?」ということが、とても重要になります。
例えば、
以下の前提条件を持つサイトのABテストを検討してみましょう。(※訪問者の質は考慮しません。)
● 広告表示回数:100,000回
A)クリック率:0.2%
B)訪問者数:200人
C)CVR:0.5%
D)CV数:1
まず、改善対象のグループ分けをしてみると
● グループ1)
A~Bは広告素材のテストで改善
● グループ2)
C~Dはサイトのテストで改善
以上の2つに分類されます。
では、広告素材とサイトのどちらの改善から着手すべきでしょうか?
今回の場合、先に着手すべきは「広告素材」の改善です。
理由は3つあります。
その1)訪問者数200・CV数1では、母数が小さすぎるため、先にサイト改善を行ってもABテストの成果や成功パターンの因果関係を発見しにくいという点があります。
その2)5倍~10倍の改善というインパクトを狙った場合、CVRよりもクリック率の方が現実的なため。
その3)広告素材のテストを行うことで、対象者の興味ポイントが発見できるので、サイト改善にも活用できる。
パターンAとBどちらが良いか?の判定が難しいABテストは数多くありますが、ご紹介した例のように意味のあるABテストかどうかは、どのような選択をするか?が非常に重要になります。
3.ABテストの成否の判定方法とは?

実際にABテストを行ってみると甲乙つけがたい結果を得ることが多々あります。
(場合によっては、ドングリの背くらべという寂しい結果も少なくない…。)
例えば、ファーストビューの訴求(キャッチコピー)をテストしたとします。
テスト前) 訪問者5,000 CVR0.70% CV35
↓
パターンA)訪問者2,500 CVR0.92% CV23
パターンB)訪問者2,500 CVR1.00% CV25
テスト前と比べると合計CVは47件と改善されたので【◎】ですね。
ABテストの結果、CVRはパターンBが良さそうです。
では、このパターンBの実力は『本物』と判定して良いのでしょうか?
結論としては、「偶然」という判定となります。なぜ、そのような判定になるのか?
次のテーマで確認していきましょう。
【偶然か?を判定する「カイ二乗検定」】
前述のようなテスト結果の時
● 優位性:
何度やっても同じ結果が得られるのか?
● 偶然率:
今回、たまたま偶然に良かったのか?
以上を判定してくれる計算方法があります。それが「カイ二乗検定」というものです。
実際には、Googleアナリティクス(GA)の機能を始め、ABテストツールには自動計算してくれることがほとんど
なので必要のない知識かもしれませんが、カイ二乗検定の実際のやり方に興味のある方は別のコラムで詳しく解説していますので、ご確認ください。
※コラム:そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説
ABテストの結果が曖昧な結果な時は、優位性・偶然率を導き出して判定できる。ということを覚えておいてくださいね。
4.まとめ

いかがでしたか?最後に、ポイントを整理します。
- ABテストは、Webマーケに活用する全ての文字・クリエイティブを対象にしても良い。
- ただし、最終ゴールは事業売上アップ。ABテストをすることが主目的になってはいけない。
- そのためには、意味のあるABテストを選択する。順序を間違えない。
- 曖昧なテスト結果が出ることは少なくない。
- テスト結果の成否は「カイ二乗検定」で優位性・偶然率を判定してもらう。
以上となります。
【無料】EC・Web売上「100億円」を突破するためのお役立ち資料

弊社は今年で20年目を迎えます、EC・デジタルマーケティングの支援会社です 。
ZOZOタウン様、ドクターシーラボ様、その他グローバル企業など、
各業界を牽引する企業を400社以上支援して参りました。
ご支援する過程で、成功する企業に共通する点を多く学ばせて頂きました。
その知見をもとに、「100億円企業」が実践しているポイントをまとめ、お役立ち資料にしました。
本資料を手に入れる事で、御社のEC・Web売上が100億円を突破する”ヒント”を見つけられます。
【無料】GA4移行を機に「広告投資」を見直すためのお役立ち資料

「旧GA(UA)」は2023年6月30日で計測停止となり、今後は「新GA(GA4)」での計測が必須となります。
GA4では、分析軸が「セッション」から「ユーザー」に変わり、AI・機械学習の精度も高まりました。
つまり、UAと比較して、GA4ではより高度な分析ができるようになりました。
ですが、どんなに優れたツールも、結局は「使い手」次第です。
GA4移行の機会に、広告運用者なら絶対に外せない、「広告投資の秘訣」をお伝えします。
自社ECサイトの「集客」を改善し、売上・利益拡大を支援します!

弊社は今年で20年目を迎えます、EC・デジタルマーケティングの支援会社です 。
ZOZOタウン様、ドクターシーラボ様、その他グローバル企業など、
各業界を牽引する企業を400社以上支援して参りました。
個々に課題をお持ちの企業様は、以下より弊社サービスページをご確認ください。
▼ EC専門のネット広告コンサルタントが支援する「PDCA強化型 運用代行」支援サービス
https://www.ecfs.jp/service/promotion.html
▼ 集客・広告運用への投資を「売上up」に直結させるための「コンサルティング」支援サービス
https://www.ecfs.jp/service/consulting4.html