ABテスト 事例編

ABテストの事例【CTA:購入ボタンの色編】

今回ご紹介する事例は、LPで使用する「購入ボタンの色」の検証です。LPで最も重要な検証テーマがCTAであり、「購入ボタン」はCV直前の大切な導線です。自社サイトに最適な色は実際にテストで判断するのが一番ですが、ぜひご参考ください。

【目次】
1.検証概要
2.バンディットアルゴリズムとは?
3.検証結果と考察
4.まとめ

1.検証概要

今回ご紹介するABテストの概要は、以下です。

● 検証テーマ
LPで使用する購入ボタンの色

● 検証パターン(下図参照)
① 水色(元々のボタン)
② オレンジ色
③ ピンク色
④ 光る水色

● 検証期間
50日間

● 検証企業
・年商100億円前後の化粧品メーカー

● 対象者
・LP訪問者全員(30~60代の女性がメイン)

● 集客媒体
・検索&ディスプレイ系の運用型広告
・アフィリエイトサイト
※弊社の運用支援の一環として実施

2.バンディットアルゴリズムとは?

ABテストの方法として、『バンディットアルゴリズム』を用いました。
別のコラムでも少しだけ触れましたが、おさらいをすると、「機械学習技術」の一種です。

同アルゴリズムは、各テスト案の点数づけを自動で行い、平均成果を下げずに最適な答えを導き出すという特徴があります。成果の悪いテスト案にも最低限の「表示機会(セッション)」を与えるため、機会損失を最小限に抑えながら検証を進めることができます。

もう少し簡単に説明しますと、
複数ある選択肢(今回の検証では4パターンのボタン)から、勝率の高そうなパターンを探しながら、総合的な勝率を高めてくれるアルゴリズムです。

▼ 良い(良さげな)パターンを探しながら
▼ データ・アルゴリズムに基づき点数をつけ
▼ 成績に応じて使用頻度を調整し
 ・成果が良い → 使用頻度を上げる
 ・成果が悪い → 使用頻度を下げる
▼ 総合的な勝率を高める

ということを自動でやってくれます。

検証概要でも記載しましたが、こちらのABテストは、KPIを設定している弊社が運用中のクライアント様で行ったため、「悪化」を招くことは絶対に回避しなければいけない状況でした。

一方で、マーケティング活動において、様々な切り口でユーザーの傾向を掴んだり、新たな訴求を探したりすることも非常に重要です。

このような時、総合的な勝率を高めることを考え、ABテストを自動で実施してくれる『バンディットアルゴリズム』は便利です。さすがGoogleに採用されるだけのことはありますね。

本題に戻ります。
では、結果はどうだったのか?というのが次の段落になります。

3.検証結果と考察

では、最終結果から追っていきましょう。

【最終結果:テスト開始から50日間】(下図参照)

CVRが高い順に並べると、

① ➡ ③ ➡ ④ ➡ ②

となり、元々のボタンで実装していた「水色」が勝者だと判断しました。

【テスト開始から1週間】(下図参照)

均等配信をしつつ良いクリエイティブの表示を増やそう、としている意思を感じます。

「光る水色」のセッション数(表示回数)が圧倒的に高く、この段階では「光る水色」が主力と判定されていた可能性が高いです。

最終的な勝者である「水色」の可能性を掴み切れていないため、「水色」のセッション数宇が少なく、その結果、全体のCVRが2.35%にとどまり、テスト終了時の3.95%からかけ離れた数値になっています。

【テスト開始から1か月弱】(下図参照)

最終的な勝者の「水色」が本気を出してきました。(笑)
セッション数も増えてきていますね。

他のテストパターンも、CVがついてきたため、セッション数が伸びています。

ここにきて、ABテスト1週間後と比較すると、全体のCVRが2.35%から3.25%へと、約1%上昇しています。

【テスト開始から1か月+1週間】(下図参照)

「水色」のCVRが、5.31%という圧倒的な数値をたたき出します。

「光る水色」のCVRが伸びず、「ピンク色」が伸びています。

このコラムを投稿するために数値を整理して気づいたのですが、『カイ二乗検定』では、優位性が95%を超えています。つまり、ここで判断して良かったということになります。

※『カイ二乗検定』について解説したコラムはこちらをクリックしてください。

【考察】

● 水色(元々のボタン) ・・・ CVR 5.31%(最大)
● オレンジ色      ・・・ CVR 2.54%(最大)

ABテストによって、「購入ボタンの色」の検証だけでも、CVRに最大2倍の差を生み出すことができました。

検証結果を時系列で追いかけてみると、上述した通り『バンディットアルゴリズム』がABテストの点数づけを自動で行い、総合的な勝率を高めてくれていることがよくわかります。

購入ボタンの色だけで「購買意欲」が変化することはまず無いと思うので、「視認性が上がりCVRが改善された」という解釈が正しいでしょう。

当然、対象ページのデザインやトンマナによって視認性が変わるので、自社サイトに最適な色はABテストで判断してみるのが一番ですね。

4.まとめ

いかがでしたか?最後に、ポイントを整理します。

  • 「購入ボタンの色」の検証だけでもCVRを改善することができる。
  • 『バンディットアルゴリズム』でABテストをすると、訴求を探しながら成果をあげることができる。
  • サイトのベースカラーによって視認性が変わるので、自社に最適な色はテストで判断する。

以上となります。


ご案内

最後までお読みくださり、ありがとうございました。弊社では、広告運用や成果報酬型ABテストなど、各企業様の課題に応じたWebマーケティングの施策をカスタマイズでご提案できます。また、弊社内で蓄積・体系化されたノウハウを活用した体制・仕組みづくりまで、総合的なご支援が可能です。お悩み・ご相談などございましたら、お気軽にご相談ください。

▼ ABテストに関するセミナー動画を無料配信中です!

※詳細コンテンツはこちらをクリックしてください。

▼ Web広告のマネジメントに関するセミナー動画を無料配信中です!

※詳細コンテンツはこちらをクリックしてください。

ABテストツールの設定方法【Googleオプティマイズ】前のページ

関連記事

  1. ABテスト 実践編

    ABテストの方法【メルマガ編】

    「誰に」「何を」「どうやって」自社の製品・サービスの魅力を伝え、利用…

  2. ABテスト 基本編

    今さら聞けない!「ABテスト」

    ネット事業を活用する企業にとって「サイト改善」は永遠のテーマ。なかで…

  3. ABテスト 実践編

    ABテストの分析方法【カイ二乗検定】

    ABテストを行ってみると、Aの方が良いのか、Bの方が良いのか、甲乙つ…

  4. ABテスト 実践編

    ABテストツールの設定方法【Googleオプティマイズ】

    ABテストを行う際、A案・B案・C案など複数のクリエイティブを自動で…

  5. ABテスト 基本編

    ABテストの進め方・やり方_概要編

    ABテストを進めるにあたり、スタート地点で最も重視したいのは「伝える…

  6. ABテスト 実践編

    ABテストの方法【バナー広告:オーディエンス設定編】

    「誰に」「何を」「どうやって」自社の製品・サービスの魅力を伝え、利用…

おススメのコラム

  1. 今さら聞けない!「ABテスト」
  2. ABテストの進め方・やり方_概要編
  3. ABテストの分析方法【カイ二乗検定】
  4. ”売上”を大きく左右する「Webページ読み込み速度・表示速度…
  5. ABテストの事例【CTA:購入ボタンの色編】

書籍のご案内

ECの総合支援サービス『ECフルポート』

PAGE TOP