【事例公開】50日間でCVRを2倍に改善したABテスト

ABテスト

【事例公開】50日間でCVRを2倍に改善したABテスト

今回紹介する検証テーマは、LPで使用する「CTA(申込・購入ボタン)の色」です。LPで最も重要な検証テーマがCTAであり、「購入ボタン」はCV直前の大切な導線です。自社サイトに最適な色は実際にテストで判断するのが一番ですが、ぜひ参考情報として読み取っていただけると幸いです。

【目次】
1.検証概要
2.バンディットアルゴリズムとは?
3.検証結果
4.考察
5.まとめ

1.検証概要

検証概要

検証概要は、以下です。

● 検証テーマ
・LPで使用する購入ボタンの色

● 検証パターン(※下図参照)
① オレンジ色
② ピンク色
③ 光る水色
④ 水色(元々のボタン)

購入ボタンの色のイメージ

● 検証方法
・AIの一種『バンディットアルゴリズム』を使用。
※詳細は、2章で解説します。

● 検証企業
・年商100億円規模の化粧品メーカー

● 検証期間
・50日間

● 対象者
・LP訪問者全員(30~60代の女性がメイン)

● 集客媒体
・検索&ディスプレイ系の運用型広告
・アフィリエイトサイト
※弊社支援の一環として実施している集客施策

2.バンディットアルゴリズムとは?

バンディットアルゴリズムとは?

検証方法として、『バンディットアルゴリズム』を使用しました。
別のコラムでも少しだけ触れましたが、おさらいをすると、「AI・機械学習技術」の一種です。
※コラム:【クリック率up】ABテストのやり方~リスティング広告編~

複数案から「どれが最適か?」を選ぶ際、「自動で最適案を探してくれるアルゴリズム」です。

複数案の「スコアリング(点数づけ)」を自動で行い、「成果の悪い案」にも最低限の「セッション(機会)」を与えながら、「成績の良い案」の「セッション」を優先的に増やす、という特徴があります。
そのため、Webで利用する際は「平均CVRを高めながらに最適案を導き出せる」というメリットがあります。

今回の事例で言えば、

 ▼ 4色のボタンから「勝率が高そうな」パターンを探しながら
 ▼ データ・アルゴリズムに基づき「点数づけ」を行い
 ▼ 点数の良し悪しに応じて「使用頻度」を調整し
   ・成績Good ⇒ 「使用頻度」増やす
   ・成績Bad  ⇒ 「使用頻度」減らす
 ▼ 総合的な勝率(平均CVR)を高めながら「最適案」を導き出す

ということを自動でやってくれます。

検証概要でも記載しましたが、本コラムで紹介するABテストは、KPIを設定している弊社支援先のクライアント様で行わせていただきました。そのため、「悪化」だけは絶対に回避しなければいけない状況でした。

一方で、マーケティング活動において、様々な切り口でユーザーの傾向を掴んだり、新たな訴求を探したりすることも非常に重要です。

このような時、総合的な勝率を高めながら自動的にABテストをしてくれる『バンディットアルゴリズム』は便利です。

本題に戻ります。結果はどうだったのか?というのが次の章になります。

3.検証結果

検証結果

最終結果からお見せします。(※下図参照)

 

▼ 累計:50日間(2019年7月3日~2019年8月21日)

CTAの色の検証結果「50日間」

元々実装していた「水色のボタン」が「CVRが最も高い」という結果になりました。(※赤色塗りつぶし箇所)
では、時系列ごとに詳細を確認しましょう。

 

▼ テスト開始1週間後(2019年7月3日~2019年7月10日)

CTAの色の検証結果「テスト開始1週間後」

「均等配信をしつつ、良いクリエイティブの表示を増やそう」としている意思を感じます。

「光る水色」のセッションが圧倒的に高く、この段階では「光る水色」が主力だと判定されていた可能性が高そうです。(※赤色塗りつぶし箇所)

最終的な勝者である「水色」の可能性を掴み切れていないため、「水色」のセッションが少ないです。
その結果、全体のCVRが2.35%にとどまり、テスト終了時の3.95%からかけ離れた数値になっています。(※黄色塗りつぶし箇所)

 

▼ テスト開始1か月弱(2019年7月3日~2019年7月31日)

CTAの色の検証結果「テスト開始1か月弱」

最終的な勝者の「水色」が本気を出してきました。
セッションも増えてきていますね。(※赤色塗りつぶし箇所)

他のテストパターンも、CVがついてきたため、セッション数が伸びています。
ここにきて、ABテスト1週間後と比較すると、全体のCVRが2.35%から3.25%へと、約1%上昇しています。(※黄色塗りつぶし箇所)

 

▼ テスト開始1か月+1週間(2019年7月3日~2019年8月9日)

CTAの色の検証結果「テスト開始1か月+1週間」

「水色」のCVRが、5.31%という圧倒的な数値をたたき出します。(※赤色塗りつぶし箇所)

「光る水色」のCVRが伸びず、「ピンク色」が伸びています。(※黄色塗りつぶし箇所)

※補足)
このコラムを投稿するために数値を整理して気づいたのですが、
『カイ二乗検定』では、優位性が95%を超えています。

つまり、この時点で勝敗を判断して良かった、ということになります。
※コラム:そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説

4.考察

考察

 

【得られたもの:テスト期間中のCVR最大値】

① オレンジ色     ・・・ CVR2.54%(テスト開始1か月弱時点)
② ピンク色      ・・・ CVR3.69%(テスト開始50日時点)
③ 光る水色       ・・・ CVR3.29%(テスト開始1週間時点)
④ 水色(元々のボタン) ・・・ CVR5.31%(テスト開始1か月+1週間時点)

検証によって、「購入ボタンの色」をABテストするだけでも、
CVRに最大2倍の差を生み出すことができました。(※①と④の比較)

 

【考察】
検証結果を時系列で追いかけてみると、
上述した通り『バンディットアルゴリズム』がABテストの点数づけを自動で行い、
総合的な勝率を高めてくれていることがよくわかります。

そして、元々、搭載していた④の「水色」が、最も勝率が高い結果になっています。

「購入ボタンの色」だけで、CVRがここまで変わる要因は何か?と聞かれますと、正直に言ってしまえば『正確にはわかりません』。
購入ボタンの色だけで「購買意欲」が変化することはまず無いと思うので、「視認性が上がりCVRが改善された」という解釈が正しいでしょう。

 

【補足】
当然ですが、今回の検証結果は、

 ● 世の中の全ての企業・サイトに共通することではない(はず)
 ● 市場での「ポジション」や「認知度」などによって成果は異なる
 ● 背景には、様々な固有の条件が存在している

以上を忘れずに確認いただけると、自社で同様のケースが発生した際、冷静に判断できるかと思います。

対象ページのデザインやトンマナによって「視認性」が変わるので、「自社サイトに最適な色」はABテストで判断してみるのが一番ですね。

5.まとめ

まとめ

いかがでしたか?最後に、ポイントを整理します。

  • 「購入ボタンの色」の検証だけでもCVRを改善することができる。
  • 『バンディットアルゴリズム』を使用すると、複数案から自動で最適案を探し、平均CVRを引き上げられる。
  • 対象サイトによって「視認性」が変わるので、「自社に最適な色」はABテストで判断する。

以上となります。

GA4の移行に使える『必須マニュアル』販売中

現GA(UA版)の計測停止まで「8か月」を切り各社GA4へ移行中かと思います。
しかし現場からは「切り替えが追いつかない」との声が聞かれます。

そこで弊社は「広告運用のプロ」の視点から「GA4で見るべき指標・レポート10選」を整理し『必須マニュアル』を販売開始しました。※【100名】限定

「無料で試し読み」ができますので、詳細をご確認ください。

https://www.ecfs.jp/eckaizenlab/202207whitepaper/

自社ECサイトの「集客」を改善し、売上・利益拡大を支援します!

自社ECサイトの「集客」を改善し、売上・利益拡大を支援します!

弊社は、2004年の創業以来、18年にわたりECサイト・Webマーケティングを18年支援して参りました。
支援実績は、300社以上です。
個々に課題をお持ちの企業様は、以下より弊社サービスページをご確認ください。

▼ EC専門のネット広告コンサルタントが支援する「PDCA強化型 運用代行」支援サービス
https://www.ecfs.jp/service/promotion.html

▼ 集客・広告運用への投資を「売上up」に直結させるための「コンサルティング」支援サービス
https://www.ecfs.jp/service/consulting4.html

そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説前のページ

【Web担当者必見】Cookie規制・ITP問題の「影響」と広告主が取るべき「対策」次のページ【Web担当者必見】Cookie規制・ITP問題の「影響」と広告主が取るべき「対策」

売上を最大化する広告効果改善サービス『DATAD(データード)』

関連記事

  1. ABテストとは?今さら聞けない基本の「キ」

    ABテスト

    ABテストとは?今さら聞けない基本の「キ」

    ネット事業を活用する企業にとって「サイト改善」は永遠のテーマ。中でも…

  2. そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説

    ABテスト

    そのABテスト意味ないかも!カイ二乗検定で「優位性」を判断する方法をわかりやすく解説

    ABテストを行ってみると、Aの方が良いのか?Bの方が良いのか?甲乙つ…

  3. 【クリック率up】ABテストのやり方~リスティング広告編~

    ABテスト

    【クリック率up】ABテストのやり方~リスティング広告編~

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  4. 【売れるLPをつくる!】ABテストのやり方~LP(ランディングページ)編~

    ABテスト

    【売れるLPをつくる!】ABテストのやり方~LP(ランディングページ)編~

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  5. 【無料ツール】GoogleオプティマイズでABテストをする方法

    ABテスト

    【無料ツール】GoogleオプティマイズでABテストをする方法

    今回ご紹介するABテストツールは『Googleオプティマイズ』です。…

  6. 【開封率・購入率up】ABテストのやり方~メルマガ編~

    ABテスト

    【開封率・購入率up】ABテストのやり方~メルマガ編~

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

【人気ランキング】今月のアクセス数TOP5

  1. GA4でパラメータを設定し、流入経路を分析する方法
  2. ITP問題 → アクセス数の9割以上に影響!?【GA(UA版…
  3. GA4で「流入経路別」に分析する方法<GA4の使い方:応用編…
  4. GA4で「ランディングページ別」に分析する方法<GA4の使い…
  5. GA4で「新規購入/リピート購入」を分析する方法<GA4の使…

【話題】Googleアナリティクス4(GA4)

  1. 【完全ガイド】GA4移行・設定時に「やる事」と「使い方」を目…
  2. GA4で「イベント」「コンバージョン」「eコマース」の計測設…
  3. GA4で「新規購入/リピート購入」を分析する方法<GA4の使…
  4. GA4で「ランディングページ別」に分析する方法<GA4の使い…
  5. GA4で「流入経路別」に分析する方法<GA4の使い方:応用編…

【連載】こんな状態の広告主はヤバい

  1. 【失敗事例】こんな広告主はヤバい①~「代理店」や「コンサル会…
  2. 【失敗事例】こんな広告主はヤバい②~「評価指標」の設定が甘い…
  3. 【失敗事例】こんな広告主はヤバい③~管理画面やレポートを「眺…
  4. 【失敗事例】こんな広告主はヤバい④~「新規顧客/既存顧客」の…

GA4の移行に使える『必須マニュアル』販売中

デジタル人員を育成できる「広告効果改善サービス」

ECサイト総合支援『ECフルポート』

書籍のご案内

PAGE TOP