ABテストの事例公開_LPのCVR2.19%up_FVの訴求テスト

EC・Webサイトの改善

【成功事例】LPのCVRを「2.19%改善」したABテストの舞台裏

今回紹介する検証テーマは、LPの「ファーストビュー直下」で使用するパーツです。LPで重要な検証テーマの1つがファーストビューです。そして、「ファーストビューのすぐ下のエリア」もCVRへ一定の影響を与える重要な検証テーマです。御社ビジネスに置き換えて、ヒントにして頂けると幸いです。

【目次】
1.検証概要
2.検証結果
3.考察
4.まとめ

1.検証概要

検証概要

 

検証概要は、以下です。

● 検証テーマ
・LPの「ファーストビューの直下」で使用するパーツ

● 検証パターン
① 雑誌の掲載情報(オリジナル)
② SNS投稿・レビュー画像A(SNSで話題!)*
③ SNS投稿・レビュー画像B(SNSで話題!)
④ エンブレム(〇〇大賞受賞!)
⑤ 実績(〇〇人の方に愛用されています!)

*SNSで話題:自社商品を好意で紹介してくれるSNSユーザーが一定数いると思います。その実際のユーザーの投稿・レビュー画像をもとに「SNSで話題!」と表記したパーツを2パターン用意しました。 (※下図参照)

検証内容のイメージ図

● 検証方法
・AIの一種『バンディットアルゴリズム』を使用。
※バンディットアルゴリズムとは?

● 検証企業
・年商100億円規模の化粧品メーカー

● 検証期間
・6週間

● 対象者
・LP訪問者全員(30~60代の女性がメイン)

● 集客媒体
・リスティング広告
・ディスプレイ広告
・アフィリエイト広告
・SNS広告
※弊社支援の一環として実施している集客施策

2.検証結果

検証結果

 

▼ テスト開始から1週間後(某年9月10日~9月18日)

テスト開始から1週間後(某年9月10日~9月18日)

初動は「エンブレム」がダントツの成果をたたき出します。(※赤色)
一方で、テスト開始前に実装していた「雑誌掲載(オリジナル))は平均的なCVRとなっています。(※青色)
「SNS投稿・レビュー」は1パターンが善戦するものの、双方とも平均CVR以下という結果です。(※黄色)

 

▼ テスト開始から2週間後(某年9月10日~9月24日)

テスト開始から2週間後(某年9月10日~9月24日)

さらに「エンブレム」が他を突き放します。(※赤色)
結果として、平均CVRが2.78%⇒3.22%となり「0.5%アップ」しています。

「雑誌掲載(オリジナル)」は平均CVRとの差が広がっているのが分かります。(※青色)
「実績」にCVが付き始めたものの、こちらも平均CVRには届きません。(※黄色)

※補足:この段階で、カイ二乗検定の優位性が「95%」を超えました。
(弊社が開発した簡易ツールにて検証したスクショ画像)

カイ二乗検定の結果スクショ

 

▼ テスト開始から4週間後(某年9月10日~10月9日)

テスト開始から4週間後(某年9月10日~10月9日)

総セッション数が2,500回を超え、傾向が安定してきました。

他パーツへの機会が増えてきたため、平均CVRは下降しています。(3.22%⇒2.95%)
「エンブレム」が目立って強い事が分かります。(※赤色)
「実績」が徐々に追い上げるものの、1強他弱の傾向が明確になってきました。(※青色)

 

▼ テスト開始から6週間後(某年9月10日~10月20日)

テスト開始から6週間後(某年9月10日~10月20日)

「エンブレム」の1強が明らかです。
他のテストパターンを見てみると、セッション数が増えていない様子が散見されます。
どうやら、アルゴリズム的にも、決着の時が訪れたようです。

3.考察

考察

 

【得られたもの:テスト期間中のCVR最大値】

① 雑誌掲載(オリジナル) ・・・ CVR2.84%(テスト開始6週間後)
② SNS投稿・レビューA ・・・ CVR0.98%(テスト開始4週間後)
③ SNS投稿・レビューB ・・・ CVR2.60%(テスト開始1週間後)
④ エンブレム     ・・・  CVR5.03%(テスト開始2週間後)
⑤ 実績        ・・・  CVR2.52%(テスト開始6週間後)

元々実装していた「雑誌掲載」と検証用に追加した「エンブレム」を比較すると、CVRを最大「2.19%改善」できました。(※①と④)

 

【考察】

SNS利用者が多い中、「SNS投稿・レビュー」が弱い理由は何か?という疑問が生じますが、仮説レベルで言える事は、以下です。

 ●「SNSで話題!」というパーツそのものが、CVR低下を引き起こしているとは考えにくい。
⇒ SNS投稿者と訪問者の「年齢ギャップ」があり、信頼を高めるパーツにはならなかったのでは?
⇒ 訪問者が「実際のSNS投稿・レビュー」を確認するために、LPを離脱してしまったのでは?

「エンブレム」が圧倒的な成果を出した。
という事実は確認できますが、一方で、「消費者の行動は複雑」で「真実は捉えどころがない」という事も痛感する検証結果でした。

 

【補足:セッション数の偏りについて】

補足:セッション数の偏りについて

● なぜ、セッション数に偏りがあるのか?
AIの一種である『バンディットアルゴリズム』を使用した事が原因です。
同アルゴリズムは、各案のスコアリングを行い、平均CVRを下げずに最適な答えを自動的に導き出すという特徴があります。
そのため、表示率に「偏り」が発生しました。

 

● セッション数が多い(偏っている)から、CVRが高いのでは?
『バンディットアルゴリズム』では、CVRが高いとセッションが増える、というのが正しい解釈です。

今回の検証で言えば、
・アルゴリズムが「④ エンブレム」を優秀と判断。
・結果、④のセッション数(表示頻度)が大半を占めた。という順番になります。

なお、成績の悪いパターンにも「最低限の機会(セッション)」を与える事が可能なため、テスト自体には公平性があると言えます。

今回のような偏りは、Googleなどの「自動最適化」を利用した際に起こる現象と同じ理屈です。
「なぜ」を紐解けないのが「AI・機械学習」の課題ですが、裏側で起こっている事を思考し適切に判断するのが運用者の使命です。

4.まとめ

まとめ

 

いかがでしたか?

「SNSで話題!」のようなコンテンツは、公式サイトやLPに掲載するのがトレンドのような雰囲気があります。

「ウチの製品は最高です!」とメーカーが発信する情報よりも、第三者が提示する客観的な情報を、私たちは信じる傾向があります。信頼している知人や友人、権威のある専門家や影響力のある著名人の発信であれば、なおの事ですよね。

そんな「客観的な信頼パーツ」を5パターン用意し、検証したのが、今回のABテストでした。
結果、”今回検証したクライアント企業様にとって”は、「SNS投稿・レビュー」は「有効ではない」という事実が判明しました。

「SNS投稿・レビュー系のパーツが弱い」という事は、製品や企業によって異なるかと思います。
一方で「やってみないと分からない」というのは、どの製品・企業にも通じるものですよね。
改めて、勉強になりました。

最後に・・・

今回ご紹介した事例は、

 ● 世の中の全ての企業・サイトに共通する事ではない(ハズ)
 ● 市場での「ポジション」や「認知度」などによって成果は異なる
 ● 背景には、様々な固有の条件が存在している

以上を忘れずに確認くだされば、自社で同様のケースが発生した際、冷静に判断できるかと思います。
それでは、また別のコラムでお会いしましょう!

【毎月5社限定】無料相談 受付中

 

コラムをお読み下さりありがとうございます!

弊社はEC・デジタルマーケティングの支援会社です。
ZOZO様、ドクターシーラボ様、他グローバル企業など、
各業界を牽引する企業を400社以上支援して参りました。

現在、「無料相談」を受付中です。

「売上を拡大させたい」
「Web集客を増やしたい」
「広告運用を見直したい」
「LTV・継続率を向上したい」
「サイトのUI/UXを改善したい」など

EC・Webサイトやデジタルマーケティングに関して
お困りごとがございましたら、お気軽にご相談下さい。

手にとるようにわかるデジタルマーケティング入門_知識をスキルを1冊で学べる本【書評】デジタルマーケティングとは?基礎知識から実践スキルまでを一冊で学べる本を紹介前のページ

【ベストセラー】新刊が、紀伊國屋書店(新宿本店)など6店舗で「ランキング1位」を獲得!次のページ手にとるようにわかるデジタルマーケティング入門_紀伊国屋書店など6店舗で1位を獲得

売上を最大化する広告効果改善サービス『DATAD(データード)』

関連記事

  1. クリック率up!_ABテストのやり方_リスティング広告編

    広告効果の改善

    【クリック率up】ABテストのやり方~リスティング広告編~

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  2. 絶対に外せない_ABテストのやり方・進め方

    EC・Webサイトの改善

    本当に大丈夫?絶対に外せないABテストの「やり方・進め方」

    ABテストを進めるにあたり、スタート地点で最も重視したいのは「伝える…

  3. 【前編】ECシステムのリプレイス_よくある失敗事例とその理由

    EC・Webサイトの改善

    【前編】失敗しないECシステムのリプレイス方法~よくある失敗事例と理由~

    本コラム(前編)は、多くのECシステムのリプレイスを経験してきたコン…

  4. 開封率・購入率up!_ABテストのやり方_メルマガ編

    EC・Webサイトの改善

    【開封率・購入率up】ABテストのやり方~メルマガ編~

    「誰に」「何を」「どうやって」自社商品・サービスの魅力を伝えるか『訴…

  5. ABテストに要する時間

    ABテスト

    ABテストに要する時間

    昨今、新型コロナだけでなく自然災害や異常気象が増えた気がします。生き…

  6. 【前編】売上に大きく影響_ページ表示速度の計測方法3選

    EC・Webサイトの改善

    【前編】売上を左右する「ページ表示速度」の計測方法3選

    SEO対策だけではなく、サイトのCVRを改善するためには、「Webペ…

注目のコラム

  1. 【非物販サイトにも有効】Meta広告の「Advantage+…
  2. 【Meta広告】広告アカウントが停止!「審査基準」を事例付き…
  3. 【Meta広告】コンバージョンAPI(CAPI)とは?「メリ…
  4. EC・広告担当者必見!ステマ規制完全ガイド:要点+具体例+違…
  5. Meta広告のAdvantage+ ショッピングキャンペーン…

【無料DL】100億円企業のデジマの定石

【無料DL】事業成長に直結する広告投資

【無料DL】LP・CVRを大幅改善する方法

【無料購読】マーケィング情報誌

デジタル人材を育成できる「広告効果改善サービス」

ECサイト総合支援『ECフルサポート』

ECフルサポートの横長バナー

書籍のご案内

書籍のご案内
PAGE TOP