前回の記事で、ご紹介しましたバンディットアルゴリズムのABテストですが
最終結論を出し、ABテストを終了させましたので、時系列での数値を共有したいと思います。
前回の記事はこちら
↓ ↓ ↓
では、最終結果から追っていきましょう。
１）最終結果
元々のデザインで利用していた「水色」のボタンが勝者と判断しました。
２）ABテスト開始から1週間
・均等配信をしつつ、良いクリエイティブの表示を増やそうという意思を感じます。
・「光るパターン」の表示率が圧倒的に高く、この段階では「光るパターン」が主力と判定していた可能性が高い。
・最終的に勝つ「水色」の可能性を掴み切っていないため、「水色」の表示率が少ない。結果、全体のCVRが2.35%というテスト終了時の約半分の数値になっています。
３）ABテスト開始から1ヵ月弱
・最終的な勝者の「水色」が本気を出してきた（笑）。セッションを見ても分かるように、表示率もあがってきていますね。
・他のクリエイティブにも、CVがついてきた為、表示数も伸びてきています。
・ここにきて、ABテスト1週間後と比較すると、全体のCVRが2.35％⇒3.25％と
約1％上昇しています。
４）ABテスト開始から1ヵ月＋1週間
・「水色」のCVRが、5.31％という圧倒的な数値を出します。
・「光るパターン」のCVRが伸びず、ピンクが伸びています。
・本投稿のために、数値を整理して気づいたのですが、カイ二乗検定では、優位性95％を超えています。ここで判断して良かったという事になります。
５）まとめ
・バンディットアルゴリズムの検証結果を時系列で追いかけてみると、前回の記事のバンディットアルゴリズムの説明通り、ABテストの自動化を実施してくれている事が、よく分かりましたね。（ひと安心）
・カートへの誘導ボタンなので、購買動機・意欲の底上げという本筋ではなく、利便性・視認性といった要素が高いと思われるものの、CVRにおいて他のボタンと比較すると『1～2.2％』と、大きく差が生じる結果となりました。
・カイ二乗検定において、優位性95％を見落とした。。。弊社の広告運用チームとクリエイティブチームに、日々検証結果のメールが飛ぶのですが、今回は見落としてしまい、絞り込むのが遅れてしまいました。。。
現在は、SNS系のコンテンツ有無などのABテストや、集客経路や行動履歴などを踏まえたABテストも実施しておりますので、面白い結果が出たら、改めて共有できればと思います。
それでは、また！
インターネット・ビジネス・フロンティア株式会社
宇都
※本記事の内容を加筆修正した内容は、こちらに掲載しています↓↓
コラム：ABテストの事例＜50日間でCVR２倍！＞
