EC・Webマーケティング, 事例・研究

腹落ちしない結果!? ⇒ バンディットアルゴリズム【ABテスト事例4】

 

みなさん、こんにちは。

 

武漢を震源地とした「コロナウィルス」の影響は
まだまだ続くと思いますが、免疫力を高め、今できる事を全うするしかないですね!

ちなみに、IBFメンバーより紹介してもらったサイトです。

 

>>> 都内の感染最新動向

データのみ表示されているため、個人的には好きです。

 

オープンソースで仕組みが公開されており、各県でも展開されています。

>>> ニュースリリースサイトはこちら(各県のリンクあり)

 

 

さて、それでは本題に入りたいと思います。

 

本日は、バンディットアルゴリズムを運用する上で
よくあるパターンの事例を紹介したいと思います。

 

 

これまで共有してきた事例は

↓ ↓ ↓

 

(訴求パーツのABテスト)「SNSで話題!」vs「その他パーツ」の結果は? ⇒ バンディットアルゴリズム【ABテスト事例3】

 

のように

白黒はっきりするケースを共有してきましたが
実は、運用現場では判断が難しかったり、腹落ちしない結果が多々あります。

 

早速、事例を確認してみましょう。

 

『セッションの偏り』は正しいの!?

 

「②」のクリエイティブへの偏りが・・・

・アルゴリズムは「②」が優秀と判断をしている。
・結果、「②」のセッション(つまり表示頻度)が大半を占めている。
・「③」は、CVR2.27%でありながら、セッションが極端に少ない。

 

今回のような偏りは、Google広告などの自動最適化を使用した際に
よくある現象ですね。

 

では、今回の事例、どのような設定をしているのか?
共有したいと思います。

 

↓ ↓ ↓

 


【お題】
・LPを構成するコンテンツの順序に関する『正解探し』

【挑戦回数】
・各クリエイティブの表示回数:100回の挑戦(機会)

【CV定義】
・CV=購入
・リーセンシー:1日以内(サイト訪問からのCVまでの日数)


 

上記設定に従い
バンディットアルゴリズムが自動でABテストをやってくれています。

 

そして、今回のような結果を手にした時
運用の反応は、どんな感じか?といいますと・・・

 

 

・消化不良な雰囲気がパンパン。(汗)

・「なぜ、③のセッションが増えないのか?」

 

となり、チューニングが始まります。

 

現在は、

挑戦回数を変更する(500とか1,000とか)ケースが多く、
チューニング後、違った結果を得らるコトも少なくありません。

 

「なぜ?」を紐解けないのが「AI」と良く言われますが
運用現場では、人の判断・思考と伴奏可能な『機能』の必要性を感じますね。

※ ビッグデーター解析&AIのパートナー企業様の先生曰く
『バンディットアルゴリズムを用いたツールは「AI」』に入るそうです。

 

 

スッキリしない日が続きますが
出来る範囲で、前に進みましょう!!

 

 

 

インターネット・ビジネス・フロンティア株式会社
宇都雅史