みなさん、こんにちは。
武漢を震源地とした「コロナウィルス」の影響は
まだまだ続くと思いますが、免疫力を高め、今できる事を全うするしかないですね!
ちなみに、IBFメンバーより紹介してもらったサイトです。
データのみ表示されているため、個人的には好きです。
オープンソースで仕組みが公開されており、各県でも展開されています。
さて、それでは本題に入りたいと思います。
本日は、バンディットアルゴリズムを運用する上で
よくあるパターンの事例を紹介したいと思います。
これまで共有してきた事例は
↓ ↓ ↓
(訴求パーツのABテスト)「SNSで話題!」vs「その他パーツ」の結果は? ⇒ バンディットアルゴリズム【ABテスト事例3】
のように
白黒はっきりするケースを共有してきましたが
実は、運用現場では判断が難しかったり、腹落ちしない結果が多々あります。
早速、事例を確認してみましょう。
『セッションの偏り』は正しいの!?
「②」のクリエイティブへの偏りが・・・
・アルゴリズムは「②」が優秀と判断をしている。
・結果、「②」のセッション(つまり表示頻度)が大半を占めている。
・「③」は、CVR2.27%でありながら、セッションが極端に少ない。
今回のような偏りは、Google広告などの自動最適化を使用した際に
よくある現象ですね。
では、今回の事例、どのような設定をしているのか?
共有したいと思います。
↓ ↓ ↓
【お題】
・LPを構成するコンテンツの順序に関する『正解探し』
【挑戦回数】
・各クリエイティブの表示回数:100回の挑戦(機会)
【CV定義】
・CV=購入
・リーセンシー:1日以内(サイト訪問からのCVまでの日数)
上記設定に従い
バンディットアルゴリズムが自動でABテストをやってくれています。
そして、今回のような結果を手にした時
運用の反応は、どんな感じか?といいますと・・・
・消化不良な雰囲気がパンパン。(汗)
・「なぜ、③のセッションが増えないのか?」
となり、チューニングが始まります。
現在は、
挑戦回数を変更する(500とか1,000とか)ケースが多く、
チューニング後、違った結果を得らるコトも少なくありません。
「なぜ?」を紐解けないのが「AI」と良く言われますが
運用現場では、人の判断・思考と伴奏可能な『機能』の必要性を感じますね。
※ ビッグデーター解析&AIのパートナー企業様の先生曰く
『バンディットアルゴリズムを用いたツールは「AI」』に入るそうです。
スッキリしない日が続きますが
出来る範囲で、前に進みましょう!!
インターネット・ビジネス・フロンティア株式会社
宇都雅史