EC・Webマーケティング, 事例・研究

【数値の解釈1】カイ二乗検定_事例┃EC・Webデジタルマーケティング

 

先日のパートナー企業様とのmtgで

「ABテストの結果(数値)って、どう解釈しているんですか?」

「コピーテストで、CVRが0.03%(←曖昧)上回った方を採用された事があって・・・」

という会話がありました。

 

さて、この判断は正しかったのか?

 

皆さんなら、どうやって解釈しますか?

 

仕事上、色々な前提条件付きの「数値」と接するのですが

正直にお伝えしますと「伝えたい事ありき」の集計・アウトプットとなっている資料を目にする機会が少なくありません。

決して、穿った見方をしているのではなく、事実確認をすると
それと分かってしまうケースがあります。

 

事業成長に直結する「施策」を選択する為には
事業成長に直結する「数値」を読み解く力が必要です。

 

本日は「数値の解釈」について発信したいと思います。

 

 


【目次】

1)ABテストの判定にカイ二乗検定を利用する事例

2)数値の捉え方


 

 

1)ABテストの判定にカイ二乗検定を利用する事例


 

先ほどの会話、

ABテストの結果って、どうやって解釈しているか?

優位性をどう判断しているのか?

という質問に対して、

「カイ二乗検定」を利用して優位性を判断しています! と回答しました。

 

本日は、こちらのカイ二乗検定について
事例をベースに解説したいと思います。

 

 

次の例は、実際にABテストを行った際

クリエイティブAとBのCVRの差に、優位性があるのか?

を、カイ二乗検定を用いて判定した事例です。

 

まず、初めに①【実数値】にあるCVRを確認してください。

A:0.36%

B:0.22%

です。

0.14%の差が生じているワケですが、この差は「本当に優位性があるのか?」を確認するために、カイ二乗検定を用いた方法を確認していきましょう。

 

①の【実数値】というのがABテストの結果です。

まず初めに、

・AとBそれぞれのCVRを算出します。

次に

・AとBの合算したCVRを算出します。 → 0.29%

・非購入率も算出します。 → 99.71%

 

次に

②【期待値】ABに差が生じなかった場合の数値を算出します。

A:非購入者 = 実際の訪問者 × 非購入率 = 39,887 となり

A:購入者=実際の訪問者 × 0.29% = 114 となります。

Bも同様に算出します。

 

ここで、Aの購入者を確認してみてください。

①【実数値】Aの購入者143
②【期待値】ABに差が無い場合の114

29件の差が生じているワケですが、この数値がABテストの差なのか?

それとも、偶然発生したのか?

ここで、エクセルの関数「CHISQ.TEST」の登場です。

CHISQ.TEST(実測数値,期待値)を指定します。

・実測数値の、ABの非購入者と購入者
・期待値の、ABの非購入者と購入者

これによって、カイ二乗検定を行い「29件」の偶然率。を測定します。

→ 偶然率が5%より小さければ、本データはABテストによる優位性あり。
→ 偶然率が5%以上であれば、データとしての優位性は無い。偶然だった。

と判断します。

本事例の場合、偶然率が0.01%となり「5%」より小さい数値が導き出されたので、

AとBのCVRに差が生じたテスト結果としては「優位性あり」という判断になります。

テスト対象のCVRの差が、何となく大きく見える場合などでも
偶然率が10%、20%というケースも珍しくありません。

表面的な数値で判断することなく、確率を計算して判断する事を心がけてみてはいかがでしょうか?

 

面倒に感じますが、意外と簡単です。

ぜひ、実践してみてくださいね。

 

2)数値の捉え方


 

事業成長に直結する「施策」を選択する為には
〃   「数値」を読み解く目利き力が必要です。

 

EC・Webデジタルマーケティングに関係する方が、最も関与するデータ。

新規顧客の獲得コスト

CPOやCPA →→→ ~~~~円

 

この数値一つに対して、

<質の高い顧客を集客したか?>

という、1つの切り口を考えてみても

<質の高い顧客を集客したか?>
└ 1回の購入で終わっていないか?
└ CVは新規顧客か?リピート顧客か?
└ 重複CVは?

などなど、最終的なLTVという指標に関与する切り口が盛りだくさんです。

他にも

「市場・競合の状況」「オフラインの動き」などなど

前提・付帯条件を明確にしなければ

●正確な <判断>

●リスクを伴う <行動>

に、直結する事は困難です。

 

あらゆる手法・施策の選択肢が溢れるなか、

私たち、EC・Webマーケティング関係者は

正しく数値を解釈する事が、何よりも大切だと信じて疑っていません。

 

大きな遠回りを回避し、可能な限り最短距離で。
投資効果の高い判断・行動ができるように心がけましょう!

 

 

インターネット・ビジネス・フロンティア株式会社
宇都