マーケターの方であればクリエイティブのA/Bテストってよく行うと思いますが、テストをした結果、

 

「Aの方が良いクリエイティブだ」

 

と判断しても、その結果は偶然である可能性もあります。

 

もう一度A/Bテストをすると、今度はBの方が良い結果が出てしまって、テストをしてもどちらが良いクリエイティブなのかよく分からない・・・

 

そんな事態に遭遇したことはありませんか？

 

「Aの方が良いクリエイティブである」とはっきり言うにはどんな条件が揃っていれば良いか解説します！

 

結論から言うと、カイ二乗検定と言う統計の検定方法で検証することができます。

 

ただこの検定の解説をグダグダとしても大変だと思いますので、数値を埋めれば、検定を行ってくれるスプレッドシートを作成しました。

 

こちらをコピーしてお使いください。

 

使い方は以下の通りです。

 

【Step1】上記のスプシに、インプレッション数・CV数・CVしなかった数を記入する。

 

 

【Step2】そしたら、スプシに数式が入っているので、「最終的なカイ二乗値」という値が算出されるので、この値が3.84より大きいかどうかだけを確認してください。

 

3.84より値が大きければ、95％の確率でクリエイティブA/Bに差が有ることになります。

（100回クリエイティブA/Bで同じ出稿量を出した時、クリエイティブBの方が成果が95回は良くなる）

 

これでA/Bテストをしたけど、たまたまAの方がよかった、Bの方がよかったという偶然性に惑わされず、科学的に意思決定ができます。

 

 

私も自社のアプリの広告を出す際のA/Bテストをするときに、このスプレッドシートにクリエイティブA/Bそれぞれの表示回数と・ダウンロード数を入れて、どちらが有意に効果があったのかを検証しています。

 

どんなアプリを運営しているか自己紹介をさせて頂くと、株式会社piponという会社で「ドクターボイス」という医師との会話内容をボイスメモで記録すると、その内容をAIが自動書き起こししてくれて、それを家族にも共有することができるヘルスケアアプリを開発・運用しています。

 

スマホアプリの開発やデータ解析のご支援が出来ますので、ご依頼いただける方は

 

seiyakitazume@pi-pon.com

 

までご連絡いただけますと幸いです。

 

またドクターボイスも、病院に行く際は是非使ってみて頂けると嬉しいです^^