板橋洋輔と申します。
私は「LPOコンサルティング」というサービスを提供しており、これまであらゆる業種のクライアント様とLPOプロジェクトを伴走し、テスト検証結果を見てきました。

 

皆さんは「多変量テスト」をご存じでしょうか。

多変量テストは、ページを複数の要素に切り分け、ページ内の複数個所に対して複数のABテストを同時に回転させる手法です。

正しく多変量テストを用いると、高確率でCVRが上昇し、CVRが上昇した理由までも突き止めることができます。

 

「ABテスト」を行った経験がある方は多いですが、この「多変量テスト」は実施に躊躇してしまうことが多く、実際に行った経験のある方は少ないと思います。

 

多変量テストはページ内の複数個所に対して複数のABテストを同時に回転させるわけですから、正しい手順で実施しないとうまく結果が出なかったり、また、そのテスト結果が信頼できるものかどうかも分からなくなってしまいます。

 

そこで、実際に多変量テストを実行した場合にどうなるのか?という既視感を持って頂くべく、このブログを書いております。

この記事では、架空のプログラミングスクール「テック・キャリア・パートナーズ」というLPに対して、多変量テストを実行していくのであれば、板橋はどのように進めるのか?というプロジェクト実施例を解説していきます。

 

この記事を読むことで、実際のマーケティング実務の現場で、どのように多変量テストを用いたLPOプロジェクトが実施されているのかを概ね理解することができるようになります。

 

早速、実施例を解説したいところですが、その前に。

まずは多変量テストがどのようなメリット・デメリットをあわせ持っているのか、私が実際に多変量テストを行って感じた事をご紹介しようと思います。

 

 

多変量テストのメリット

 

LPなら手堅くCVRが向上する

複数個所のABテストを回すので、そのテストの全てが外れるということはなかなかありません。

そのため、多変量テストの実施前よりもCVRが良くなるケースは極めて高いです。この点、多変量テストは手堅くCVRを向上できる施策といえます。

 

短期間で大量のABテスト結果を得られる

1つ1つABテストを回していると、根気強く、長期に渡ってテストを実施しないといけません。

その長い過程で、結果がうやむやになってしまったり、プロジェクトが破綻したりしてしまうこともあるでしょう。

多変量テストであれば、同時期&同条件下で、複数のABテストを同時に回転させ、各テストの結果も個別に出すことができます。

短期集中で、複数の仮設検証をまとめて明らかにできることは、マーケティングのプロジェクトとして明快です。複数人の関係者を巻き込むような場合でも、プロジェクトを前進させやすいでしょう。

 

テスト期間中もCVRを段階的に向上させられる

この後詳しく「多変量テストの手順」を紹介しますが、簡単に進め方を述べるとするならば「効果が無いと判断されるクリエイティブを消去法的に削除」していくような進め方をしていきます。

そのため、多変量テストを進行する中でも、CVRは徐々に向上していく運びとなります。

ABテストでは、テスト期間中のCVRは元よりも効果が悪化する可能性が大いにありますが、多変量テストでは、複数のテストが同時に走るため、テスト期間中のCVR低下リスクも低減しながら進めることができるのです。

 

 

多変量テストのデメリット

 

それなりの規模のアクセス流入が必要

複数のABテストを同時に回転させるにあたり、ABテストよりも多くのアクセス流入が必要になります。

この後紹介する「多変量テスト進め方の工夫」によって、必要なアクセス流入数を抑えつつ、適切な結果が得られるようにご案内するのですが、それであっても、「4つのLPを同時にABテストする」くらいのアクセス流入数は最低でも必要です。

 

実務ノウハウが出回っておらず難しい

ABテストは2つのページの比較なのでシンプルです。

しかし、多変量テストはページ内を複数の要素に区切り、それらが同時に複数可変します。

そのため、正しく実行するためには、正しい実装と正しい結果判断軸(統計的知見)が必要です。

こういった理由から、多変量テストの実施は難しいと感じられているようです。

 

作業工数は大きい

複数のABテストを同時に回転させるため、どうしてもABテストに比べて作業工数は多くなります。

特に、テストのためのクリエイティブをたくさん制作する必要があるため、「クリエイティブ制作工数」が多くなることを覚悟する必要があります。

テストのためのパーツ制作だけで、1つの新しいLPを制作するよりも大変なケースがざらなことは、念頭に入れておく必要があります。

 

ここまで、私の感じる多変量テストのメリット、デメリットをご紹介しました。

 

簡単にまとめると、ある程度のアクセス規模があるサイトであれば、実施難易度の高さと、クリエイティブ制作工数の多ささえクリアできれば、得られるメリットは大きい取り組みだと思います。

 

もし、私と一緒にプロジェクトを進めるのであれば、ほぼ全ての作業を引き受けることができるチーム体制がありますので、概ねクリアできると思います。

 

クライアント様側への懸念としては、サイトへのアクセス流入数が足りるかどうかです。

この点は、多変量テストが向いているか否かの大きな判断の分岐点になるでしょう。

 

 

多変量テストの進め方

つぎに、もし多変量テストを実施しLPOを行うのであれば、「このように進めるのがおすすめ」という、私が実際に行っている多変量テストの進め方を、具体例を持ってご紹介します。

 

私は、主にこの6工程で実施しています。

①マーケティング調査主に「ユーザー行動調査」や「3C分析」を行います。
②仮説設定LPで伝えていくべきメッセージは何か?などの改善仮説を立てます。
③テスト設計テストの実施期間や結果の判断基準など、実施方法を定義します。
④テストパターン制作テストするパターンのクリエイティブ制作を行います。
⑤ツール設定LPOツールを用いてテストを実装します。
⑥テストレポートテスト実施後の結果をレポートにまとめます。

①~⑥それぞれ解説していきます。

 

 

①マーケティング調査

多変量テストを行う場合、たくさんのテストパターンが必要となります。

あてずっぽうでテスト案を出すよりも、事前にマーケティング調査を行い、仮設を持ったうえでテストをしていく方が成果も出やすいです。

また、最後のプロジェクト振り返りの際にも学びの多いプロジェクトとなりますので、マーケティング調査から行うことをおすすめしています。

 

 

大切な事は「メッセージ」をテストすること

具体的なマーケティング調査方法をお伝えする前に、もうひとつだけ大切な概念があります。

それは、LPを改善する際には、メッセージ(=何を伝えるか?)を最適にする必要があるということです。

 

LPOといえば、「ボタンの色のABテスト」をはじめとするページの「見た目」を直そうとする方が多くいらっしゃいます。

しかし、どんなに「見た目」の美しいページであっても、そのページを通した「メッセージ」が無い事には人を動かすことができません。

また、「見た目」のABテストの結果は、テキスト広告をはじめとする他のマーケティング施策への応用が利かなかったりすることもあるため、「メッセージ」を優先して最適化にすることをおすすめしたいです。

多変量テストを通じて、この「メッセージ」をなるべく多くテストしていくことが、LPOプロジェクトを有意義なものにする鍵と考えています。

 

そこで、メッセージ案をどのように出していくべきかが問題となりますが、結論としてはユーザーの興味・関心のリサーチから始めることがおすすめです。

まずは、リサーチを通じて、ユーザーが求めている情報を把握し、それをメッセージとして伝えるような発想を取っていきます。

以下に、LPOプロジェクトを行う上でおすすめのマーケティング調査方法を2つご紹介します。

 

 

「ユーザー行動調査」はLPOと相性の良いマーケティング調査方法

LPOプロジェクトにおけるリサーチの方法として、おすすめは「ユーザー行動調査」という手法です。

 

これは、ユーザーモニターを数名確保し、競合も含め実際のランディングページを複数ページ見てもらい、画面録画とともに肉声を録音し、「ここがいい」「ここが良く分からない」などを発言してもらうのです。

私がリサーチを行う場合は、動画内のポジティブの意見、ネガティブな意見、それぞれ色分けしてまとめています。

例として1人分のユーザーテストをまとめたような例を下記に貼っておきます。

 

地味だが「3C分析」もLPOに活かせるマーケティング調査方法

古典的なリサーチ手法として自社・競合・顧客を分析する「3C分析」という手法があります。

 

3C分析とは一体何なのか?については、既に数多の文献が書籍やインターネット上に出回っているのでここでは詳しく触れませんが、簡単にいえば、先のユーザー行動調査で「顧客の興味関心」分析が済みますので、これに「自社と競合の強みと弱みの比較」を追加で行っていくような工程を踏みます。

 

自社と競合の比較を行うメリットは、もし複数メッセージ案がある場合に、競合より強く打ち出していくべきメッセージはどれか?が明瞭になるという点です。

分かりやすい例として、プログラミングスクール「テック・キャリア・パートナーズ」が、自社と競合を比較した例を簡単に描いてみました。

製品の3層モデル

自社(テックキャリアパートナーズ)

競合T社

中核価値

・プログラミング技術の提供

・転職の支援

・プログラミング技術の提供

・転職の支援

実体価値

・学習カリキュラムの利用

・学習教室の利用

・オンラインレッスンの利用

・求人紹介

専属講師によるマンツーマン学習体制

・学習カリキュラムの利用(高品質

・学習教室の利用(規模大

・オンラインレッスンの利用

専属キャリアアドバイザー、専属ライフコーチの伴走

上場企業を含む幅広い求人紹介

付随価値

・無料カウンセリング

・転職返金保証

・1週間の無料体験レッスン

・無料カウンセリング

・転職返金保証

・14日間無条件返金保証

・数多の実績や満足度

・高い認知度

簡単に整理するだけでも、強く伝えていくべきメッセージの方向性が「専属講師によるマンツーマン学習体制」であることが分かります。

 

まず、先ほどのユーザー行動調査で「顧客」の分析を行い、ニーズを把握します。

その後に「自社」と「競合」の比較を作り、洗い出されたメッセージ案をより洗練させたり、メッセージの優先順位を決めたりしていきます。

これがLPOで実施する3C分析の大まかな手順です。

 

 

②仮説設定

 

つぎに、先の「マーケティング調査」の内容から「こうしたらLPのCVRが改善するのではないか?」という具体的な仮設を組んでいきます。

その際、まず「LPで伝えるべきメッセージをどうすべきか?」という軸から検討をしていきます。

 

 

ユーザーが気にするポイントから逆算してメッセージを設計する

メッセージを検討する際には、先のマーケティング調査結果を検討材料にしていきます。

その際、マーケティング調査結果を以下のフレームワークで整理していくことで、漏れなく複数個のメッセージ仮設を持つことが容易くなります。

 

まず、概ね「ユーザーが気にしているポイント」は6つの方向性のどれかであることがほとんどです。

ユーザーが気にするポイント詳細
①機能的なこと期待した機能が得られないのではないか?
②経済的なこと支払った対価と見合わないのではないか?
③時間的なこと手続きに手間暇がかかるのではないか?
④身体的なこと肉体的に悪い影響があるのではないか?
⑤心理的なこと自分の精神的に悪い影響があるのではないか?
⑥社会的なこと利用することで他者に嫌われるのではないか?

これらは、商品やサービスを購入したり使用したりするにあたり消費者が感じる不安や懸念であり「知覚リスク」として学術的に定義されている内容です。

①②④⑤⑥:Jacoby and Kaplan 1972

②:Peterand Tarpey 1975 Stoneand Gronhaug 1993

 

調査で得られた「ユーザーの気にしているポイント」をこの6類型に整理すると、メッセージを組みやすいです。

これらの「ユーザーが気にしているポイント」をから、メッセージ案を作り、実際のクリエイティブに落とし込んでいきます。

このフレームワークからメッセージを設計する例を一部貼っておきます。

分類     ユーザーの悩み伝えるべきメッセージ
機能的なこと

・自分でもプログラミングが習得できるのだろうか?

 

・ちゃんとエンジニア転職できるのだろうか?

→専属コーチが付いてあなたの学習進捗を管理します

 

→エンジニア転職保証が付いています

経済的なこと・費用が高すぎるのではないだろうか?

→1週間の無料体験期間があります

→エンジニアとして内定がひとつも出なかった場合には受講料を全て返済します

時間的なこと・教室に通える時間があるだろうか?→教室通いかリモートレッスンかを選べます

これは一例なので、それぞれの分類でこれよりたくさんメッセージを設計することは可能です。

多変量テストを実際に行っていく前に、まずはマーケティング調査を実施し、それをこの類型に分類することで、伝えるべきメッセージが作りやすくなります。おすすめのフレームワークです。

 

 

デザイン面・ユーザビリティ面の改善仮説も設計する

「LPで伝えるべきメッセージをどうすべきか?」という軸での仮設がある程度出し終えたら、はじめてデザイン面・ユーザビリティ面での改善仮説を出していきます。「ボタンの色」のテスト、などがこれに当たります。

 

これも、ユーザー行動調査内でのユーザーの言動や、画面録画を見ていて分かる気づきを基にして、案を出していきます。

 

たとえば、「重要で伝わるべき情報」なのに、配置箇所やデザインの強調が足りていないことで気づかれていない場合は、その配置箇所を変えてみたり、より目立つようにデザインで工夫してみたり、などです。

 

 

カンプレベルでいいので、テストパーツのイメージを大まか描く

これらの仮設を考えたら、そのままの流れで、テストパーツのイメージをパワーポイントなどで大まかでいいので描いておくのがおすすめです。

特に、仮設を考えた人とは異なる人(デザイナーやコーダーなど)が関係する際、口頭だけの指示やテキストでの指示だけだと意図が明確に伝わりにくいことが多いです。

クリエイティブのディレクションまで仮設設計をした人が品質担保することで、意味のあるテストができると考えています。

 

 

③テスト設計

仮設設定をすることができたら、多変量テストの段取りを決めていきます。

この段取りのことを、私は「テスト設計」と呼んでいます。

 

たとえば、
・クリエイティブはどのようなパターンを回すのか?
・テストの実施期間はいつからいつまで行うのか?
・テスト勝敗の判断基準は何を基準にするのか?
・計測したいセグメントは何か?

などをひとつひとつ整理していきます。

 

ここからは、私のテスト設計のやり方を、架空のプログラミングスクール「テック・キャリア・パートナーズ」を例に紹介します。

 

ややマニアックな内容になります。
全てを理解する必要はないので、大まかにどんなことをやっているのかを見てもらえればプロジェクト全体のイメージが湧くと思います。

 

・1.配信内容の整理

・2.テスト実施期間の整理

・3.テスト勝敗の判断基準の整理

・4.計測セグメント条件の整理

 

上記4点、それぞれ順を追って各々説明していきます。

 

 

1.配信内容の整理

テスト内容を一覧表にしたものと、それぞれクリエイティブ化したものを用意し、テストするエリアごとに整理します。

これを整理しておくメリットは、どのようなテストを何のために行うのか?をプロジェクトメンバーがいつでも把握できるようになることです。

テキストだとイメージが伝わりにくいと思い、サンプルを作ってみましたのでお見せします。

 

▼テスト内容を一覧表にしたもの

▼テスト内容をクリエイティブ化したもの

▼テスト配信パターンを全て洗い出したもの

↑実際はExcelで善パターン書き出します

 

 

2.テスト実施期間の整理

先の配信内容の整理をすることで、今回の多変量テストでのLPのパターンが144パターンあることが分かりました。

しかし、ここで問題がでてきます。

これら144パターンを全て一斉に回すと、有意なテストの結果を得るために膨大な期間を必要としてしまうという問題です。

これだと時間がかかりすぎてしまうため、多変量テストは2つのフェーズに分けて実施することで、短期間で効果的な結果を得ることができます。

 

 

予選と本選に分けて多変量テストを行うようなイメージを持ってもらえればと思います。

フェーズ①で、明らかに効果が見込めないであろうクリエイティブを間引きし、フェーズ②で残ったクリエイティブを組み合わせてテストを行い、チャンピオンを決定していくという工程で実施していきます。

 

より具体的に説明します。

フェーズ①では144パターンを全て配信して、各エリアの結果を集計し、残すクリエイティブと残さないクリエイティブを決めます。

たとえば、フェーズ①を終えたタイミングで、下記数量のクリエイティブを残す判断をしたとします。

 

・エリア1:2つ

・エリア2:2つ

・エリア3:1つ

・エリア4:1つ

・エリア5:2つ

 

すると、フェーズ②ではこれらを掛け合わせた2×2×1×1×2=8パターンを配信し、この中からチャンピオンを決めるという手順を踏むのです。

 

ここで既に「?」となっている方も多いと思いますが、これは「⑥テストレポート」の章で、具体的なテストレポートのキャプチャを通して再度説明していきます。
もし、現時点で分からなくても気にせず、大まかに読み進めて頂けますと幸いです。

 

「フェーズ①」と「フェーズ②」それぞれテスト期間を設定する必要があります。

テスト期間は、統計的に「信頼できるテスト結果を得るために必要な期間」を算出することが好ましいです。

しかし、どこまでテスト結果に信頼性を求めるか?はプロジェクトごとの「決め」の問題でして、正直、毎回まちまちになります。

 

信頼性を求めるほど、必要なテスト日数はかかります。

 

具体例を挙げてみます。
 

もし、1日のLPアクセス数が3,000UU、CVRを1.75%サイトで、1.2倍のCVR改善を見込んで4つのクリエイティブでテストを行う場合、信頼度80%の場合だと3日間以上、信頼度90%の場合だと7日間以上、信頼度95%だと12日間以上かかる見込みです。

 

以下に、Excelで計算したものをアップしておきました。気になる方はご参考下さい。

▼計算式のExcelはこちらにアップロードしました。

https://app.box.com/s/cowx6il09dt75tqvszvpcersz6ggqpkt

 

このように、テスト結果の信頼度を求めるほど、必要なサンプル数は増えます。

逆に、信頼度を妥協するほど必要なサンプル数は減っていきます。

 

信頼度を優先するか、早さを優先するかは、個々のプロジェクト毎に決める必要があります。

ただ、実際のマーケティング実務の現場で見てきた感覚として、信頼度80%~90%の値を用いることが多いということはお伝えしておきます。

 

テスト期間の計算方法は、たくさんあります。各々で納得できる計算方法で試算して頂ければと思います。

大事なことは、テストを始める前にどのくらいの期間がかかるのか?を大まかでも良いので算定しておくことが、だらだらと多変量テストを続けないためにも大切ということです。

 

今回、サンプルとしては、私は以下のように期間の設計をしました。

多変量テストにかかる期間のイメージとして、大まかですが、参考にして頂ければ幸いです。

 

・LPの1日のLPアクセス数:3,000UU

・LPのCVR:1.5%~2%

・フェーズ①テスト期間:約10日間

・フェーズ②テスト期間:約15日間

 

 

3.テスト勝敗の判断基準の整理

多変量テストを開始する前に、先のテスト実施期間の設計と同じく、大まかに「テスト勝敗の判断基準」を決めておくことも大切です。

これを決めておかないと「テストのやめ時」が分からなくなり、だらだらとプロジェクトが続くことになるケースが多いです。

 

テスト勝敗の判断基準も、先のテスト実施期間と同様に絶対的な正解はなく、決めの問題になります。そのため、それぞれのプロジェクトごとに、自分たちが納得できる勝敗基準を用意する必要があります。

 

LPOツールでは、UU数、CV数、CVR以外にあらゆる指標が自動計算されるようになっており、これらの数字のいずれかを使って、テスト勝敗の判断基準を設定することが多いです。

 

▼LPOツール「DLPO」の管理画面例

私は多変量テストを行うのであれば国産LPOツール「DLPO」一択と思っており、DLPOで実施を推奨しております。

無料で使えるLPOツールとして「Google Optimize」があります。

しかし、最大16の組み合わせしかできないことや、テスト開始後は途中で設定変更ができないことがネックとなります。

多変量テストを行うにおいて、まず間違いなくGoogle Optimizeだと現実的な運用が出来ないと思います。

 

私の推奨するDLPOでは、4つ指標があります。それぞれご紹介します。

①CVRの誤差(±)テストで得られた値からCVRが上下にぶれる可能性がある測定誤差の範囲です。
②改善度基準パターン(デフォルト)と比較して、CVRが改善した割合です。
③改善信頼度基準パターン(デフォルト)よりもCVRが高くなる確率を表した数値です。
④非チャンプ率そのパターンがチャンピオンでない確率です。「負ける確率」と言い換えることも可能です。

多変量テストのプロジェクトでは、消去法的にクリエイティブパターンを減らしていくような進行をします。そのため、私は「④非チャンプ率」を用いて勝敗判断をすることが多いです。

 

たとえば、「テスト実施期間を過ぎた時点で、この「非チャンプ率」が90%を超えているクリエイティブに関しては配信を停止する」のような判断基準を引くのです。

 

今回のサンプルでも、同様の配信停止基準(非チャンプ率90%)で見ていこうと思います。

 

 

4.計測セグメント条件の整理

テストの結果をセグメントごとに評価したい場合は、どのような条件の人に対してテストを行うのか?を予め整理しておく必要があります。

なぜなら、テスト計測前に予めLPOツール側でセグメントの計測設定をしないといけない場合があるからです。ここでセグメントを整理しておくことで、見過ごされることなく設定できます。

 

たとえば、このような感じで、定義したりします。

 

【計測セグメント】

・曜日:月/火/水/木/金/土/日(7種)

・時間帯:0-6/6-12/12-18/18-24(4種)

・ユーザー訪問履歴:初回/再訪(2種)

・流入元広告パラメータ:リスティング指名、リスティング非指名(2種)

 

もしLPOツールのセグメント設定を利用しない場合であっても、LP流入してくるユーザーはどのチャネルからの流入なのか?などは一度整理してみると良いと思います。

今から実施するテストの結果は特定のセグメントだけに対しての結果なのか?全体としての結果なのか?などが整理されることによって、プロジェクトの成果向上につながります。

 

長くなりましたが、これでテスト設計は終了です。

 

 

④テストパターン制作

テスト設計が済んだら、実際にテストパターンの制作に入っていきます。

制作の際に注意するべきは、

・テストの意図を満たしたクリエイティブが制作できているか

・テストの実装フォーマットに対応するクリエイティブを制作できているか

です。

 

 

テストの意図を満たしたクリエイティブが制作できているか

起こりがちな事故として、今までのマーケティング調査→テスト設計の流れを踏襲せずにクリエイティブ制作が行われてしまい、結果的に「テスト意図を満たさないクリエイティブ」が制作されてしまうというケースがあります。

マーケティング調査→テスト設計を行うのがマーケティング担当者で、その後の工程であるクリエイティブ制作からデザイナーに引き継がれるケースが多く、このタイミングで情報の断絶が行われてしまうことが往々にしてある印象です。

そのため、しっかりテストの意図を満たしたクリエイティブが制作できているか?という視点でクリエイティブコントロールをする必要があります。

 

 

LPOツールへの実装に対応する形式でクリエイティブを制作できているか

テストを実施するLPOツールが、どのような仕組みでテストが行われるのかを予め理解し、それにあった形で制作する必要があります。

 

たとえば、LP単位でテストを実施するLPOツールであれば、LPの形で制作する必要がありますし、コンテンツブロック単位で実装するLPOツールであれば、テストパーツ部分のHTML/CSSが分かるような形でマークアップするなどして制作することが好ましいはずです。

 

DLPOはコンテンツブロック単位でテストを実装するため、後者のテストパーツ部分が分かる形で制作していきます。

 

具体的な例を用意しました。詳しく見たい方は下記ファイルをダウンロード頂ければと思います。

▼テストパターン制作物例(.zip)

https://app.box.com/s/fgjprx4dl5oekcv6lnnc7ox284dv6uvw

 

 

⑤ツール設定

④で制作したテストパターンを、③テスト設計に基づいて、LPOツール内で設定していきます。

 

ここでは、参考までにDLPOで行うテスト設定手順を大まかな流れのみをご紹介しますが、実際にいじったことの無い方は全くイメージが掴めないかもしれないので、読み飛ばして頂いても良いと思います。

 

また、ツールの設定について詳しく知りたい方は、実装マニュアルがございますので、そちらをご確認頂ければと思います。

多変量テストのツールの設定代行も承っておりますので、必要に応じてお申し付け頂ければと思います。

 

LPOツール「DLPO」での多変量テスト設定手順


STEP1:ページ設定
ツールの管理画面にログインし、専用のタグ(html)を発行します。

タグを発行し、テストで可変させるエリアの設定を行い、コンバージョンの登録とサイト(LP)に埋め込みを行っていきます。いわゆるテストの初期設定作業みたいなイメージです。

 

STEP2:クリエイティブ登録

WEBページに配信する素材を「クリエイティブ」と呼んでおり、これを登録していきます。先の③テストパターン制作を管理画面内で登録していく作業です。

 

STEP3:セグメント登録

計測したいセグメントに応じて「セグメント」を事前登録していきます。先の例でいうと、曜日、時間帯、

ユーザー訪問履歴(初回/再訪)、流入元広告パラメータなどを予めここで登録しておくことで、セグメント別にテスト結果を見ることができるようになります。

 

STEP4:キャンペーン登録

STEP1~STEP3で登録した、タグ、クリエイティブ、セグメントをまとめて「キャンペーン」として登録します。これで配信設定は開始できるようになります。キャンペーン登録後は、キャンペーン稼働前にプレビューで表示確認を行います。

テストの設定ができたら、多変量テストを開始します。

「③テスト設計」で決めた基準で結果が出るのを待ちます。

 

 

⑥テストレポート

③テスト設計でも挙げましたが、多変量テストは「フェーズ1」と「フェーズ2」の2つのフェーズに分割して進めていきます。

まず、「フェーズ1」が終了した状況のテストレポート例を下記に掲載します。

このフェーズ1で実施するのは、「クリエイティブを消去法で間引きすること」です。

 

多変量テスト フェーズ1 テスト結果

▼エリア1「メインビジュアル」のテスト結果

エリア1のメインビジュアルでは、2つのクリエイティブが拮抗しており、1つだけ結果が大きく劣っているものが見て取れます。(1B)
この場合、この1Bひとつだけを「配信停止」とし、他2つ(1A,1C)を残すという判断をしていきます。

 

なお、配信停止をするか否かの判断は「非チャンプ率」という数値を基に判断することが多いです。

今回は1Bの非チャンプ率は99%と表示されています。その場合、基準となる1位のクリエイティブ(1C)と比較して99%負ける事が示唆されているに等しいと思っていただければと思います。

 

▼エリア2「ボタン文言」のテスト結果

エリア2のボタン文言では、結果が良いものが2つ(2A,2C)と、悪いものが2つ(2B,2D)という様子で分かれています。

この場合も、悪い方の2つを配信停止し、結果が良い2A,2Cを残す、という判断をしていきます。

 

 

▼エリア3「こんな方におすすめです」のテスト結果

同様に、結果が悪い方の3Aを配信停止して、3Bを残していきます。

 

▼エリア4「テック・キャリア・パートナーズが選ばれる理由」のテスト結果

同様に、結果が悪い方の4Aを配信停止して、4Bを残していきます。

 

▼エリア5「コンテンツの順序変更」のテスト結果

これに関しては、一番CVRの低い5Bを配信停止するという判断は、誰しもが取ると思います。

問題は、2位の5Aをこの段階で切るか、否か、です。

 

ここで見る数字は、やはり先の「非チャンプ率」になってきます。

今回の場合は、③テスト設計の段階で、テスト計測期間を過ぎたタイミングで「非チャンプ率90%以上のものを配信停止する」と決めていました。

よって、今回その判断に照らしていきます。

5Aの非チャンプ率は83.0%ですので、配信停止とはせず、フェーズ2へ残していきます。

 

ここまで、エリア1~エリア5でそれぞれ配信停止するクリエイティブをまとめると、下記のようになります。

クリエイティブ      UUCVCVR配信継続   
1A100801961.94%
1B100801361.35%×
1C100802052.03%
2A75601471.94%
2B75601141.51%×
2C75601562.06%
2D75601201.59%×
3A151202331.54%×
3B151203042.01%
4A151202331.54%×
4B151203042.01%
5A100801831.82%
5B100801531.52%×
5C100802011.99%

そして、これらの勝ち残ったクリエイティブを全て組み合わせたLPパターンを書き出すと、下記8パターンが残ります。

パターン   10123436106108130132
エリア11A1A1A1A1C1C1C1C
エリア22A2A2C2C2A2A2C2C
エリア33B3B3B3B3B3B3B3B
エリア44B4B4B4B4B4B4B4B
エリア55A5C5A5C5A5C5A5C

フェーズ2では、この8パターンのLPと、比較用に元のLP(パターン1)をあわせた、計9パターンのLPを同時にテストしていきます。

 

 

多変量テスト フェーズ2 結果

フェーズ1で残ったクリエイティブを組み合わせでできたパターンを比較して、チャンピオンとなる組み合わせを決めていきます。

この場合、「パターン106」が最もCVRが高く、このパターンは、パターン1(デフォルト)と比較し、87.80%の改善を実現しています。(CVR1.46 → CVR2.74%)。
この「87.80%の改善」をプロジェクトの成果として、提示しています。

 

このように、元々の「パターン1」に関しては途中で切らずに、最後まで比較用として残しておくことで、同時期同条件下での比較が可能となるのでおすすめです。

 

多変量テストフェーズ1では、非チャンプ率を見て、消去法的に効果の悪いクリエイティブを停止していました。
しかし、多変量テストフェーズ2では、既に明らかに効果の悪いクリエイティブは間引かれているため、はじめに決めたテスト期間で最も効果があったパターンを一気にチャンピオンと決定するケースが多いです。

 

もちろん、ここでも非チャンプ率を基準に消去法していく方法を採用するのもアリです。
しかし、あまりこれをダラダラと繰り返していても期間が長引いてしまうため、あまり推奨はしていません。

 

長くなりましたが、以上の①~⑥の工程で多変量テストは完了です。

 

 

多変量テストを終えたら

この多変量テストの工程を1周したLPは、高い精度で最適化が成されています。
そのため、ここから先、ABテストを繰り返してもその伸び白は小さいことが多いです。

 

そこで、多変量テストを終えたLPに関しては、ABテストや多変量テストを重ねていくのではなく、「パーソナライズ」を進めていくことをおすすめしています。

 

パーソナライズは、WEBページに訪問したユーザーの属性を判別し、それに応じてWEBページを出し分ける手法です。LP流入元、ユーザー環境、 1st Party、 3rd Partyデータなど、様々な属性に応じて、WEBページを出し分けていくのです。

これにより、同一ページを全てのユーザーに表示し続けるより高いCVRを出すことが可能となります。

 

多変量テストを終えて最適化されたLPを、更にパーソナライズをかけてCVR伸ばすようなご提案も行っています。

 

 

多変量テストを用いたLPOプロジェクト代行支援をします

ここまでの流れを私は「LPOコンサルティング」という形でサービスを提供しています。

案件としては、上場企業のLPO関連案件を複数担当してきました。

実績・経験値はありますので、気になる方には個別にお伝えします。

 

私がLPOプロジェクトを行う場合、

・LPOツール「DLPO」を使います。

・期間は、概ね6か月ほどかかります。

・費用感は、実費(ツール費や制作費)込みで月50万円~くらいかかります。

 

LPのCVR改善に課題感を感じている企業様は、勝利へ導けると思います。

気になった方は、下記メールアドレスまでお問い合わせ下さい。

yosuke.itabashi.820@gmail.com