ABテストの有意差について
2
0
LPのABテストについて質問です！いまCTAボタンを重点的にABテストをしています。
LPのPVが決して多くないので、以下の条件で行っているのですが問題なさそうでしょうか？
・ABテストは１箇所ずつの変更で実施する
・１箇所に対して最大５セットまでテストを行うが、通常時に比べてクリック率 or CV率 20%以上の有意差が出た時点でその箇所のテストを終了する
・基準となる比較数と継続条件は以下の通り
・サンプル数はUU300ずつで比較する
・UU300ずつで有意差20%が出なかった場合、UU500ずつまで継続する
・UU500ずつで有意差10%が出なかった場合、UU1000ずつまで継続する
回答2件
ベストアンサー
やり方自体は問題ないように思いますが
UU数が少ないと通常時とクリック率の差が20%では
CV件数として見たときに差があるか判断難しい可能性あります。
たとえばLPのCTAクリック＝CVと仮定して
通常時（Aパターン）のLPのCVRを3%、UU数300人と500人ずつで考えてみると
■UU数300人（20%の有意差）
A:300×3%＝9
B:300×3.6%＝10.8
→CV差は1.8件
■UU数500人（10%の有意差）
A:500×3%＝15
B:500×3.3%＝16.5
→CV差は1.5件
差が1件程度では偶然起こった可能性もあります。
なので、差が分かるくらいUU数が増えてから実施する、
または、明らかにCTA変更の成果だと分かるくらい
条件のCTRとCVRの増加率を大きくして考えてみてもいいかもしれません。
偶然ではなく確かに違いが出ていたかを判定するサイトやツールもあるので
それを使ってみるのもおすすめです。
ベストアンサー
数字的なところはよくわからないですが
せっかく5セット分用意するなら
全部試して最も効果の高いものを出してもよさそうですけどね。
新しい回答
新着コラム
-
ホワイトペーパーとは？６つの種類と作り方を徹底解説！
良いランディングページの作り方とは？LPの無料サイトもご紹介！
Facebookリード獲得広告とは？効果の出るBtoB施策！
リスティング広告の費用と効果は？成功事例つきでわかりやすく解説！
コラム一覧へ
キーワードリスト
-
SEO
MA
BI
DSP
リードナーチャリング
ASP
アフィリエイト
DM
ポスティング
ロイヤリティプログラム
RFM
CM
メールマーケティング
イベントマーケティング
LPO
アクセス解析
SNSマーケティング
コンテンツマーケティング
ブランディング
マーケティング戦略
プロモーション戦略
PR
ABテスト
Googleアナリティクス
Google広告
YDN
オウンドメディア
コピーライティング
youtube
LINE
純広告
運用型広告
リスティング広告
ディスプレイ広告
プライシング
ライティング
記事広告（ネイティブ広告）
アンケート調査
市場調査
新聞広告
リターゲティング広告
リマーゲティング広告
マーケティングリサーチ
マーケティングキーワードリストへ
