ABテストのやり方や種類とは?仮説立てのコツとCVR改善事例つき 市川 莉緒 2021.05.13 2023/1/19 CRO実例解析 CROCVR改善サイト改善ヒートマップ ABテストのタイプ ABテストのPDCAサイクルの回し方 ABテストを行う際の仮説立てのコツ ABテストのよくある失敗例と原因 ABテストを効果的に行ってサイトの改善に繋げよう 「コンバージョンを増やしたい」「広告の費用対効果を上げたい」 WEBサイトやLPの運用上こういった悩みを抱えているWEB担当者や広告運用者は多く存在します。しかし、どこから手を付けるべきか、どう改善すべきか分からず困っている方も多いことでしょう。そんな方に向けて低コストでサイトの最適化を行えるABテストの運用方法やコツを千社以上のサイト改善に従事したノウハウから詳しく解説します。 ABテストのタイプ ABテストとは、2つ以上のページパターンを用意し、最も高い成果が出るパターンを見つけるための効果検証を行うことです。 ただ、一概にABテストと言っても、検証方法やサイトやページの条件によって適したテストのタイプが異なります。ABテストには主に4つのタイプが存在し、それぞれの特徴が以下の画像です。 また、以下の画像に各テストタイプの特徴と使い分けを詳しく表しています。 この中でもよく使う以下2つのテストは目的に応じた使い分けが明白であるため、はじめに詳しく解説します。 ① A/Bテスト ② リダイレクトテスト ABテストとリダイレクトテストは場面ごとに使い分ける A/Bテストとリダイレクトテストは、検証したい内容によって使い分けるのが得策です。一般的によく行われる検証内容である次の3つを例に、場面ごとに最も適したテストをご紹介します。 ・FVのアイキャッチ画像・コピー・CTAなど一要素の検証 ・ページ内コンテンツの入れ替え、組み換えによる検証 ・異なるコンテンツ、デザイン、クリエイティブでの検証 FVのアイキャッチ画像・コピー・CTAなど一要素の検証 上図のようにページ内の一要素のみの変更で比較する際に最適なテストのタイプは①A/Bテストです。 A/Bテストの最大の特徴は「オリジナルページのビジュアル編集のみでパターンが作れる」という点です。 つまり、パターンB用のURLを用意する必要がないため、コーディングなどの手間が省けるメリットがあります。一要素だけの比較であれば少ない工数で検証を行えるA/Bテストが最適と言えます。 ただ、一要素を変えたパターンBを別ページとして新しく用意するだけなので、②リダイレクトテストも利用できます。 ページ内コンテンツの入れ替え、組み換えによる検証 ページ内部のコンテンツやブロックの内容変更、順番の入れ替えなどを行う場合は、②リダイレクトテストが最適です。 この場合、新たにURLを用意したり、コーディング等をしたりする必要があります。しかし、このようなコンテンツの配置変更や入れ替えなどの場合、そもそもビジュアル編集で対応できないこともあるため、②リダイレクトテストが最適です。 異なるコンテンツ、デザイン、クリエイティブでの検証 ページ内のコンテンツの組み換えや、元のデザインや見た目が大きく異なるものなどの検証は、②リダイレクトテストが最適です。理由は先ほどと同様で、ビジュアル編集は一要素の比較時以外に対応できないことがあるからです。 多変量テストと期間比較テスト ③多変量テストは、適切なコンテンツの組み合わせを見つけたいときに利用します。 ただし、パターンが増える分、各パターンに十分な母数を確保する必要があるため、より多くのサンプル数を必要とします。 また、④期間比較テストとは、実際に変更を加えたページを公開し、変更前とのデータを比較する方法です。 ①~③は同一期間に行うテストであるのに対し、④期間比較テストは期間をずらして行います。 主に、ページの変更が決まっている場合の効果検証、十分なサンプル数が確保できない場合などに行います。 ABテストのPDCAサイクルの回し方 ABテストを行う上で「仮説立てをせずにテストを行う」ことは避けなければなりません。ここからは、成果につながるABテストに欠かせないPDCAサイクルの回し方と運用のコツを詳しく解説します。 ABテストを行う際、以下のPDCAサイクルを回すのが最善です。 順番にご説明します。 STEP1:現状把握&目標設定 ここでは「なぜABテストを行うのか」を明確にしましょう。闇雲にテストをしても結果が出るどころか、無駄な時間やコストを費やしてしまうことになりかねません。 そこで、まずはGoogleアナリティクス(以降GA)などのアクセス解析ツールから、現状把握を行います。例えば、GAのデータから直帰率が高いと感じた場合、以下のように考察します。 このように考察した結果、今回のABテストの目的は「直帰率改善」になりました。 STEP2:課題分析&仮説立て 次に「なぜその課題が発生しているのか」を考えます。例えば今回の例の「直帰率改善」に従うと、「なぜ直帰が多く発生しているのか」を考察します。この時に「ユーザーの意図を読み解く」ことが大切です。 ・なぜ離脱が起こっているのか? ・どこで離脱が起こっているのか? これらの問いを深堀りすることが最大のポイントになります。 もちろんそのページを実際に読み、理解しにくいところはないか?ユーザーの興味を削ぐような内容はないか?と考えることも大切です。 しかし、そのページを作成、管理している側からすると、そのページを初めて見たユーザーが感じることや意図は理解しづらいものです。 そんな時に手軽に使えるのがヒートマップです。 このようにユーザーがどこに興味を示し、どこで興味を失っているのかが視覚的にわかります。 したがって、上図のように冒頭で約50%の離脱が発生していることから「冒頭の改善をしよう」と手軽に見当を付けられるようになります。 今回の例の場合、冒頭に注目すると、アイキャッチ画像で意図ズレが起きている可能性があると気づき、具体的に上の画像内のような仮説を立てられます。したがって、より内容と関連のあるアイキャッチ画像に変えたパターンBを作成し、現在のページと比較することで、どちらのパターンが効果的かテストを行います。 ※ヒートマップを使った仮説立ての方法は後ほど詳しく解説します。 無料のヒートマップを使う STEP3:パターン作成&テスト開始 ここまで立てた仮説を元にパターンを作成し、テストを開始します。 ここでは元々存在しているページをパターンA、アイキャッチ画像を変更したページをパターンBとし、リダイレクトテストを行います。 また、Googleオプティマイズなどの無料ツールを使えば、作成した各パターンへの流入比率を設定できます。 このように、パターンAとBへの流入が同量になるように、50%ずつで出し分けます。また、パターン数が多くなるほどサンプル数(母数)をより多く必要とします。したがって短期間、少ない流入数でテストを行いたい場合は、パターン数を多くしすぎないことを推奨します。 STEP4:結果分析 ここで行うのは「どのパターンが、なぜよかったのか」を分析することです。 また、同様に期待した結果が出なかった場合も、なぜダメだったのか原因を分析することが大切です。例えばパターンBの方が結果がよかった場合、「アイキャッチ画像を変更したパターンBの直帰率が改善されたのは意図ズレが解消されたからだ」と結論付けられます。 より汎用性のある表現に変えると、ファーストビューの情報はユーザー行動を大きく左右する、と結論付けられます。 したがってこの結論から、次に行うABテストの計画を立てたり、ページ改善に繋げられたりするので、ページ最適化のノウハウを蓄積できるようになります。 ABテストを行う際の仮説立てのコツ 先ほど、ABテストを実際に行う前には仮説立てをする必要があると説明しました。ここからは仮説立ての際のユーザー意図の読み解きを、ヒートマップを使って分かりやすく行うコツをご紹介します。 ヒートマップを使うとユーザがどこを熟読しているかも一目でわかります。 ヒートマップで赤くなっている箇所=熟読箇所はユーザーがよく立ち止まっている箇所です。つまり、ユーザーが立ち止まって読んでいることからその箇所の内容に興味を示しているとも解釈できます。 したがって、熟読箇所の真下に「お申込みボタン」などのCTA(Call To Action : 購買やお問合せに繋がる導線)を追加することで、お問合せや購買への一押しがより効果的にできるようになるのでは、という仮説を立て、実行し、CVRが183%アップした事例もあります。 さらに、このユーザー意図の分析ができるヒートマップは、無料で使うことができるので、ABテストをしたい方は試してみてください。 無料のヒートマップを使う ABテストのよくある失敗例と原因 ここまでABテストの運用のコツをお伝えしてきましたが、やはり上手くいかないこともしばしばあります。 ここではよくある失敗例とその原因を解説しているので、これからABテストを行いたい方も、これまでうまく行かなかった方も参考にしてみてください。 仮説立て、根拠づけなしで運用した 最も多いケースがこちらです。 「なんとなくこの画像の方がいいと思ったから」「こっちの方が目立つ気がするから」 など、根拠に基づかない主観的な改善施策は失敗の原因になります。先ほど紹介したPDCAサイクルに則り適切に仮説立てをすることが何よりも大切です。 仮説立てが甘かった ユーザー意図を読み解く際の仮説立てがズレていたケースです。 アテンションヒートマップのデータを見て、ある箇所でユーザーが熟読していることから、そこにユーザーが興味を持ってくれていると判断し、そこの内容をより充実させよう、と仮説立てを行った場合を例にとります。 稀に、その箇所の内容が理解しづらく、なっているため、ユーザーが立ち止まっている場合があります。 理解しづらくなっている部分に内容を追加した場合、どうなるでしょうか?情報が雑多になってしまい、ますます理解しづらくなってしまいます。 このように、データや数値に踊らされるのではなく、なぜそのようなデータになっているのかを深く分析することが失敗を防ぐコツです。 サンプル数が足りなかった 統計学上、有効的なデータを取得するためにはサンプル数が400必要と言われています。ABテストの場合、各パターンでのPV数が400ずつあれば十分でしょう。 ABテストを行う際、仮にPV数が50ずつの状態でデータを比較した場合、有効的なテスト結果とみなせない可能性があります。 しかし、仮に十分なサンプル数に達する前に大幅にCVが落ちてしまったなど、明らかに悪影響が出ている場合はそのテストを中断し、なぜCV減に繋がってしまったか原因調査を行いましょう。 ABテストを効果的に行ってサイトの改善に繋げよう ここまで、各ABテストの違いと活用場面、ABテストの運用方法をご紹介いたしました。ABテストを効果的に運用するためには、事前準備とテスト後の検証をしっかり行うことが大切です。 事前準備時の仮説立てで効果的に使えるヒートマップは、無料から始められるので活用してみてはいかがでしょうか。 無料のヒートマップを使う 編集者情報 市川 莉緒 大阪大学卒。新卒でFaber Companyに入社後、 300近くの会社のヒートマップ分析に従事。 現在はミエルカヒートマップのマーケティングを担当。 大学時代1年休学し1人で世界を放浪。 グレートバリアリーフでのダイビングが最高の思い出。 監修者情報 玉飼 真一 この記事をシェアする