【初心者向け】ABテスト（A/Bテスト）とは？設計方法や事例などをわかりやすく解説 市川 莉緒 2021.05.13 2024/9/6 CRO実例解析 CROCVR改善サイト改善ヒートマップ ABテストの種類 ABテストの実施方法とPDCAサイクルの回し方 ABテストを行う際の仮説立てのコツ ABテストのよくある失敗例と原因 効果的なABテストを行うための3つのポイント ABテスト（A/Bテスト）とは、Webサイトやアプリにおいて、2つ以上の異なるパターン（AパターンとBパターン）をユーザーにランダムに表示し、どちらのパターンが特定の目的達成に対してより効果的なのかを検証する方法です。 この記事では、ABテストの種類や設計方法、事例などをわかりやすく解説します。 ABテストツールを無料で使ってみる ABテストとは ABテスト（A/Bテスト）とは、Webサイトやアプリにおいて、2つ以上の異なるパターン（AパターンとBパターン）をユーザーにランダムに表示し、どちらのパターンが特定の目的達成に対してより効果的なのかを検証する方法です。 例えば、Webサイトのデザインを変更する場合、従来のデザイン（Aパターン）と新しいデザイン（Bパターン）をそれぞれ異なるユーザーに表示し、クリック率やコンバージョン率などの指標を比較することで、どちらのデザインがより効果的かを判断します。 Webマーケティングでよく行われるABテスト ABテストは、Webマーケティングの様々な場面で活用されています。代表的な例として、以下のようなものがあります。 WebページのABテスト より多くコンバージョンを獲得することができるデザインを見つけるために行われるテストです。例えば、以下のような要素を比較検証します。 ・ボタン: ボタンの色や形、文言の違いによるクリック率やコンバージョン率への影響 ・画像: 写真やイラストの種類や配置の違いによるユーザーの印象や行動への影響 ・レイアウト: ページ全体の構成や要素の配置（順番）の違いによるユーザーの回遊率やコンバージョン率への影響 ・テキスト: タイトルや見出しの表現の違いによるクリック率やコンバージョン率への影響 ・本文: 文章の長さや表現、構成の違いによるユーザーの回遊率やコンバージョン率への影響 広告のABテスト クリック率やコンバージョン率を高めることを目的としたテストです。例えば、以下のような要素を変更してABテストを行います。 ・広告文: 広告の見出しや説明文の違いによるクリック率やコンバージョン率への影響 ・画像/動画: 広告に使用する画像や動画の違いによるクリック率やコンバージョン率への影響 ・ターゲティング: 広告配信の対象となるユーザー層の違いによるクリック率やコンバージョン率への影響 ・ランディングページ: 広告をクリックした後にユーザーが遷移するページの違いによるコンバージョン率への影響 メールマガジン（メルマガ）のABテスト MAツールなどを利用している場合は、メールマガジンもABテストを行うことが可能です。例えば、以下のような要素を比較検証します。 ・件名: メールの件名違いによる開封率への影響 ・本文: メールの本文の長さや表現、構成の違いによるクリック率やコンバージョン率への影響 ・配信時間: メールを配信する時間帯の違いによる開封率やクリック率への影響 ・送信元アドレス、送信者名: メールマガジンの送信元アドレスや送信者名の違いによる開封率への影響 ABテストの種類 ABテスト（クラシックABテスト） 最も一般的なABテストの方法で、2つのパターンを比較検証します。Aパターンをコントロールグループ、Bパターンをテストグループと呼び、それぞれのグループの指標を比較することで、どちらのパターンがより効果的かを判断します。 なお、3つのパターンを比較する場合を「ABCテスト」、4つのパターンを比較する場合を「ABCDテスト」と言うこともあります。 リダイレクトテスト（スプリットURLテスト） Webページのデザインを大幅に変更する場合などに用いられる手法です。異なるURLで全く異なる2つのページを用意し、それぞれのページにランダムにユーザーを誘導します。それぞれのページの指標を比較することで、どちらのページがより効果的かを判断します。 多変量テスト 複数の要素を同時に変更してテストを行う方法です。例えば、Webページの見出し、本文、画像をそれぞれ2パターンずつ用意した場合、合計で8つのパターンを検証することができます。 複数の要素を同時にテストすることができるだけではなく、それぞれの要素の相互作用も分析することができるので、一度のテストで最適な組み合わせを見つけることができます。 期間比較テスト ページを改修した前と後で比較する方法です。厳密にはテストとは言えませんが、実際にページを改修した後や、サイトリニューアルを行なった後の効果検証として用いられることも多い手法です。 各テストタイプの特徴と使い分け この4種類の中でもよく使う以下2つのテストは目的に応じた使い分けが明白であるため、はじめに詳しく解説します。 ① A/Bテスト ② リダイレクトテスト ABテストとリダイレクトテストは場面ごとに使い分ける A/Bテストとリダイレクトテストは、検証したい内容によって使い分けるのが得策です。一般的によく行われる検証内容である次の3つを例に、場面ごとに最も適したテストをご紹介します。 ・FVのアイキャッチ画像・コピー・CTAなど一要素の検証 ・ページ内コンテンツの入れ替え、組み換えによる検証 ・異なるコンテンツ、デザイン、クリエイティブでの検証 FVのアイキャッチ画像・コピー・CTAなど一要素の検証 上図のようにページ内の一要素のみの変更で比較する際に最適なテストのタイプは①A/Bテストです。 A/Bテストの最大の特徴は「オリジナルページのビジュアル編集のみでパターンが作れる」という点です。 つまり、パターンB用のURLを用意する必要がないため、コーディングなどの手間が省けるメリットがあります。一要素だけの比較であれば少ない工数で検証を行えるA/Bテストが最適と言えます。 ただ、一要素を変えたパターンBを別ページとして新しく用意するだけなので、②リダイレクトテストも利用できます。 ページ内コンテンツの入れ替え、組み換えによる検証 ページ内部のコンテンツやブロックの内容変更、順番の入れ替えなどを行う場合は、②リダイレクトテストが最適です。 この場合、新たにURLを用意したり、コーディング等をしたりする必要があります。しかし、このようなコンテンツの配置変更や入れ替えなどの場合、そもそもビジュアル編集で対応できないこともあるため、②リダイレクトテストが最適です。 異なるコンテンツ、デザイン、クリエイティブでの検証 ページ内のコンテンツの組み換えや、元のデザインや見た目が大きく異なるものなどの検証は、②リダイレクトテストが最適です。理由は先ほどと同様で、ビジュアル編集は一要素の比較時以外に対応できないことがあるからです。 多変量テストと期間比較テスト ③多変量テストは、適切なコンテンツの組み合わせを見つけたいときに利用します。 ただし、パターンが増える分、各パターンに十分な母数を確保する必要があるため、より多くのサンプル数を必要とします。 また、④期間比較テストとは、実際に変更を加えたページを公開し、変更前とのデータを比較する方法です。 ①～③は同一期間に行うテストであるのに対し、④期間比較テストは期間をずらして行います。 主に、ページの変更が決まっている場合の効果検証、十分なサンプル数が確保できない場合などに行います。 ABテストツールを無料で使ってみる ABテストのメリットと重要性 この記事を読まれている方の中には、「ABテストをやらなくても、ページを直接変えてしまって、変える前と後で比較すれば良いのでは？」と思われている方もいらっしゃるでしょう。しかし、昨今のWebマーケティング業界では、ABテストはできる限り実施した方が良いと言われています。本章では、その理由となる、ABテストのメリットと重要性を解説します。 改悪を防げる ABテストを行うことで、実際のページに変更を加える前に、その効果を検証することができます。「いくつか改善案があるが、どれが最も良いのかわからない」「代理店・コンサルティングから改善施策を提案されたが、本当に効果があるのかわからない」という場合などは、ABテストを実施して確かめてみることがおすすめです。 また、PV数が多かったり、高い広告費をかけている場合、施策がコンバージョンに悪い影響を及ぼしてしまうと、膨大な損失に繋がってしまいます。ABテストを行い、本当に効果があるのか、悪い影響を及ぼさないかどうかを確認することで、そうした損失を事前に防ぐことができます。 正確な判断ができる 「ABテストを行わず、ページを直接変え、変える前と後で比較する」というやり方は、正確な結果を得ることが非常に難しい手法なので、おすすめできません。季節性や競合動向といった商品・サービスの特徴に起因するものから、広告予算の増減、SEOによるアップデート等、コントロールが難しいものもあります。そうした変化が常に起こりうる状況のなかで、ページを直接変えて期間比較を行なっても、正確なデータを得ることはかなり難しくなってしまいます。 ABテストであれば、同一条件下で検証を行うことができ、正確なデータを得ることができます。Webページの改善を行う際には、ABテストを行うことをおすすめします。 データに基づいた施策決定が可能になる ABテストの結果は、ユーザーの行動に基づいた客観的なデータとなります。そのため、ABテストを実施することで、データに基づいたWebサイトやアプリの改善策を立案することができます。 特に、「チーム内ではA案を推すメンバーが多いが、上司がB案の方が良いと言っている」というシチュエーションや、代理店などでよくある「経験上、A案の方が効果が出ると予想できるが、クライアントがB案を推している」というシチュエーションでは、ABテストの利用が非常に効果的です。データに基づいてどちらの案が良いか判断できるため、双方が納得した状態で施策を進めることができます。 ABテストの実施方法とPDCAサイクルの回し方 ABテストを行う上で「仮説立てをせずにテストを行う」ことは避けなければなりません。ここからは、成果につながるABテストに欠かせないPDCAサイクルの回し方と運用のコツを詳しく解説します。 ABテストを行う際、以下のPDCAサイクルを回すのが最善です。 順番にご説明します。 STEP1：KGI・KPIなどの目標の確認 目標なしにABテストを実施するのは、得策ではありません。施策に一貫性がなくなってしまったり、優先すべき課題を見誤ってしまうリスクがあるからです。 まずは大まかな方針を決めましょう。「Web経由でのコンバージョンを増やす」「このページの流入数を増やす」などのシンプルなもので構いません。その後、Webサイト内のコンバージョン、又はコンバージョンを達成する前に経由するCTAボタンクリックやフォーム遷移、ECサイトであればカート投入等の数値目標を決めましょう。 可能であれば、事業目標などから、Web経由でどれくらいのコンバージョンが必要なのかを割り出し、KGIとして設定しましょう。次に、そのKGIを達成するために、いつまでにどのくらいまでコンバージョン率が改善されている必要があるのかを割り出し、KPIとして設定します。 ABテストは、1度だけではありません。仮説ごと、施策ごとに何度も実施していきます。KGIとKPIを設定し、目標達成のためどのテストから行うべきなのか、優先順位をつけることで、ABテストを効率よく進めることができます。 STEP2：現状分析 目標に近づくためには、現状を分析し、現時点でどのくらいのギャップがあるのかを確かめた上で、改善すべき点を見つけ出すことが重要です。 まずは、社内でいつも議論されていることや、チームメンバーが気になっていることなどを洗い出してみましょう。これも大切な現状分析の一つなので、ぜひ取り組んでみてください。 Web上の情報だけではなく、営業やマーケティング部門から情報を提供してもらうことも大切です。ニーズの変化や新たな流行の発生など、Web上だけではわからない情報を獲得できる場合があります。こうした情報と、現時点で訴求している内容や方法を比較し、どう違うのかを確認・把握しておくことも、重要な現状分析の一つです。 また、可能であれば、アクセス解析ツール等でも現状分析を行いましょう。 アクセス解析ツールでは、 ・サイト全体でのコンバージョン率はどのくらいか ・コンバージョンを完了するまでにどんなページを経由するか ・どのページのコンバージョン率が低いか ・コンバージョン率に大きな影響を与えるページはどれか ・それぞれのページの読了率や直帰率はどのくらいか など、サイト全体を通した定量的な分析を行います。これにより、「どのページから改善施策を立てていくべきか」という、ABテストの優先順位をつけることができます。 例えば、GA4のデータから直帰率が高いと感じた場合、以下のように考察します。 このように考察した結果、今回のABテストの目的は「直帰率改善」になりました。 STEP3：課題分析＆仮説立て 次に「なぜその課題が発生しているのか」を考えます。例えば今回の例の「直帰率改善」に従うと、「なぜ直帰が多く発生しているのか」を考察します。この時に「ユーザーの意図を読み解く」ことが大切です。 ・なぜ離脱が起こっているのか？ ・どこで離脱が起こっているのか？ これらの問いを深堀りすることが最大のポイントになります。 もちろんそのページを実際に読み、理解しにくいところはないか？ユーザーの興味を削ぐような内容はないか？と考えることも大切です。 しかし、そのページを作成、管理している側からすると、そのページを初めて見たユーザーが感じることや意図は理解しづらいものです。 そんな時に手軽に使えるのがヒートマップです。ヒートマップでは、 ・どのCTAボタンがよくクリックされているか ・どこで大きく直帰しているか ・どのボタン・リンクから他のページに回遊しているか ・どこがよく読まれているか（=ユーザーニーズに答えた内容になっているか) などの定性的な分析が可能です。これにより、「そのページのどの要素を変えてABテストを行うべきか」という、ABテストを行う要素の絞り込みができます。 このようにユーザーがどこに興味を示し、どこで興味を失っているのかが視覚的にわかります。 したがって、上図のように冒頭で約50%の離脱が発生していることから「冒頭の改善をしよう」と手軽に見当を付けられるようになります。 今回の例の場合、冒頭に注目すると、アイキャッチ画像で意図ズレが起きている可能性があると気づき、具体的に上の画像内のような仮説を立てられます。したがって、より内容と関連のあるアイキャッチ画像に変えたパターンBを作成し、現在のページと比較することで、どちらのパターンが効果的かテストを行います。 ※ヒートマップを使った仮説立ての方法は後ほど詳しく解説します。 無料のヒートマップを使う STEP4：パターン作成&テスト開始 ここまで立てた仮説を元にパターンを作成し、テストを開始します。 ここでは元々存在しているページをパターンA、アイキャッチ画像を変更したページをパターンBとし、リダイレクトテストを行います。 ツールによってテストの作成方法は異なるので、事前に確認しておきましょう。また、以下の点も重ねて確認するようにしましょう。 テスト実施ページが間違っていないか 意図していないページにテストが適用されてしまうリスクを避けるためにも、必ず確認しましょう。特にパラメータの設定は間違いが多いため、ダブルチェック等を行うと良いでしょう。 ターゲット設定とテスト設定が間違っていないか 「スマートフォンユーザーを対象にテストを行うのに、作成したパターンがPC用のパターンだった」など、テスト設定とターゲット設定が間違ったままテストを開始してしまうこともよくあります。注意するようにしましょう。 十分な期間を設定しているか ABテストは、有意差が出るように、十分な期間を設定しましょう。有意差とは、2つ以上の数値間の差が、たまたま起こった差では無く、統計学的に意味の有る差であることを表す統計的な指標です。 扱う商材によっては、曜日や時間帯、季節によって、アクセス数やユーザーの属性が大きく異なり、正確な結果が得られない可能性があります。「いつからいつまでテストを実施すれば正確なデータが十分に得られるか」を事前に話し合っておくと良いでしょう。例えば、 ・繁忙期に行なった方が良いか？閑散期に行なった方が良いか？ ・セール期間中に行なった方が良いか？何もキャンペーンを行なっていない時の方が良いか？ などを検討すると良いでしょう。 STEP5：結果分析 十分なデータが集まったら、結果を分析します。 ABテストの結果分析は、「どのパターンが、なぜよかったのか」を分析することです。どのパターンが良かったかだけでなく、なぜそうなったのかを必ず確認しましょう。 また、同様に期待した結果が出なかった場合も、なぜダメだったのか原因を分析することが大切です。例えばパターンBの方が結果がよかった場合、「アイキャッチ画像を変更したパターンBの直帰率が改善されたのは意図ズレが解消されたからだ」と結論付けられます。 より汎用性のある表現に変えると、ファーストビューの情報はユーザー行動を大きく左右する、と結論付けられます。 したがってこの結論から、次に行うABテストの計画を立てたり、ページ改善に繋げられたりするので、ページ最適化のノウハウを蓄積できるようになります。 ABテストを行う際の仮説立てのコツ 先ほど、ABテストを実際に行う前には仮説立てをする必要があると説明しました。ここからは仮説立ての際のユーザー意図の読み解きを、ヒートマップを使って分かりやすく行うコツをご紹介します。 ヒートマップを使うとユーザがどこを熟読しているかも一目でわかります。 ヒートマップで赤くなっている箇所＝熟読箇所はユーザーがよく立ち止まっている箇所です。つまり、ユーザーが立ち止まって読んでいることからその箇所の内容に興味を示しているとも解釈できます。 したがって、熟読箇所の真下に「お申込みボタン」などのCTA（Call To Action : 購買やお問合せに繋がる導線）を追加することで、お問合せや購買への一押しがより効果的にできるようになるのでは、という仮説を立て、実行し、CVRが183%アップした事例もあります。 さらに、このユーザー意図の分析ができるヒートマップは、無料で使うことができるので、ABテストをしたい方は試してみてください。 無料のヒートマップを使う ABテストのよくある失敗例と原因 ここまでABテストの運用のコツをお伝えしてきましたが、やはり上手くいかないこともしばしばあります。 ここではよくある失敗例とその原因を解説しているので、これからABテストを行いたい方も、これまでうまく行かなかった方も参考にしてみてください。 仮説立て、根拠づけなしで運用した 最も多いケースがこちらです。 「なんとなくこの画像の方がいいと思ったから」「こっちの方が目立つ気がするから」 など、根拠に基づかない主観的な改善施策は失敗の原因になります。先ほど紹介したPDCAサイクルに則り適切に仮説立てをすることが何よりも大切です。 仮説立てが甘かった ユーザー意図を読み解く際の仮説立てがズレていたケースです。 アテンションヒートマップのデータを見て、ある箇所でユーザーが熟読していることから、そこにユーザーが興味を持ってくれていると判断し、そこの内容をより充実させよう、と仮説立てを行った場合を例にとります。 稀に、その箇所の内容が理解しづらく、なっているため、ユーザーが立ち止まっている場合があります。 理解しづらくなっている部分に内容を追加した場合、どうなるでしょうか？情報が雑多になってしまい、ますます理解しづらくなってしまいます。 このように、データや数値に踊らされるのではなく、なぜそのようなデータになっているのかを深く分析することが失敗を防ぐコツです。 サンプル数が足りなかった 統計学上、有効的なデータを取得するためにはサンプル数が400必要と言われています。ABテストの場合、各パターンでのPV数が400ずつあれば十分でしょう。 ABテストを行う際、仮にPV数が50ずつの状態でデータを比較した場合、有効的なテスト結果とみなせない可能性があります。 しかし、仮に十分なサンプル数に達する前に大幅にCVが落ちてしまったなど、明らかに悪影響が出ている場合はそのテストを中断し、なぜCV減に繋がってしまったか原因調査を行いましょう。 効果的なABテストを行うための3つのポイント 効果的なABテストを行うためには、いくつかのポイントがあります。今回はその中でも特に重要な3つのポイントをご紹介します。 適切なテスト対象要素を選定する ABテストの効果を高めるためには、適切な要素をテスト対象として選ぶことが重要です。コンバージョンに大きな影響を与えそうな要素やページからABテストを行っていくと良いでしょう。 例えば、以下のようなものが挙げられます。 ・多くのユーザーが接触している箇所（例：多くのユーザーが見ているページや、各ページの上部） ・ゴールに近い箇所（例：CTAボタンや、CVのための入力フォーム） 適切なサンプルサイズとテスト期間を設定する ABテストを実施する際には、適切なテスト期間とサンプルサイズを設定する必要があります。WebページのABテストであれば、PV数、セッション数、UU数などをサンプルサイズとして設定できます。期間が短すぎたり、サンプルサイズが小さすぎると、統計的に有意な差が得られない可能性があります。テストを行う前に、どのくらいの期間でどのくらいのサンプルが得られそうか、予測を立ててみるのもおすすめです。 一般的には、曜日などによってユーザー行動が大きく変化するため、2週間が目安であると言われています。また、コンバージョン数が少なすぎても判断が難しいため、1テストパターンあたり50以上のコンバージョン数が集まっていない場合は、テスト期間を延長してみましょう。 なお、コンバージョンがなかなか増えない場合は、CTAボタンやフォーム遷移など、最終コンバージョンの手前の部分となる中間コンバージョンを計測対象にしてみるのもおすすめです。 結果の考察を忘れずに行う ABテストの結果は、必ずしも予想通りの結果になるとは限りません。ヒートマップツールを用いて、該当テストの各パターンのヒートマップデータを比較し、なぜそのような結果になったのか、慎重に解釈・考察しましょう。その結果を元に、仮説の見直しや新たなテストの実施を検討していきます・ ABテストの事例 本章では、弊社で実際に行ったABテストの事例を紹介します。今回のABテストは、営業やお客様のお声を元に行ったABテストです。 営業やお客様のお声をもとに、訴求内容を変更してABテストを設計 弊社が提供しているミエルカSEOというサービスは、ツールとサポート（コンサルティング）の2軸でお客様を支援するのが大きな特徴です。実際、お客様からのヒアリングでも、サポートがあることによって施策が効率的に実行できたり、課題が明確になったというお声をいただいていました。 そこで私たちは、ミエルカSEOのターゲットとなる多くのお客様が、次のような潜在的な悩みを抱えているのではないかと仮説を立てました。 ・「相談したいけれど、どこから聞けばいいかわからない」 ・「そもそも何が課題なのかわからず、相談できない、ミエルカも活用できない」 この仮説のもと、サポートやコンサルティングをメインに訴求するミエルカSEOのLPを新たに作成、リダイレクトテストを約1週間ほど実施しました。 結果は不発 実際にABテストを行ったところ、サポートをメインで訴求したものよりも、もともと使用していたデザインの方が、コンバージョン率が高い結果となりました。 実際に、パターン1のヒートマップを見てみると、サポートについて言及しているセクションは熟読率が低くなっていました。ここから、LPに訪れる人たちにとって、サポートの訴求はさほど響かず、結果としてコンバージョン率が低くなったのだと判明しました。 一方で、どちらのページにも共通して載せている、「ツール導入がお悩みの解消になる」という訴求部分は、熟読率が高くなっています。つまり、LPに訪れる人たちにとって響くのは、サポートがつくことではなく、「今抱えている悩みが、ツールを入れることによって解決されるか否か」という部分だったのです。 この記事を読んでいる方の中には、「このABテストは失敗だ」と思われている方もいらっしゃるかもしれません。しかしWebページの改善という点では、むしろ成功の部類に入ります。なぜなら、「改悪を防ぐことができた」からです。 もしABテストを行わず、この仮説を信じてページを直接変えてしまっていたら、ミエルカSEOのLPのコンバージョン率は間違いなく下がっていたでしょう。確かにサポートやコンサルティングは、ミエルカSEOの大きな魅力ですが、それがこのLPを訪れている人に響くかどうかは、また別の問題です。そこで、LPを変えてしまう前にABテストを行い、本当に効果があるのか検証し、結果として効果がない、むしろ悪影響であったことを確認できたので、Webページの改善という観点では、非常に意味のあるABテストだったと言えます。 このように、改悪を防げるのが、ABテストの大きなメリットの一つです。まだ実施されていない方は、ぜひこの機会に実施してみて下さい。 まとめ；ABテストを効果的に行ってサイトの改善に繋げよう ここまで、各ABテストの違いと活用場面、ABテストの運用方法をご紹介いたしました。 ABテストは、Webサイトやアプリを改善するための強力なツールです。ABテストを実施することで、ユーザーの行動に基づいたデータを得ることができ、より効果的な改善策を立案することができます。またABテストを行っていない方は、ぜひこの機会に試してみてはいかがでしょうか。 ミエルカヒートマップには、現状把握や仮説設計、結果検証に役立つヒートマップツールとABテストツールが搭載されています。無料から始められるので、ぜひこの機会に無料トライアルをお試しください。 ミエルカヒートマップを無料で試してみる 編集者情報 市川 莉緒 大阪大学卒。新卒でFaber Companyに入社後、 300近くの会社のヒートマップ分析に従事。 現在はミエルカヒートマップのマーケティングを担当。 大学時代1年休学し1人で世界を放浪。 グレートバリアリーフでのダイビングが最高の思い出。 監修者情報 玉飼 真一 この記事をシェアする
