【初心者向け】ABテストにおける「有意差」とは？結果が正しいかどうかを判別する方法を徹底解説 高田愛 2024.09.06 2024/11/7 CRO CROUIUXWEBデザイン ABテストとは 有意差とは 有意差の計算方法 有意差が出にくいABテスト ABテストで有意差をきちんと出すために気を付けるべきポイント ABテストにおける「有意差」とは、ABテストの結果が統計学的に信頼でき、各パターンの差が統計学的に意味のある差であることを指します。実際、ABテストを実施した際に、その結果がどれだけ信頼できるのかを有意差で判定することが多くあります。この記事では、ABテストにおける有意差について、実際の判別方法も含めながら解説します。 ABテストとは？ ABテストとは、Webサイトやメール、広告などにおいて、デザインや機能の効果を比較検証する際に用いられるテストのことです。2つ以上のパターン（AパターンとBパターンなど）を用意し、ユーザーをランダムに振り分け、どちらのパターンがより高い効果（コンバージョン率やクリック率など）を示すかを検証します。 例えば、 ・CTAボタンの色を青から赤に変えることで、CV率はどう変化するのか？ ・FVのキャッチコピーを変更することで、離脱率はどう変化するのか？ などを検証するのがABテストです。 参考記事：【初心者向け】ABテスト（A/Bテスト）とは？設計方法や事例などをわかりやすく解説 ABテストツールを無料で試してみる 有意差とは？ 有意差とは、2つ以上の数値間の差が、たまたま起こった差では無く、統計学的に意味の有る差であることを表す統計的な指標です。 例えば、CTAボタンの色を青から赤に変えたことで、CV率が2%上がったとします。この結果が、偶然ではなく、CTAボタンの色の変更に起因するものである場合に、「有意差がある」と言うことができます。 ABテストの有意差はどうすればわかる？ ABテストを行う中で、有意差を実際に人の手で計算することはほとんどありません。ツールを用いて有意差を判定する方法が一般的です。 例えば、一部のABテストツールでは、ABテストの結果画面で有意差の判定結果を表示する機能が搭載されています。そのほか、Webページ上で公開されている有意差判定ツールを利用するのも一つの手です。例えば、無料のABテストツールとして世界的に有名なVWOなどは、誰でも無料で使える有意差判定ページを提供しています。 ▶︎VWOが提供している有意差判定ページはこちら 有意差の計算方法 ABテスト有意差の計算には、ベイズ統計（ベイズ検定）やカイ二乗検定、t検定などの統計的手法が用いられます。現時点で最もメジャーなのはベイズ統計（ベイズ検定）で、Google OptimizeやVWOなどの超大手ABテストツールが利用している計算方法でもあります。 ただし、ベイズ統計やt検定は、計算が非常に複雑です。特にベイズ統計は、「コンピュータの計算が主流になってからやっと利用が広まった」と言われることもあるほど、複雑な計算として知られています。ベイズ統計やt検定を用いた有意差判定は、一部の計算フローをPythonなどによるコードを利用することが一般的です。 そのためこの章では、手計算でも算出しやすいカイ二乗検定での有意差の判定方法をご紹介します。 カイ二乗検定でABテストの有意差を出してみよう！ まずは、データを整理します。今回は、以下のデータをサンプルとして利用します。 パターン CV数 CVしなかった数 計 A 20 980 2000 B 25 975 2000 計 45 1955 2000 次に、それぞれの期待値を求めます。計算方法は以下の通りです。 次に、カイ二乗値を計算します。まずは、各セルに対するカイ二乗値を算出します。 これらを合計して、全体のカイ二乗値を求めます。 0.278 + 0.006 + 0.278 + 0.006 = 0.568 次に、p値の計算を行います。p値とは、ABテストで実際に計測された各パターン結果の差が、偶然ではない何らかの原因によって生じた可能性のある程度を示す指標です。 今回は、ExcelやGoogle Sheetsを使ってp値を計算します。任意のセルに以下の数式を入力すると、p値が計算されます。 =CHISQ.DIST.RT(0.568, 1) 今回の場合だと、計算結果は約0.451になりました。 ちなみに、証明しなければならない仮説を帰無仮説といいます。今回の場合は、帰無仮説は「パターンAとパターンBのコンバージョン率に有意な差がない」になります。また、帰無仮説を棄却するときの判断基準を有意水準といいます。一般的には、5％か1％という値が使われます。 これに従うと、計算したp値が0.05より大きい場合、帰無仮説は棄却されません。今回の場合、0.451なので、パターンAとパターンBのコンバージョン率に有意な差はないと結論付けることができます。 有意差が出にくいABテスト 有意差が出ない原因はいくつかありますが、ABテストの実施方法に原因があることも少なくありません。ここからは、有意差が出にくくなってしまう要因となるABテスト実施方法と、その対処法をご紹介します。 変化量が少なすぎる 画像を高画質のものに変えるだけ、記事コンテンツのテキストを一部変えるだけなど、変化量が少ないABテストでは、有意差が出にくいこともあります。 ただし、変化量が少なくてもコンバージョンに大きな影響を与えることも少なくありません。どんな変更が有意差が出にくいのかは、実際にやってみないとわからないこともあります。 そのため、変化量が少ないテストを行う場合は、毎日結果やヒートマップデータを確認し、サイトの多少の変化でもユーザー行動が大きく変わるのかどうかを初期のうちに確認することをおすすめします。もし変化が起きない場合は、施策の規模を大きくしていきましょう。 サンプルサイズが小さい サンプルサイズが小さい場合、有意差が出にくくなってしまいます。サンプルサイズが小さいと、偶然のばらつきの影響を受けやすくなるためです。対処法としては、事前に必要なサンプルサイズを計算し、十分なサンプルサイズを確保してからテストを実施することが挙げられます。なおミエルカヒートマップでは、最低でも1パターンにつき数百セッションは必要である、とご案内しています。 複数の変数を同時にテストしている 複数の要素を同時に変更してテストすると、どの変更が結果に影響を与えたのかが分からなくなることがあります。例えば、CTAボタンの色とテキストを変えてテストを行い、変更後のパターンの方がCV率が上がった場合、CV率が上がった原因が色にあるのか、それともテキストにあるのかを判断することは、容易ではありません。 せっかくテストしたのに、その結果の原因がわからない、という勿体無い状況を避けるためにも、1回のA/Bテストにつき1つの要素を変更する、という形式でテストを実施することをおすすめします。 また、多変量テストであれば、複数の要素を変更しても、それぞれの変数の影響度合いを分析することが可能です。多変量テストを搭載しているツールを利用している場合は、多変量テストの実施も検討してみましょう。 テスト期間が短すぎる・季節が適切でない場合 テスト期間が短すぎると、曜日や時間帯による影響を受け、正確な結果が得られないことがあります。例えば、BtoBの商材を扱うページでABテストを行う場合、土日はほとんどデータがたまらず、偶然のばらつきの影響を受けやすくなってしまいます。最低でも、月曜日から金曜日までの5日間はABテストを行うようにしましょう。 期間の短さだけでなく、季節性も重要です。バレンタインチョコを扱うページの場合、2月以外の季節でABテストを行っても、正確なデータはあまり集まりません。偶然のばらつきの影響を受けやすくなっていると言えるでしょう。 事前に曜日や時間帯、季節による影響を考慮し、十分な期間を設定してテストを実施することが重要です。 ABテストで有意差をきちんと出すために気を付けるべきポイント 最後に、ABテストの結果で有意差がきちんと出るために気を付けるべきポイントを紹介します。 仮説立てとテスト対象要素の選定 ABテストを実施する際には、テスト対象となるもの（ページ、メール、広告など）の現状をしっかり分析し、仮説を立てた上で、テスト対象となる要素を明確にする必要があります。どのページのデザインを変更するのか、どのボタンの色を変えるのかなど、具体的に定めることが重要です。 なお、1回のABテストにつき、変更する要素は1つにしましょう。色を変えるだけ、テキストを変えるだけなど、変数を絞ることで、なぜそのような結果になったのか、という原因の特定がしやすくなります。 テスト期間の設定 テスト期間は、統計的に有意な結果を得られるように、十分な期間を設定する必要があります。前述したように、扱う商材によっては、曜日や時間帯、季節によって、アクセス数やユーザーの属性が大きく異なります。テスト期間が短すぎると、日々のアクセス数の変動などの影響を受け、正確な結果が得られない可能性があります。 テストを行う前に、いつからいつまでテストを行うのかを決め、正確なデータを取得するのに十分な期間かを検討するようにしましょう。 データの分析方法 ABテストの結果は、統計的に分析する必要があります。 まずは、分析に十分なサンプルデータがたまっているかどうかを確認しましょう。その後、有意差検定などを用いて、結果が偶然によるものなのか、それとも意味のある差なのかを判断します。 まとめ Webサイトや広告、メールなどは、ABテストを継続的に実施し、地道に施策を重ねていくことが改善に繋がります。しかし、ABテストの結果が正しくなければ、施策を重ねても、改善に近づくことはできません。そのテストの結果が本当に正しいのかをきちんと見極めるためにも、有意差のチェックは必ず行うようにしましょう。 ミエルカヒートマップには、ヒートマップツールだけでなく、ABテストツールも搭載されています（ABテストツールをご利用いただけないプランもございます）。無料から始められるので、ぜひこの機会に無料トライアルをお試しください。 ミエルカヒートマップを無料で試してみる 編集者情報 高田愛 株式会社Faber Companyに新卒入社した後、自社ソフトウェアの開発ディレクション業務に携わる。現在は、ミエルカヒートマップのUI・UX向上や、ABテスト機能の開発、リリースした機能のプロモーション業務を中心に担っている。 この記事をシェアする
