有意差検定とは｜簡単解説
アドミンアドミン
有意差検定のカンタン語句解説
有意差検定とは、比較対象とするデータの差異が偶然生じたものか、偶然生じたものか、あるいはそうでないのかを統計を使って確かめる方法です。差がないとする帰無仮説と差があるとする対立仮説を立て、帰無仮説の発生する確率が十分に小さいと解釈する場合は、差があると結論づけます。
有意差とは
有意差とは、異なるグループのデータを比較した場合の違い（差）が、偶然によって生じた誤差の範囲に収まるものなのか、理由や原因があって生じた違い（差）なのかということです。
例えば、LP（ランディングページ）のA/Bテストを行って、サンプル数が十分に大きく、パターンA・パターンBのCVRの差が著しく大きい場合はどちらを選択すべきかは明白です。
しかし、CVRの差が数%、あるいはコンマ数%だった場合、両者の効果の違いなのか、たまたま今回のA/Bテストだけに起こったことなのかは判然としません。
CVRの差に対して、パターンA・パターンBの効果の差と判断する場合は「有意差がある」、偶然起こりうることであると判断する場合は「有意差がない」ということになります。
どの程度の差があれば有意差と見なすことができるのかを、仮説検定という統計的な手続きによって求めます。
仮説検定とは
仮説検定とは、確率的に起こりうる範囲（採択域）と稀にしか起こり得ない範囲（棄却域）の境界（有意水準）を設定し、実際に測定した数値から計算される確率が、どちらの範囲に入るかによって仮説が正しいか正しくないかを判定することです。
立てる仮説は検証したいことであり、A/Bテストの例でいえば以下の2つの仮説を立てることができます。
①パターンAとパターンBにCVRに対する効果の差がある ＝ 有意差がある
②パターンAとパターンBにCVRに対する効果の差がない ＝ 有意差はない
ここで問題にしたいことは、測定したCVRの差が、①CVRに対する効果の差により必然的に生じた差なのか、②効果は同じであるにもかかわらず偶然生じた差なのかということです。
CVRに対する効果がないにもかかわらずCVRに差が生じる確率が、稀にしか起こらない大きさの範囲（棄却域）内であれば、（100%ではないものの高い確率で）②が間違っていると考えて差し支えないということになります。
仮説検定では、結論づけたいことの逆仮説を帰無仮説、帰無仮説に対立する仮説を対立仮説として設定します。
A/Bテストの例に当てはめると以下のようになります。
| 帰無仮説 H0 | ②パターンAとパターンBにCVRに対する効果の差がない |
| 対立仮説 H1 | ①パターンAとパターンBにCVRに対する効果の差がある |
A/Bテストの有意差検定の例
仮説検定は確率をもとに判定を行うことを述べましたが、検定の対象とする確率を検定統計量といい、検定統計量は確率分布に従います。
検定統計量の種類によって当てはめることができる確率分布が異なり、A/Bテストで使われる確率分布にはカイ二乗分布やt分布があります。
カイ二乗検定
A/Bテストの結果について有意差検定を行う例として、カイ二乗検定を使って行う場合について説明します。
| 表示回数（imp） | CVした | CVしなかった | CVR | |
|---|---|---|---|---|
| パターンA | 78,625 | 4,508 | 74,117 | 5.73% |
| パターンB | 59,632 | 3,637 | 55,995 | 6.10% |
| 合計 | 138,257 | 8,145 | 130,112 | 5.89% |
帰無仮説は「パターンAとパターンBにCVRに対する効果の差はない」なので、差がないとした場合には、合計のCVRが算出されると考えられます。
つまり、「合計」138,257のうち「CVした」8,145（5.89%）「CVしなかった」130,112（94.11%）が、帰無仮説が真である場合に想定される結果とするということです。
パターンAとパターンBの表示回数をもとに「CVした」数と「CVしなかった」数の期待度数を求めます。
| 表示回数（imp） | CVした | CVしなかった | CVR | |
|---|---|---|---|---|
| パターンA | 78,625 | 4,631.96 | 74,117 | 5.89% |
| パターンB | 59,632 | 3,513.04 | 55,995 | 5.89% |
| 合計 | 138,257 | 8,145 | 130,112 | 5.89% |
ここで、エクセルの「CHISQ.TEST関数」でp値を求めます。
p値は有意確率ともいい「帰無仮説が真であると仮定した場合に、測定データ以上に極端な結果が得られる確率」のことです。
CHISQ.TEST関数の引数は上記の表の色付けした部分を引数とします。
| =CHISQ.TEST（計測値の範囲,期待度数の範囲） |
上記で求めたp値は0.43%です。
求められたp値が帰無仮説を棄却できる範囲かどうかの基準とする値を有意水準といいます。
有意水準は慣例的に5%や1%とする場合が多く、p値＜有意水準であれば帰無仮説は棄却されます。p値が小さいほど帰無仮説が起こる確率は低いということを意味しています。
この例の場合は、算出されたp値は有意水準よりも十分に小さいため、帰無仮説「パターンAとパターンBにCVRに対する効果の差がない」は棄却され、パターンAとパターンBに効果の差があったことが結論づけられます。
まとめ
この記事ではA/Bテストを取り上げましたが、エクセルの関数を使えば簡単に有意差検定を行うことができます。
しかし、統計的仮説検定は検定の目的ごとに確率分布の種類や検定の手法がバラエティに富んでおり、数式を理解して正しい知識を身につけるにはハードルが高いのも事実です。
実務のなかで誤った使い方をすれば、取り返しの付かない結果になることも考えられますので、確実なところから取り入れていくことをおすすめします。
