有意水準とは｜簡単解説

有意水準の語句説明

有意水準を言葉の意味どおりに理解すると、「有意」＝（意味がある）「水準」＝（基準となる数値）であると想像できます。

統計的には、統計量として得た値を意味のあるものと解釈してよいかどうかを判断するために決めておく確率のことです。

例えば、サイコロを振って「6」が出る確率は1/6で16.667%、2回行った場合に連続して「6」が出る確率は16.667%✕16.667%＝2.778%です。同様に投げる回数を増やして「6」が出続ける確率を考えてみると以下のようになります。

• 1回目が「6」ー16.667％
• 2回連続「6」ー 2.778%
• 3回連続「6」ー 0.463%
• 4回連続「6」ー 0.077%
• 5回連続「6」ー 0.013%

5回連続して「6」が出る確率は0.013%であり、5回をワンセットとして1万セット試行したうちの1.3回は連続して5回とも「6」が出る可能性があるということです。しかし、非常に稀にしか起こり得ない事象であることは明らかです。

「6」が連続して出るもうひとつの可能性として「6」が出やすいサイコロを使ってイカサマを行った場合が考えられます。

イカサマか偶然かをはかる有意水準

非常に稀なことがたまたま起こったのか、イカサマによって起こるべくして起こったのかの基準を決めることが有意水準をどこに設定するかということです。この場合、「意味のあること」がイカサマであることに相当します。

仮に、有意水準を0.1%とした場合には3回と4回がイカサマかどうかの分かれ目となります。

3回連続して「6」が出る0.463%という確率は、ほとんど起こらないと想定する確率（有意水準：0.1%）より大きいためイカサマではないと判定します。

4回連続して「6」が出る確率は0,077%で、あり得ないことではないものの、有意水準0.1%よりも小さい、すなわち、ほとんど起こらないことが起きたからイカサマがあると判定するということです。

有意水準を0.05%とした場合は、4回連続して「6」が出た場合でも、その確率0.077%は有意水準よりも大きいことからイカサマではないと判定することになります。

仮説検定・帰無仮説・対立仮説からみる有意水準

サイコロの例では、6回連続してサイコロを振った結果、連続して「6」が出る確率を基準に用いて、イカサマか偶然かを判断しようとしました。

統計的に得られたデータが、確率的にあり得るかどうかを基準として事象を評価することを仮説検定といいます。

仮説検定では、結論づけたいことを1つの仮説として設定し、その反対の仮説が否定（棄却）されれば、結論づけたいことが正しい（採択できる）と判断します。

サイコロの例では、「「6」が出る確率は1/6より大きい（イカサマである）」かどうかを確かめることが目的であるため、これが結論づけたいことに当たります。

それに対し、「各目が出る確率は等しく1/6」であることが結論づけたいことの反対です。

帰無仮説と対立仮説

否定（棄却）されることを想定して立てる仮説のことを帰無仮説（H₀）、結論づけたいことを示した仮説を対立仮説（H₁）といいます。

帰無仮説：H0	各目が出る確率は等しく1/6	結論づけたいことの逆
対立仮説：H1	「6」が出る確率は1/6より大きい	結論づけたいこと

この例では、「6」が連続何回出るかのそれぞれの確率に対して、有意水準とする確率をどこに設定するかで、イカサマかどうかの判断が分かれます。

有意水準を0.1%として4回連続で「6」が出た場合、その確率0.077%は有意水準を下回るため、「各目が出る確率は等しく1/6」という帰無仮説は棄却され、対立仮説である「イカサマ」であることが採択されます。

有意水準を0.05%とした場合は、4回連続で「6」が出る確率0.077%が有意水準を上回るため帰無仮説は棄却されず、イカサマであるという対立仮説は採択することはできません。

仮説検定の手順

サイコロは各出目の確率が1/6であるため、連続して同じ目が出る確率はあらかじめわかっています。

一方、さまざまな観測データが取る確率は事前に把握することはできません。従って、観測データを取得した後に有意水準を決めたのでは、帰無仮説を採択・棄却するかどうかは恣意的に決められることになります。

そのため、仮説検定を行う場合は以下の手順に沿って進められます。

なぜ、背理法を用いるのか

仮説検定は、「結論づけたいこと」、「主張したいこと」、「証明したいこと」を、まず、対立仮説として設定し、その逆である帰無仮説の採択・棄却をもとに対立仮説が成り立つかどうかを説明します。結論の否定が矛盾することを検証し、結論が正しいことを証明する背理法の考え方を取ります。

仮説検定を行う対象は量の比較であり、しかも、比較する際の差が微妙であることが少なくありません。

帰無仮説を直接証明しない理由は、同じであることを仮定する帰無仮説は明確であり、統計量も計算しやすいことから、それが否定されれば、高い確率で結論づけたいことが正しいといえるからです。

判定ミスの可能性、第1種の過誤と第2種の過誤

仮説検定の目的は、取得した統計量が有意かどうかを判定することです。そのための基準とするのが有意水準であり、有意水準の設定によって判定が変わることをサイコロの例で説明しました。

サイコロを振って「6」が連続して出る回数それぞれの確率に対して、有意水準を0.1%に設定した場合は、4回連続して「6」が出る確率が0.077%であることから、イカサマであると判断されます。

しかし、0.077%の確率で起こりうるわけですから、4回連続して「6」が出ることが絶対にないわけではありません。

有意水準を0.1%に設定する場合は、各出目の確率が1/6の精度で作られたサイコロを使って0.077%での確率で起きた、4回連続して「6」が出たケースもイカサマであると結論づけることになります。

このような、帰無仮説が正しいにも関わらず棄却してしまうこと、つまり、有意水準の設定によって取りこぼしが出てしまうことを「第1種の過誤」といいます。

反対に、対立仮説が正しいにも関わらず帰無仮説を棄却しないことで誤った判定をしてしまうことを「第2種の過誤」といいます。

まとめ

有意水準は慣例的に5%、または、1%と設定されることがほとんどです。サイコロの例に当てはめると、5%では2回連続、1%では3回連続して「6」が出れば、そのサイコロはイカサマと判断されてしまいます。

そもそも、有意水準の設定は主観的なものであり、5%や1%に決まっているものではありません。起こる確率と現実に起きた事象をどう解釈するかは分析者に委ねられています。

実際のさまざまなデータをもとに行う仮説検証では、サイコロの出目のような感覚として把握できるものだけではなく、意思決定を行うために線引を行う必要に迫られることがほとんどです。

有意水準を5%や1%と設定した場合の結果についても、納得できる結果かどうかを考えてみることが重要です。