調査設計を行う際に知っておきたいアンケート調査の誤差とバイアス

テキストによる質問を行い選択肢で回答してもらうというアンケート特有の方法は、同じことを多くの人に聞くという点で効率的な方法です。

調査対象について知りたい事実をありのままに写し取ることがアンケートの理想ですが、質問紙法という統計的な手続きが持つ特性によって事実が歪められてしまう可能性があることを知っておく必要があります。

アンケート調査を行う際に配慮しなければならない、調査品質に関わる誤差とバイアスについて解説します。

調査で発生する誤差・バイアス

質問紙法というアンケートの手法はマーケティングリサーチだけでなく、社会学や心理学の分野でも多く用いられてきた方法であり、母集団に対する代表性の問題や測定段階で発生する誤差はさまざまなものが指摘されています。

ネットリサーチが一般的になったことで調査の構造が複雑化し、誤差やバイアスの発生源とその影響をどう捉えるかという問題も新たな枠組みで捉える必要性が出てきました。

調査を実施する上で想定される誤差やバイアスは総調査誤差（TSE：Total Surbey Error）と呼ばれ、次のようにまとめられています。

調査実施過程と誤差発生源の関係

「代表性」に関わる誤差は、選んだ調査対象が母集団の実態を反映しているかどうかということであり、サンプリングの方法（誰が答えたものか）と回収結果に起因します。

「測定」に関わる誤差は、知りたいことの結果を得るための方法が適切かどうかという要素であり、調査アプローチの考え方や質問項目の聞き方、選択肢の設定の仕方、集計作業の段階で発生するものです。

誤差（Error）とバイアス（Bias）

誤差は、確率的なバラつきである偶然誤差（Error）と何らかの操作的な要素が紛れ込むことによって生じる系統誤差を総合したものとして観測され、系統誤差はバイアス（Bias）と呼ばれます。

偶然誤差（Error）	確率的なバラつきによる再現性がない推定の精度が低下する
系統誤差（Bias）	何らかの要因が存在する再現性がある推定に系統的な誤りが生じる

代表性に関わる誤差

調査対象を選び出す方法の違いと、得られた回答結果と意図的な調整を行った場合に、想定した属性を持つ人全体の特徴が調査結果に正しく反映されなくなることが代表性の誤差です。

カバレッジ誤差

アンケート調査は、年代や性別をはじめとして、過去1年以内に車を購入した人など、特定の属性を持つ人を対象とすることがほとんどです。

特定の属性の条件に当てはまる人すべてを特定し調査することは不可能であるため、なんらかの方法で条件に該当する人を選び出す標本調査を行います。

調査対象を選び出す方法によって、目的とする特定の属性を持つ母集団とのずれが生じてしまうことがカバレッジ誤差です。

例えば、ネット調査はインターネット端末を日常的に使っている人が対象になりやすいので、端末を持っていない人、日常的に使っていない人は調査対象から外れてしまいます。

調査対象とする母集団がネット端末を持っていない人や日常的に使っていない人も多く含まれると想定される場合、調査結果は目標とする母集団のうちネット環境にある人だけを選びだしたことになり、調査結果に偏りが出る可能性が高まります。

カバレッジ誤差は系統誤差にあたり、選択バイアスやサンプリングバイアスとも呼ばれます。

また、選んだ方法により目標とする母集団以外の属性の人も対象にしてしまうことをオーバーカバレッジ、反対に、目標とする母集団の属性の人を取りこぼしてしまうことをアンダーカバレッジといいます。

属性とは｜簡単解説

属性とは マーケティングリサーチでは、「30代・女性」など、消費者層のセグメンテーションを行います。「30代」は年代を基準とした種類分けであり、「女性」は性別を基準…

QiQUMOコンテンツ

サンプリングとは｜簡単解説

以下では、統計調査・リサーチにおけるサンプリングとセールスプロモーションにおけるサンプルの意味を解説します。 統計調査・リサーチにおけるサンプリング 統計調査・…

QiQUMOコンテンツ

標本誤差

標本誤差は標本調査で無作為抽出を行う場合に必ず発生する誤差です。

単純な例では、yesの意見を持つ7人とnoの意見を持つ3人の合計10人の集団に対して、10人全員の意見を聞いて多数決をとった場合はyesが採用されます。

しかし、無作為に選ぶ人数を6人以下にすると、noの意見を持つ3人が全員含まれた場合の多数決の結果はyes/noが同数になる場合や、noのほうが多い結果になる場合もあります。（7人以上に調査を行えば、必ず全体の意見を反映した結果となる。）

標本誤差は確率的に生じる偶然誤差であり、サンプルサイズを大きくすることで誤差を低く抑えることができます。

無回答誤差

選びだした調査対象に調査を行った結果として、求める回答が得られなかった場合に生じる誤差の総称が無回答誤差です。

無回答誤差には次のようなケースが想定されます。

• 調査対象本人の意思による回答拒否
• ネット調査等での配信エラーなどの回答不能
• 紙のアンケートにおける回答不備（単一回答の設問に複数回答する、自由回答の未記入など）
• サティスファイサー※（省力回答者）の調査票の除外
• センシティブな質問への回答拒否

※サティスファイサー：インターネット調査の調査パネルのなかで、インセンティブを得ることのみを目的とし、質問項目に対して誠実な回答を行わない人。

回答誤差とは｜簡単解説

回答誤差の詳細解説 回答誤差は回答結果に生じる誤差のことで、バラツキとバイアス（偏り）に大別することができます。それぞれの代表例を挙げると、バラツキは標本誤差、…

QiQUMOコンテンツ

測定に関わる誤差

測定に関わる誤差は、調査設計と設計にもとづく実査の段階で生じてしまう誤差です。調査方法が適切かどうか、調査項目が妥当なものかどうか、調査項目に対する質問文と選択肢が適切なものかどうかなど、調査設計の巧拙によって誤差が生まれることから、測定誤差を知った上で調査設計を行うことが重要です。

妥当性（調査設計誤差）

調査ニーズに対して、知りたいことを知ることができる調査設計を行っているかどうか、つまり、マーケティング課題を質問票に落とし込めているかどうかという点も誤差の範囲に含まれます。

構成概念がマーケティング課題を解決するための枠組みとする考え方であり、有効な仮説を立てる上での前提となります。

効果的なアンケートの作り方とは 質の高い調査を行うためのポイント

サンプルの集め方をはじめとして、質問項目や選択肢をどう設定すればいいのかなど、専門的な知識なしにアンケート調査を実施しても、結果を効果的に活用できるものにはな…

QiQUMOコンテンツ

測定誤差

測定誤差は、調査方法や形態、質問文の文言・文章、選択肢の作り方など、回答者が回答する段階で発生する誤差を指します。

モード効果

アンケートの回答形式によって生じるバイアスのことです。紙に記入するアンケートとフォームに入力するアンケート、あるいは、調査員が質問を説明しながら回答を得る訪問調査と郵送調査など、調査形態が持つ環境要因や情報の伝わり方によって回答結果が異なる場合があります。

コンテクスト効果

コンテクスト効果とは回答者の調査の捉え方によって回答が左右されてしまうことです。

調査主体を開示するか非開示にするか、あるいは、フェイスシートで調査趣旨の説明をどの程度行うか、といった点が調査のコンテクストを規定する要因となります。

ブランド認知調査など、回答者が調査主体に抱くイメージが回答を左右する可能性が考えられる場合は、調査主体を非開示にするほうが客観的な調査結果が得られると想定され、顧客を対象とした調査では調査主体を明示することは必然的なことです。

調査趣旨や調査タイトルにどのような文言を使うかによっても、回答者が調査に対して持つイメージは影響されます。調査内容をあまり具体的に説明しすぎると回答者を狭めてしまう可能性があるため、調査テーマに対して広い括りで調査タイトルを決めるのが一般的です。

一方で、商品開発やブランディングなど、調査主体や調査目的を理解してもらうことがより具体的な意見につながるケースでは積極的に情報を提供することも考えられます。

設問文によるバイアス

設問文の文言や聞き方によって生じるバイアスには次のようなものが考えられます。

ハロー効果	全体的な印象や評価が部分的な評価にも影響する
社会的望ましさ	善悪の判断などが質問内容に含まれる場合、社会的に望ましい結果を回答する
同意バイアス	同意を前提とするような質問文の問い方
誘導効果	質問の前提が特定の回答に誘導する効果を与えてしまう
順序効果	後の質問への回答が前の質問の回答結果に影響を与える。キャリーオーバー、アンカリングも順序効果のひとつ
ステレオタイプ	一般的なイメージが固定化している事柄を問う場合、それ以上の答えは得られない
論理的誤差	複数の質問間の回答結果が整合していることを想定している

選択肢によるバイアス

選択肢の設定の仕方によって生じるバイアスには次のようなものがあります。

同意傾向/黙従効果	yes/noを問われるとyesのほうが答えやすい
中心化傾向	評定尺度の選択肢は中心が選ばれやすい
2択と評定尺度	yes/noで割り切れるか、段階的な心理状態に着目すべきか
選択肢の網羅性	提示する選択肢が網羅的でない場合、その他に回答が集中
選択肢の相互排他性	同じ意味を含む選択肢があると回答できない
選択肢の数	選択肢の数が多すぎる場合、すべての選択肢が検討されない

処理誤差

処理誤差は、回収したアンケートの集計処理する過程で生じる可能性のある間違いやミスによって生じるものです。

紙のアンケートを集計ソフトに入力する場合の入力ミス、自由回答をアフターコーディングする際の間違いなどがこれにあたります。

まとめ

誤差を認識し極小化することは調査の精度を高めるという点では重要なことです。しかし、企業が行うマーケティングリサーチは、事実を正確に把握することを目的とする公共分野や学術分野の調査とは異なり、調査によって得た情報を意思決定にどう活かすかに優先順位が置かれます。

また、調査からすべての誤差を排除することは困難であり、事前調査も含めて繰り返して調査を行い、精度を高めていくことで有効な結果が得られるケースがほとんどです。

マーケティングリサーチに求められるスピードとコストの問題を解消できるのがセルフ型アンケートツールQiQUMOです。設問数と回答人数によるシンプルな料金体系により最低限のコストでアンケート調査を行うことが可能です。

あらゆるアンケート調査に活用できるQiQUMOを是非この機会にお試しください。