最小二乗法を「取得したデータを関数を用いて近似させる方法」と述べましたが、データの関係性を関数であらわすことができれば、データの誤差を除いたりデータから予測したりすることができます。
例えば、以下の左のグラフのようなデータがある場合、xの増加に従いyも増加する１次関数で表されるx、yの関係性が推測できます。
これを、右側のグラフの矢印（残差※）の長さの2乗和が最小になる関数 f(x)を求めるのが最小二乗法です。
この場合の f(x)＝ax＋bが回帰直線であり、係数aと切片bを求めればデータに近似する直線を描くことができます。
※残差：観測値と 推定するモデルである f(x)との差。誤差は観測された値であり計算では求められないが、残差は計算で求めることができる。偏差は観測値と平均値との差。
最小二乗法で求める回帰式は1次関数に限りませんが、ここでは直線で表されるf(x)＝ax+bを回帰式として説明します。
データ個数分の残差を2乗したものの合計は以下の式であらわされます。
係数aと切片bは以下の式で求められます。
ここから具体的なデータを使って回帰式を求めてみます。
x,yのデータは以下のものとし、xの分散とx,yの共分散を求めます。
切片bは b＝yーax であることからb＝85ー1.857×35＝20.005
となり、回帰式は y＝1.857x＋20.005と求められます。
分散とは 基本統計量は平均や中央値などのデータ全体を一つの値に要約するための代表値と、データ全体のバラつき具合を表す散布度に分けられます。分散は散布度を表す基本…
上記で計算したy-ax+bの係数aと切片bはエクセルのLINEST関数を使って求めることができます。
LINEST関数で書式は以下のようになります。
引数はyの範囲から入力することに注意が必要です。
定数と補正はTRUEまたはFALSEを指定し、以下の内容が適用されます。
TRUE | FALSE | |
|---|---|---|
定数 | y=ax+bのaとbを出力。省略した場合はTRUEが指定される。 | y＝ax+bの定数bを0として係数aのみが出力される。 |
補正 | 標準誤差、決定係数、F補正項などの追加情報が出力される。 | 上記係数と定数のみ出力。省略可。 |
y=ax+bの係数aと定数bが出力されるため、あらかじめ出力される2つのセルを指定しておきます。
関数LINESTを選び、yの範囲とxの範囲のセルを指定します。定数と補正は省略することが可能です。
上記の状態から「Ctrl」＋「Shift」＋「Enter」を押すと、最初に範囲指定した2つのセルに係数aと定数bの値が出力されます。
エクセルで散布図を作成すると、プロットされた点に近似した曲線を自動的に描いてくれる機能があります。
まず、データから散布図を作成します。
グラフを選択すると「グラフツール」が表示されるので、「グラフ要素を追加」から「近似曲線」、「その他の近似曲線オプション」を選びます。
b＝yーax からy＝ax+bは（x,y）を通ることがわかっています。(xi,yi)における偏差 yiーyの大きさのうち、残差 yiー(axi+b)の割合が小さいほど回帰直線の当てはまり具合が良いということになります。
データ全体について求めるために以下の式を用います。
決定係数R2は割合であるため、0≦R2≦1の値を取り、1に近いほど回帰直線の当てはまりが良いということになります。
前述のエクセルの近似曲線オプションで求めたR2は0.8942であり、目的変数の約9割を回帰直線によって説明できることを表しています。
最小二乗法はエクセルを使うことによって簡単に結果を求めることができますが、線形回帰分析のなかでの最小二乗法の使い方を知っておくことは、他の高度な分析手法を学ぶ上での基本となります。
また、最小二乗法は回帰分析以外にも画像処理のノイズ除去や誤差を最小化するためのモデルを求める際など幅広く用いられるため、考え方のイメージをつかんでおくことが役に立ちます。