1. No category

数理統計学 II
（数理統計の基礎 II）
4 回目 — 回帰分析・最小二乗法 —
安部公輔
1 / 23
内容
目標
回帰分析の目的や基本的概念に触れ，代表的な手法である最小二
乗法を学ぶ．
Keywords
単回帰分析・説明変数（独立変数）
・目的変数（従属変数）
・予測
値・残差平方和・平方和の分解・決定係数などなど
2 / 23
参考書
■ 統計（竹村彰通，共立出版）
記号などはこの本を参考にしている部分が多い．
3 / 23
イントロ
何か実験データが与えられたとき，散布図をプロットするついでに，
データにフィットする直線を引いて
こんなグラフを作成するが，何の意味があるのか？
4 / 23
イントロ
ばねに重りを吊るしたときのばねの伸びを測っているとして，横軸
を重りの質量 [g]，縦軸をばねの伸び [mm] として考えてみる．
グラフから 12g の重りなら 25mm 位と予測できる
直線を引く目的=データに基づく予測
物理定数を推定しているとも言える
5 / 23
イントロ
じゃあ，どうやって直線を引くの？
直線の方程式は
y = a + bx
「予測の精度」が最善となるようにパラメータ a, b を決定してやる．
そのために
予測の誤差を表す関数 Q(a, b) を定義し，それが最小値をとるよ
うな a, b を求める．
6 / 23
設定・記号および用語
(x1 , y1 ), (x2 , y2 ), · · · , (xN , yN ) というデータが与えられている．
x: 原因となる変数．重りの重さなど．独立変数．説明変数．
y: 結果を表す変数．ばねの伸びなど．従属変数．目的変数．
回帰直線: データに最もフィットする直線 y = a + bx.
こいつを（何らかの算出基準に基づいて）求めたい．
b: 回帰係数， a: 定数項などと呼ぶ．
予測値: y
ˆi = a + bxi
説明変数が xi のとき回帰直線から予測される目的変数の値．
これをできるだけ正確にしたい．
残差: ei = yi − y
ˆi = yi − (a + bxi )
予測値 y
ˆi と実測値 yi との差．つまり予測の誤差．
これを平均的に小さくしたい．
7 / 23
図示すると
× (xi , yi )
ei
y = a + bx
×
×
×
×
×
×
(xi , yˆi )
×
×
こんな感じ
8 / 23
各種計算の前に記号のおさらい
平均：x =
N
N
1 N
xi ,
y=
i=1
N
1 N
yi .
i=1
xi = N x などの計算はよく使う．
i=1
共分散： Sxy =
N
1 N
(xi − x)(yi − y)
i=1
相関係数：標準化した上での共分散
N
(xi − x)(yi − y)
Sxy
rxy = √
= i=1
N
Sxx Syy
N
(x − x)2 (y − y)2
i
i=1
i
i=1
計算するときのコツ：(xi − x) や (yi − y) はできるだけ崩さない
ようにして，上記の記号に置き換えられる部分を見付けていく．
9 / 23
残差平方和
誤差の指標として，残差平方和 Q(a, b) を以下で定義する．
Q(a, b) =
=
N
i=1
N
e2i =
N
(yi − yˆi )2
i=1
(yi − (a + bxi ))2
i=1
何故これを指標にするのか？
ei は正負両方の値をとり得るので単純和では都合が悪い．
N
|ei | も候補にはなるが微積などとの相性が良くない．
i=1
平方和は数学的に扱い易い．
（後日説明するベクトルのノルムと
の関連付けが容易．
）
10 / 23
最小点の導出
まず
∂Q
∂a
=
∂Q
∂b
= 0 となる (a, b) を求める．
Q(a, b) = N a2 − 2a
N
(yi − bxi ) +
i=1
N
(yi − bxi )2
i=1
だから
∂Q
∂a
= 2N a − 2
N
(yi − bxi ) = 0
i=1
となるのは
a=
N
1 N
(yi − bxi ) = y − bx
i=1
のとき．そこでこの a を Q(a, b) に代入して Q(y − bx, b) を調べる．
11 / 23
最小点の導出
Q(y − bx, b) =
N
((yi − y) − b(xi − x))2
i=1
=
N
(yi − y)2 − 2b
N
(yi − y)(xi − x) + b2
i=1
i=1
2
= N Sxx b − 2Sxy b + Syy
2
2
Sxy
Sxy
+ Syy −
= N Sxx b −
Sxx
Sxx
N
(xi − x)2
i=1
平方完成してるだけ
Sxy
のときだから，結局
これが最小になるのは当然 b =
Sxx
N
1
Sxy
i=1 (xi − x)(yi − y)
N
b=
=
, a = y − bx
1 N
2
Sxx
i=1 (xi − x)
N
とすればよい．
12 / 23
まとめると
データに最もフィットする直線 y = a + bx を最小二乗法によって
求めた場合，結果は
b=
Sxy
Sxx
,
a = y − bx
となる．ただし x, y は平均， Sxy は
Sxy =
N
1 N
(xi − x)(yi − y)
i=1
で定義される共分散である．
13 / 23
相関係数との関係
回帰直線 y = a + bx において x と y の関係に本質的に影響する
のは回帰係数 b だから，相関係数と何かしら関係があるはず．
相関係数は
rxy
Sxy
= √
Sxx Syy
だったから
Sxy
Sxy
σy
Syy
b=
= √
= rxy ·
√
Sxx
σx
Sxx Syy Sxx
y のスケール
= スケールに依らない関連度 ·
x のスケール
となっている．標準偏差（従って単位の変更など）によって値が変
わることに注意する．与えられたデータそのままの状態で最小二乗
法を適用するのには注意を要する．
14 / 23
決定係数
回帰直線 y = a + bx （の係数）は求まった．では，これでどれく
らい説明や予測ができているのか？数値で示したい．
ポイント
残差平方和をどれくらい小さくできたかで評価するのが自然．
単位（スケール）依存の問題などがあるのでそこは調整する．
値が 1 なら良くフィットしていて， 0 は駄目，というのが使
い易い．
実測値 y の変化を予測値 yˆ でどこまで表現できているか，と
いう視点も盛り込む．
=⇒ 分散（標準偏差）を使って評価する．
N
決定係数 : R2 = 1 − N
2
e
i=1 i
2
(y
−
y)
i
i=1
を用いる．何だこれは？
15 / 23
いくつか計算を
a, b は最小二乗法で求められているものとする．
N
ei =
i=1
=
N
i=1
N
(yi − yˆi ) =
N
(yi − (a + bxi ))
i=1
N
yi − N a − b
i=1
xi = N (y − a − bx) = 0
i=1
つまり，最小二乗法で求められた回帰直線を用いた場合，残差の合
計はプラスマイナスゼロ．
また，上式は
0=
N
1 N
yi −
i=1
N
1 N
yˆi = y − yˆ
i=1
を意味するので y = y
ˆ が成立．
16 / 23
いくつか計算を
N
i=1
(xi − x)ei =
N
(xi − x)(yi − y − b(xi − x))
i=1
= N Sxy −
Sxy
Sxx
· N Sxx = 0
Sxy
b=
だから
Sxx
これを線型代数の視点から見ると， x の平均偏差ベクトルと残差ベ
クトルが直交していることになる（詳細は後日）．
17 / 23
いくつか計算を
yˆi − y = a + bxi − y = b(xi − x) だから
N
N
(ˆ
yi − y)ei = b
(xi − x)ei = 0
i=1
i=1
y = yˆ だったから
N
(ˆ
yi − yˆ)ei = 0
i=1
でもある．
これまた，線型代数の視点から見れば，ある種のベクトルの直交関
係として捉えることができる．
18 / 23
平方和の分解
これまでの準備から
N
N
N
(yi − y)2 =
(ˆ
yi − y + yi − yˆi )2 =
((ˆ
yi − y) + ei )2
i=1
=
=
i=1
N
N
i=1
N
i=1
N
i=1
i=1
(ˆ
yi − y)2 +
(ˆ
yi − yˆ)2 +
e2i
∵
i=1
N
(ˆ
yi − y)ei = 0 から
i=1
e2i
これを
全平方和 = 全変動 =回帰平方和+残差平方和
=予測値で説明できる変動
+説明できていない変動（誤差）
と解釈して，平方和の分解などという．
19 / 23
決定係数
そこで
N
N
2
(ˆ
y
−
y
ˆ
)
e
i
i=1 i
R2 =
= i=1
=
1
−
N
N
2
2
全平方和
(y
−
y)
(y
−
y)
i
i
i=1
i=1
回帰平方和
2
と定め，決定係数（直線がどれ位フィットしているかの指標）と呼
ぶ．実は今の場合，
N
i=1
N
N
(yi − y)(ˆ
yi − yˆ) =
(ei + yˆi − y)(ˆ
yi − yˆ) =
(ˆ
yi − y)2
i=1
i=1
や yˆi = a + bxi などから
R = |rxy |
2
が導かれるので，たまたま R2 = rxy
である．0 ≤ R2 ≤ 1 であり，
値が 1 に近いほど良くフィットしている事になる．
20 / 23
最初から標準化しておくと
x = y = 0,
N
1 N
i=1
a = y − bx = 0,
N
xi ei = 0,
i=1
x2i =
N
N
1 N
i=1
b = rxy ·
yˆi ei = 0,
yi2 = 1
σy
σx
= rxy
R2 = 1 −
i=1
N
1 N
e2i
i=1
鬱陶しいものが色々消えて（途中計算も）すっきり．平方和の分解も
N =
N
i=1
yi2 =
N
i=1
yˆi2 +
N
e2i
i=1
と明解になるし，この形なら「平方和の分解＝ピタゴラスの定理」
と言われても驚かないだろう？
21 / 23
え？ピタゴラス？
N = 3 の場合で概要を見る．簡単のため x, y は標準化しておく．
⎛ ⎞
⎛ ⎞
⎛ ⎞
⎛ ⎞
y1
yˆ1
e1
x1
x = ⎝x2 ⎠ , y = ⎝y2 ⎠ , yˆ = ⎝yˆ2 ⎠ , e = ⎝e2 ⎠ とおく．
x3
y3
yˆ3
e3
ˆ = bx, e = y − yˆ などの関係がある．
各ベクトル間には y
√
√
2
2
2
また， |x| = x1 + x2 + x3 = N σx = N だから，標準偏差
はベクトルの大きさに相当するものであり，標準化は単位ベクトル
化に相当すると言える．
3
2
最小二乗法では e = y − y
ˆ に対して |e| = i=1 e2i を最小化する．
つまり y
ˆ = bx の形のベクトルで最も y に近いものを選んでいる．
それゆえ y
ˆ は y の x 方向への正射影になり，e と x, yˆ が直交する
y |2 + |e|2 が成り
のは当然．結果としてピタゴラスの定理 |y|2 = |ˆ
立つ．
（実は今の場合，決定係数は R2 = |ˆ
y |2 になっている．
）
22 / 23
イメージ図
Span[1, x]
y
e
yˆ = a1 + bx
Span[1, x] については後日解説．
このイメージ図の汎用性の高さを今後見ることになる．
23 / 23