1. No category

2014/5/13
3.4.2 残差による回帰 (Residual Regression)
S5_1 計量経済学
回帰結果
(RR-1) Y = Xb + e = X1b1 + X2b2 + e,
b 
• 残差回帰（回帰係数の部分ベクトル）
別名：FWL（Frisch,Waugh,Lovell)定理
b =  1  , X =[X1 | X2]
b 2 
• チェック：2変数回帰
• 応用例：分散の分解と決定係数
• 自由度修正済み決定係数
X1:(nxk1),
X2: (nxk2)
b1: (k1x1),
b2: (k2x1)
注意：X’e =
k1+k2 = k
 X1 ' 
 X1 ' e  0 
 X ' e   X ' e    0 
 2 
 2   
1
残差回帰
2
b2を以下の3ステップで求める。
~
X1へ回帰し残差を作るオペレータ
ステップ1：YをX1に回帰し残差ベクトル Y を求める。
（この回帰はYのX1への補助回帰と呼ばれる。）
ステップ2：X2をX1に（補助）回帰し残差行列 X 2 を求める。
~
ステップ3：ステップ1のYの残差 Y を
(RR-2)
M1 = I  X1(X1'X1)-1X1'
X2とYの補助回帰からの残差行列と
ベクトルを(~)を付けて表す。
ステップ2のX2の残差 X 2 に回帰。
FWL定理
(RR-3)
(FWL-1) ステップ3の係数ベクトルはb2、
~
~
X 2 = M1X2, Y = M1Y
(FWL-2) ステップ3の残差はeと同じ
3
4
1
2014/5/13
(RR-4)
~
X 2 とeに注目
~
Y = M1(X1b1 + X2b2 + e)
(RR-6)
' e
X
2
= M1X1b1 + M1X2b2 + M1e
= X2'e
= M 1X 2b 2 + e
=0
~
X 2 と e とは直交
~ ~
⇒ b2 は Y を X 2 に回帰した時の「正規方程式」の解
(最後の等号はM1X1= 0, M1e = e より成立)
M1e = (IX1(X1’X1)-1X1’)e = e  0
(RR-5)
~
Y
= (M1X2)'e
= X2'M1e
⇒
回帰係数の部分ベクトル b2 は残差回帰で得られ る。
（FWL-1）証明了！
~
~
= X 2 b2 + e
~
e： Y を X 2 に回帰した時の残差
かつ、Y を X に回帰した残差。
(FWL-2)も成立する！
5
6
残差回帰の例、二変数回帰モデル
b2はYの一次結合
(RR-7)
定数項をX1（和ベクトル）、ベクトルxをX2として残差回帰
~ ' ~ 1 ~ ' ~
b2 = [ X 2 X 2 ] X 2 Y
1 x1 
: x 
2
X
 1 x    X1
: : 


1 xn 
=
~ ~
[X'2 X 2 ]1 ( M1X 2 )' M1Y
=
~ ~
[X'2 X 2 ]1 X 2 ' M1 ' M1Y
(RR-8)
~ ~
[X'2 X 2 ]1 X 2 ' M1Y
x : (nx1) ベクトル
=
X2 
M1 = I - 1(1'1)-11' = I - 1(n-1)1' = I - (11')/n
M1:ベクトルを平均から測るオペレータ
 x1  1
 x1  x 
 x  1
x  x 
2





M1x = (I – (11’)/n)x = x – 1(1’x)/n = x – 1 x =
x 2
 :  : 
 : 
  


 xn  1
 xn  x 
~ ' ~ 1 ~
= [X 2 X 2 ] X 2 ' Y
7
8
2
2014/5/13
~ ~
残差ベクトル Y, X 2
3.4.3 分散の分解と決定係数
 X1  X 
 Y1  Y 




   Y2  Y  , X
  X2  X 
Y
2
 : 
 : 




 Yn  Y 
 X n  X 
~
~
~
Ｋ変数回帰で定数項（切片）が含まれているケース
Yi = b1 + Xi2b2+Xi3b3 + .. + Xikbk + ei, i = 1,..,n
X = [X1|X2] = [1|X2]
(定数項(1)をX1、その他全ての説明変数をX2)
~
= ( X 2 ' X 2 )-1 X 2 ' Y
b2
(3-4-1)
= i(Xi  X )(Yi  Y )/i(Xi  X )2
~
 b2 + e
Y = Y  1 Y = ( Yˆ -1 Y ) + e = X
2
 はY, X2の標本平均からの偏差
 ,X
Y
2
2 変数回帰の係数 b と一致。
 e
ˆ -1 Y )  e, X
(Y
2
9
10
総変動(TSS)を
 'Y
 を二つに分解
Yの総変動(TSS)= i(Yi  Y ) = Y
2
(3-4-2)
説明された変動
i(Yi - Y )2
+
 'Y

=Y
=
 'X
 b = ( Y 1 Y)’( Y 1 Y))
(ESS = b 2 ' X
2
2 2
残差変動
(RSS = e'e)
に分解
Ｋ変数回帰の決定係数
 'X
 b b2’ + e’e
b2 ' X
2
2 2
(3-4-3)
R2 = 1 - RSS/TSS = ESS/TSS
ˆ -1 Y )’( Y
ˆ -1 Y ) + e’e
= (Y
11
12
3
2014/5/13
2
自由度修正済み決定係数 ( R )
0  R2  1
R2=1なら
説明変数の追加により残差二乗和は必ず減少。
RSSはゼロ(残差ベクトルeはゼロ)
決定係数を「改善」したいならｋを増やせばよい。
YはXで完全に説明される
R2=ゼロ
TSS = RSS
kの増加による決定係数の上昇を
 は常に一定で Y
Y
i
「割り引いた」あてはまりの尺度
定数項以外の回帰係数b2は全てゼロ
(3-4-4)
YはXの線形関数で全く説明できない
R2  1
RSS (n-1)
(n-1)
 1  (1  R 2 )
TSS (n-k)
(n-k)
R2の平方根は重相関係数と呼ばれる。
 の相関係数の二乗と一致。
R2はYと Y
13
14
R2
2
・ R はｋが2以上の時には必ずR2より小さくなる。
・RSSが同じならkの増加とともに小さくなる。
・R2が小さい時はマイナスになる場合もある。
・R2, R 2 はあてはまりを測る尺度として便利だが
これらの値を基準にモデルを選択すべきという
理論的根拠は特にない。
15
4