1. No category

第 4 回 回帰モデル
村澤 康友
2014 年 10 月 8 日
目次
1
回帰
1
2
平均ベクトルと分散共分散行列
2
3
線形回帰モデル
2
3.1
単回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
3.2
重回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
古典的線形回帰モデル
4
4
1 回帰
(X, Y ) を確率ベクトルとする．*1 X から Y を予測したい（身長→体重，所得→消費など）．
定義 1. E(Y |X) を求めることを，Y を X に回帰するという．
注 1. X がカテゴリー変数ならカテゴリーごとの平均を求めるだけ．
注 2. FY |X (.|.) が求まれば理想的．
定義 2. E(Y |X) を与える式を，Y の X 上への回帰モデル（回帰式，回帰関数）という．
注 3. すなわち
E(Y |X) = r(X)
定義 3. 説明する方の変数を説明変数という．
定義 4. 説明される方の変数を被説明変数という．
定義 5. U := Y − E(Y |X) を回帰の誤差項という．
*1
統計学では確率変数を大文字で，その実現値を小文字で表す．
1
注 4. 誤差項を用いて回帰モデルを表すと
Y = r(X) + U
E(U |X) = 0
定義 6. 線形な回帰モデルを線形回帰モデルという．
注 5. すなわち
E(Y |X) = α + βX
注 6. X, Y > 0 なら ln Y の ln X 上への線形回帰モデルを考えることも多い．すなわち
E(ln Y | ln X) = α + β ln X
定義 7. 線形回帰モデルの説明変数の係数を回帰係数という．
定義 8. 定数項以外に説明変数が 1 つしかない線形回帰モデルを単回帰モデルという．
定義 9. 定数項以外に説明変数が複数ある線形回帰モデルを重回帰モデルという．
2 平均ベクトルと分散共分散行列
X := (X1 , . . . , Xn )′ を n 次元確率ベクトルとする．
定義 10. X の期待値（平均ベクトル）は


E(X1 )


E(X) :=  ... 
E(Xn )
定義 11. X の分散共分散行列は
var(X) := E((X − E(X))(X − E(X))′ )
注 7. すなわち

var(X1 )
...

.
..
.
var(X) = 
.
.
cov(Xn , X1 ) . . .

cov(X1 , Xn )

..

.
var(Xn )
3 線形回帰モデル
3.1 単回帰モデル
2 変量データを ((y1 , x1 ), . . . , (yn , xn )) と表す．*2 yi の xi 上への単回帰モデルは
E(yi |xi ) = α + βxi
*2
計量経済学では確率変数と実現値の表記を区別せず，行列を大文字で，ベクトルとスカラーを小文字で表す．
2
または
yi = α + βxi + ui
E(ui |xi ) = 0
例 1. 第 i 家計の消費を ci ，可処分所得を yi とする．ミクロの消費関数は
ci = α + βyi + ui
この式を家計の横断面データで分析する．
例 2. 第 t 年のマクロの消費を Ct ，可処分所得を Yt とする．マクロの消費関数は
Ct = α + βYt + Ut
この式をマクロの時系列データで分析する．
3.2 重回帰モデル
(1 + k) 変量データを ((y1 , x1 ), . . . , (yn , xn )) と表す．ただし i = 1, . . . , n について


xi,1


xi :=  ... 
xi,k
以下のベクトルと行列を定義する．


y1
 
y :=  ...  ,


x′1
 
X :=  ...  ,
x′k
yn
yi の xi 上への回帰モデルは*3

β1
 
β :=  ... 
E(yi |xi ) = x′i β
または
yi = x′i β + ui
E(ui |xi ) = 0
y の X 上への回帰モデルは
E(y|X) = Xβ
または
y = Xβ + u
E(u|X) = 0
*3
xi,1 := 1 とすれば β1 が定数項となる．
3

βk
例 3. 第 i 企業の資本投入量を ki ，労働投入量を li ，実質付加価値額を yi とする．ミクロのコブ＝ダグラス
型生産関数は
yi = Akiα liβ
すなわち
ln yi = ln A + α ln ki + β ln li
この式を企業の横断面データで分析する．
例 4. 第 t 年のマクロの資本投入量を Kt ，労働投入量を Lt ，実質 GDP を Yt とする．マクロのコブ＝ダグラ
ス型生産関数は
Yt = AKtα Lβt
すなわち
ln Yt = ln A + α ln Kt + β ln Lt
この式をマクロの時系列データで分析する．
4 古典的線形回帰モデル
定義 12. 以下の条件を満たす線形回帰モデルを古典的線形回帰モデルという．
1. 説明変数は非確率的，
2. 誤差項は無相関で均一な分散をもつ．
注 8. すなわち
y = Xβ + u
E(u) = 0
var(u) = σ 2 In
または
E(y) = Xβ
var(y) = σ 2 In
注 9. 実際には説明変数が確率的な場合も含む（調査データ）．すなわち
y = Xβ + u
E(u|X) = 0
var(u|X) = σ 2 In
または
E(y|X) = Xβ
var(y|X) = σ 2 In
ただし var(y|X) が X に依存しないのは強い仮定．
4
定義 13. 誤差項が正規分布にしたがう古典的線形回帰モデルを古典的正規線形回帰モデルという．
注 10. すなわち
y = Xβ + u
(
)
u|X ∼ N 0, σ 2 In
または
(
)
y|X ∼ N Xβ, σ 2 In
5