1. No category

第 16 回 一般化線形回帰モデル
村澤 康友
2014 年 12 月 3 日
目次
一般化線形回帰モデル
1
1.1
固定的な説明変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
確率的な説明変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
OLS
2
2.1
OLS 推定量の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2.2
White の標準誤差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1
2
1 一般化線形回帰モデル
1.1 固定的な説明変数
データを (y, X) とする．簡単化のため X は固定的とする（実験データ）．
定義 1. y の X 上への一般化線形回帰モデルは
E(y) = Xβ
var(y) = Σ
定義 2. var(yi ) が一定の場合を均一分散という．
定義 3. var(yi ) が一定でない場合を不均一分散という．
定義 4. cov(yi , yj ) ̸= 0 の場合を系列相関という．
1.2 確率的な説明変数
標本データなら X は確率的．
定義 5. y の X 上への一般化線形回帰モデルは
E(y|X) = Xβ
var(y|X) = Σ(X)
1
定義 6. var(yi |X) が一定の場合を条件つき均一分散という．
定義 7. var(yi |X) が一定でない場合を条件つき不均一分散という．
2 OLS
2.1 OLS 推定量の性質
大きさ n のデータを (y, X) とする．簡単化のため X は固定的とする．y の X 上への一般化線形回帰モデ
ルは
E(y) = Xβ
var(y) = Σ
β の OLS 推定量を b とする．b の期待値は
(
)
E(b) = E (X ′ X)−1 X ′ y
= (X ′ X)−1 X ′ E(y)
= (X ′ X)−1 X ′ Xβ
=β
すなわち b は不偏．b の分散は
(
)
var(b) = var (X ′ X)−1 X ′ y
= (X ′ X)−1 X ′ var(y)X(X ′ X)−1
= (X ′ X)−1 X ′ ΣX(X ′ X)−1
古典的線形回帰モデルでないので b は BLUE でない．y の X 上への一般化正規線形回帰モデルは
y ∼ N (Xβ, Σ)
b の分布は
(
)
b ∼ N β, (X ′ X)−1 X ′ ΣX(X ′ X)−1
Σ は n × n なので対角でも n 個のデータから推定できない．
2.2 White の標準誤差
大きさ n の (1 + k) 変量無作為標本を (y, X) とする．yi の xi 上への条件つき不均一分散をもつ線形回帰
モデルは
E(yi |xi ) = x′i β
var(yi |xi ) = σ 2 (xi )
または
yi = x′i β + ui
E(ui |xi ) = 0
var(ui |xi ) = σ 2 (xi )
2
β の OLS 推定量を bn ，残差ベクトルを e := y − Xbn とする．
定理 1. (y, X) が無作為標本なら
)
(
√
d
n(bn − β) −→ N 0, E(xi x′i )−1 var(xi ui ) E(xi x′i )−1
証明. bn は次のように表せる．
(
bn =
n
∑
)−1
xi x′i
i=1
(
=β+
n
∑
xi x′i
n
∑
xi yi
i=1
)−1 n
∑
i=1
したがって
√
n(bn − β) =
大数の法則より
(
xi ui
i=1
1∑
xi x′i
n i=1
n
)−1
1 ∑
√
xi ui
n i=1
n
1∑
xi x′i = E(xi x′i )
n→∞ n
i=1
n
plim
中心極限定理より
1 ∑
d
√
xi ui −→ N(0, var(xi ui ))
n i=1
n
したがって極限において正規分布の線形変換となっている．
注 1. var(xi ui ) は k × k なので n 個のデータから推定できる．
定義 8. var(xi ui ) の White の推定量は
1∑
xi ei (xi ei )′
n i=1
n
var(x
ˆ i ui ) :=
練習 1. 次式を証明しなさい．
var(xi ui ) = E(xi ui (xi ui )′ )
定理 2. (y, X) が無作為標本なら
1∑
xi ei (xi ei )′ = E(xi ui (xi ui )′ )
n→∞ n
i=1
n
plim
証明. 学部レベルを超えるので省略．
注 2. したがって
 (
)−1
( n
)−1 
n
n
∑
∑
∑
√
1
1
1
a

n(bn − β) ∼ N 0,
xi x′i
xi ei (xi ei )′
xi x′i
n i=1
n i=1
n i=1
(
すなわち
a
′
−1
bn ∼ N β, (X X)
n
∑
i=1
3
)
e2i xi x′i (X ′ X)−1
定義 9. White の推定量に基づく bn の標準誤差を White の標準誤差という．
注 3. 条件つき不均一分散があっても正しい標準誤差となっている．
4