1. No category

第 17 回 一般化最小 2 乗法（GLS）
村澤 康友
2014 年 12 月 8 日
目次
一般化最小 2 乗法（GLS）
1
1.1
GLS 推定量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
GLS 推定量の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
実行可能な GLS
3
2.1
実行可能な GLS 推定量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.2
実行可能な GLS 推定量の性質
3
1
2
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 一般化最小 2 乗法（GLS）
1.1 GLS 推定量
大きさ n の (1 + k) 変量データを (y, X) とする．簡単化のため X は固定的とする．y の X 上への一般化
線形回帰モデルは
E(y) = Xβ
var(y) = Σ
Σ は既知とする．データを y ∗ := Σ −1/2 y ，X ∗ := Σ −1/2 X と変換する．y ∗ の X ∗ 上への線形回帰モデ
ルは
E(y ∗ ) = X ∗ β
var(y ∗ ) = In
この古典的線形回帰モデルにおける β の OLS 推定量を b とすると，
(
)−1 ∗ ′ ∗
X y
b = X ∗′X ∗
( ′ −1 )−1 ′ −1
XΣ y
= XΣ X
定義 1. (y − Xb)′ Σ −1 (y − Xb) を最小にするように β を定める方法を一般化最小 2 乗法（Generalized
Least Squares, GLS）という．
定義 2. GLS 問題の解を β の（実行不可能な）GLS 推定量という．
1
注 1. GLS 問題は
min
b
(y − Xb)′ Σ −1 (y − Xb)
and b ∈ Rk
1 階の条件は
−2X ′ Σ −1 (y − Xb∗ ) = 0
したがって
(
)−1 ′ −1
b∗ = X ′ Σ −1 X
XΣ y
1.2 GLS 推定量の性質
β の GLS 推定量を bG とする．bG の期待値は
((
)−1 ′ −1 )
E(bG ) = E X ′ Σ −1 X
XΣ y
( ′ −1 )−1 ′ −1
= XΣ X
X Σ E(y)
( ′ −1 )−1 ′ −1
= XΣ X
X Σ Xβ
=β
すなわち bG は不偏．bG の分散は
((
)−1 ′ −1 )
var(bG ) = var X ′ Σ −1 X
XΣ y
( ′ −1 )−1 ′ −1
(
)−1
= XΣ X
X Σ var(y)Σ −1 X X ′ Σ −1 X
(
)−1 ′ −1
(
)−1
= X ′ Σ −1 X
X Σ ΣΣ −1 X X ′ Σ −1 X
(
)−1
= X ′ Σ −1 X
y の X 上への一般化正規線形回帰モデルは
y ∼ N (Xβ, Σ)
bG の分布は
( (
)−1 )
bG ∼ N β, X ′ Σ −1 X
定理 1. 一般化線形回帰モデルの回帰係数の GLS 推定量は BLUE．
証明. 線形不偏推定量を c := Cy とする．データを y ∗ := Σ −1/2 y ，X ∗ := Σ −1/2 X と変換すると，y ∗
の X ∗ 上への古典的線形回帰モデルが得られる．このモデルの OLS 推定量は bG ．C ∗ := CΣ 1/2 とすると
c = C ∗ y ∗ . したがってガウス＝マルコフ定理より
var(bG ) ≤ var(c)
2
2 実行可能な GLS
2.1 実行可能な GLS 推定量
大きさ n の (1 + k) 変量データを (y, X) とする．簡単化のため X は固定的とする．次のような y の X 上
への一般化線形回帰モデルを考える．
E(y) = Xβ
var(y) = Σ(γ)
または
y = Xβ + u
E(u) = 0
var(u) = Σ(γ)
ˆ := Σ(ˆ
ˆ ，Σ
ただし Σ(.) は既知で γ ∈ Rl ．γ の推定量を γ
γ ) とする．
例 1. 条件つき不均一分散をもつ線形回帰モデルで
var(yi |xi ) := exp(x′i γ)
例 2. 系列相関をもつ線形回帰モデルで
cov(yi , yj ) := σ 2 ρ|i−j|
ただし |ρ| < 1．
ˆ −1 (y − Xb) を最小にするように β を定める方法を実行可能な GLS という．
定義 3. (y − Xb)′ Σ
定義 4. 実行可能な GLS 問題の解を β の実行可能な GLS 推定量という．
2.2 実行可能な GLS 推定量の性質
β の実行可能な GLS 推定量を bF とすると，
)−1
(
ˆ −1 X
ˆ −1 y
bF = X ′ Σ
X ′Σ
)−1
(
ˆ −1 X
ˆ −1 u
= β + X ′Σ
X ′Σ
bF の期待値は
((
E(bF ) = β + E
ˆ −1 X
X ′Σ
第 2 項は一般に 0 でないので bF は偏りをもつ．
3
)−1
)
ˆ −1 u
X ′Σ
定理 2. plimn→∞ X ′ Σ −1 X/n が存在して逆行列をもち，
(
)
1 ′ −1
1 ′ ˆ −1
plim
X Σ X − X Σ X = O,
n
n→∞ n
(
)
1
1
′ ˆ −1
′ −1
plim √ X Σ u − √ X Σ u = 0
n
n
n→∞
なら
plim (bF − bG ) = 0
n→∞
証明. 学部レベルを超えるので省略．
注 2. すなわち bF と bG は漸近的に同等．
4