1. No category

平成 25 年度 上級計量経済学
講義ノート 3: 定常時系列分析
経済データには、時系列で観測されるものも多い。そのような時系列データの解析のた
めに用いられるのが時系列モデルである。ここでは、定常時系列の分析法を学習する。な
お、1980 年代以降、経済データには非定常なものが多いという指摘がなされ、非定常時系
列モデルの分析が進められてきたが、定常時系列モデルはその基礎としても重要である。
3.1
分散、自己共分散と定常性
{yt } を時間と共に観測される確率変数列とする。まず、時系列分析で決定的に重要な以下の
用語を定義する。
定義 1. 強定常 (strictly stationary)
任意の整数 n, h, t1 , · · · , tn について、yt1 , · · · , ytn と yt1 +h , · · · , ytn +h の同時分布が等し
いとき {yt } は強定常であるという。
２次モーメントが存在するものとして、それより少し弱い定常性は以下のように定義さ
れる。
定義 2. 弱定常（weakly stationary, 共分散定常 (covariance stationary)、２次定常 (second
order stationary)）
以下の (a), (b) が成り立つとき、{yt } は弱定常であるという。
(a) 期待値 E(yt ) = µ が t に依存しない。
(b) 共分散 E{(yt − µ)(yt−s − µ)} が s には依存するが t に依存しない。
γs = E{(yt − µ)(yt−s − µ)} を {yt } の s 次の自己共分散という。s = 0 なら、γ0 は yt の
分散である。なお、γs = γ−s が成り立つ。また、ρs = γs /γ0 を {yt } の s 次の自己相関係数
という。
ベクトル確率過程についても、同様に定常性が定義される。強定常については、全
く同様である。ベクトル確率過程 {Yt } は弱定常であるというのは、期待値が t に依存しな
い定数で、自己共分散行列 Γs = E{(Yt − µ)(Yt−s − µ)′ } が s には依存するが t に依存しない
ときである。なお、ベクトル過程の自己共分散は Γs = Γ′−s となり、一般には Γs ̸= Γ−s で
あるので注意すること。
定義 3. エルゴード性
任意の非負の整数 h、任意の h + 1 次元ベクトルの集合 A に対し、強定常過程 {yt } が
T
1∑
I{(yt , yt+1 , · · · , yt+h ) ∈ A} = P {(y0 , y1 , · · · , yh ) ∈ A}
T →∞ T
lim
t=1
を満たすとき、{yt } はエルゴード性をもつという。
1. エルゴード性は、以下の 3 に述べるように時系列データについて大数の法則が働くた
めの必要十分条件になっている。そのため、時系列データを用いて意味のある計量経
済分析を行うためには本質的な性質である。
2. 定義 3 は、確率過程論における通常の定義とは異なる。しかし、エルゴード性につ
いては種々の必要十分条件が調べられており（例えば「A First Course in Stochastic Processes」(Karlin and Taylor, 1975, p.487-488、「Probability」(Shiryaev, 1996,
Chapter V, Section 2 を参照)、上の定義はその一つである。
1
3. 計量経済学において重要なエルゴード性の必要十分条件は、E|ϕ(yt , · · · , yt+m )| < ∞
を満たす任意の関数 ϕ について
1∑
a.s.
ϕ(yt , · · · , yt+m ) → E{ϕ(y0 , · · · , ym )},
n
n
(n → ∞)
t=1
が成立する、というものである。
定義 4. ホワイトノイズ (white noise)、強ホワイトノイズ
次の (a), (b) を満たす確率変数をホワイトノイズという。
(a) E(ϵt ) = 0 {
σ 2 , t = s のとき
(b) E(ϵt ϵs ) =
0,
上記以外のとき
また、(a), (b) に加えて {ϵt } が互いに独立のとき、強ホワイトノイズという。ベクトル
の場合は、(b) を E(ϵt ϵ′t ) = Ω(> 0), E(ϵt ϵ′s ) = 0(t ̸= s) で置き換える。
3.2
MA(moving average：移動平均), AR(autoregression：自己回帰), ARMA
モデル
計量経済学において良く使われる時系列モデルとして、MA、AR、ARMA モデルがある。
{ϵt } をホワイトノイズとして、{yt } が ϵt , · · · , ϵt−q の一次結合
yt = c + ϵt + ψ1 ϵt−1 + ψ2 ϵt−2 + · · · + ψq ϵt−q , ψq ̸= 0
(1)
で生成されるとき、{yt } は MA(q) モデルに従うという。また、{yt } が yt−1 , · · · , yt−p と ϵt
の一次結合
yt = c + ϕ1 yt−1 + ϕ2 yt−2 + · · · + ϕp yt−p + ϵt , ϕp ̸= 0
(2)
で生成されるとき、{yt } は AR(p) モデルに従うという。それらを組み合わせて {yt } が
yt = c + ϕ1 yt−1 + ϕ2 yt−2 + · · · + ϕp yt−p + ϵt + ψ1 ϵt−1 + ψ2 ϵt−2 + · · · + ψq ϵt−q
(3)
で生成されるとき、{yt } は ARMA(p,q) モデルに従うという。ただし ψq ̸= 0, ϕp ̸= 0 とする。
k 次元ベクトル過程を考える場合は、ϵt も k 次元ベクトルになり、係数は k × k 行列に
なる。
3.3
MA(∞)
計量経済モデルとしてはともかく、MA, AR, ARMA モデルの理論の展開のためには、MA(q)
で q を ∞ に近づけた収束先を考えることが極めて有用であるため、まずその解説をする。
q → ∞ とするときに、MA(q) がうまく定義のできる確率変数に収束するとき、それを MA(∞)
と書く。そのための一つの条件が係数列 {ψj } の絶対総和可能性 (absolute summability)、
∞
∑
|ψj | < ∞
j=0
である。もちろん、これが成立するためには j → ∞ のとき ψj → 0 でなければならない。
なお、k 次元ベクトル過程では、ψj が k × k 行列になるが、その場合の絶対総和可能性は以
下のようになる。ψjuv を ψj の第 u, v 要素として、
∞
∑
|ψjuv | < ∞,
∀u, v = 1, · · · , k
j=0
2
定理 1. (Fuller (1976), Introduction to Statistical Time Series, Theorem 2.2.1, p.29)
∑
確率変数の系列 {Zt } をとり、∀t、E(Zt2 ) < K < ∞ を満たすとし、数列 {ψj } が ∞
j=0 |ψj | <
∞ を満たすとき、以下を満たす確率変数列 Xt が存在する。


E

Xt −
n
∑
2

ψj Zt−j
j=0
→ 0 as n → ∞

E(Xt2 ) < ∞
（証明）
任意の t, j について E|Zt ||Zj | ≤ {E(Zt2 ) + E(Zj2 )}/2 < K が成立する。n → ∞ のとき
√
∑n
∑∞
ϵ/K となるように N
j=0 |ψj | が収束するので、任意の ϵ > 0 に対して、 j=N |ψj | <
を選ぶことができる。t を固定して、n > m > N に対して、

2

2
n
m
n
∑
∑
∑
ψj Zt−j −
ψj Zt−j  = E 
ψj Zt−j 
E
j=0
j=0
j=m+1
≤
n
∑
2
ψj2 E(Zt−j
)
+2
j=m+1

≤ 

≤ 
n
∑
j=m+1 t=j+1
n
∑
n
∑
ψj2 + 2
j=m+1
∞
∑
n
∑
2
n
∑
|ψj ||ψt |E(|Zt ||Zj |)

|ψj ||ψt | K
j=m+1 t=j+1
|ψj | K < ϵ
j=N
∑
従って、 nj=0 ψj Zt−j は平均二乗の意味でコーシー列である。二次モーメントの存在する確
率変数の空間は平均二乗差を距離として完備であるため、収束先 Xt が存在する。(証明終)
1. 平均二乗の意味で収束するため、確率収束の意味でも収束する。
2. Xt が確率０の事象を除いて一意であることも証明される。
3. Zt が互いに独立な確率変数列なら、almost sure の収束も証明される。
4. この定理は Zt がホワイトノイズであることは不必要である。
5. j → ∞ のとき ψj → 0 なので、遠い過去の Zj から Xt への影響は時間とともに小さく
なっていく。
命題 1. (Hayashi (2000), Proposition 6.1, p367)
{ϵt } はホワイトノイズ、{ψj } は絶対総和可能な係数列とする。そのとき、
yt = µ +
∞
∑
ψj ϵt−j
j=0
が定義され、
(a) {yt } は平均二乗収束し（定理 3）、弱定常である（MA(∞) と呼ばれる）。
3
(4)
(b) yt の期待値と自己共分散 γj = Cov(yt , yt−j ), j = 0, 1, 2, · · · は以下で与えられる。
E(yt ) = µ
γj
= σ
2
∞
∑
ψj+k ψk
k=0
(c) {γj } は絶対総和可能である。
(d) もし {ϵt } が強ホワイトノイズなら、{yt } は強定常でエルゴード性をもつ。
1. yt は未来の誤差 ϵt+j ∑
を含まないため、one-sided であるという。これは、より一般的
な線形過程 yt = µ + ∞
j=−∞ ψj ϵt−j の特殊ケースである。
2. 定理 3 で Zt はホワイトノイズである必要はなかった。命題 1(a),(b),(c) はそれに対応
して、以下の命題のように拡張することができる。
命題 2. (Hayashi (2000), Proposition 6.2, p.369)
{xt } は弱定常過程、{hj } は絶対総和可能とする。そのとき、
(a) 各 t に対して
yt =
∞
∑
hj xt−j
j=0
は平均二乗収束し、{yt } は弱定常である。
(b) もし {xt } の自己共分散が絶対総和可能なら、{yt } の自己共分散も絶対総和可能で
ある。
まず、yt が MA(∞) に従う時の場合は、ϵt がホワイトノイズであることから、yt の期待
値と自己共分散は以下のように求められる。


∞
∞
∑
∑


E(yt ) = E µ +
ψj ϵt−j = µ +
ψj E(ϵt−j ) = µ
j=0
j=0

2
∞
∞
∞
∑
∑
∑
ψj2 E(ϵ2t−j ) = σ 2
ψj2
γ0 = E 
ψj ϵt−j  =
j=0
j=0
ここで、最右辺は
∞
∑

ψj2 ≤ 
j=0
∞
∑
j=0
2
|ψj | < ∞
(5)
j=0
より有界である。更に、s = 1, 2, · · · に対して




∞
∞
∞
∞
∞
∑
∑
∑
∑
∑
2




ψj ψj+s
ψj ϵt−j
ψi+s ϵt−i = σ
γs = E
ψj ϵt−j
ψi ϵt+s−i = E
j=0
j=0
i=0
j=0
i=0
で、その最右辺は (5) と同様に
∞
∑
j=0
ψj ψj+s ≤
∞
∑
j=0
|ψj ||ψj+s | ≤
∞
∑
|ψj |
j=0
∞
∑
j=0
4

|ψj+s | ≤ 
∞
∑
j=0
2
|ψj | < ∞
なので、自己共分散は有界であることがわかる。
MA(q) については、ψq+1 = ψq+2 = ψq+3 = · · · = 0 なので、
{ ∑
σ 2 q−s
j=0 ψj ψj+s , (s = 0, 1, 2, · · · , q)
γs =
0,
(s ≥ q + 1)
となって、切断がある。
yt が k 次元ベクトル過程なら、ϵt を E(ϵt ) = 0、V ar(ϵt ) = Ω の k 次元ベクトルホワイ
トノイズとして、自己共分散行列は
′
γs = E{(yt − µ)(yt−s − µ) } =
∞
∑
ψs+j Ωψj′
j=0
である。
3.4
ラグ作用素 (lag operator)、ラグ多項式 (lag polynomial)、安定性 (stability)
AR(p), ARMA(p,q) の理論的性質を調べるためには、ラグ多項式が便利である。
3.4.1
ラグ作用素
定義 5. ラグ作用素 L
時点を１期ずらす作用素 L をラグ作用素という。すなわち、Lxt = xt−1 である。
ラグ作用素は以下の性質を有する。
• a を定数として、La = a
• L2 xt ≡ L(Lxt ) = Lxt−1 = xt−2 。一般に j を正の整数として、Lj xt ≡ Lj−1 (Lxt ) =
Lj−1 xt−1 = · · · = xt−j 。
3.4.2
ラグ多項式
ARMA(p,q) モデル (3) は、ラグ作用素を用いて、
yt = c + ϕ1 Lyt + · · · + ϕp Lp yt + ϵt + θ1 Lϵt + · · · + θq Lq ϵt
と書ける。更に、ϕi Li を yt の係数のように扱って、形式的に以下のように書くことにする。
(1 − ϕ1 L − · · · − ϕp Lp )yt = c + (1 + θ1 L + · · · + θq Lq )ϵt
Φ(L)yt = c + Θ(L)ϵt
Φ(L) = 1 − ϕ1 L − · · · − ϕp Lp , Θ(L) = 1 + θ1 L + · · · + θq Lq といったラグ作用素に関する多
項式をラグ多項式という。なお、最初の 1 は厳密には 1L0 と表記するべきである。
5
3.4.3
ラグ多項式の積
ラグ多項式には積を定義することができる。α(L) = α0 + α1 L + α2 L2 + · · · かつ β(L) =
β0 + β1 L + β2 L2 + · · · , とする。x を通常の変数として α(x) × β(x) を展開したときの xj の
係数を δj とおき、それにより δ(L) = δ0 + δ1 L + δ2 L2 + · · · と定める。そのとき、
δ(L)xt = α(L)(β(L)xt ) = β(L)(α(L)xt )
が成立することが確かめられる。この意味で
δ(L) = α(L)β(L) = β(L)α(L)
によりラグ多項式の積を定義する。ラグ多項式の積について以下の性質がある。
• α(L)β(L) = β(L)α(L)
• {αj }, {βj } が絶対総和可能のとき {xt } が共分散定常なら、α(L)β(L)xt はうまく定義
される確率変数で、命題 2 より共分散定常で、
α(L)β(L) = δ(L) ⇒ α(L)β(L)xt = δ(L)xt
が成立する。また、{δj } も絶対総和可能である。
3.4.4
ラグ多項式の逆
α0 ̸= 0 として、α(L)β(L) = 1 を満たす β(L) を α(L) の逆といい、β(L) = α(L)−1 と書く。
これを用いると、α0 ̸= 0, β0 ̸= 0 として
α(L)α(L)−1 = α(L)−1 α(L) = 1
Φ(L)Ψ(L) = δ(L) ⇔ Ψ(L) = Φ(L)−1 δ(L) ⇔ Φ(L) = δ(L)Ψ(L)−1
が成立する。Φ(L) = 1 − ϕ1 L − · · · − ϕp Lp ,Ψ(L) = Φ(L)−1 = ψ0 + ψ1 L + ψ2 L2 + ψ3 L3 + · · ·
とすると、
定数項 : ψ0 = 1
L : ψ 1 − ϕ1 ψ 0 = 0
L2 : ψ2 − ϕ1 ψ1 − ϕ2 ψ0 = 0
L3 : ψ3 − ϕ1 ψ2 − ϕ2 ψ1 − ϕ3 ψ0 = 0
..
.
Lp : ψp − ϕ1 ψp−1 − ϕ2 ψp−2 − ϕ3 ψp−3 − · · · − ϕp ψ0 = 0
Lp+1 : ψp+1 − ϕ1 ψp − ϕ2 ψp−1 − ϕ3 ψp−2 − · · · − ϕp ψ1 = 0
Lp+2 : ψp+2 − ϕ1 ψp+1 − ϕ2 ψp − ϕ3 ψp−1 − · · · − ϕp ψ2 = 0
..
.
によって逐次的に {ψj } が決まる。例えば、
α(L) = 1 − ϕL とすると、
α(L)−1 = 1 + ϕL + ϕ2 L2 + ϕ3 L3 + · · ·
となる。
6
3.4.5
安定性条件
AR(p), ARMA(p,q) の定常性は AR 部分のラグ多項式 Φ(L) の安定性条件と密接に関係して
いる。安定性条件とは、p 次方程式
Φ(x) = 1 − ϕ1 x − ϕ2 x2 − · · · − ϕp xp = 0
(6)
の解がすべて絶対値で 1 より大きいことをさす。なお、k 次元ベクトル過程の場合は ϕ1 , · · · , ϕp
はそれぞれ k × k 行列で、対応する安定性条件は、| · | を行列式として、
|Φ(x)| = |Ik − ϕ1 x − ϕ2 x2 − · · · − ϕp xp | = 0
の解がすべて絶対値で 1 より大きいことである。
命題 3. (Hayashi (2000), Proposition 6.3, p374)
今、Φ(L) = 1−ϕ1 L−ϕ2 L2 −· · ·−ϕp Lp が安定性条件をみたすとする。Ψ(L) = Φ(L)−1 =
1 + ψ1 L + ψ2 L2 + ψ3 L3 + · · · とすると、すべての j = 0, 1, 2, · · · について
|ψj | < Abj
をみたす定数 A > 0, b ∈ (0, 1) が存在する。したがって
∞
∑
|ψj | <
j=0
∞
∑
Abj =
j=0
A
<∞
1−b
となり、{ψj } は絶対総和可能である。
1. 上の p = 1 の例については、ψj = ϕj なので明らかである。
2. 次節に示すとおり、この命題と命題 1 と組み合わせて AR(p), ARMA(p,q) の性質を調
べる。
3.5
AR モデルと ARMA モデル
AR や ARMA モデルは、現在の値が基本的に過去の値に依存して決まるが、そこに誤差が
入ってくるというモデルであり、計量経済分析になじみやすい時系列モデルである。
3.5.1
AR(1) の MA(∞) 表現
最初に最も簡単な例として AR(1)
yt = c + ϕyt−1 + ϵt
を取り上げる。ϵt はホワイトノイズである。ラグ多項式で書くと
(1 − ϕL)yt = c + ϵt
また、ϕ ̸= 1 なら µ = c/(1 − ϕ) として、
(1 − ϕL)(yt − µ) = ϵt
と書ける。
7
(7)
（１）|ϕ| < 1 のとき
yt − µ = (1 − ϕL)−1 ϵt
= (1 + ϕL + ϕ2 L2 + ϕ3 L3 + · · · )ϵt
∞
∑
=
ϕj ϵt−j
(8)
j=0
であるが、|ϕ| < 1 より {1, ϕ, ϕ2 , ϕ3 , · · · } は絶対総和可能なので、定理 3 より右辺は平均二
乗収束する。また、命題 1(b) より E(yt ) = µ である。
（２）|ϕ| > 1 のとき
yt − µ = ϕ−1 (yt+1 − µ) − ϕ−1 ϵt+1
である。したがって、
yt − µ = −
∞
∑
ϕ−j ϵt+j
(9)
j=1
と書ける。|ϕ|−1
< 1 なので、これも平均二乗収束する。しかし、ϵ の将来の値で現在の y が
決まるという形になり、少なくとも計量経済学では応用しにくい。
なお、初期値を決めてそこから AR(1) の式によって、データが生成されるとすると、yt
は定常とはならない。そのため、計量経済学では、|ϕ| > 1 の場合も非定常とするのが普通
である。|ϕ| の場合は、exposive という。
（３）|ϕ| = 1 のとき。ϕ = 1 とする。
yt = c + yt−1 + ϵt
なので、逐次代入により、任意の自然数 j に対して
yt = c + yt−1 + ϵt
= c + (c + yt−2 + ϵt−1 ) + ϵt = 2c + yt−2 + ϵt + ϵt−1
= 2c + (c + yt−3 + ϵt−2 ) + ϵt + ϵt−1 = 3c + yt−3 + ϵt + ϵt−1 + ϵt−2
..
.
= jc + yt−j + ϵt + ϵt−1 + ϵt−2 + · · · + ϵt−j+1
となる。これは弱定常ではない。
（証明） {yt } が弱定常であると仮定する。
(i) c ̸= 0 のとき
E(ϵt ) = 0 より E(yt ) = jc + E(yt−j ) である。弱定常性より E(yt ) = E(yt−j ) なので、
jc = 0 となる。上の変形は任意の自然数 j について成立するので、c = 0 となり、矛盾する。
(ii) c = 0 のとき
yt − yt−j = ϵt + ϵt−1 + ϵt−2 + · · · + ϵt−j+1
となる。両辺の分散を取ると
V ar(yt ) + V ar(yt−j ) − 2Cov(yt , yt−j ) = jσ 2
弱定常性より V ar(yt ) = V ar(yt−j ) = γ0 、Cov(yt , yt−j ) = γj なので、
2(γ0 − γj ) = jσ 2
8
2
σ
したがって、j 次の自己相関係数は ρj = 1 − 2γ
j となる。j は任意の自然数なので j >
0
ととってもよいが、そのとき ρj < −1 となり、相関係数の性質と矛盾する。（証明終）
4γ0
σ2
通常は（１）の |ϕ| < 1 である場合が AR(1) の定常性の条件とされる。
（２）|ϕ| > 1 の場
合でも、上に示したように (7) は数学的には共分散定常な解をもつわけであるが、現実的な
意味は大きく異なる。
（１）は時間の流れと整合的であるが、
（２）は時間が逆に流れている
状況でなければ理解しにくい。
（１）の状況では、E(y0 ) = 0, V ar(y0 ) = σ 2 /(1 − ϕ2 ) を満た
すように y0 が発生していれば、その後は毎期 ϵt が発生し、(7) に従って逐次的に y1 , y2 , · · ·
を構成すれば定常過程が得られる。しかし、（２）の場合は、先にすべての ϵt , t = 1, 2, · · ·
を発生させて、そこから (9) を計算して「初期値」y0 を作って初めて定常過程となる。また、
(9) を見ればわかるように、yt は ϵt+1 , ϵt+2 , ϵt+3 , · · · で決まっていて、次期の yt+1 はそこか
ら ϵt+1 の部分を抜いたものとして作られるわけである。その意味で、数学的にはともかく
現実的には（２）の状況は不自然である。そのため、通常は（１）の場合のみ考える。別の
言い方をすると、将来の誤差 ϵ に依存させずに初期値を定めて確率過程をスタートさせる場
合は、（２）|ϕ| > 1 の場合、定常にならない。
3.5.2
定常 AR(1) の自己共分散と自己相関係数
MA(∞) 表現 (8) を用いると、ϵt , t = 1, 2, · · · がホワイトノイズであることから AR(1) の自
己共分散を簡単に求めることができて、
γj =
σ 2 ϕj
1 − ϕ2
であることがわかる。また、自己相関係数は
ρj =
γj
= ϕj
γ0
となる。
また、別の方法として Yule-Walker 方程式を用いるやり方もある。単純化のために µ = 0
とする。yt = ϕyt−1 + ϵt の両辺に yt , yt−j , (j = 1, 2, · · · ) をかけて期待値をとると
E(yt2 ) = ϕE(yt−1 yt ) + E(ϵt yt )
E(yt yt−j ) = ϕE(yt−1 yt−j ) + E(ϵt yt−j )
を得る。なお、E(ϵt yt ) は両辺に ϵt をかけることにより、E(ϵt yt ) = ϕE(ϵt yt−1 ) + E(ϵ2t ) = σ 2
と計算できる。したがって、
γ0 = ϕγ1 + σ 2
γj
= ϕγj−1 , j = 1, 2, · · ·
である。これを Yule-Walker 方程式という。第１式と第２式の j = 1 の場合から γ0 , γ1 が得
られ、第２式から逐次的に γ2 , γ3 , · · · が得られる。
3.5.3
AR(p) の MA(∞) 表現と自己共分散
3.5.1 節で例示した内容を一般の AR(p)
yt = c + ϕ1 yt−1 + ϕ2 yt−2 + · · · + ϕp yt−p + ϵt
に拡張する。ラグ多項式を用いると、
Φ(L)yt = c + ϵt
9
(10)
Φ(L) = 1 − ϕ1 L − ϕ2 L2 − · · · − ϕp Lp
である。
命題 4. (Hayashi (2000), Proposition 6.4, p.379)
Φ(L) が安定性条件 (6) を満たすとき、
(a) (10) は一意な弱定常解をもち、MA(∞) 表現
yt = µ + Ψ(L)ϵt
Ψ(L) = Φ(L)−1 = 1 + ψ1 L + ψ2 L2 + ψ3 L3 + · · ·
が成り立つ。また、すべての j = 0, 1, 2, · · · について
|ψj | < A0 bj0
をみたす定数 A0 > 0, b0 ∈ (0, 1) が存在し、従って {ψj } は絶対総和可能である。
(b) E(yt ) = µ = Φ(1)−1 c である。
(c) すべての j = 0, 1, 2, · · · について
|γj | < A1 bj1
をみたす定数 A1 > 0,b1 ∈ (0, 1) が存在し、{γj } は絶対総和可能である。
(a) は命題 3 から明らかである。(b) は命題 1(b) から明らかである。(c) は (a) と命題 1(b)
を組み合わせれば簡単に証明できる。AR(1) の場合と同様に MA(∞) 表現もしくは YuleWalker 方程式から自己共分散が計算できる。MA(∞) を用いる場合は {ψj } が必要であるが、
3.4 節に示した方法で逐次的に求めることができる。
3.5.4
ARMA(p,q) の MA(∞) 表現と自己共分散
ARMA(p,q) モデル (3) は、ラグ多項式 Φ(L) = 1 − ϕ1 L − · · · − ϕp Lp 、Θ(L) = 1 + θ1 L +
· · · + θq Lq を用いて
Φ(L)yt = c + Θ(L)ϵt
と書ける。また、Φ(1) ̸= 0 のとき、µ = c/Φ(1) として
Φ(L)(yt − µ) = Θ(L)ϵt
となる。
命題 5. (Hayashi (2000), Proposition 6.5, p.381)
Φ(z) が安定性条件を満たすとき、
(a) ARMA(p,q) は一意な共分散定常な解
yt = µ + Ψ(L)ϵt
Ψ(L) = Φ(L)−1 Θ(L)
をもつ。Ψ(L) の係数 {ψj } は絶対値で幾何的に減少する定数列でおさえられ、従って絶対総
和可能である。
(b) yt の期待値は E(yt ) = µ = c/Φ(1) である。
(c) 自己共分散 {γj } は絶対値で幾何的に減少する定数列でおさえられ、従って絶対総和
可能である。
証明は AR(p) の場合と同様にできる。(a) は Hayashi (2000, p381-382) 参照。 (b), (c)
は命題 1(b)、(c) から明らかである。
ARMA(p,q) の自己共分散は命題 5(a) の MA(∞) 表現から、あるいは、AR(p) と同様に
Yule-Walker 方程式から求めることができる。
10
3.5.5
ARMA(p,q) の AR(∞) 表現
Θ(z) が安定性条件を満たすとき、ARMA(p,q) は反転可能であるという。そのとき、ARMA(p,q)
は AR(∞) 表現を持ち、
Θ(L)−1 Φ(L)yt =
c
+ ϵt
Θ(1)
と書ける。なお、MA(q) は ARMA(p,q) から AR 部分を取り除いたものなので、上と同様
に MA(q) の反転可能性を定義する。
3.6
時系列の漸近理論
この節では、時系列モデルの推定量の漸近的性質を調べるために使用される漸近理論を紹介
する。
3.6.1
大数の法則
下に述べる大数の法則が成立する。証明のために、まず以下の補題を準備する。
∑
補題 1. {Sj } を定数列として、limj→∞ Sj = s のとき、limT →∞ T1 Tj=1 Sj = s が成立する。
証明は、講義では省略する。1
∑
∑
補題 2. limT →∞ Tj=0 aj = A < ∞ のとき、limT →∞ Tj=1 (j/T )aj = 0 である。
証明は、講義では省略する。2
∑
y¯ = Tt=1 yt /T とする。
1
参考までに証明を述べておく。仮定より、任意の ϵ > 0 に対して十分大きい T0 を選ぶと、すべての j > T0
に対して |Sj − s| < ϵ/2 となる。
|
T
1 ∑
Sj − s|
T j=1
T0
1 ∑
1
|Sj − s| +
T j=1
T
≤
T
∑
j
aj
T
j=1
|Sj − s|
j=T0 +1
T0
ϵ
1 ∑
|Sj − s| +
T j=1
2
≤
T0 は固定されているので T が十分大きければ
となる。
2
参考までに証明を述べておく。まず、
T
∑
∑T0
j=1
|Sj −s|/T < ϵ/2 となる。したがって、|
∑T
j=1
Sj −s|/T < ϵ
1
{(a1 + a2 + · · · + aT ) + (a2 + a3 + · · · + aT ) + · · ·
T
=
+(aT −1 + aT ) + aT }|
T
T
T
T
1 ∑∑
1 ∑ ∑
ak ≤
ak
T j=1
T j=1
=
k=j
k=j
T0
T
1
1 ∑ ∑
ak +
T j=1
T
=
k=j
T
∑
T
∑
ak
j=T0 +1 k=j
である。この表現は任意の T0 について成り立つ。まず第二項を調べる。仮定から、任意の
ϵ > 0 に対して十分
∑
大きい T0 を選ぶと、T > j > T0 をみたす任意の j, T について | T
k=j ak | < ϵ/2 とできる。従って、
1
T
T
∑
T
∑
j=T0 +1 k=j
ak <
ϵ(T − T0 )
ϵ
<
2T
2
である。第一項は次のように抑えられる。任意の T と任意の j ∈ [1, T ] について |
11
∑T
k=j
ak | < M < ∞ となる
定理 2. (Hayashi, Proposition 6.8, p401)
{yt } は共分散定常で、E(yt ) = µ、Cov(yt , yt−j ) = γj とする。
m.s.
(a) もし limj→∞ γj = 0 なら、y¯ → µ (T →√∞)
∑
∑∞
(b) ∑
もし {γj } が総和可能なら、limT →∞ V ar( T y¯) = ∞
j=−∞ γj = γ0 +2
j=1 γj < ∞。
γ
は長期分散
(long
run
variance)
と呼ばれる。
なお、 ∞
j=−∞ j
（証明）
(a) 共分散定常の仮定から
T
T
1 ∑∑
Cov(yt , ys )
T2
V ar(¯
y) =
t=1 s=1
T ∑
t
∑
T
1 ∑
V ar(yt )
T2
=
2
T2
=
T
T
2 ∑
1 ∑
tCov(y
,
y
¯
)
−
V ar(yt )
t
t
T2
T2
2
T
≤
ただし、３つ目の等号は y¯t =
t=1 s=1
t=1
t=1
T
∑
t=1
|Cov(yt , y¯t )|
t=1
1 ∑t
t
Cov(yt , ys ) −
j=1 yj
として、
∑
1
tCov(yt , y¯t ) = tCov(yt , (y1 + · · · + yt )) =
Cov(yt , ys )
t
t
s=1
を用いている。また、不等号は t/T ≤ 1、V ar(yt ) > 0 を用いた。仮定から limj→∞ γj = 0
なので、t → ∞ のとき補題 1 より
1∑
γj → 0
Cov(yt , y¯t ) =
t
t−1
j=0
が得られ、|Cov(yt , y¯t )| → 0 となる。したがって、再び補題 1 を用いると
T
2∑
|Cov(yt , y¯t )| → 0
T
t=1
m.s.
となる。よって、V ar(¯
y ) → 0 であり、y¯ → µ as T → ∞。
(b)
M > 0 が存在する。従って、十分大きい T について、
T0
T
1 ∑ ∑
T0 M
ϵ
ak <
<
T j=1
T
2
k=j
となる。したがって、|
∑T
j=1 (j/T )aj |
< ϵ となる。
12
1
E{(yT − µ) + (yT −1 − µ) + · · · + (y1 − µ)}{(yT − µ) + (yT −1 − µ) + · · · + (y1 − µ)}
T
1
=
{T γ0 + 2(T − 1)γ1 + 2(T − 2)γ2 + · · · + 4γT −2 + 2γT −1 }
T
T
−1
∑
j
= γ0 + 2
(1 − )γj
T
T V ar(¯
y) =
j=1
= γ0 + 2
T
−1
∑
γj − 2
j=1
T
−1
∑
j=1
j
γj
T
仮定より {γj } は総和可能なので、補題 2 より T → ∞ のとき
∑T −1
j
j=1 T γj
→ 0 である。従って、
∞
∑
√
γj < ∞
lim V ar( T y¯) = γ0 + 2
T →∞
j=1
（証明終）
なお、総和可能性は絶対総和可能性より少し弱い仮定である。前者は和の順番を入れ替
えると結果が変わるが、後者は順番を入れ替えても収束先は変わらない。
3.6.2
中心極限定理
次に、時系列について成立する中心極限定理を証明なしで示す。
定理 3. MA(∞) の中心極限定理 (Hayashi, Proposition 6.9, p402)
{yt } は MA(∞) 表現
yt = µ + Ψ(L)ϵt
を持ち、{ϵt } は期待値 0、分散 σ 2 の強ホワイトノイズであるとする。そのとき、


∞
∑
√
d
T (¯
y − µ) → N 0,
γj 
j=−∞
Gordin (1961, Soviet Math. Dokl.) を用いると以下の中心極限定理が示される。
定理 4. Gordin (Hayashi, Proposition 6.10, p404)
{yt } はエルゴード性をもつ定常過程とする。It = (yt , yt−1 , yt−2 , · · · ) として、以下の条
件が成立するとする。
(a) E(yt2 ) < ∞
m.s.
(b) E(yt |It−j ) → 0 (j → ∞)
(c) rtj = E(yt |It−j ) − E(yt |It−j−1 ) として、
∞
∑
1
2
{E(rtj
)} 2 < ∞
j=0
そのとき、
∞
∑
√
d
T (¯
y − µ) → N (0,
γj )
j=−∞
13
また、マルチンゲール差分 (martingale difference) について以下の中心極限定理が成立
する (Billingsley, 1961)。
定理 5. マルチンゲール差分の中心極限定理 (Hayashi, p.106)
{yt } はエルゴード性をもつ定常なマルチンゲール差分（E(yt |yt−1 , yt−2 , · · · ) = 0）とす
る。更に V ar(yt ) = Σ は有界とする。そのとき、
√
d
T y¯ → N (0, Σ)
3.7
AR(p) モデルの推定
この節では、AR(p) モデルの推定法を紹介する。AR(p) の推定には、OLS, Yule-Walker 方
程式（モーメント法）、最尤法が考えられる。
3.7.1
OLS
{ϵt } が強ホワイトノイズのとき、AR(p) モデル
yt = c + ϕ1 yt−1 + ϕ2 yt−2 + · · · + ϕp yt−p + ϵt
(11)
′
= β xt + ϵt
では、「説明変数」xt = (1, yt−1 , · · · , yt−p )′ は t − 1 時点以前の増分 ϵt−1 , ϵt−2 , · · · で構成さ
れているためにモデルの誤差項 ϵt とは独立であり、名前の通り回帰モデルの形を持ってい
る。なお、β = (c, ϕ1 , · · · , ϕp )′ である。従って、OLS 推定により一致推定量を得ることが
できる。OLS 推定量を


cˆ
−1

T
T
 ϕˆ1 
∑
∑

 
′
ˆ
β= . =
x t yt
xt xt
 .. 
t=p+1
t=p+1
ϕˆp
とする。
命題 6 でこの推定量の性質を述べるが、その証明に次の結果を用いる。
補題 3. 定常エルゴード過程の関数の定常エルゴード性（Karlin and Taylor (1975） A first
course in stochastic processes, 2nd ed., Remark 5.3, p.488)
{xt } が定常エルゴードであるとき、任意の可測関数 ϕ について、yt = ϕ(xt , xt+1 , · · · ) は
定常エルゴードである。
証明は Stout (1974, Almost sure convergence, p.182)。ベクトルへの拡張も可能である
（White (1999), Asymptotic Theory for Econometricians, Theorem 3.35, p.44)。
命題 6. (Hayashi(2000), Proposition 6.7, p393, Fuller (1976), Theorem 8.2.1, p335)
{yt } は (11) に従う AR(p) 過程で、ラグ多項式は安定性条件を満たすものとする。また、
{ϵt } は期待値 0、分散 σ 2 の強ホワイトノイズであるとする。そのとき、


1
µ
µ
···
µ
 µ γ0 + µ2
γ1 + µ2 · · · γp−1 + µ2 


2
2 
 µ γ1 + µ2
′
γ
+
µ
·
·
·
γ
+
µ
0
p−2
A = E(xt xt ) = 


 ..
..
..
..
..

 .
.
.
.
.
2
2
2
µ γp−1 + µ γp−2 + µ · · ·
γ0 + µ
14
を正値定符号な対称行列として
p
(i) βˆ → β
√
d
(ii) T (βˆ∑
− β) → N (0, σ 2 A−1 ) ∑
(iii) Aˆ = T
xt x′ /T 、s2 = T
t=p+1
t=p+1 (yt
t
− βˆ′ xt )2 /T として、
p
s2 Aˆ−1 → σ 2 A−1
である。
（証明）
普通のクロスセクションデータの OLS 推定量と同様に
−1

T
T
∑
1 ∑
1
βˆ = β + 
xt x′t 
xt ϵt
T
T
t=p+1
(12)
t=p+1
である。安定性条件の仮定の下で、命題 4(a) より yt は係数が絶対総和可能な MA(∞) 表現
をもつ。更に、仮定より {ϵt } が強ホワイトノイズなので、命題 1(d) から yt はエルゴード性
をもつ定常過程である。したがって、
T
1 ∑
a.s.
xt x′t → A
T
(13)
t=p+1
また、xt = {1, yt−1 , · · · , yt−p }′ なので、E(xt ϵt |xt−1 ϵt−1 , xt−2 ϵt−2 , · · · ) = 0 となる。すなわ
ち、{xt ϵt } はマルチンゲール差分である。更に、補題 3 から定常エルゴードである。定理
4(a) より、
T
1 ∑
m.s.
xt ϵt → 0
(14)
T
t=p+1
である。(12), (13), (14) より、(i) が示される。
(ii) {xt ϵt } は定常エルゴードなマルチンゲール差分で、V (xt ϵt ) = E(ϵ2t xt x′t ) = E{E(ϵ2t |xt )xt x′t } =
2
σ A なので、定理 7 より、
T
1 ∑
d
√
xt ϵt → N (0, σ 2 A)
(15)
T t=p+1
したがって、(12)、(13), (15) より (ii) を得る。
p
(iii) {yt } はエルゴード性を持つ定常過程なので、 Aˆ → A である。また、yt − βˆ′ xt =
ϵt − (βˆ − β)′ xt なので、
2
s
=
T
1 ∑
(yt − βˆ′ xt )2
T
t=p+1
=
T
T
T
∑
∑
1 ∑ 2
′1
′1
ˆ
ˆ
ϵt − 2(β − β)
xt ϵt + (β − β)
xt x′t (βˆ − β)
T
T
T
t=p+1
t=p+1
となる。強ホワイトノイズに関する大数の法則から
(14) より
p
s2 → σ 2
である。（証明終）
15
t=p+1
1
T
∑T
2 p
t=p+1 ϵt →
σ 2 なので、(i)、(13)、
3.7.2
Yule-Walker 方程式からのモーメント法
モーメント法によって AR(p) のパラメータを推定することも可能である。定数項について
は、定常性と
E(yt ) = c + ϕ1 E(yt−1 ) + · · · + ϕp E(yt−p )
より、
(1 − ϕ1 − · · · − ϕp )E(yt ) = c
というモーメント条件を得る。また、AR(p) の Yule-Walker 方程式は

 


γ0
γ1 · · · γp−1
ϕ1
γ1


 γ2   γ1
γ0 · · · γp−2 

 
  ϕ2 
=
 ..   ..
..
..   .. 
..
 .   .
.
.
.  . 
γp−1 γp−2 · · ·
γp
ϕp
γ0
である。これらから、
y¯ =
γˆj
=
T
1∑
yt
T
1
T
t=1
T
∑
(yt − y¯)(yt−j − y¯)
t=j+1
として、
 ˆ
ϕ1
 ϕˆ2

 .
 ..
ϕˆp


 
 
=
 
γˆ0
γˆ1
..
.
γˆ1
γˆ0
..
.
···
···
..
.
γˆp−1 γˆp−2 · · ·
γˆp−1
γˆp−2
..
.
γˆ0
−1 








γˆ1
γˆ2
..
.





γˆp
cˆ = (1 − ϕˆ1 − · · · − ϕˆp )¯
y
によりモーメント法推定量が求められる。この推定量の性質は、以下の標本モーメントの漸
近的性質を用いて導くことができる。
定理 6. 標本モーメントの漸近的性質
{ϵt } は期待値 0、分散 σ 2 の強ホワイトノイズで、{yt } は (11) に従う AR(p) 過程で、ラ
グ多項式は安定性条件を満たすものとする。また、Cov(yt , yt−j ) = γj とする。そのとき、
以下が成立する。
p
(i) y¯ → µ = c/Φ(1)
p
(ii) γˆj → γj
√
∑
d
y − µ) → N (0, ∞
(iii) T (¯
j=−∞ γj )
4
4
更に、E(ϵ
t ) = ησ <
 ∞ として、
γˆ1 − γ1
√ 
 d
..
(iv) T 
 → N (0, V )
.
γˆp − γp
16
ただし、V の i, j 要素は
Vij = (η − 3)γi γj +
∞
∑
(γp γp−i+j + γp+j γp−i )
p=−∞
である。
（証明の概略）
仮定の下で命題 1(d) より {yt } が定常エルゴードであるため (i), (ii) は簡単である。(iii)
は仮定の下で定理 5 から明らかである。(iv) は煩雑であるが、Fuller (1976, Thoerem 6.3.5,
p.254) に証明が掲載されている。
AR(p) モデルにおける OLS 推定量とモーメント推定量は漸近的に同じであり、有限標
本のもとでも、ほぼ数値的に同じ推定値となる。有限標本の下での推定量の値には細かな違
いはあるが、それについては各自確認すること。
3.7.3
最尤法
ϵt ∼ i.i.d.N (0, σ 2 ) とすると、AR(1) の尤度関数は
T
T
1 ∑
T
2
(yt − c − ϕyt−1 )2
logL(c, ϕ, σ |y1 , · · · , yT ) = − log(2π) − logσ − 2
2
2
2σ
2
t=2
1
1
1 − ϕ2
c 2
− log(2π) − log
)
−
(y1 −
2
2
2
1−ϕ
2σ 2
1−ϕ
σ2
である。これは、y1 , . . . , yT の同時密度関数が f (y1 , . . . , yT ) = f (yT |y1 , . . . , yT −1 )f (y1 , . . . , yT −1 ) =
∏
· · · = Tt=2 f (yt |y1 , . . .∑
, yt−1 )f (y1 ) と書け、yt |y1 , . . . , yt−1 ∼ N (c + ϕyt−1 , σ 2 ) であること、
j
2
2
また y1 = c/(1 − ϕ) + ∞
j=0 ϕ ϵt−j ∼ N (c/(1 − ϕ), σ /(1 − ϕ )) から求まる。尤度関数の１
行目は、OLS 推定の目的関数と基本的に同じであり、２行目は初期値の密度から出ており、
この２行目が、OLS 推定量との違いをもたらす部分である。推定量の漸近的性質は、OLS 推
定量の性質 (命題 6) と同じである。詳細は、例えば Hamilton (1994, Time Series Analysis,
Section 5.1-5.3, p.118-126)、山本拓「経済時系列の分析」４章を参照。
以上３種類の推定法を紹介したが、ϕ1 , · · · , ϕp の推定量の漸近的性質はすべて同じであ
る (命題 6)。
3.8
3.8.1
MA(q) モデルの推定
モーメント法
MA(q) は観測可能な説明変数を持たないため、AR(p) のような OLS 推定はできない。自己
共分散を用いたモーメント法を用いることができる。単純化のために期待値が 0 の MA(1)
モデル yt = ϵt + θϵt−1 の推定を考える。
γ0 = σ 2 (1 + θ2 )
γ1 = σ 2 θ
であり、γ1 , γ0 を推定量で置き換えて θ, σ について解いたものがモーメント法推定量である。
ρ1 = γ1 /γ0 は θ = 1 のとき最大値 0.5 をとり、θ = −1 のとき最小値-0.5 をとる。反転可能
性を仮定すると、|θ| < 1 でなければならないため、
√
1 − 1 − 4ρ21
θ=
2ρ1
17
を得る。ρ1 を標本自己相関係数 ρˆ1 = γˆ1 /ˆ
γ0 でおきかえて
√
1
−
1 − 4ˆ
ρ21
θˆ =
2ˆ
ρ1
(16)
が θ のモーメント法による推定量となる。
モーメント推定量は一致性をもち、漸近正規になるが、その漸近分散は少し複雑である。
また、同様に MA(q) のモーメント法推定も可能である。これらの議論は Fuller (1976, 8.3
節) を参照のこと。
最尤推定
3.8.2
ϵt ∼ iidN (0, σ 2 ) が仮定できる場合は、最尤推定を行うことも可能である。尤度関数は、
Y = (y1 , · · · , yT )′ として、
T
1
1
logL(θ, σ 2 |Y ) = − log(2π) − log|Ω| − Y ′ Ω−1 Y
2
2
2
ただし



Ω=σ 


2
1 + θ2
θ
0
2
θ
1+θ
θ
0
θ
1 + θ2
..
..
..
.
.
.
0
0
0
···
···
···
..
.
0
0
0
..
.
···
1 + θ2







である。非線形の尤度関数なので、最適化には適当なアルゴリズムを用いる必要がある。
√
d
MA(1) については、 T (θˆ − θ) → N (0, 1 − θ2 ) となり、これは漸近的に効率的な推定量と
なる。したがって、モーメント法よりも最尤法の方が効率的である。最尤法の色々な計算
法や簡略化は Fuller (1976, Section 8.3) や Hamilton (1994, Time Series Analysis, Section
5.4-5.5, p.127-131) を参照。漸近的性質は Brockwell and Davis (1991, Time Series: Theory
and Methods, 8 章）を参照。
3.9
3.9.1
ARMA(p,q) モデルの推定
IV 推定
ARMA(p,q) 過程は AR 部分をもつために OLS の適用が考えられるが、誤差項（MA 部分）
と説明変数の間に相関が生ずるために、一致性をもたない。一つの解決法は IV 法である。
(yt−q−1 , yt−q−2 , · · · ) は MA 部分と相関をもたないので、これを操作変数として IV 推定をす
ることによって一致推定ができる。ただし、これは IV 法を使うために効率的な推定ではな
い。例えば ARMA(1,1)
yt = c + ϕyt−1 + ϵt + θϵt−1
の AR 部分のパラメータの IV 推定量は
(
cˆ
ϕˆ
)
=
{ T (
∑
t=3
1
yt−2
yt−1
yt−2 yt−1
である。
18
)}−1 ∑
T (
t=3
1
yt−2
)
yt
定理 7. ARMA(1,1) の AR パートの IV 推定量の漸近理論
{ϵt } は強ホワイトノイズで、AR 部分のラグ多項式が安定性条件を満たすとする。また、
)
(
(1 + θ)2
(1 + θ)2 µ
A=
(1 + θ)2 µ (1 + θ2 )(γ0 + µ2 ) + 2θ(γ1 + µ2 )
(
B=
1
µ
µ γ1 + µ2
)
, µ=
c
1−ϕ
とおき、
)
(
( B は正値定符号な対称行列とする。そのとき、
)
cˆ
c
p
→
(i)
ϕ
ϕˆ
(
)
√
(
)
cˆ − c
d
2 B −1 AB −1
(ii) T
→
N
0,
σ
ϕˆ − ϕ
が成立する。
（証明）
通常の IV の場合と同様に
{
)}−1 ∑
)
(
)
(
)
T (
T (
1
1∑
cˆ
c
1
yt−1
1
=
+
(ϵt + θϵt−1 )(17)
ϕ
yt−2 yt−2 yt−1
yt−2
ϕˆ
T
T
t=3
t=3
と書ける。
(i) 条件より、{yt } は MA(∞) 表現をもち、また ϵt は強ホワイトノイズである。したがっ
て命題 1(d) より、{yt } は強定常でエルゴード性を持つ。従って、大数の法則が成立し、
)
(
)
T (
1∑
1
yt−1
1
yt−1
p
→E
=B
yt−2 yt−2 yt−1
yt−2 yt−2 yt−1
T
t=3
である。また、
)
{(
)
(
) }
)
T (
T −1 (
1
1 ∑
1∑
1
1
1
1+θ
(ϵt +θϵt−1 ) =
ϵT + θ
ϵ2 +
ϵt
yt−2
yT −2
y1
yt−2 + θyt−1
T
T
T
t=3
t=3
(18)
である。右辺第一項は T → ∞ の時に平均二乗の意味で 0 に収束する。また、右辺第二項は
補題 3 より定常でエルゴード性をもつマルチンゲール差分の和になっているため、定理 4(a)
より
)
T −1 (
1 ∑
1+θ
p
ϵt → 0
y
+
θy
T
t−2
t−1
t=3
となる。したがって、(i) が成立する。
(ii) (17), (18) より、
(
) { ∑
)}−1
)
T (
T (
√
1
1 ∑
cˆ − c
1
yt−1
1+θ
√
T
≈
ϵt
yt−2 yt−2 yt−1
ϕˆ − ϕ
T
T t=3 yt−2 + θyt−1
t=3
である。厳密な等号が成立しないのは、
(18) の右辺第一項を落としているためであるが、こ
√
れは T でなく T で割っても 0 に収束するため無視できる。(1 + θ, yt−2 + θyt−1 )′ ϵt は補題
3 より定常エルゴードなマルチンゲール差分で、以下の分散をもつ。
{(
) }
(
)
1+θ
(1 + θ)2
(1 + θ)(yt−2 + θyt−1 )
V ar
ϵt = σ 2 E
=A
yt−2 + θyt−1
(1 + θ)(yt−2 + θyt−1 )
(yt−2 + θyt−1 )2
19
よって、定理 7 より
)
T (
1 ∑
1+θ
d
√
ϵt → N (0, A)
T t=3 yt−2 + θyt−1
従って、(ii) が成立する。（証明終）
また、MA(q) と同様のモーメント法と最尤法による推定も可能である。
3.9.2
最尤法
ARMA モデルの最尤推定の色々な計算法や簡略化は Fuller (1976, Section 8.4) や Hamilton
(1994, Time Series Analysis, Section 5.4-5.5, p.127-131) を参照。最尤推定量は一致性を
持ち、漸近正規である。また IV 推定量よりも効率的である。漸近的性質は Brockwell and
Davis (1991, Time Series: Theory and Methods, 8 章）を参照。
20