1. No category

.
第 4 章多変量確率変数
.
宮﨑憲治
2014 年前期
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
1 / 20
Outline
1.
二次元確率ベクトル
2.
多変量確率変数
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
2 / 20
おしらせ
講義資料: http://www.t.hosei.
ac.jp/~miya_ken/shutodai/
miya と ken の間はアンダーバー
(_).
しばらく授業内で電卓使用. スマ
ホや携帯も使っても OK. (ただし,
本番の試験では使用不可)
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
3 / 20
離散型
2 つの離散型確率変数 X, Y について, それぞれ X = x1 , . . . , xr ,
Y = y1 , . . . , yc をとり, X = xi , Y = yj であるときの確率を
pij = p(xi , xj ) = P(X = xi , Y = yj )
とあらわす, pij や p(xi , yj ) を同時分布の同時確率関数という.
X と Y それぞれ単独の分布を周辺分布といい, 周辺分布の確率関
数を周辺確率関数といい, 次のように表す:
pi· = p1 (xi ) = P(X = xi ) =
p·j = p2 (yj ) = P(Y = yj ) =
c
∑
j=1
r
∑
p(xi , yj )
p(xi , yj )
i=1
周辺確率関数を使って期待値と分散が求められる.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
4 / 20
離散型
確率関数を表にまとめたものを確率分布表という.
x1
x2
..
.
xr
∑r
∑c
i=1
j=1 pij
宮﨑憲治
= 1,
y1
p11
p21
..
.
y2
p12
p22
..
.
···
···
···
yc
p1c
p2c
..
.
p1·
p2·
..
.
pr1
p·1
pr2
p·2
···
···
prc
p·c
pr·
1
∑r
i=1 pi·
= 1,
∑c
j=1 p·j
第 4 章多変量確率変数
=1
2014 年前期
5 / 20
同時ベルヌーイ分布
次の同時確率関数および周辺確率関数を考える.
P(X, Y)
Y=0
Y=1
P(X)
X=0
0.2
0.1
0.3
X=1
0.6
0.1
0.7
P(Y)
0.8
0.2
1
確率変数 X の期待値は E[X] = 0 × P(X = 0) + 1 × P(X = 1) = 0.7
で, 分散は V[X] = E[X](1 − E[X]) = 0.21 である.
確率変数 Y の期待値は E[Y] = 0 × P(Y = 0) + 1 × P(Y = 1) = 0.2
で, 分散は V[Y] = E[Y](1 − E[Y]) = 0.16 である.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
6 / 20
離散型
同時確率関数が周辺確率関数の積
p(xi , yj ) = p1 (xi )p2 (yj ) = pi· p·j
で表せるとき, X と Y は独立であるといい, 独立でないとき従属で
あるという.
X と Y が独立でないとき, Y = yj を与えたときの X の 条件付き確
率関数p1 (xi |yj ) と, X = xi を与えたときの Y の条件付き確率関数
p2 (yj |xi ) を次式で定義する:
p1 (xi |yj ) =
p(xi , yj )
,
p2 (yj )
p2 (yj |xi ) =
p(xi , yj )
p1 (xi )
条件付き平均E[X|Y = yj ], E[Y|X = xi ] をそれぞれ次式で定義する.
E[X|Y = yj ] =
r
∑
xi p1 (xi |yj ),
E[Y|X = xi ] =
i=1
宮﨑憲治
c
∑
yj p2 (yj |xi )
j=1
第 4 章多変量確率変数
2014 年前期
7 / 20
条件付き確率と期待値
前の例と同じ確率分布表を考える.
P(X, Y)
Y=0
Y=1
P(X)
X=0
0.2
0.1
0.3
X=1
0.6
0.1
0.7
P(Y)
0.8
0.2
1
条件付き確率 P(X|Y) は以下の表にまとめられる.
P(X|Y)
Y=0
Y=1
X=0
0.2/0.8=1/4
0.1/0.2=1/2
X=1
0.6/0.8=3/4
0.1/0.2=1/2
条件付き期待値は,
E[X|Y = 0] = 0 × P(X = 0|Y = 0) + 1 × P(X = 1|Y = 0) = 3/4,
E[X|Y = 1] = 0 × P(X = 0|Y = 1) + 1 × P(X = 1|Y = 1) = 1/2 で
ある.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
8 / 20
条件付き確率と期待値
前の例と同じ確率分布表を考える.
P(X, Y)
Y=0
Y=1
P(X)
X=0
0.2
0.1
0.3
X=1
0.6
0.1
0.7
P(Y)
0.8
0.2
1
条件付き確率 P(Y|X) は以下の表にまとめられる.
P(Y|X)
Y=0
Y=1
X=0
0.2/0.3=2/3
0.1/0.3=1/3
X=1
0.6/0.7=6/7
0.1/0.7=1/7
条件付き期待値は,
E[Y|X = 0] = 0 × P(Y = 0|X = 0) + 1 × P(Y = 1|X = 0) = 1/3,
E[Y|X = 1] = 0 × P(Y = 0|X = 1) + 1 × P(Y = 1|X = 1) = 1/7 で
ある.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
9 / 20
連続型
X, Y がともに連続型の確率変数で, 同時確率が
∫
P(a < X ≤ b, c < Y ≤ d) =
b∫ d
f(x, y)dxdy
a
c
と書けるとき, f(x, y) を同時密度関数という.
X, Y それぞれの密度関数 f1 (x), f2 (y) を周辺密度関数という.
∫ ∞
∫ ∞
f1 =
f(x, y)dy, f2 =
f(x, y)dx
−∞
−∞
周辺密度関数を使って期待値と分散が求められる.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
10 / 20
連続型
同時密度関数が周辺密度関数の積
f(x, y) = f1 (x)f2 (y)
で表せるとき, X と Y は独立であるといい, 独立でないとき従属で
あるという.
X と Y が独立でないとき, Y = y を与えたときの X の条件付き密
度関数f1 (x|y) と, X = x を与えたときの Y の条件付き密度関数
f2 (y|x) を次式で定義する:
f1 (x|y) =
f(x, y)
,
f2 (y)
f2 (y|x) =
f(x, y)
f1 (x)
条件付き平均E[X|y], E[Y|x] をそれぞれ次式で定義する.
∫ ∞
∫ ∞
E[X|y] =
xf1 (x|y)dx, E[Y|x] =
yf2 (y|x)dy
−∞
宮﨑憲治
−∞
第 4 章多変量確率変数
2014 年前期
11 / 20
共分散と相関係数
2 つの確率変数 X, Y の平均と分散がそれぞれ,
E(X) = µ1 , E(X) = µ2 , V(X) = σ12 , V(X) = σ22 であるとする.
X, Y に対する平均周りの相互項の積の平均を共分散と言い,
Cov(X, Y) または記号 σ12 で表す.
σ12 = Cov(X, Y) = E{(X − µ1 )(Y − µ2 )}
X, Y の共分散をそれぞれの標準偏差で割った値を相関係数とい
い, Corr(X, Y) または記号 ρ で表す.
Cov(X, Y)
σ12
ρ = Corr(X, Y) = √
= 2 2
σ
V(X)V(Y)
1 σ2
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
12 / 20
共分散と相関係数
共分散公式:
Cov(X, Y) = E(XY) − E(X)E(Y)
.
定理 4.1
.
相関係数について次が成り立つ
1. 相関係数の絶対値は 1 以下である.
.
. X, Y が独立の時, 相関係数はゼロである.
2
相関係数がゼロのとき, 無相関という.
独立なら無相関であるが, 無相関だからといって独立とは限ら
ない.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
13 / 20
共分散と相関係数
以前の例とおなじ同時確率関数および周辺確率関数を考える.
P(X, Y)
Y=0
Y=1
P(X)
X=0
0.2
0.1
0.3
X=1
0.6
0.1
0.7
P(Y)
0.8
0.2
1
確率変数 X の期待値 E[X] = 0.7 で, 分散は V[X] = 0.21 である.
確率変数 Y の期待値 E[Y] = 0.2 で, 分散は V[Y] = 0.16 である.
E[XY] = 0 × 0 × P(X = 0, Y = 0) + 1 × 0 × P(X = 1, Y = 0)+
0 × 1 × P(X = 0, Y = 1) + 1 × 1 × P(X = 1, Y = 1) = 0.1 であるの
で, Cov[X, Y] = E[XY] − E[X]E[Y] = 0.1 − 0.14 = −0.04 である.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
14 / 20
無相関と独立
無相関だからといって, 互いに独立とは限らない. たとえば次の同時確
率関数および周辺確率関数を考える.
P(X, Y)
Y = −1
Y=0
Y=1
P(X)
X = −1
0.1
0.1
0.1
0.3
X=0
0.1
0.2
0.1
0.4
X=1
0.1
0.1
0.1
0.3
P(Y)
0.3
0.4
0.3
1
このとき, E[X] = E[Y] = E[XY] = 0 であるので無相関である.
しかしながら独立でない. 例えば,
P(X = 1, Y = 1) ̸= P(X = 1) · P(Y = 1) である.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
15 / 20
一次結合の平均と分散
2 つの確率変数 X, Y の平均と分散, および共分散をそれぞれ,
E(X) = µ1 , E(X) = µ2 , V(X) = σ1 , V(X) = σ2 , Cov(X, Y) = σ12 で
あるとする.
.
定理 4.1
.
2 つの確率変数 X, Y の一次結合 a1 X + a2 Y に対する平均と分散は以下
である.
1. E[a X + a Y] = a µ + a µ
1
2
1 1
2 2
. V[a1 X + a2 Y] = a2 σ 2 + a2 σ 2 + 2a1 a2 σ12
1 1
2 2
2
特に, X, Y が独立の時
V[a1 X + a2 Y] = a21 σ12 + a22 σ22
.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
16 / 20
2 変量正規分布
2 つの確率変数 X, Y の同時密度関数が
]
[
1
1
√
f(x, y) =
g(x, y)
exp −
2(1 − ρ2 )
2πσ1 σ2 1 − ρ2
(
(
)
)(
) (
)
x − µ1 2
x − µ1
y − µ2 2
y − µ2
g(x, y) =
− 2ρ
+
σ1
σ1
σ2
σ2
であたえられる分布を2 次元正規分布という.
X, Y の周辺分布は N(µ1 , σ12 ), N(µ2 , σ22 ) に従い, それらの平均と分
散は E(X) = µ1 , V(X) = σ12 , E(X) = µ2 , V(X) = σ22 である.
相関係数は ρ で共分散は Cov(X, Y) = ρσ1 σ2 である.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
17 / 20
2 変量正規分布
一般に, 無相関だからといって, 互いに独立とは限らない.
2 次元正規分布では, 独立であるということと相関係数がゼロ
であることとは同値である.
.
定理 4.3 (正規分布の再生性)
.
独立な正規確率変数 X, Y の和 Z = X + Y は再び正規分布に従う:
Z = X + Y ∼ N(µ1 + µ2 , σ12 + σ22 )
.
(二項分布の再生性) X ∼ BN (n, p), Y ∼ BN (m, p) の和 Z = X + Y は
二項分布 BN (n + m, p) に従う.
(ポアソン分布の再生性) X ∼ Po(λ), Y ∼ Po(µ) の和 Z = X + Y は
ポアソン分布 Po(λ + µ) に従う.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
18 / 20
多変量確率変数
n 個の確率変数 X1 , . . . , Xn の同時分布がそれぞれの周辺分布の積
で表せる時, X1 , . . . , Xn は互いに独立であるという.
.
定理 4.4
.
n 個の確率変数 X1 , . . . , Xn の平均と分散, および共分散をそれぞれ,
E(Xi ) = µi , V(Xi ) = σi2 , Cov(Xi , Xj ) = σij であるとする. ただし σii = σi2
である.
∑
このとき, n 個の確率変数の一次結合 ni=1 ai Xi = a1 X1 + . . . + an Xn の
平均と分散は以下である.
∑n
∑n
1. E[
i=1 ai Xi ] =
i=1 ai µi
.2 V[∑n ai Xi ] = ∑n ∑n ai aj σij
i=1
i=1
j=1
∑
∑
特に,
X1 , . . . , Xn が独立の時 V[ ni=1 ai Xi ] = ni=1 a2i σi2
.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
19 / 20
多変量確率変数
.
定理 4.5
.
n 個の確率変数 X1 , . . . , Xn は独立で同一分布に従う (i.i.d.) とする. こ
の分布は平均 µ, 分散 σ 2 を持つとする. このとき, 和
n
∑
Xi = X1 + · · · + Xn
i=1
の平均と分散は
E
( n
∑
i=1
)
Xi
= nµ,
V
( n
∑
)
Xi
= nσ 2
i=1
である.
.
宮﨑憲治
第 4 章多変量確率変数
2014 年前期
20 / 20