1. No category

最尤法
回帰
回帰
当
評価
政治学方法論 I
（
）回帰（2）
矢内 勇生
神戸大学 法学部/法学研究科
2014 年 12 月 17 日
1 / 15
最尤法
回帰
今日
回帰
当
評価
内容
1 最尤法
回帰
回帰 例
数値計算
2
当
回帰 当
評価
評価
2 / 15
最尤法
回帰
回帰
当
評価
回帰 例
問題
設定
例 1：小選挙区
当落 過去 当選回数（架空
過去 当選回数 、小選挙区
？
当落 影響
▶
応答変数 y 過去 当選回数別 当選者数
▶
説明変数 t (terms)：0 以上 整数
→
）
？
程度影響
回帰 当
3 / 15
最尤法
回帰
回帰
当
評価
回帰 例
変数
確認
過去 当選回数
(ti )
0
1
2
3
4
5
6
7
合計
人数
(ni )
3
2
1
2
3
3
0
1
15
当選者数
(yi )
1
1
0
1
2
2
0
1
8
4 / 15
最尤法
回帰
回帰
当
評価
回帰 例
回帰
問題
▶
pi
πi
Yi
▶
πi
▶
Yi
▶
推定
回帰
定式化：
( )
ni yi
= Pr(yi |ni , πi ) =
π (1 − πi )ni −yi
yi i
exp(β1 + β2 ti )
=
1 + exp(β1 + β2 ti )
∼ Bin(ni , πi )
試行 成功確率
互
独立
母数：β1
β2
5 / 15
最尤法
回帰
回帰
当
評価
回帰 例
尤度関数
▶
▶
特定
(n i )
= ai
観測値 i 関
yi
尤度関数
Li (β) = pi = ai πiti (1 − πi )ni −ti
)yi (
)ni −yi
(
1
exp(β1 + β2 xi )
= ai
1 + exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
▶
互
yi
L(β) =
n
∏
独立
=
i=1
、
Li (β)
i=1
n
∏
、全体 尤度関数
(
ai
exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
)yi (
1
1 + exp(β1 + β2 xi )
)ni −yi
6 / 15
最尤法
回帰
回帰
当
評価
回帰 例
対数尤度関数
▶
全体
特定
対数尤度関数（定数項 省略）
log L(β) = log
=
=
n
∑
i=1
n
∑
(
log
n
∏
、
Li (β)
i=1
exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
)yi (
1
1 + exp(β1 + β2 xi )
)ni −yi
log πiyi (1 − πi )ni −yi
i=1
▶
先
、R
計算
7 / 15
最尤法
回帰
回帰
当
評価
回帰 例
問題
設定
例 2：小選挙区
当落 選挙費用（架空
）
選挙費用（100 万円単位 測定） 、小選挙区
？
程度影響
？
当落 影響
▶
応答変数 r (response, result)：当選
▶
説明変数 x (expenditure)：0 以上 連続値（測定単位=100
万円）
→
1、落選
0
回帰 当
8 / 15
最尤法
回帰
回帰
当
評価
回帰 例
回帰
問題
▶
回帰
πi = Pr(ri = 1) =
定式化：
exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
Ri ∼ Bern(πi )
試行 成功確率
▶
πi
▶
ri , (i = 1, 2, . . . , n)
互
▶
推定
β2
母数：β1
独立
9 / 15
最尤法
回帰
回帰
当
評価
回帰 例
尤度関数
▶
特定
観測値 i
関
尤度関数
Li (β) = Pr(ri |β, x)
= πiri (1 − πi )1−ri
(
)ri (
)1−ri
exp(β1 + β2 xi )
1
=
1 + exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
▶
ri
互
独立
、全体
L(β) =
n
∏
尤度関数 、
Li (β)
i=1
▶
▶
β = [β1 , β2 ]T
x = [x1 , . . . , xn ]T
10 / 15
最尤法
回帰
回帰
当
評価
回帰 例
対数尤度関数
▶
全体
特定
対数尤度関数 、
log L(β) = log
=
=
n
∑
i=1
n
∑
(
log
n
∏
Li (β)
i=1
exp(β1 + β2 xi )
1 + exp(β1 + β2 xi )
)ri (
1
1 + exp(β1 + β2 xi )
)1−ri
log πiri (1 − πi )1−ri
i=1
▶
先
、R
計算
11 / 15
最尤法
回帰
回帰
当
評価
数値計算
最大値
求
方
▶
理想：尤度関数 推定
求
▶
問題：微分
母数 微分
後、簡単 解 求
、最大値
限
数値計算 (numerical methods, computation) 最大値
「探 」
▶ 二分法
▶ 勾配法
▶
法（
・
法）
▶ etc.
▶
12 / 15
最尤法
当
回帰
回帰
当
評価
評価
的中率
計算
回帰
▶
▶
▶
率」
本当
確率
予測
知
使 、1
1. 確率
2.
、結果
0
数値
▶
予測
▶
割合 当
基準点 0.5（当
▶
結果
予測：各観測値
超
観測
1
「確
1
0
予測
1、
0
結果
同
良
指標
半分
割合
当
計算
）
13 / 15
最尤法
当
回帰
回帰
当
評価
評価
ROC 曲線
▶
▶
▶
▶
▶
▶
▶
ROC (receiver operating characteristic, 受信者操作特性)
曲線
縦軸 「真陽性」 割合 (感度 [sensitivity])、横軸 「偽
陽性」 割合 (1− 特異度 [specificity])
π>c
予測値 1、π ≤ c
予測値 0
c 1
0
変化
、曲線 描
応答変数 完全
：曲線 45 度線
ROC 曲線 左上
、予測精度 高
ROC 下側 面積 (AUC) 大
「良 」
14 / 15
最尤法
当
回帰
回帰
当
評価
評価
赤池情報量基準 (AIC)
▶
Akaike Information Criterion (AIC) ˆ + 2k
AIC = −2 log L(θ)
▶
▶
k 自由 母数（
） 数
AIC 小
「良 」
▶ 対数尤度
最大値 大
▶ 母数
数 少
良
良
15 / 15