非凹罰則付き最尤法による変数選択のためのAIC
非凹罰則付き最尤法による変数選択のための AIC
九州大学 大学院数理学府 梅津 佑太
九州大学 マス・フォア・インダストリ研究所 二宮 嘉行
概 要
L1 罰則を課した LASSO (Tibshirani, 1996) や非凹罰則を課した SCAD (Fan and Li, 2001)，MCP
(Zhang, 2010) に代表される最尤法は，パラメータの推定と変数選択を同時に実行可能であり，広く研究
されている．Ninomiya and Kawano (2014) は，Bridge 推定量の漸近的性質を導いた Knight and Fu
(2000) のアプローチを拡張して求めた，一般化線形モデルにおける LASSO 推定量の漸近分布に基づき，
AIC を導出して正則化パラメータを選択することを提案している．本報告では，Ninomiya and Kawano
とは異なる漸近論の枠組みで，非凹罰則付き最尤法における正則化パラメータ選択のための AIC の導出
について述べる．
主結果 n 個の説明変数 Xi ∈ Rr×p と目的変数 yi ∈ Rr に対して，次の一般化線形モデルを考える．
gi (β) = log f (yi ; Xi β) = yiT Xi β − a(Xi β) + b(yi )
真のパラメータ β ∗ はこのモデルに含まれているとし，β ∈ B ⊂ Rp は次で推定されるとする．
p
n
∑
∑
√
gi (β) + n
pλ (βj )
βˆλ = argmin −
β∈B
i=1
j=1
ただし，pλ (β) は凸とは限らない罰則であり，β = 0 に関して対称かつ |β| に関して単調非減少，原点での
√
√
み微分不可能であるとする．さらに，u ∈ R に対して，n → ∞ で npλ (|u/ n|) → λ|u| を仮定する．ま
た，J (1) = {j; βj∗ = 0}, J (2) = {j; βj∗ 6= 0} に対して，z (k) = (zj )j∈J (k) , J (kl) = (Jij )i∈J (k) , j∈J (l) など
と表し，pλ = (p0λ (βj∗ ))j∈J (2) とする．いま，真のパラメータの零成分は J 個であるとし，一般性を失う
(2)
ことなく J (1) = {1, 2, . . . , J}, J (2) = {J + 1, J + 2, . . . , p} とする．このとき，ある確率ベクトル e(1) が
存在して
√
√
d
(1)
(2)
(2)
( n(βˆλ − β ∗(1) )T , n(βˆλ − β ∗(2) )T )T → J −1 ((s(1) − λe(1) )T , (s(2) − pλ )T )T
となることが示される．ただし，J = E[−g 00 (β ∗ )], s ∼ N (0, J ) である．さらに，AIC の漸近バイアス
[
]
p − λtr J (1|2)−1 K
が得られる．ここで，
J (1|2)
K
= J (11) − J (12) J (22)−1 J (21)
= E[s(1) e(1)T ] − J (12) J (22)−1 E[s(2) e(1)T ]
ˆ を用いて次の値が最小となる λ を選択する．
である．そこで，J (1|2) , K の一致推定量 Jˆ(1|2) , K
AICλ = −2
n
∑
[
]
ˆ
gi (βˆλ ) + 2p − 2λtr Jˆ(1|2)−1 K
i=1
参考文献
• Fan, J. and Li, R. (2001). Variable selection via nonconcave penalized likelihood and its oracle
properties. J. Amer. Statist. Assoc., 96, 1348-1360.
• Knight, K. and Fu, W. (2000). Asymptotics for lasso-type estimators. Ann. Statist., 28, 1356-1378.
• Ninomiya, Y. and Kawano, S. (2014). AIC for the LASSO in generalized linear models. ISM
Research Memorandum, 1187.
• Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. J. R. Stat. Soc. Ser. B
Stat. Methodol., 58, 267-288.
• Zhang, C. (2010). Nearly unbiased variable selection under minimax concave penalty. Ann. Statist.,
38, 894-942.
© Copyright 2024