リッジ回帰は推定量が過少になる傾向がある?
色々あって、今はスパース回帰分析を勉強しており、 「スパース回帰分析とパターン認識」を読んでいる。 まったく理解に苦労しており、全然読めていないのだけれど。
ともあれ、その p.16 に次のような記述があった:
リッジ推定量は x に対して傾き 1/(1-λ) の直線であることから, 大きな x に対しては軟しきい値作用素や硬しきい値作用素と比べて, 最小2乗推定量との乖離が大きくなることが見て取れる.
リッジ回帰では推定量が過少になるということなのだろうか。 取り急ぎ、プログラムを書いて少し様子を見ていた。