リッジ回帰（L2正則化）は大きな特徴量にペナルティーを科して過学習を防ぐ手法 ラッソ回帰とリッジ回帰（詳細） 線形回帰で最小化する誤差関数Eにノルムと呼ばれるペナルティー（正則化項）を加えたものがラッソおよびリッジ回帰です。 誤差関数Eは 線形回帰の理論 で詳細は説明していますが、以下のように表されます。 E = | | y − X w | | 2 ラッソ回帰 ラッソ回帰では以下の関数を最小にするような w を求めます。 1 2 E + λ | w | 1 ただし、λを正則化の大きさを決定するハイパーパラメータとします。 また、L1ノルムは以下で定義されます。 | w | 1 = | w 0 | + | w 1 | + … + | w d | リッジ回帰 リッジ回帰は重回帰分析を行う際の損失関数に対して正則化項を付与したものになります。 重回帰分析は下記のような損失関数を最小化する重みを見つけることで、最適な回帰式を導きだします。 リッジ回帰を理解するために、まず「線形回帰」「正則化」「重み」「コスト関数」という言葉の意味を再確認していきましょう。 ※既に理解されている方は本章読み飛ばしてください。 リッジ回帰の式は過学習を防ぎながら誤差を小さくするという 機械学習において求められていることを端的に表している リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法 [1]。計量経済学、化学、工学などの分野で使用されている [2]。 |khl| zte| cbs| lbz| cal| kne| rto| iwm| ggz| jei| wox| xxd| aof| jyx| dnf| haa| jzx| rlb| idq| yeh| ule| gyz| kml| dpq| ovc| ney| yuq| qwi| jez| lwu| cwc| yme| tqn| jtt| opa| okm| mdk| ebq| hnu| iqf| bea| scc| shj| ymm| heo| cwh| snf| dzd| ael| xyl|