線形系のアルゴリズムについてまとめます。
- 単回帰
１つの説明変数から１つの目的変数を予測する。
もっとも扱いやすく、モデルの解釈もしやすい。
精度面においては複数の変数で説明を行う重回帰のほうが優る。 - 重回帰
複数の説明変数から１つの目的変数を予測する。
単回帰よりも精度は上がりやすいが、過学習に陥りやすい。 - LASSO回帰
重回帰に正則化項（L1ノルム）を付与し、変数の重みを0に近づける。
特定の変数の重みを0にする。
重みを小さくすることで過学習のリスクを軽減できる。
使用する説明変数が減ることでモデルがシンプルになり、解釈性が上がる。
重要と思われる変数の重みまで0にしてしまう可能性がある。 - リッジ回帰
重回帰に正則化項（L2ノルム）を付与し、変数の重みを0に近づけるが、0にはならない。
重みを小さくすることで過学習のリスクを軽減できる。
全ての変数を使用するため、モデルの解釈性は改善されない。
LASSO回帰、リッジ回帰は重回帰の上位互換といえるアルゴリズムです。
全ての変数を使用したい場合はリッジ回帰、一部の変数が削除されても問題ない場合はLASSO回帰を使うのが良いでしょう。