線形回帰⑪ (まとめ)

線形系のアルゴリズムについてまとめます。

  • 単回帰
    1つの説明変数から1つの目的変数を予測する。
    もっとも扱いやすく、モデルの解釈もしやすい。
    精度面においては複数の変数で説明を行う重回帰のほうが優る。
  • 重回帰
    複数の説明変数から1つの目的変数を予測する。
    単回帰よりも精度は上がりやすいが、過学習に陥りやすい。
  • LASSO回帰
    重回帰に正則化項(L1ノルム)を付与し、変数の重みを0に近づける。
    特定の変数の重みを0にする。
    重みを小さくすることで過学習のリスクを軽減できる。
    使用する説明変数が減ることでモデルがシンプルになり、解釈性が上がる。
    重要と思われる変数の重みまで0にしてしまう可能性がある。
  • リッジ回帰
    重回帰に正則化項(L2ノルム)を付与し、変数の重みを0に近づけるが、0にはならない。
    重みを小さくすることで過学習のリスクを軽減できる。
    全ての変数を使用するため、モデルの解釈性は改善されない。

LASSO回帰、リッジ回帰は重回帰の上位互換といえるアルゴリズムです。

全ての変数を使用したい場合はリッジ回帰、一部の変数が削除されても問題ない場合はLASSO回帰を使うのが良いでしょう。