線形回帰① (アルゴリズム)

線形回帰とは、回帰分析の中でも目的変数と説明変数の関係性を線形で表す手法のことです。

単回帰も線形回帰の手法の１つです。

（線形ではない回帰分析の主な手法に決定木があります。）

線形回帰アルゴリズム

線形回帰のアルゴリズムを一覧にします。

単回帰の説明変数を複数にしたものが重回帰で、重回帰の過学習を抑制するためLASSO回帰やリッジ回帰があります。

名称	内容
重回帰	複数の説明変数を用いて１つの目的変数を予測する。
LASSO回帰	重回帰に過学習を抑えるための仕組みを導入。 最小二乗法の式に正則化項（L1ノルム）を加えている。 ※特定の説明変数の重みを0にすることができるため解釈が容易になるが、全ての説明変数が重要である場合は適していない。
リッジ回帰	重回帰に過学習を抑えるための仕組みを導入したもの。 最小二乗法の式に正則化項（L2ノルム）を加えている。 ※説明変数の重みを0に近づけることができるが、完全に0にはならないため解釈が難しくなる。

次回は重回帰分析用のデータを準備します。