今回からは、決定木を使った回帰の手法を試していきます。
決定木とは回帰や分類に使われる手法で、質問に対する分岐( Yes / No )を行う階層的な木構造で学習を行います。
線形回帰では各説明変数の重みや切片を学習によって定義しましたが、決定木ではそれぞれの分岐条件を学習によって定義します。
ハイパーパラメータで決定木の深さや各分岐先の最小サンプル数を調整することにより、過学習の抑制や精度の向上を図ることもできます。
決定木アルゴリズム
決定木系のアルゴリズムは、非常に直感的で分かりやすく、データの尺度に左右されにくい点から、いろいろな場面で利用されます。
決定木を使ったアルゴリズムには下記のようなものがあります。
- 決定木
木構造（樹形図）を用いて予測を行う手法。 - ランダムフォレスト
決定木を複数生成し予測を行う手法。
各決定木を並列に扱い、結果を総合的に判断する。 - 勾配ブースティング決定木
決定木を複数生成し予測を行う手法。
逐次的に決定木を増やしていく。
生成済みの決定木の結果を加味し新たな決定木を生成する。
次回は、決定木モデルを構築するためのデータを準備します。