前回構築した決定木モデルの評価を行います。

予測値算出

まずは予測値を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12

y_train_pred = tree_reg.predict(X_train)
y_test_pred = tree_reg.predict(X_test)

import numpy as np

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

print(len(y_train_pred))
print(y_train_pred[:5])
print(len(y_test_pred))
print(y_test_pred[:5])

[実行結果]

可視化

散布図で予測値を可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7

plt.scatter(y_train_pred, y_train, label="train")
plt.scatter(y_test_pred, y_test, label="test")
plt.xlabel("Pred")
plt.ylabel("True")
plt.title("Scatter Plot")
plt.legend()
plt.show()

[実行結果]

線形回帰とは異なる分布になっています。

グラフからは、何種類かの特定の値が予測値として出力されているようです。

予測値として出力される値のパターンはリーフノードの数に依存します。

前回出力した樹形図のリーフノード数は8個だったので、予測値のパターンも8種類ということになります。

残差プロット

次に実測値と予測値の誤差をプロットしてみます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11

def residual_plot(y_train_pred, y_train, y_test_pred, y_test):
    plt.scatter(y_train_pred, y_train_pred - y_train, label="train")
    plt.scatter(y_test_pred, y_test_pred - y_test, label="test")
    plt.plot([0, 50], [0,0] ,color="red")
    plt.xlabel("Pred")
    plt.ylabel("Pred - True")
    plt.title("Residual Plot")
    plt.legend()
    plt.show()

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

右側に外れ値がいくつかありますが、誤差の範囲が±10程度と、まずまずの結果となっていると思います。

精度評価スコア

精度評価スコアを算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

def get_eval_score(y_true,y_pred):
    mae = mean_absolute_error(y_true,y_pred)
    mse = mean_squared_error(y_true,y_pred)
    rmse = np.sqrt(mse)
    r2score = r2_score(y_true,y_pred)

    print(f"  MAE = {mae}")
    print(f"  MSE = {mse}")
    print(f"  RMSE = {rmse}")
    print(f"  R2 = {r2score}")

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

R2スコアが0.66であり、十分な精度となっていません。

次回は、ハイパーパラメータの設定で決定木の深さを変更し、スコアの向上を図ります。

決定木モデルを構築するための、データを準備します。

データ準備

ボストンの住宅価格データを読み込みます。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.datasets import load_boston
boston = load_boston()

import pandas as pd
df = pd.DataFrame(boston.data,columns=boston.feature_names)
df["MEDV"] = boston.target

display(df.head())

[実行結果]

説明変数を変数Xに、目的変数を変数yに代入します。

[Google Colaboratory]

1
2
3
4
5

X = df[boston.feature_names]
y = df[["MEDV"]]

display(X.head())
display(y.head())

[実行結果]

訓練データと検証データを７対３の割合で分割します。

[Google Colaboratory]

1
2
3
4
5
6
7

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

以上で、データの準備は完了です。

決定木モデルの構築

決定木モデルを構築するには、scikit-learnのDecisionTreeRegressorクラスを使用します。

max_depthは決定木の層の深さの上限を設定するパラメータで、今回は3階層(max_depth=3)の決定木にしています。

[Google Colaboratory]

1
2

from sklearn.tree import DecisionTreeRegressor
tree_reg = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_train,y_train)

これで決定木モデルの構築と学習が完了しました。

決定木モデルの描画

学習により生成された決定木を描画します。

[Google Colaboratory]

1
2
3
4
5
6

from sklearn import tree
import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(20,8))
tree.plot_tree(tree_reg,fontsize=8)

[実行結果]

各ノードの中身に表示されている値は次のような意味となります。

• X[n] <= m
  次のノードへの分岐条件
• mae
  ノードの不純度（valueと実測値の平均二乗誤差）
• samples
  ノードに含まれるデータ件数
• value
  ノードに含まれるデータの平均値

末端になるノード（リーフノード）のvalueが予測値の候補となっています。

次回は、構築した決定木モデルの評価を行います。

今回からは、決定木を使った回帰の手法を試していきます。

決定木とは回帰や分類に使われる手法で、質問に対する分岐( Yes / No )を行う階層的な木構造で学習を行います。

線形回帰では各説明変数の重みや切片を学習によって定義しましたが、決定木ではそれぞれの分岐条件を学習によって定義します。

ハイパーパラメータで決定木の深さや各分岐先の最小サンプル数を調整することにより、過学習の抑制や精度の向上を図ることもできます。

決定木アルゴリズム

決定木系のアルゴリズムは、非常に直感的で分かりやすく、データの尺度に左右されにくい点から、いろいろな場面で利用されます。

決定木を使ったアルゴリズムには下記のようなものがあります。

• 決定木
  木構造（樹形図）を用いて予測を行う手法。
• ランダムフォレスト
  決定木を複数生成し予測を行う手法。
  各決定木を並列に扱い、結果を総合的に判断する。
• 勾配ブースティング決定木
  決定木を複数生成し予測を行う手法。
  逐次的に決定木を増やしていく。
  生成済みの決定木の結果を加味し新たな決定木を生成する。

次回は、決定木モデルを構築するためのデータを準備します。

線形系のアルゴリズムについてまとめます。

• 単回帰
  １つの説明変数から１つの目的変数を予測する。
  もっとも扱いやすく、モデルの解釈もしやすい。
  精度面においては複数の変数で説明を行う重回帰のほうが優る。
• 重回帰
  複数の説明変数から１つの目的変数を予測する。
  単回帰よりも精度は上がりやすいが、過学習に陥りやすい。
• LASSO回帰
  重回帰に正則化項（L1ノルム）を付与し、変数の重みを0に近づける。
  特定の変数の重みを0にする。
  重みを小さくすることで過学習のリスクを軽減できる。
  使用する説明変数が減ることでモデルがシンプルになり、解釈性が上がる。
  重要と思われる変数の重みまで0にしてしまう可能性がある。
• リッジ回帰
  重回帰に正則化項（L2ノルム）を付与し、変数の重みを0に近づけるが、0にはならない。
  重みを小さくすることで過学習のリスクを軽減できる。
  全ての変数を使用するため、モデルの解釈性は改善されない。

LASSO回帰、リッジ回帰は重回帰の上位互換といえるアルゴリズムです。

全ての変数を使用したい場合はリッジ回帰、一部の変数が削除されても問題ない場合はLASSO回帰を使うのが良いでしょう。

リッジ回帰を使ったモデルを構築します。

リッジ回帰

リッジ回帰は、L2ノルムという正則化項を使用したアルゴリズムです。

前回までのLASSO回帰は各変数の重みを0に近づけつつ、特定の変数の重みを0にするという特性がありました。

リッジ回帰は各変数の重みを0に近づけますが、完全な0にはなりません。

そのため、LASSO回帰のようにモデルの解釈を簡単にするという特徴はありませんが、モデルの設計上、全ての説明変数が重要であるというケースではリッジ回帰の方が適していると言えます。

リッジ回帰モデルの構築

リッジ回帰モデルの構築はscikit-learnのRidgeクラスを使います。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import Ridge

ridge = Ridge().fit(X_train_scaled, y_train)

リッジ回帰モデルの構築と学習が完了しました。

続いて、重回帰分析の時にスケーリングしたデータを使って予測を行います。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = ridge.predict(X_train_scaled)
y_test_pred = ridge.predict(X_test_scaled)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

残差プロット

残差プロットを表示します。

[Google Colaboratory]

1

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

精度評価スコア

精度評価スコアを表示します。

[Google Colaboratory]

1
2
3
4

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

精度評価スコアはLASSO回帰(alpha=1.0)よりもやや高く、重回帰と同程度となりました。

重み

各説明変数の重みを表示します。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, ridge.coef_[0])):
    print(f"w{i}({col}) = {coef}")
print(f"b = {ridge.intercept_[0]}")

[実行結果]

LASSO回帰では多くの説明変数が0となっていましたが、リッジ回帰では重みが完全に0となっている説明変数はありません。

重回帰と比べると、全体的に変数の重みは小さくなっています。

交差検証

リッジ回帰についても、LASSO回帰と同様にscikit-learnに交差検証用のRidgeCVというクラスがあり交差検証が可能です。

次回は、これまで扱ってきた単回帰、重回帰、LASSO回帰、リッジ回帰といういろいろな線形系のアルゴリズムについてまとめます。

前回は、ハイパーパラメータのalphaを１つだけ指定して、学習・評価を行いましたが、最適なalphaを見つけるためには複数の値を設定し、その結果を確認する必要があります。

LassoCVクラスを使うと、一度に複数のalphaの結果を確認することができます。

交差検証

LassoCVクラスは複数のalphaで交差検証を行い、最も精度が高かった時のalphaを結果として表示することができます。

alphaが[0.1, 0.5, 1, 5, 10]の場合の交差検証を行うコードは以下の通りです。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import LassoCV

lasso_cv = LassoCV(alphas=[0.1, 0.5, 1, 5, 10]).fit(X_train_scaled, y_train)

[実行結果]

交差検証が正常に終了しました。

重み確認

交差検証により、最も精度のよかった時のalphaでモデルが構築されています。

最適なalphaと各説明変数の重みを確認します。

[Google Colaboratory]

1
2
3
4

print(f"alpha = {lasso_cv.alpha_}")
for i, (col, coef) in enumerate(zip(boston.feature_names, lasso_cv.coef_)):
    print(f"w{i}({col}) = {coef}")
print(f"b = {lasso_cv.intercept_}")

[実行結果]

0.1のときの精度が最も高いということが確認できました。

またペナルティが弱くなったため、重みが0になる説明変数がなくなりました。

精度評価スコア

精度評価スコアを確認します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10

y_train_pred = lasso_cv.predict(X_train_scaled)
y_test_pred = lasso_cv.predict(X_test_scaled)

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

精度評価スコアが以前のモデルよりも向上しています。

交差検証を使うと、効率的にパラメータの調整を行うことができるので、積極的に活用していきましょう。

次回は、リッジ回帰を行います。

LASSO回帰モデルのハイパーパラメータを変更します。

ハイパーパラメータとは、機械学習モデルがもつパラメータの中で人間が任意に調整するパラメータです。

ハイパーパラメータの設定次第で、モデルの精度が大きく変わってしまいますので適切な値を設定する必要があります。

ハイパーパラメータ(alpha)変更

Lassoクラスにはalphaというハイパーパラメータがあり、正則化項によるペナルティの強さを調整できます。

alphaの値が大きいほど、重みを0にする力が強くなります。

alphaのデフォルトは1.0ですが、試しに10に変更してモデルを構築・学習してみます。

[Google Colaboratory]

1

lasso_change_param = Lasso(alpha=10).fit(X_train_scaled, y_train)

重みを表示して、結果を確認します。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, lasso_change_param.coef_)):
    print(f"w{i}({col}) = {coef}")
print(f"b = {lasso_change_param.intercept_}")

[実行結果]

ペナルティを強くしすぎたようで、全ての説明変数の重みが0.0となってしまいました。

最適なalphaを見つけるためには、さらに試行錯誤が必要なようです。

前回構築したLASSO回帰モデルの評価を行います。

残差プロット

予測値と実測値の残差プロットを表示します。

以前に定義したresidual_plot関数を使います。

[Google Colaboratory]

1

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

重回帰と比較し、残差の分布に違いはないようです。

精度評価スコア

次に精度評価スコアを算出します。

以前に定義したget_eval_score関数を使います。

[Google Colaboratory]

1
2
3
4

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

重回帰と比べて、やや低いスコアとなっていまいました。

重み

説明変数の重みを表示します。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, lasso.coef_)):
    print(f"w{i}({col}) = {coef}")
print(f"b = {lasso.intercept_[0]}")

[実行結果]

RMやLSTATのような重要な変数の重みは残っていますが、多くの説明変数の重みが0になりました。

このようにLASSO回帰では各説明変数の重みを0に近づけ、特定の説明変数の重みを0にします。

次回は、LASSO回帰のハイパーパラメータを変更してみます。

今回はLASSO回帰モデルを構築します。

LASSO回帰モデルは、重みが大きくなるのを抑えるために重回帰による各変数の重みの算出時に正則化項というペナルティを設定しています。

この正則化項はL1ノルムと言われ、変数の重みを0に近づけると同時に、特定の変数の重みを完全に0にする効果があります。

この効果によって過学習を抑えられるだけでなく、一部の変数の重みが0になることでモデルがシンプルになり、分かりやすくなるというメリットもあります。

LASSO回帰モデルの構築

LASSO回帰モデルを構築するためにはscikit-learnに用意されているLassoクラスを使用します。

データは前回の重回帰分析でスケーリングしたものを使います。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import Lasso

lasso = Lasso().fit(X_train_scaled, y_train)

続いて予測値を出力します。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = lasso.predict(X_train_scaled)
y_test_pred = lasso.predict(X_test_scaled)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

予測値を確認すると、前回重回帰分析で出力されたデータ形式とは違うようです。

データ形式の変更

データ形式をこれまで出力したものと合わせておきます。

Numpyのexpand_dims関数を使い次元を追加します。

第１引数にデータを指定し、第２引数に次元を追加する位置を指定します。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

次回は、今回構築したLASSO回帰モデルの評価を行います。

構築した重回帰モデルの重みと切片を確認します。

重みと切片

重みと切片を表示するコードは次のようになります。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, multi_reg.coef_[0])):
    print(f"w{i}({col}) = {coef}")
print(f"b = {multi_reg.intercept_[0]}")

wの値が大きいものほど、モデルへの貢献度が高い変数です。

[実行結果]

参考までに以前作成した相関係数のヒートマップを表示します。

[相関係数のヒートマップ]

RMやLSTATなど、目的変数と相関の大きい変数の重みが比較的大きいことが分かります。

今回の精度評価スコアからは過学習の傾向は見られませんでしたが、過学習が起きている兆候の１つに説明変数の重みが大きいことが挙げられます。

そして過学習のリスクを減らすには、説明変数の重みを小さくする処理が重要となります。

次回の回帰モデルでは、過学習を抑えるために説明変数の重みが大きくならないように制限を行います。