LASSO回帰モデルのハイパーパラメータを変更します。

ハイパーパラメータとは、機械学習モデルがもつパラメータの中で人間が任意に調整するパラメータです。

ハイパーパラメータの設定次第で、モデルの精度が大きく変わってしまいますので適切な値を設定する必要があります。

ハイパーパラメータ(alpha)変更

Lassoクラスにはalphaというハイパーパラメータがあり、正則化項によるペナルティの強さを調整できます。

alphaの値が大きいほど、重みを0にする力が強くなります。

alphaのデフォルトは1.0ですが、試しに10に変更してモデルを構築・学習してみます。

[Google Colaboratory]

1

lasso_change_param = Lasso(alpha=10).fit(X_train_scaled, y_train)

重みを表示して、結果を確認します。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, lasso_change_param.coef_)):
    print(f"w{i}({col}) = {coef}")
print(f"b = {lasso_change_param.intercept_}")

[実行結果]

ペナルティを強くしすぎたようで、全ての説明変数の重みが0.0となってしまいました。

最適なalphaを見つけるためには、さらに試行錯誤が必要なようです。

前回構築したLASSO回帰モデルの評価を行います。

残差プロット

予測値と実測値の残差プロットを表示します。

以前に定義したresidual_plot関数を使います。

[Google Colaboratory]

1

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

重回帰と比較し、残差の分布に違いはないようです。

精度評価スコア

次に精度評価スコアを算出します。

以前に定義したget_eval_score関数を使います。

[Google Colaboratory]

1
2
3
4

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

重回帰と比べて、やや低いスコアとなっていまいました。

重み

説明変数の重みを表示します。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, lasso.coef_)):
    print(f"w{i}({col}) = {coef}")
print(f"b = {lasso.intercept_[0]}")

[実行結果]

RMやLSTATのような重要な変数の重みは残っていますが、多くの説明変数の重みが0になりました。

このようにLASSO回帰では各説明変数の重みを0に近づけ、特定の説明変数の重みを0にします。

次回は、LASSO回帰のハイパーパラメータを変更してみます。

今回はLASSO回帰モデルを構築します。

LASSO回帰モデルは、重みが大きくなるのを抑えるために重回帰による各変数の重みの算出時に正則化項というペナルティを設定しています。

この正則化項はL1ノルムと言われ、変数の重みを0に近づけると同時に、特定の変数の重みを完全に0にする効果があります。

この効果によって過学習を抑えられるだけでなく、一部の変数の重みが0になることでモデルがシンプルになり、分かりやすくなるというメリットもあります。

LASSO回帰モデルの構築

LASSO回帰モデルを構築するためにはscikit-learnに用意されているLassoクラスを使用します。

データは前回の重回帰分析でスケーリングしたものを使います。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import Lasso

lasso = Lasso().fit(X_train_scaled, y_train)

続いて予測値を出力します。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = lasso.predict(X_train_scaled)
y_test_pred = lasso.predict(X_test_scaled)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

予測値を確認すると、前回重回帰分析で出力されたデータ形式とは違うようです。

データ形式の変更

データ形式をこれまで出力したものと合わせておきます。

Numpyのexpand_dims関数を使い次元を追加します。

第１引数にデータを指定し、第２引数に次元を追加する位置を指定します。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

次回は、今回構築したLASSO回帰モデルの評価を行います。

構築した重回帰モデルの重みと切片を確認します。

重みと切片

重みと切片を表示するコードは次のようになります。

[Google Colaboratory]

1
2
3

for i, (col, coef) in enumerate(zip(boston.feature_names, multi_reg.coef_[0])):
    print(f"w{i}({col}) = {coef}")
print(f"b = {multi_reg.intercept_[0]}")

wの値が大きいものほど、モデルへの貢献度が高い変数です。

[実行結果]

参考までに以前作成した相関係数のヒートマップを表示します。

[相関係数のヒートマップ]

RMやLSTATなど、目的変数と相関の大きい変数の重みが比較的大きいことが分かります。

今回の精度評価スコアからは過学習の傾向は見られませんでしたが、過学習が起きている兆候の１つに説明変数の重みが大きいことが挙げられます。

そして過学習のリスクを減らすには、説明変数の重みを小さくする処理が重要となります。

次回の回帰モデルでは、過学習を抑えるために説明変数の重みが大きくならないように制限を行います。

前回構築した重回帰モデルの精度評価を行います。

散布図

散布図で予測結果を可視化してみます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12

import matplotlib.pyplot as plt
%matplotlib inline

print(X_train.shape)
print(y_train_pred.shape)
#plt.scatter(X_train, y_train_pred, label="train")   # ValueError: x and y must be the same size
#plt.scatter(X_test, y_test_pred, label="test")      # ValueError: x and y must be the same size
plt.xlabel("X")
plt.ylabel("y")
plt.title("multi_reg")
plt.legend()
plt.show()

エラーが発生したため、6～7行目をコメントアウトしました。

ValueError: x and y must be the same sizeというエラーメッセージは引数にしている変数の次元数が同じではないために発生したエラーになります。

単回帰のように説明変数と目的変数が１つずつであれば散布図で表示することができますが、今回の重回帰では説明変数が13種類あるので散布図では表示できません。

[実行結果]

という訳で予測結果を散布図で表示するのは省略します。

残差プロット

残差プロットで予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11

def residual_plot(y_train_pred, y_train, y_test_pred, y_test):
    plt.scatter(y_train_pred, y_train_pred - y_train, label="train")
    plt.scatter(y_test_pred, y_test_pred - y_test, label="test")
    plt.plot([0, 50], [0,0] ,color="red")
    plt.xlabel("Pred")
    plt.ylabel("Pred - True")
    plt.title("Residual Plot")
    plt.legend()
    plt.show()

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

外れ値はあるようですが、単回帰の時ほど値は大きくなく、密集部分の範囲も±10程度に収まっており精度が改善しています。

精度評価スコア

精度評価スコアを算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

def get_eval_score(y_true,y_pred):
      mae = mean_absolute_error(y_true,y_pred)
      mse = mean_squared_error(y_true,y_pred)
      rmse = np.sqrt(mse)
      r2score = r2_score(y_true,y_pred)

      print(f"  MAE = {mae}")
      print(f"  MSE = {mse}")
      print(f"  RMSE = {rmse}")
      print(f"  R2 = {r2score}")

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

十分高い精度とはいきませんでしたが、テストデータのR2スコアが0.67と単回帰よりもかなり改善しています。

また、過学習の傾向もないようです。

重回帰を使ったモデルの構築を行います。

重回帰は、複数の説明変数を用いて1つの目的変数を予測するアルゴリズムです。

単回帰と式の複雑さは変わりますが、学習により係数(傾き・重み)と切片を求めることは変わりません。

• 単回帰
  学習により傾き(a)と切片(b)を求める。
  　y = ax + b
• 重回帰
  学習により各説明変数の重み(w1～wn)と切片(b)を求める。
  　y = w1x1 + w2x2 + ・・・・ + wnxn + b

重回帰モデルの構築

scikit-learnのLinearRegressionクラスを使って重回帰モデルを構築します。

単回帰と重回帰は説明変数を複数使用するかどうかの違いだけなので、LinearRegressionの引数であるデータセットを変更するだけで対応可能です。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import LinearRegression

multi_reg = LinearRegression().fit(X_train_scaled, y_train)

次に予測値を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7

y_train_pred = multi_reg.predict(X_train_scaled)
y_test_pred = multi_reg.predict(X_test_scaled)

print(len(y_train_pred))
print(y_train_pred[:5])
print(len(y_test_pred))
print(y_test_pred[:5])

[実行結果]

以上で、モデルの構築と予測値の算出まで完了しました。非常に簡単ですね。

次回は、今回作成したモデルの精度評価を行います。

重回帰問題を解くのに適したボストンの住宅価格データを準備します。

データの読み込み

まずはデータを読み込みます。(2行目)

読み込んだデータをデータフレームに格納し(5行目)、目的変数の項目名は“MEDV”とします。(6行目)

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.datasets import load_boston
boston = load_boston()

import pandas as pd
df = pd.DataFrame(boston.data,columns=boston.feature_names)
df["MEDV"] = boston.target

display(df.head())

[実行結果]

ホールドアウト法

説明変数を変数 Xに代入し、目的変数を変数 yに代入します。

今回は、説明変数に13種類全ての変数を使用することにします。

[Google Colaboratory]

1
2
3
4
5

X = df[boston.feature_names]
y = df[["MEDV"]]

display(X.head())
display(y.head())

[実行結果]

ホールドアウト法で、訓練データとテストデータに分割します。(2行目)

test_size=0.3と指定しているので、訓練データが70%、テストデータが30%の割合に分割されます。

[Google Colaboratory]

1
2
3
4
5
6
7

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

スケーリング

データのスケーリングを行います。

スケーリングとは、複数の説明変数間でのデータの尺度をそろえることを意味します。

重回帰のような複数の説明変数を扱う線形系のアルゴリズムは、データの尺度による影響を特に受けやすいため、正しく学習させるためにはデータのスケーリングが必要になります。

スケーリングには、主に次のような手法があります。

• 標準化
  説明変数の平均が0、標準偏差が1になるようにスケーリングを行います。
  正規分布に従うデータに有効です。
• 正規化
  説明変数の値が0～1の範囲に収まるようにスケーリングを行います。
  一様分布のようなデータに有効です。

正規分布でも一様分布でもない場合は、ロバストZスコアという手法が用いられることがあります。

スケーリングには明確な正解はなく、モデル精度と合わせて検討していくことが多くなります。

sklearnには、スケーリングをするためのクラスがありますのでこれを利用します。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print(X_train_scaled[:3])
print(X_test_scaled[:3])

fit_transform関数ではfit関数とtransform関数をまとめて実行します。(4行目)

transform関数では、fit関数の実行した結果を用いて、実際に正規化を 実行します 。(5行目)

訓練データにはfit_transform関数を使い、テストデータにはtransform関数を使うと覚えておくとよいでしょう。

[実行結果]

以上で、モデル構築の準備ができました。

次回は、今回準備したデータを使って重回帰モデルの構築を行います。

線形回帰とは、回帰分析の中でも目的変数と説明変数の関係性を線形で表す手法のことです。

単回帰も線形回帰の手法の１つです。

（線形ではない回帰分析の主な手法に決定木があります。）

線形回帰アルゴリズム

線形回帰のアルゴリズムを一覧にします。

単回帰の説明変数を複数にしたものが重回帰で、重回帰の過学習を抑制するためLASSO回帰やリッジ回帰があります。

次回は重回帰分析用のデータを準備します。

構築したモデルは、保存したり読み込んだりすることができます。

モデルの保存

pickleというライブラリを使って、モデルを保存してみます。

dumpメソッドを使って、構築したsimple_regモデルの内容を出力しています。(4行目)

[Google Colaboratory]

1
2
3
4

import pickle

file_path = "simple_reg.pkl"
pickle.dump(simple_reg, open(file_path, "wb"))

正常に処理が終了すると、simple_reg.pklというファイルが出力されます。

モデルの読み込み

保存したモデルを読み込みます。

loadメソッドを使って、モデルの読み込みを行います。(2行目)

[Google Colaboratory]

1
2

file_path = "simple_reg.pkl"
model = pickle.load(open(file_path, "rb"))

読み込んだモデルが問題なく使えるかどうかを確認します。

predictメソッドにテストデータを渡して予測を行います。(1行目)

[Google Colaboratory]

1
2

pred = model.predict(X_test)
print(pred[:5])

[実行結果]

問題なく予測結果を取得することができました。

データ量が少ない場合は、学習処理の計算時間はかかりませんが、膨大なデータや複雑なアルゴリズムを扱う場合は計算処理にとても時間がかかります。

そのような場合は毎回学習処理を行うのではなく、学習したモデル（構築したモデル）を保存・読み込んでうまく再利用することをお勧めします。

精度評価指標

予測値と実測値の差（誤差）の大きさを確認するために精度評価指標を使います。

精度評価指標は次のようなものがあります。

• 平均絶対誤差（MAE：Mean Absolute Error）
  誤差の絶対値の総和の平均値。
  マイナス誤差の大きさを総和に反映させるため、絶対値を使用。
  値が0に近いほど誤差が小さい。
• 平均二乗誤差（MSE：Mean Squared Error）
  誤差を二乗した値の総和の平均値。
  マイナス誤差の大きさを総和に反映させるために、二乗を使用。
  二乗しているため、MAE、RMSEよりも大きな値が出る傾向があり、外れ値の影響が大きく出やすい。
  値が0に近いほど誤差が小さい。
• 二乗平均平方根誤差（RMSE：Root Mean Squared Error）
  MSEを1/2乗した値。
  値が0に近いほど誤差が小さい。
• 決定係数（R2）
  MSEの尺度を取り直した値。
  0～1の範囲で値をとり、1に近いほど精度が高い。
  明確な基準はなくケースバイケースではあるが、0.7以上であれば比較的精度が高いと判断して良い。
• 平均絶対パーセント誤差（MAPE：Mean Absolute Percentage Error）
  誤差の度合いを％で表したもの。

精度評価指標の算出（テストデータ）

テストデータの各精度評価指標を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

mae = mean_absolute_error(y_test, y_test_pred)
mse = mean_squared_error(y_test, y_test_pred)
rmse = np.sqrt(mse)
r2score = r2_score(y_test, y_test_pred)

print("テストデータスコア")
print(f"MAE = {mae}")
print(f"MSE = {mse}")
print(f"RMSE = {rmse}")
print(f"R2 = {r2score}")

[実行結果]

モデルの精度評価はテストデータに対する精度を見て行います。

理由は、機械学習モデルに求められるのは未知のデータを予測する性能（汎化性能）だからです。

（テストデータは未知のデータと見立てているため、学習には使用していません。）

精度評価指標の算出（訓練データ）

訓練データの各精度評価指標も算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10

mae_train = mean_absolute_error(y_train, y_train_pred)
mse_train = mean_squared_error(y_train, y_train_pred)
rmse_train = np.sqrt(mse_train)
r2score_train = r2_score(y_train, y_train_pred)

print("訓練データスコア")
print(f"MAE = {mae_train}")
print(f"MSE = {mse_train}")
print(f"RMSE = {rmse_train}")
print(f"R2 = {r2score_train}")

[実行結果]

訓練データのスコアを出す理由は、モデルに過学習の傾向がないかどうかを確認するためです。

過学習とは、訓練データに対して過度に適合し、未知のデータへの予測精度が低くなってしまっている状態のことです。

訓練データのスコアが過度に高く、テストデータのスコアが低いといった場合は、そのモデルは過学習している可能性があります。

今回の回帰モデルでは過学習の傾向は見られませんでしたが、テストデータのR2スコアが0.43とでるなど、モデルの精度が高くない結果となりました、