前回構築した重回帰モデルの精度評価を行います。

散布図

散布図で予測結果を可視化してみます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12

import matplotlib.pyplot as plt
%matplotlib inline

print(X_train.shape)
print(y_train_pred.shape)
#plt.scatter(X_train, y_train_pred, label="train")   # ValueError: x and y must be the same size
#plt.scatter(X_test, y_test_pred, label="test")      # ValueError: x and y must be the same size
plt.xlabel("X")
plt.ylabel("y")
plt.title("multi_reg")
plt.legend()
plt.show()

エラーが発生したため、6～7行目をコメントアウトしました。

ValueError: x and y must be the same sizeというエラーメッセージは引数にしている変数の次元数が同じではないために発生したエラーになります。

単回帰のように説明変数と目的変数が１つずつであれば散布図で表示することができますが、今回の重回帰では説明変数が13種類あるので散布図では表示できません。

[実行結果]

という訳で予測結果を散布図で表示するのは省略します。

残差プロット

残差プロットで予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11

def residual_plot(y_train_pred, y_train, y_test_pred, y_test):
    plt.scatter(y_train_pred, y_train_pred - y_train, label="train")
    plt.scatter(y_test_pred, y_test_pred - y_test, label="test")
    plt.plot([0, 50], [0,0] ,color="red")
    plt.xlabel("Pred")
    plt.ylabel("Pred - True")
    plt.title("Residual Plot")
    plt.legend()
    plt.show()

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

外れ値はあるようですが、単回帰の時ほど値は大きくなく、密集部分の範囲も±10程度に収まっており精度が改善しています。

精度評価スコア

精度評価スコアを算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

def get_eval_score(y_true,y_pred):
      mae = mean_absolute_error(y_true,y_pred)
      mse = mean_squared_error(y_true,y_pred)
      rmse = np.sqrt(mse)
      r2score = r2_score(y_true,y_pred)

      print(f"  MAE = {mae}")
      print(f"  MSE = {mse}")
      print(f"  RMSE = {rmse}")
      print(f"  R2 = {r2score}")

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

十分高い精度とはいきませんでしたが、テストデータのR2スコアが0.67と単回帰よりもかなり改善しています。

また、過学習の傾向もないようです。

重回帰を使ったモデルの構築を行います。

重回帰は、複数の説明変数を用いて1つの目的変数を予測するアルゴリズムです。

単回帰と式の複雑さは変わりますが、学習により係数(傾き・重み)と切片を求めることは変わりません。

• 単回帰
  学習により傾き(a)と切片(b)を求める。
  　y = ax + b
• 重回帰
  学習により各説明変数の重み(w1～wn)と切片(b)を求める。
  　y = w1x1 + w2x2 + ・・・・ + wnxn + b

重回帰モデルの構築

scikit-learnのLinearRegressionクラスを使って重回帰モデルを構築します。

単回帰と重回帰は説明変数を複数使用するかどうかの違いだけなので、LinearRegressionの引数であるデータセットを変更するだけで対応可能です。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import LinearRegression

multi_reg = LinearRegression().fit(X_train_scaled, y_train)

次に予測値を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7

y_train_pred = multi_reg.predict(X_train_scaled)
y_test_pred = multi_reg.predict(X_test_scaled)

print(len(y_train_pred))
print(y_train_pred[:5])
print(len(y_test_pred))
print(y_test_pred[:5])

[実行結果]

以上で、モデルの構築と予測値の算出まで完了しました。非常に簡単ですね。

次回は、今回作成したモデルの精度評価を行います。

重回帰問題を解くのに適したボストンの住宅価格データを準備します。

データの読み込み

まずはデータを読み込みます。(2行目)

読み込んだデータをデータフレームに格納し(5行目)、目的変数の項目名は“MEDV”とします。(6行目)

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.datasets import load_boston
boston = load_boston()

import pandas as pd
df = pd.DataFrame(boston.data,columns=boston.feature_names)
df["MEDV"] = boston.target

display(df.head())

[実行結果]

ホールドアウト法

説明変数を変数 Xに代入し、目的変数を変数 yに代入します。

今回は、説明変数に13種類全ての変数を使用することにします。

[Google Colaboratory]

1
2
3
4
5

X = df[boston.feature_names]
y = df[["MEDV"]]

display(X.head())
display(y.head())

[実行結果]

ホールドアウト法で、訓練データとテストデータに分割します。(2行目)

test_size=0.3と指定しているので、訓練データが70%、テストデータが30%の割合に分割されます。

[Google Colaboratory]

1
2
3
4
5
6
7

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

スケーリング

データのスケーリングを行います。

スケーリングとは、複数の説明変数間でのデータの尺度をそろえることを意味します。

重回帰のような複数の説明変数を扱う線形系のアルゴリズムは、データの尺度による影響を特に受けやすいため、正しく学習させるためにはデータのスケーリングが必要になります。

スケーリングには、主に次のような手法があります。

• 標準化
  説明変数の平均が0、標準偏差が1になるようにスケーリングを行います。
  正規分布に従うデータに有効です。
• 正規化
  説明変数の値が0～1の範囲に収まるようにスケーリングを行います。
  一様分布のようなデータに有効です。

正規分布でも一様分布でもない場合は、ロバストZスコアという手法が用いられることがあります。

スケーリングには明確な正解はなく、モデル精度と合わせて検討していくことが多くなります。

sklearnには、スケーリングをするためのクラスがありますのでこれを利用します。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print(X_train_scaled[:3])
print(X_test_scaled[:3])

fit_transform関数ではfit関数とtransform関数をまとめて実行します。(4行目)

transform関数では、fit関数の実行した結果を用いて、実際に正規化を 実行します 。(5行目)

訓練データにはfit_transform関数を使い、テストデータにはtransform関数を使うと覚えておくとよいでしょう。

[実行結果]

以上で、モデル構築の準備ができました。

次回は、今回準備したデータを使って重回帰モデルの構築を行います。

線形回帰とは、回帰分析の中でも目的変数と説明変数の関係性を線形で表す手法のことです。

単回帰も線形回帰の手法の１つです。

（線形ではない回帰分析の主な手法に決定木があります。）

線形回帰アルゴリズム

線形回帰のアルゴリズムを一覧にします。

単回帰の説明変数を複数にしたものが重回帰で、重回帰の過学習を抑制するためLASSO回帰やリッジ回帰があります。

次回は重回帰分析用のデータを準備します。

構築したモデルは、保存したり読み込んだりすることができます。

モデルの保存

pickleというライブラリを使って、モデルを保存してみます。

dumpメソッドを使って、構築したsimple_regモデルの内容を出力しています。(4行目)

[Google Colaboratory]

1
2
3
4

import pickle

file_path = "simple_reg.pkl"
pickle.dump(simple_reg, open(file_path, "wb"))

正常に処理が終了すると、simple_reg.pklというファイルが出力されます。

モデルの読み込み

保存したモデルを読み込みます。

loadメソッドを使って、モデルの読み込みを行います。(2行目)

[Google Colaboratory]

1
2

file_path = "simple_reg.pkl"
model = pickle.load(open(file_path, "rb"))

読み込んだモデルが問題なく使えるかどうかを確認します。

predictメソッドにテストデータを渡して予測を行います。(1行目)

[Google Colaboratory]

1
2

pred = model.predict(X_test)
print(pred[:5])

[実行結果]

問題なく予測結果を取得することができました。

データ量が少ない場合は、学習処理の計算時間はかかりませんが、膨大なデータや複雑なアルゴリズムを扱う場合は計算処理にとても時間がかかります。

そのような場合は毎回学習処理を行うのではなく、学習したモデル（構築したモデル）を保存・読み込んでうまく再利用することをお勧めします。

精度評価指標

予測値と実測値の差（誤差）の大きさを確認するために精度評価指標を使います。

精度評価指標は次のようなものがあります。

• 平均絶対誤差（MAE：Mean Absolute Error）
  誤差の絶対値の総和の平均値。
  マイナス誤差の大きさを総和に反映させるため、絶対値を使用。
  値が0に近いほど誤差が小さい。
• 平均二乗誤差（MSE：Mean Squared Error）
  誤差を二乗した値の総和の平均値。
  マイナス誤差の大きさを総和に反映させるために、二乗を使用。
  二乗しているため、MAE、RMSEよりも大きな値が出る傾向があり、外れ値の影響が大きく出やすい。
  値が0に近いほど誤差が小さい。
• 二乗平均平方根誤差（RMSE：Root Mean Squared Error）
  MSEを1/2乗した値。
  値が0に近いほど誤差が小さい。
• 決定係数（R2）
  MSEの尺度を取り直した値。
  0～1の範囲で値をとり、1に近いほど精度が高い。
  明確な基準はなくケースバイケースではあるが、0.7以上であれば比較的精度が高いと判断して良い。
• 平均絶対パーセント誤差（MAPE：Mean Absolute Percentage Error）
  誤差の度合いを％で表したもの。

精度評価指標の算出（テストデータ）

テストデータの各精度評価指標を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

mae = mean_absolute_error(y_test, y_test_pred)
mse = mean_squared_error(y_test, y_test_pred)
rmse = np.sqrt(mse)
r2score = r2_score(y_test, y_test_pred)

print("テストデータスコア")
print(f"MAE = {mae}")
print(f"MSE = {mse}")
print(f"RMSE = {rmse}")
print(f"R2 = {r2score}")

[実行結果]

モデルの精度評価はテストデータに対する精度を見て行います。

理由は、機械学習モデルに求められるのは未知のデータを予測する性能（汎化性能）だからです。

（テストデータは未知のデータと見立てているため、学習には使用していません。）

精度評価指標の算出（訓練データ）

訓練データの各精度評価指標も算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10

mae_train = mean_absolute_error(y_train, y_train_pred)
mse_train = mean_squared_error(y_train, y_train_pred)
rmse_train = np.sqrt(mse_train)
r2score_train = r2_score(y_train, y_train_pred)

print("訓練データスコア")
print(f"MAE = {mae_train}")
print(f"MSE = {mse_train}")
print(f"RMSE = {rmse_train}")
print(f"R2 = {r2score_train}")

[実行結果]

訓練データのスコアを出す理由は、モデルに過学習の傾向がないかどうかを確認するためです。

過学習とは、訓練データに対して過度に適合し、未知のデータへの予測精度が低くなってしまっている状態のことです。

訓練データのスコアが過度に高く、テストデータのスコアが低いといった場合は、そのモデルは過学習している可能性があります。

今回の回帰モデルでは過学習の傾向は見られませんでしたが、テストデータのR2スコアが0.43とでるなど、モデルの精度が高くない結果となりました、

前回記事で、単回帰モデルの構築と予測を行いました。

今回はその予測結果を可視化し、構築したモデルの精度評価を行います。

散布図（訓練データ）

訓練データの予測結果を散布図で表示します。

[Google Colaboratory]

1
2
3
4
5

plt.scatter(X_train, y_train_pred)
plt.xlabel("X")
plt.ylabel("y")
plt.title("simple_reg")
plt.show()

[実行結果]

上図のように直線で表される結果となりました。

単回帰は学習によって y = ax + b の傾き(a)と切片(b)を算出します。

学習によって導き出された式に、検証データの説明変数(x)を代入することで予測値(y)が算出されます。

そのため結果はこの直線上にのることになります。

散布図（訓練データ・テストデータ）

訓練データの予測結果と合わせてテストデータの予測結果も散布図で表示します。

[Google Colaboratory]

1
2
3
4
5
6
7

plt.scatter(X_train, y_train_pred, label="train")
plt.scatter(X_test, y_test_pred, label="test")
plt.xlabel("X")
plt.ylabel("y")
plt.title("simple_reg")
plt.legend()
plt.show()

[実行結果]

テストデータの予測結果も、訓練データの予測結果と同じように直線状にのることが確認できました。

傾きと切片

この直線の傾き(a)と切片(b)は出力することができます。

[Google Colaboratory]

1
2

print(f"a = {simple_reg.coef_[0][0]}")
print(f"b = {simple_reg.intercept_[0]}")

[実行結果]

予測のプロット

実際の値と予測値を合わせて可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9

plt.scatter(X_train, y_train, label="train")
plt.scatter(X_test, y_test, label="test")
plt.plot(X_test, y_test_pred, color="red")

plt.xlabel("X")
plt.ylabel("y")
plt.title("simple_reg")
plt.legend()
plt.show()

[実行結果]

赤い直線が回帰によって算出されたものです。

実測値と直線の距離が近いほど、モデルの精度が高いことになります。

上図より、多くは直線付近に分布していますが、一部は直線から大きく離れていることが分かります。

残差プロット

予測値と実測値の差に焦点をあてて可視化を行います。

残差プロットという手法を使います。

[Google Colaboratory]

1
2
3
4
5
6
7
8

plt.scatter(y_train_pred, y_train_pred - y_train, label="train")
plt.scatter(y_test_pred, y_test_pred - y_test, label="test")
plt.plot([0, 50], [0,0] ,color="red")
plt.xlabel("Pred")
plt.ylabel("Pred - True")
plt.title("Residual Plot")
plt.legend()
plt.show()

[実行結果]

残差プロットでは、予測値と実測値の差が0である理想的な状態（赤い線）から、実際の差がどれだけばらついているかという傾向を視覚的に把握することができます。

上図より、密集部分でも-10～20と範囲が広く、中には±20を超える外れ値もあり、ばらつきが大きい状態となっていることが分かります。

単回帰モデルの構築を行います。

モデルとは、入力されたデータを何らかの基準に基づいて計算し結果を出力する仕組みのことです。

機械学習では訓練データの傾向から、この何らかの基準にあたる部分を定義します。

こうすることにより説明変数を入力すれば、予測値を出力する機械学習モデルが完成します。

データ分割

まずはデータを説明変数と目的変数に分割します。

前回記事で予告した通り、説明変数にはRM（平均部屋数）を使用します。

[Google Colaboratory]

1
2
3
4
5

X = df[["RM"]]
y = df[["MEDV"]]

display(X.head())
display(y.head())

[実行結果]

次に、説明変数を訓練データとテストデータに分割します。

• 訓練データ
  学習に使用するデータ
• テストデータ
  訓練データの学習によって構築されたモデルの精度評価を行うデータ

訓練データとテストデータは、７：３の割合で分割します。(3行目のtest_size=0.3で指定)

test_sizeは小数で指定すると割合、整数で指定すると個数として認識されます。

random_stateには再現性を確保するため0を指定しています。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

訓練データ数が354、テストデータ数が152に分割されました。

単回帰モデルの構築

訓練データとテストデータの準備が完了しましたので、単回帰モデルの構築を行います。

scikit-learnのLinearRegressionクラスを使用します。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import LinearRegression

simple_reg = LinearRegression().fit(X_train, y_train)

3行目のfitメソッドで訓練データを学習させています。

これでモデルの構築はあっさり完了です。

モデルを使った予測

構築した単回帰モデルを使って予測結果を出力します。

predictメソッドに説明変数となるデータを渡すことで、予測を行うことができます。

[Google Colaboratory]

1
2
3
4
5
6
7

y_train_pred = simple_reg.predict(X_train)
y_test_pred = simple_reg.predict(X_test)

print(len(y_train_pred))
print(y_train_pred[:5])
print(len(y_test_pred))
print(y_test_pred[:5])

[実行結果]

予測結果が出力されました。

次回は、今回構築した単回帰モデルがどれくらいの精度で予測できているのかを評価します。

ボストン住宅価格データの変数同士の相関係数を確認します。

相関とは、２つの変数間で一方が変わればそれにつられてもう一方も変わるという関係性のことです。

その相関度合いを数値化したものが相関係数です。

機械学習において、相関係数は説明変数を選択する上で重要な指標となります。

相関係数

pandasのcorrメソッドを使うと、相関係数を簡単に算出することができます。

[Google Colaboratory]

1
2

df_corr = df.corr()
display(df_corr)

[実行結果]

相関関係のヒートマップ

相関関係の大小を視覚的に確認するためヒートマップで可視化します。

[Google Colaboratory]

1
2
3
4
5
6

import seaborn as sns

plt.figure(figsize=(15,10))
sns.heatmap(df_corr, annot=True)
plt.title("Corr Heatmap")
plt.show()

[実行結果]

相関係数は-1～1の範囲の値をとります。

相関係数では次のような関係を意味します。

• 正の相関
  一方が上がればもう一方も上がる関係
• 負の相関
  一方が上がればもう一方が下がる関係
• 相関係数の絶対値
  絶対値が大きいほど、相関関係が強い

ヒートマップから、目的変数であるMEDVと特に相関の強い変数はRM(0.7)とLSTAT(-0.74)であることが分かります。

次回の単回帰分析では、データのばらつきが小さく、MEDVとの相関が強いRMを説明変数としてモデルを構築していきます。

前回準備したボストン住宅価格データの概要を見ていきます。

ボストンの住宅価格データの概要

pandasのdescribeメソッドを使ってデータの概要を確認することができます。

[Google Colaboratory]

1

df.describe()

[実行結果]

count(データ数)やmean(平均値)など代表的な数値が表示されました。

1
2
3
4
5
6
7
8
9
10

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(20,5))
for i, col in enumerate(df.columns):
    plt.subplot(2,7,i+1)
    plt.hist(df[col])
    plt.title(col)
plt.tight_layout()
plt.show()