今回は、線形で分類できないデータを分類してみます。

円形データの生成

現実のデータではなく、scikit-learnのmake_circlesを使って、円形に散布するデータを生成します。

[Google Colaboratory]

1
2
3
4
5
6

from sklearn.datasets import make_circles

X_circle, y_circle = make_circles(random_state=42, n_samples=100, noise=0.1, factor=0.3)

plt.scatter(X_circle[:, 0], X_circle[:, 1], c=y_circle)
plt.show()

[実行結果]

上図のように、線形では分類できそうもない、円の中に円があるようなデータが生成されました。

複数のモデルを定義

複数のモデルを構築するために、それぞれのモデルを辞書型で定義します。

[Google Colaboratory]

1
2
3
4
5
6

models = {"Logistic Regression":LogisticRegression(), 
          "Linear SVM":LinearSVC(random_state=0),
          "Kernel SVM":SVC(kernel="rbf",random_state=0),
          "K Neighbors":KNeighborsClassifier(),
          "Decision Tree":DecisionTreeClassifier(max_depth=3,random_state=0),
          "Random Forest":RandomForestClassifier(max_depth=3,random_state=0)}

モデル構築・決定境界の可視化

定義した辞書内容をもとに、各モデルの構築と決定境界の可視化をまとめて行います。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import matplotlib.gridspec as gridspec
import itertools

gs = gridspec.GridSpec(2, 3)
fig = plt.figure(figsize=(12, 6))

for model_name, num in zip(models.keys(), itertools.product([0, 1, 2],repeat=2)):

  model = models[model_name].fit(X_circle,y_circle)
  
  ax = plt.subplot(gs[num[0], num[1]])
  fig = plot_decision_regions(X_circle, y_circle,clf=model)
  plt.title(model_name)

plt.tight_layout()
plt.show()

[実行結果]

それぞれのモデルの決定境界を一括で可視化できました。

上記の図から、ロジスティック回帰や線形SVMのような線形系アルゴリズムでは、今回のデータセットには全く対応できていないことが把握できます。

一方、カーネルSVM、K近傍法、ランダムフォレストでは適切に分類することができています。

アルゴリズムを選択する際には、まずデータセットの散布状況を確認し線形分離できそうかどうかを確認するのがよさそうです。

ランダムフォレストは、複数の異なる決定木を生成し、予測結果を総合的に判断するアルゴリズムです。

回帰では各決定木から得られた結果の平均を予測値としていましたが、分類では各決定木の結果の多数決で予測値を決定します。

単一の決定木と比較して、モデルの解釈性は劣るものの過学習を抑えられ、精度の向上が期待できます。

ランダムフォレストモデルの構築

ランダムフォレストの分類モデルを構築するためには、scikit-learnのRandomForestClassifierクラスを使います。

前回記事にて実行した決定木モデルの結果と比較するため、max_depthの値は3にします。

[Google Colaboratory]

1
2

from sklearn.ensemble import RandomForestClassifier
rf_cls = RandomForestClassifier(max_depth=3,random_state=0).fit(X_train, y_train)

ランダムフォレストのようなアンサンブル学習を行うアルゴリズムは、SVMや決定木に比べてハイパーパラメータのチューニングをシビアに行わなくても、ある程度高い精度が出やすいことが特徴となります。

決定境界の可視化

plot_decision_regionsメソッドを使い決定境界を可視化します。

[Google Colaboratory]

1
2

plot_decision_regions(np.array(X_train), np.array(y_train), clf=rf_cls)
plt.show()

[実行結果]

ランダムフォレストでは複数の決定木の結果をもとに分類予測を行うため、単一の決定木と比較して複雑な決定境界が引かれます。

決定木は、回帰問題だけでなく分類問題でもよく使われるアルゴリズムです。

モデルの解釈性が優れていることや、過学習に陥りやすいという特徴があります。

またハイパーパラメータの種類も決定木回帰と共通するものが多いです。

決定木モデルの構築

決定木の分類モデルを構築するためには、scikit-learnのDecisionTreeClassifierクラスを使います。

【参考】決定木の回帰モデルではDecisionTreeRegressorクラスを使いました。

[Google Colaboratory]

1
2

from sklearn.tree import DecisionTreeClassifier 
tree_cls = DecisionTreeClassifier(max_depth=3,random_state=0).fit(X_train, y_train)

モデルが複雑になるのを避けるため、決定木の層の最大深さ(max_depth)を3に指定しました。

訓練データにはスケーリング前のデータを使用しています。

決定木は単一の説明変数の大小に着目したアルゴリズムであるため、スケーリングの必要がないためです。

決定境界の可視化

plot_decision_regionsメソッドを使い決定境界を可視化します。

[Google Colaboratory]

1
2
3
4

plot_decision_regions(np.array(X_train), np.array(y_train), clf=tree_cls)
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

これまで試してきたアルゴリズムとはかなり違う形の決定境界となっています。

どうしてこのような分類になったのかを確認するために、決定木の内容を確認します。

決定木の可視化

決定木を可視化します。

視覚的に分かりやすくするため、ノード内のサンプルが占めるカテゴリの割合(value)に応じて各ノードを色分けしています。

またサンプル数とvalueの値は割合で表示しています。

[Google Colaboratory]

1
2
3
4
5

from sklearn import tree

plt.figure(figsize=(20,8))
tree.plot_tree(tree_cls,feature_names=["mean radius","mean texture"],filled=True,proportion=True,fontsize=8)
plt.show()

[実行結果]

決定木の各条件を上から順に散布図に当てはめていくと、先ほど可視化したものと同じようにカクカクした決定境界となります。

このように決定木を可視化することでどのような条件でどのカテゴリに分類されるのかが説明可能になります。

K近傍法は、周辺にあるK個の訓練データがどちらに分類されているか多数決で分類するアルゴリズムです。

これまでのアルゴリズムのように計算をして傾向を導き出すのではなく、単純に訓練データを丸暗記している点が大きく異なります。

K近傍法のような学習のアプローチを怠惰学習と呼ぶこともあります。

K近傍法モデルの構築

K近傍法モデルを構築するためには、scikit-learnのKNeighborsClassifierクラスを使用します。(2行目)

引数の意味は下記の通りです。

• n_neighbors
  予測時に見る訓練データの数。
• p
  距離の指標。
  1がユークリッド距離、2がマンハッタン距離の指定となります。

[Google Colaboratory]

1
2

from sklearn.neighbors import KNeighborsClassifier
kn_cls = KNeighborsClassifier(n_neighbors=5, p=2).fit(X_train_scaled, y_train)

データセットは、これまでと同じ「乳がんの診断データ」を使用しています。

複雑な計算を行っていないため、学習プロセスは高速に完了します。

決定境界の可視化

plot_decision_regionsメソッドを使い決定境界を可視化します。

[Google Colaboratory]

1
2

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=kn_cls)
plt.show()

[実行結果]

K近傍法では、暗記した訓練データを予測時に参照するという特徴から、学習は高速で終わりますが、予測には時間がかかります。

また訓練データ数が多くなるほど、予測に要する時間が長くなる傾向があります。

計算コストが高くなりやすい一方で、モデルの解釈が容易でありどのようなデータセットにも比較的柔軟に対応できるという長所があります。

カーネル法は、線形分離できないデータを線形分離できる状態に変換する手法です。

カーネル法により変換されたデータに対して、線形SVMで決定境界を引いた後に元の状態に逆変換します。

こうすることにより非線形の決定境界を引くことができます。

カーネルSVMモデル 構築・可視化

カーネルSVMモデルを構築するためにはscikit-learnのSVCクラスを使用します。（2行目）

[Google Colaboratory]

1
2
3
4
5

from sklearn.svm import SVC
kernel_svm = SVC(kernel="rbf",random_state=0).fit(X_train_scaled, y_train)

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=kernel_svm)
plt.show()

データセットは、これまでと同じ「乳がんの診断データ」を使用し、前回記事同様plot_decision_regionsメソッドを使い決定境界を可視化します。

[実行結果]

上図のように直線ではない決定境界を引くことができました。

線形による分類よりも、非線形による分類の方が適切に境界を分けることができています。

線形SVM(サポートベクターマシン)は、ロジスティック回帰と同じように線形分離できるケースで高いパフォーマンスを発揮するアルゴリズムです。

線形SVMモデル 構築・可視化

線形SVMモデルの構築にはscikit-learnのLinearSVCクラスを使用します。（2行目）

[Google Colaboratory]

1
2
3
4
5

from sklearn.svm import LinearSVC
linear_svm = LinearSVC(random_state=0).fit(X_train_scaled, y_train)

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=linear_svm)
plt.show()

データセットは、これまでと同じ「乳がんの診断データ」を使用し、前回記事同様plot_decision_regionsメソッドを使い決定境界を可視化します。

[実行結果]

ロジスティック回帰とよく似た結果となりました。

ロジスティック回帰と線形SVMの違いはデータの外れ値の影響を受けにくい点です。

ロジスティック回帰は確率論に基づいたアルゴリズムでしたが、線形SVMはマージンの最大化に着目したアルゴリズムとなります。

決定境界に最も近いデータ点のことをサポートベクターと呼びますが、線形SVMはそのサポートベクターとの距離（マージン）が最大になる決定境界を引くアルゴリズムです。

なお、SVMは非線形の分類を行うこともできます。

次回は、非線形SVMでの分類を行ってみます。

データの分類予測の基準となる境界線のことを決定境界と言います。

前回構築したロジスティック回帰モデルではどのような決定境界が引かれているのかを可視化してみます。

決定境界を可視化

決定境界の可視化にはmlxtendというライブラリを使用します。

データとモデルを渡すだけで決定境界を可視化してくれるとても便利なライブラリです。

[Google Colaboratory]

1
2
3
4
5

import numpy as np
from mlxtend.plotting import plot_decision_regions

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=log_reg)
plt.show()

plot_decision_regionsメソッドの引数は下記の通りです。（4行目）

• 第１引数
  スケーリングした訓練データの説明変数
• 第２引数
  訓練データの目的変数
• 第３引数(clf)
  構築したロジスティック回帰モデル

[実行結果]

構築したロジスティック回帰モデルでは、上図のような直線で決定境界が引かれています。

直線という制約があるので、決定境界周辺では正しく分類でいていないデータが多いようです。

ロジスティック回帰はデータを直線で分類（線形分離）できるケースに適したアルゴリズムです。

また、単純かつ計算コストが低いという特徴もあります。

ロジスティック回帰は、二値分類でよく使われる手法で、回帰分析のプロセスを経て分類予測を行います。

ロジスティック回帰では、重み付けされた説明変数の和から、一方に分類される確率を算出し閾値（50%）を上回るかどうかで最終的な分類を決定します。

良性に分類される確率が40%であれば悪性に分類されることになります。

ロジスティック回帰モデルの構築

ロジスティック回帰モデルを構築するには、scikit-learnのLogisticRegressionクラスを使用します。

[Google Colaboratory]

1
2
3

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression(random_state=0).fit(X_train_scaled, y_train)

予測結果を出力します。

[Google Colaboratory]

1
2
3
4
5

y_train_pred = log_reg.predict(X_train_scaled)
y_test_pred = log_reg.predict(X_test_scaled)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

ラベルデータである0, 1がきちんと出力されていることが分かります。

可視化（訓練データ）

訓練データの予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5

plt.scatter(X_train["mean radius"],X_train["mean texture"], c=y_train_pred)
plt.title("Pred_Train") 
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

可視化（テストデータ）

テストデータの予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5

plt.scatter(X_test["mean radius"],X_test["mean texture"], c=y_test_pred)
plt.title("Pred_Test") 
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

ある直線を境にきれいにデータが２分割されています。

次回は、この直線に焦点を当てて可視化を行います。

モデル構築の下準備として、データの前処理を行います。

目的変数と説明変数に分割

まずデータを説明変数 X と目的変数 y に分けます。

[Google Colaboratory]

1
2
3
4
5

X= tg_df[["mean radius","mean texture"]]
y = tg_df["y"]

display(X.head())
display(y.head())

[実行結果]

訓練データとテストデータに分割

次に、データを訓練データ(70%)とテストデータ(30%)に分割します。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

スケーリング

最後に、データの尺度をそろえるためスケーリングを行います。

[Google Colaboratory]

1
2
3
4
5
6
7
8

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print(X_train_scaled[:3])
print(X_test_scaled[:3])

[実行結果]

次回は、ロジスティック回帰モデルの構築を行います。

今回から、教師あり学習の１つである分類を実行していきます。

分類はデータがどのカテゴリに分類されているかを予測します。

データの読み込み

分類の問題を解くのに適した乳がん診断データを読み込みます。

悪性か良性かを目的変数として、それに寄与する検査データが説明変数として用意されているデータになります。

[Google Colaboratory]

1
2
3

from sklearn.datasets import load_breast_cancer

load_data = load_breast_cancer()

読み込んだデータをデータフレームに格納します。

またデータ件数やカラム数を出力します。

[Google Colaboratory]

1
2
3
4
5
6
7
8

import pandas as pd

df = pd.DataFrame(load_data.data, columns = load_data.feature_names)
df["y"] = load_data.target

print(len(df))
print(len(df.columns))
display(df.head())

[実行結果]

データセットには３１列５６９行のデータがあることが確認できました。

代表値

今回は説明変数としてmean radiusとmean textureの２つのみを使用します。

describeメソッドを使って、データの代表値を確認します。

[Google Colaboratory]

1
2

tg_df = df[["mean radius","mean texture","y"]]
display(tg_df.describe())

[実行結果]

describeメソッドでは欠損値を除外して代表値を算出します。

各変数のcountとデータフレームの行数(569行)が一致しているので、このデータセットに欠損値はないことになります。

相関係数

使用する変数の相関を確認します。

[Google Colaboratory]

1

tg_df.corr()

[実行結果]

目的変数と相関も程よく強く、説明変数同士の相関が強すぎることもないので説明変数として問題ないようです。

カテゴリ数

何種類のカテゴリがあるかを確認します。

[Google Colaboratory]

1

print(tg_df["y"].unique())

[実行結果]

目的変数のユニークな値より、２種類のカテゴリがあることが確認できました。

0が悪性、1が良性のデータとなります。

カテゴリ比率

各カテゴリの比率を確認します。

[Google Colaboratory]

1
2

print(len(df.loc[tg_df["y"]==0]))
print(len(df.loc[tg_df["y"]==1]))

[実行結果]

カテゴリ比率に大きな隔たりはないようです。

カテゴリの比率に大きな隔たりがあるデータは不均衡なデータと呼ばれ、モデルの評価や学習に影響がでるので注意が必要です。

データの可視化

最後に、データをプロットしてカテゴリごとの散布状態を確認します。

[Google Colaboratory]

1
2
3
4
5
6
7

import matplotlib.pyplot as plt
%matplotlib inline

plt.scatter(tg_df["mean radius"],tg_df["mean texture"], c=tg_df["y"])
plt.xlabel("mean radius")                  
plt.ylabel("mean texture")
plt.show()

[実行結果]

次回からは、この２カテゴリに分類されたデータから機械学習を使って分類の傾向を調べます。