前回記事から引き続き、gapminderデータセットを使います。

バブルチャート

人口の情報を散布図に加え、点の大きさで表現したバブルチャートを描画します。

また大陸（continent列）ごとに要素を色分けします。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11

px.scatter(
    gapminder,
    x="gdpPercap",
    y="lifeExp",
    log_x=True,
    hover_name="country",
    size="pop",         # 人口を点の大きさで表現
    size_max=40,        # 点の大きさの最大値
    color="continent",  # 大陸ごとに色分け
    width=800           # グラフの横幅
).show()

[実行結果]

より多くの情報を得られるようになりました。

凡例(グラフ右上に表示)をクリックすると大陸ごとに表示・非表示を切り替えることができます。

ヨーロッパとアメリカのみを表示すると次のようなグラフになります。

[実行結果]

特定の要素にカーソルを合わせると、ホバーツールが表示され座標の情報に加え、国名・大陸名・人口の情報を確認することができます。

Plotly Express

Ploty Expressはplotly.pyのラッパーで、簡潔なコードでデータを可視化できます。

Ploty Expressは以下のような機能をもち、多次元のデータを高い表現力で可視化できます。

• 複数種類のグラフを組み合わせた可視化
• ファセットによる可視化
  データを分割して複数のグラフに可視化
• アニメーションによる可視化
  データを分割してフレームに描画して可視化

データの読み込み

gapminderデータセットを読み込みます。

[Google Colaboratory]

1
2
3
4

import plotly.express as px

gapminder = px.data.gapminder()
gapminder.head()

[実行結果]

では一人当たりのGDP(gdpPercap列)と平均寿命(lifeExp列)を可視化していきます。

pandasでの可視化

まずpandasのplotメソッドを使って可視化を行います。

logxオプションにTrueを指定し、X軸は対数で表示しています。

[Google Colaboratory]

1
2

%matplotlib inline
gapminder.plot.scatter(x="gdpPercap", y="lifeExp", logx=True, xlim=[100, 1e6])

[実行結果]

上記の散布図では一人あたりGDPと平均寿命の関係は分かるものの、具体的な値は座標から読み取るしかありません。

また国名(country列)や人口(pop列)など、ほかの列の情報はこのグラフから読み取ることはできません。

Express Plotlyでの可視化

Plotly Expressを使って可視化を行います。

[Google Colaboratory]

1
2
3
4
5
6
7
8

px.scatter(
    gapminder,
    x="gdpPercap",
    y="lifeExp",
    log_x=True,
    hover_name="country",
    width=800  # グラフの横幅
).show()

[実行結果]

上図はpandasで作成したグラフと同じグラフのように見えますが、特定の要素にカーソルを合わせると、下記の図のようにホバーツールが表示されます。

[実行結果]

ホバーツールからは要素の値が確認でき、各座標の情報に加えて国名も見て取ることができます。

エルボー図

前回構築したクラスタリングモデルのエルボー図を表示します。

[Google Colaboratory]

1

plot_model(kmeans, plot = "elbow")

[実行結果]

急激に変化している箇所を最適なクラスタ数と判断することができます。

シルエット図

次にシルエット図を表示します。

[Google Colaboratory]

1

plot_model(kmeans, plot = "silhouette")

[実行結果]

各バーの縦幅が同じくらいになっていれば均等に分割できていると判断することができます。

クラスタリング

predict_model関数に、構築したモデルとデータを渡すとクラスタリング（グループ化）を行うことができます。

[Google Colaboratory]

1
2

ret = predict_model(kmeans, data=df_iris)
ret

[実行結果]

クラスタ番号がClusterとして追加されています。

このようにクラスタリングに関しても、複数アルゴリズムでのモデル構築や、エルボー図やシルエット図での評価まで簡単に行うことができました。

AutoML

AutoMLを使って、非常に短いコードでモデルの構築や評価を行うことができました。

AIモデル構築の分野はますます便利になっていき、より簡単にモデル構築ができるようになってきています。

PyCaretを使って、教師なし学習(クラスタリング)を行っていきます。

データの読み込みと前処理

まずアイリスデータを読み込みます。

[Google Colaboratory]

1
2
3
4

import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
df_iris = pd.DataFrame(iris.data, columns = iris.feature_names)

次にsetup関数を使って前処理を行います。

[Google Colaboratory]

1
2
3
4
5

from pycaret.clustering import *
data_clust = setup(data = df_iris,
                   normalize = False,
                   session_id = 0,
                   silent=True)

silentオプションにTrueを設定し、型推定の確認をスキップしています。（5行目）

[実行結果]

クラスタリング一覧

PyCaretが提供しているクラスタリング一覧を確認してみます。

[Google Colaboratory]

1

models()

[実行結果]

クラスタリングに関するいろいろなアルゴリズムが提供されていることが分かります。

クラスタリングモデルの作成

create_model関数に“kmeans”を指定し、クラスタリングモデルを作成します。

[Google Colaboratory]

1
2

kmeans = create_model("kmeans", num_clusters=3)
print(kmeans)

[実行結果]

SilhouetteやCalinski-Harabaszなどの評価指数が表示されました。

Cluster PCA Plot

クラスタリング結果を可視化します。

[Google Colaboratory]

1

plot_model(kmeans)

[実行結果]

PCAが可視化され、きれいに分類されていることが確認できます。

PCAとは主成分分析のことで、特徴量を抽出することによって、次元削除や可視化をすることが可能になります。

PyCaretでいろいろな評価指標グラフを表示していきます。

evaluate_modelダイアログ

evaluate_modelを実行すると、様々な評価指標を確認することができます。

[Google Colaboratory]

1

evaluate_model(tuned_ridge)

[実行結果]

Feature Importance

plot_modelに“feature”を渡すと、Feature Importanceのグラフを表示することができます。

[Google Colaboratory]

1

plot_model(tuned_ridge, "feature")

[実行結果]

worst concave pointsが高いことが確認できます。

Confusion Matrix

plot_modelに“confusion_matrix”を渡すと、Confusion Matrixのグラフを表示することができます。

[Google Colaboratory]

1

plot_model(tuned_ridge, plot = "confusion_matrix")

[実行結果]

精度よく分類されていることが分かります。

Class Prediction Error Plot

plot_modelに“error”を渡すと、Class Prediction Error Plotのグラフを表示することができます。

[Google Colaboratory]

1

plot_model(tuned_ridge, "error")

[実行結果]

横軸にカテゴリが表示され、予測が積み上げ棒で表示されています。

モデルがどのカテゴリで問題を抱えているか、カテゴリごとにどのような不正解があるのかを確認できます。

異なるモデルの長所と短所、およびデータセットにおける特有の課題の発見に役立ちます。

モデルの確定と推論

モデルを確定させて推論を実施します。

推論には、モデル構築に使っていないUnseenデータ(残り10%)を使用します。（2行目）

[Google Colaboratory]

1
2
3

final_ridge = finalize_model(tuned_ridge)
predictions = predict_model(final_ridge, data=tg_df_unseen)
print(predictions)

[実行結果(一部略)]

予測値がLabelとして追加されています。

確定したモデルは回帰モデルと同じように、ファイルに保存することができ、そのファイルを読み込むことでモデルの再利用が可能です。

以上が、PyCaretを使って分類モデルを構築して推論を行うフローになります。

PyCaretで分類モデルを構築してみます。

データの取得

まず、乳がんのデータセットを読み込みます。

[Google Colaboratory]

1
2
3
4
5
6

import pandas as pd
from sklearn.datasets import load_breast_cancer
load_data = load_breast_cancer()
tg_df_all = pd.DataFrame(load_data.data, columns = load_data.feature_names)
tg_df_all["y"] = load_data.target
tg_df_all

前処理はPyCaretに任せるのでここではデータの加工は行いません。

[実行結果(一部略)]

データ分割

モデル構築に使う訓練データ(90%)とモデル構築に使わないUnseenデータ(10%)に分割します。

[Google Colaboratory]

1
2
3
4
5

tg_df = tg_df_all.sample(frac=0.90, random_state=0).reset_index(drop=True)
tg_df_unseen = tg_df_all.drop(tg_df.index).reset_index(drop=True)
print("All Data: " + str(tg_df.shape))
print("Data for Modeling: " + str(tg_df.shape))
print("Unseen Data For Predictions: " + str(tg_df_unseen.shape))

[実行結果]

前処理

PyCaretを使って前処理を行います。

[Google Colaboratory]

1
2
3
4
5
6
7

from pycaret.classification import *
ret = setup(data = tg_df,
            target = "y",
            session_id = 0,
            normalize = False,
            train_size = 0.6,
            silent = True)

PyCaretの分類系ライブラリをインポートしています。（1行目）
setup関数のパラメータsilentにTrueを指定し、型推定の確認をスキップしています。（7行目）

[実行結果]

分類モデル一覧

PyCaretが提供している分類モデル一覧を確認します。

[Google Colaboratory]

1

models()

[実行結果]

モデル評価一覧

compare_models関数を使って、各モデルを構築し評価一覧を表示します。

sortに“F1”を設定しているので、F1評価の高い順に表示します。

[Google Colaboratory]

1

compare_models(sort = "F1", fold = 10)

[実行結果]

分類モデルの評価指標でモデル評価一覧が表示されました。

F1基準でExtra Trees Cassifierモデルの評価が１番高いことが確認できます。

パラメータチューニング

２番目に精度が良くて、速度が速いRidge Classifierのチューニングを行います。

まずはチューニングなしで実行してみます。

create_model関数に、Ridge ClassifierのID ridge を設定し実行します。

[Google Colaboratory]

1

ridge = create_model("ridge", fold = 10)

[実行結果]

F1の平均は0.9686になりました。

次はハイパーパラメータのチューニングを行います。

optimize引数に対象指標F1、n_iter（パラメータ探索回数）に100を設定しtune_model関数を実行します。

[Google Colaboratory]

1
2

tuned_ridge = tune_model(ridge, optimize = "F1", fold = 10, n_iter = 100)
tuned_ridge

[実行結果]

F1が0.9686から0.9709に向上したことが確認できました。

PyCaretでは、SHAPによるモデルの評価を行うことが可能です。

summary_plot

interpret_model関数にモデルを渡すことで、summary_plotを表示することができます。

[Google Colaboratory]

1
2
3

!pip install shap
import shap
interpret_model(final_rf)

[実行結果]

どの説明変数が大きく影響していたかを図示してくれますので、大局的に結果を確認することができます。

dependence_plot

interpret_model関数のplot引数に“correlation”を指定すると、dependence_plotを表示することができます。

[Google Colaboratory]

1

interpret_model(final_rf, plot="correlation")

[実行結果]

特定の説明変数とSHAP値の散布図が表示され、相関関係を確認することができます。

force_plot

interpret_model関数のplot引数に“reason”を指定すると、force_plotを表示することができます。

observation引数には対象データのインデックスを設定します。

[Google Colaboratory]

1

interpret_model(final_rf, plot="reason", observation=1)

[実行結果]

個々のデータに対するSHAP値を確認することができます。

PyCaretで確定したモデルを再利用可能な状態で保存します。

モデルの保存

save_model関数を使うと、モデルの保存をすることができます。

model_nameにはファイル名を指定します。

[Google Colaboratory]

1
2

save_model(final_rf, model_name="final_rf_model")
%ls

[実行結果]

final_rf_model.pklというファイルが出力されました

モデルの読み込み

load_model関数を使うと、モデルを読み込むことができます。

model_nameには読み込むファイル名を指定します。

[Google Colaboratory]

1
2

load_tuned_rf_model = load_model(model_name="final_rf_model")
load_tuned_rf_model

[実行結果]

学習済みモデルだけではなく、前処理の定義やパイプラインごと保存されているので、すぐに利用可能な状態となっています。

モデルの再利用

読み込んだモデルを使って推論を行います。

比較のために、保存前のモデルで実施したのと同じようにunseenデータ(10%の未使用データ)を使います。

[Google Colaboratory]

1
2

predictions = predict_model(load_tuned_rf_model, data = boston_data_unseen)
print(predictions)

[実行結果]

保存前のモデルと全く同じ推論結果となりました。

このようにPyCaretではパイプラインごとにモデルが保存されいて再利用可能な状態となっています。

前処理をPyCaretで確定させておけば、モデルとの差分が発生することはありません。

PyCaretで構築したモデルを確定させます。

モデルの確定

finalize_model関数を使うと、create_modelの時には使われていないホールドアウトも使用して、モデルのパフォーマンスを確定させることができます。

[Google Colaboratory]

1
2

final_rf = finalize_model(tuned_rf)
final_rf

[実行結果]

確定モデルで推論

predict_model関数を使うと、確定したモデルで推論を行うことができます。

[Google Colaboratory]

1

predict_model(final_rf)

テストデータを使って推論が行われ、評価指標が表示されます。

[実行結果]

R2が0.9561となっており、finalize_model関数を実行する前よりも精度が良くなっています。

unseenデータで推論

次に、unseenデータ(未使用の10%データ)を使って推論を行います。

[Google Colaboratory]

1
2

predictions = predict_model(final_rf, data = boston_data_unseen)
print(predictions)

[実行結果]

予測値がLabelとして追加されています。

以上が、PyCaretでモデルを確定して推論するまでのフローとなります。

モデルを評価するために、PyCaretで用意されているいろいろな評価指数グラフを確認してみます。

evaluate_modelダイアログ

evaluate_model関数に、モデルを渡して実行するとボタン(PlotType)が表示されます。

[Google Colaboratory]

1

evaluate_model(tuned_rf)

PlotTypeを切り替えることで、様々な評価指標を確認することができます。

[実行結果]

初期表示ではハイパーパラメータが表示されています。

個別にグラフを表示することもできるので、代表的な指標を確認していきます。

Feature Importance

Feature Importanceでは、説明変数の重要度を確認できます。

[Google Colaboratory]

1

plot_model(tuned_rf, "feature")

[実行結果]

目的変数に及ぼす影響が大きい順に、上から表示されています。

LSTATとRMの影響が大きいことが確認できます。

Residuals Plot

Residuals Plotでは、残差プロットを表示します。

[Google Colaboratory]

1

plot_model(tuned_rf, "residuals")

[実行結果]

右側にはヒストグラムも表示されて、分かりやすくなっています。

Prediction Error Plot

Prediction Error Plotでは、予測精度を確認できます。

[Google Colaboratory]

1

plot_model(tuned_rf, "error")

[実行結果]

identityに対するズレ（予測と実測の誤差）からR2が計算されています

予測と実測が同じ場合は、分布が y = x の直線付近に近づきます。

Learing Curve

Learing Curveでは、学習曲線を表示します。

[Google Colaboratory]

1

plot_model(tuned_rf, "learning")

[実行結果]

訓練データとテストデータの予測精度が、データ数に対してどのように推移しているのかを確認できます。

Cross Vaidation Scoreにより、交差検証による精度の幅を示しています。

訓練データを増やすと、テストデータの予測精度が上がっていきますが、感度が鈍っていく様子が見てとれます。