強化学習 x ニューラルネットワーク 4 (CNN)

CNN（畳み込みニューラルネットワーク）を実装してみます。おなじみの手書き数字の判定です。(MNIST)

CNNは強化学習にとって「画面入力による行動獲得」を可能にしたという点でとても重要な手法となります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_digits
from sklearn.metrics import classification_report
from sklearn.metrics import accuracy_score
from tensorflow.python import keras as K

dataset = load_digits()
image_shape = (8, 8, 1)
num_class = 10  # 各数字に対する確率

y = dataset.target # 画像に対する数字(0～9)
y = K.utils.to_categorical(y, num_class)
X = dataset.data
# 8 x 8 x 1のサイズに変更
X = np.array([data.reshape(image_shape) for data in X])

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)

model = K.Sequential([
    # CNNレイヤー
    #  フィルターの枚数 5
    #  フィルタサイズ kernel_size=3
    #  ストライド幅 strides=1
    #  フィルタタイズを補うようにパディング padding="same"
    K.layers.Conv2D(
        5, kernel_size=3, strides=1, padding="same", input_shape=image_shape, activation="relu"),
    K.layers.Conv2D(
        3, kernel_size=2, strides=1, padding="same", activation="relu"),
    # 3次元の特徴マップを1次元のベクトルに変換
    K.layers.Flatten(),
    # 出力 10 units=num_class
    K.layers.Dense(units=num_class, activation="softmax")
])
# 損失関数(出力された確率値と実際のクラスを比較) loss="categorical_crossentropy"
# 確率的勾配降下法 optimizer="sgd"
model.compile(loss="categorical_crossentropy", optimizer="sgd")
# 学習を行う
model.fit(X_train, y_train, epochs=10)

# 予測を行う
predicts = model.predict(X_test)
# argmax 配列で一番大きい要素のインデックスを返す => 予測された数字を意味する
predicts = np.argmax(predicts, axis=1)
# argmax 配列で一番大きい要素のインデックスを返す => 正解の数字を意味する
actual = np.argmax(y_test, axis=1)
print(classification_report(actual, predicts))   # 適合率・検出率・F値をまとめて表示
print('正解率 {:.2f}%'.format(accuracy_score(actual, predicts) * 100))  # 正解率

結果は次の通りです。
結果

正解率は93.43%とまずまずの結果となりました。

出力結果の見方は下記の用語集を参照してください。
機械学習に関する用語集 精度に関する用語

参考

Pythonで学ぶ強化学習 -入門から実践まで- サンプルコード