Keras 深層学習で画像分類

自前で用意した画像を手作業で分類し、CNNで学習してみる。
さらに学習したデータを使って指定した画像が分類できるかどうかを確認してみた。

手順は下記の通り。
　① Numpyのバージョンを変更する。
　②画像データを設定する。
　③画像データを数値データに変換する。
　④CNN（畳み込みニューラルネットワーク）で学習する。
　⑤画像判定してみる。

手順①
Google ColaboratoryのNumpyバージョンは1.16.4だが、これだとうまく動作しないのでNumpyを1.16.2にダウングレード。

1
2
3
4
5
# アンインストール
pip3 uninstall numpy

# ダウングレードしてインストール
pip3 install numpy==1.16.2

手順②
手動で分類した画像データをアップロード。
画像データ

手順③
画像データを数値化して、学習データとテストデータに分類して、bunrui/hana.npyに保存する。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
from sklearn import model_selection
from PIL import Image
import os, glob
import numpy as np

# 分類カテゴリ
root_dir = "./bunrui/"
categories = ["ajisai", "himawari", "tanpopo"]
nb_classes = len(categories)
image_size = 50

# フォルダごとの画像データを読み込む
X = [] # 画像データ
Y = [] # ラベルデータ
for idx, cat in enumerate(categories):
    image_dir = os.path.join(root_dir, cat)
    files = glob.glob(image_dir + "/*.jpg")
    print("---", cat, "を処理中")
    for i, f in enumerate(files):
        img = Image.open(f)
        img = img.convert("RGB") # カラーモードの変更
        img = img.resize((image_size, image_size)) # 画像サイズの変更
        data = np.asarray(img)
        X.append(data)
        Y.append(idx)
X = np.array(X)
Y = np.array(Y)

# 学習データとテストデータを分割
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, Y)
xy = (X_train, X_test, y_train, y_test)
np.save("./bunrui/hana.npy", xy)
print("ok,", len(Y))</pre>

<strong>手順④</strong>
手順③で保存したデータをロードし、モデル化・学習・評価を行う。
モデル化したデータは<code>bunrui/hana.hdf5</code>に保存する。
<pre>from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.utils import np_utils
import numpy as np

# 分類対象のカテゴリ
root_dir = "./bunrui/"
categories = ["ajisai", "himawari", "tanpopo"]
nb_classes = len(categories)
image_size = 50

# データをロード
def main():
    X_train, X_test, y_train, y_test = np.load("./bunrui/hana.npy")
    # データを正規化
    X_train = X_train.astype("float") / 256
    X_test  = X_test.astype("float")  / 256
    y_train = np_utils.to_categorical(y_train, nb_classes)
    y_test  = np_utils.to_categorical(y_test, nb_classes)
    # モデルを学習し評価
    model = model_train(X_train, y_train)
    model_eval(model, X_test, y_test)

# モデルを構築
def build_model(in_shape):
    model = Sequential()
    model.add(Convolution2D(32, 3, 3, 
    border_mode='same',
    input_shape=in_shape))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
    model.add(Convolution2D(64, 3, 3, border_mode='same'))
    model.add(Activation('relu'))
    model.add(Convolution2D(64, 3, 3))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
    model.add(Flatten()) 
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(nb_classes))
    model.add(Activation('softmax'))
    model.compile(loss='binary_crossentropy',
    optimizer='rmsprop',
    metrics=['accuracy'])
    return model

# モデルを学習
def model_train(X, y):
    model = build_model(X.shape[1:])
    model.fit(X, y, batch_size=32, nb_epoch=30)
    # モデルを保存
    hdf5_file = "./bunrui/hana.hdf5"
    model.save_weights(hdf5_file)
    return model

# モデルを評価
def model_eval(model, X, y):
    score = model.evaluate(X, y)
    print('loss=', score[0])
    print('accuracy=', score[1])

if __name__ == "__main__":
    main()

出力結果

1
2
loss= 0.853970468044281
accuracy= 0.5555555820465088

正解率は55%ちょっととあまりよくありません。。。

手順⑤
手順④で保存したモデルデータを使って、２つの画像を分類してみる。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import sys, os
from PIL import Image
import numpy as np

# 検査対象のファイルを指定
lst = ['MIYA19224DSC_0138_TP_V1.jpg', 'mizuho17810DSC_0048_TP_V1.jpg']

image_size = 50
categories = ["あじさい", "ひまわり", "たんぽぽ"]

# 入力画像をNumpyに変換
X = []
files = []
for fname in lst:
    img = Image.open(fname)
    img = img.convert("RGB")
    img = img.resize((image_size, image_size))
    in_data = np.asarray(img)
    X.append(in_data)
    files.append(fname)
X = np.array(X)

# CNNのモデルを構築
model = build_model(X.shape[1:])
model.load_weights("./bunrui/hana.hdf5")

# データを予測
html = ""
pre = model.predict(X)
for i, p in enumerate(pre):
    y = p.argmax()
    print("+ 入力:", files[i])
    print("| 名称:", categories[y])
    html += '''
        &lt;h3&gt;入力:{0}&lt;/h3&gt;
        &lt;img src="{1}"&gt;&lt;br&gt;
        名称:{2}
    '''.format(os.path.basename(files[i]),
        files[i],
        categories[y])

# レポートを保存
html = " p { margin:0; padding:0; } " + \
    html + ""
with open("result.html", "w") as f:
    f.write(html)

結果はresult.htmlに出力される。
出力結果

いちおう分類は成功しているようだ。
画像データを回転させたりすると判定精度があがるようなので次回試してみる。

(Google Colaboratoryで動作確認しています。)