PyBullet - 3D物理シミュレーション環境 学習編

前回は、四足歩行のシミュレーションをランダム行動で実行しましたが、今回は学習させて正しく歩けるようにしてみます。

学習して実行

AntBulletEnv-v0 を学習させるコードは次のようになります。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import gym
import os
import pybullet_envs
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の作成
env = gym.make('AntBulletEnv-v0')
env = Monitor(env, log_dir, allow_early_resets=True)
env = DummyVecEnv([lambda: env])

# モデルの作成
model = PPO2('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('pybullet_model')

# モデルの学習
model.learn(total_timesteps=1280000)

# モデルの保存
model.save('pybullet_model')

# モデルのテスト
env.render(mode='human')
state = env.reset()
total_reward = 0
while True:
    # モデルの推論
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    total_reward += reward[0]
    # エピソード完了
    if done:
        print('reward:', total_reward)
        state = env.reset()
        total_reward = 0

学習には時間がかかりますが、学習が成功すると3Dモデルが四足歩行で歩く様子を確認することができます。

実行結果

PyBullet - 3D物理シミュレーション環境（オープンソース）

PyBullet環境 は、オープンソースの3D物理エンジン Bullet で実装された強化学習環境です。

オープンソースのため無料で利用することができます。

インストール

PyBullet をインストールするために次のコマンドを実行します。

1
2
3
pip install pybullet
pip install tensorflow
pip install gym

ランダムに実行

今回は、四足歩行の3Dモデルを歩かせる AntBulletEnv-v0環境 を利用します。

ランダムで行動するコードは下記のようになります。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import gym
import pybullet_envs

# 環境の作成
env = gym.make('AntBulletEnv-v0')

# ランダム行動による動作確認
env.render(mode='human')
env.reset()
while True:
    # 1ステップ実行
    state, reward, done, info = env.step(env.action_space.sample())
    print('reward:', reward)
    # エピソード完了
    if done:
        print('done')
        state = env.reset()

上記コードを実行すると、四足歩行の3Dモデルが表示されます。

ただ今回はランダム実行のため、うまく歩くことはできません。

実行結果

（Windowsだとうまく動作しなかったので、Ubuntuで動作確認しています。）

Flask - データベースからデータを取得

Flask を使ったWebサービスで、データベースにアクセスして取得したデータをブラウザに表示する処理を実装していきます。

データベースは MySQL を想定しています。

app.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from flask import Flask, render_template
import pymysql
app = Flask(__name__)

def getConnection():
    return pymysql.connect(
        host='ホストのIPアドレス',
        db='データベース名',
        user='ユーザ名',
        password='パスワード',
        charset='utf8',
        cursorclass=pymysql.cursors.DictCursor
    )

@app.route('/')
def select_sql():
    connection = getConnection()
    message = "Hello world"

    sql = "SELECT * FROM players"
    cursor = connection.cursor()
    cursor.execute(sql)
    players = cursor.fetchall()

    cursor.close()
    connection.close()

    return render_template('view.html', players = players)

データを表示するhtmlファイルのサンプルは下記のとおりです。
（layout.htmlの記載は省略しています。）

view.html
1
2
3
4
5
6
7
{% extends "layout.html" %}
{% block content %}
    {% for player in players %}
        <p>{{ player }}</p>
    {% endfor %}

{% endblock %}