AnyTrading - FXトレードを強化学習で実行⑦ USDJPY分足データを使う

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

今回はUSDJPYの分足データを使ってFX投資シミュレーションをしてみます。

USDJPYの分足データを使っての投資シミュレーション

2018年の１年分のデータを使って学習し、その学習結果をもとに2019年に１年間投資するとどうなるかを確認します。

準備したデータの2018年の最初のデータのインデックスは 5981180 で、2019年の最初のデータのインデックスは 6346695 でしたので、これをソースに反映します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
#env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = gym.make('forex-v0', frame_bound=(5981180-30, 6346695), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env = gym.make('forex-v0', frame_bound=(6346695, 6346695*2-5981180-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

18行目 で学習用の2018年の１年分のデータ範囲を指定し、43行目 で検証用の2019年の１年分のデータを指定しています。

学習用データと検証用のデータは同じレングスでないといけません。そのため2019年の１年分データ範囲は多少ずれてしまいますが、誤差の範囲とします。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 56600.00000000502, 'total_profit': 0.9830014666797735, 'position': 0}

実行結果


トータル報酬が 56600 で、トータル収益が 0.98 となりました。

かなり優秀な成績のようですが本当でしょうか・・・。分足データで一年中投資し続けるという人間には無理な行動ですが、強化学習で愚直に行うといい成績になってくれるということでしょうか。引き続きの検証が必要です。

今回はデータに気をとられて学習アルゴリズムを気にしなかったのですが、次回は ACKTR ではなく PPO2 を使いその他の条件は同じとして検証してみます。

AnyTrading - FXトレードを強化学習で実行⑥ オリジナルデータを使う

自分で用意した為替データをAnyTradingで使う場合、本来であればgym.makeする際にdfオプションとしてデータフレームを渡せばいいらしいんですが、うまくいかなかったので別の方法で対処しました。

具体的には、デフォルトで参照しているCSVデータにフォーマットを合わせてオリジナルデータを上書きしました。

AnyTradingでオリジナルデータを使う

AnyTradingではデフォルトで下記のcsvデータを参照しています。

（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv

このCSVデータは下記のようなフォーマットです。

[FOREX_EURUSD_1H_ASK.csv]

1
2
3
4
5
6
7
8
9
10
Time,Open,High,Low,Close,Volume
01.01.2017 22:00:00.000,1.05236,1.05253,1.05221,1.05227,143539993.3
01.01.2017 23:00:00.000,1.05227,1.05426,1.05226,1.05282,253139999.4
02.01.2017 00:00:00.000,1.05283,1.05283,1.05268,1.05281,131399993.9
02.01.2017 01:00:00.000,1.05282,1.05286,1.05225,1.0524,273940002.4
02.01.2017 02:00:00.000,1.05239,1.0524,1.05164,1.0522,258140014.6
02.01.2017 03:00:00.000,1.05219,1.05244,1.05184,1.05226,2288179932
02.01.2017 04:00:00.000,1.05226,1.05232,1.05181,1.05193,711799987.8
02.01.2017 05:00:00.000,1.05195,1.05197,1.05136,1.05161,288209991.5
02.01.2017 06:00:00.000,1.05163,1.05176,1.05113,1.05172,390880004.9

例えば下記のようなデータを自分で用意したとします。

[USDJPY.txt]

1
2
3
4
5
6
7
8
9
10
<TICKER>,<DTYYYYMMDD>,<TIME>,<OPEN>,<HIGH>,<LOW>,Close,<VOL>
USDJPY,20010102,230300,114.43,114.43,114.43,114.43,4
USDJPY,20010102,230400,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230500,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230700,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230800,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230900,114.44,114.44,114.44,114.44,4
USDJPY,20010102,231100,114.44,114.45,114.44,114.45,4
USDJPY,20010102,231200,114.45,114.45,114.45,114.45,4
USDJPY,20010102,231300,114.45,114.45,114.43,114.43,4

このデータを変換する処理を簡単に書いてみました。

[AnyTrading用にデータを変換する処理]

1
2
3
4
5
6
7
8
9
10
11
12
13
def fmt(line):
    ss = line.strip().split(',')
    return '{}.{}.{} {}:{}:{}.000,{},{},{},{},{}'.format(ss[1][6:8], ss[1][4:6], ss[1][:4],
                                                         ss[2][:2], ss[2][2:4], ss[2][4:6],
                                                         ss[3], ss[4], ss[5], ss[6], ss[7])

with open('USDJPY.txt', 'r') as f:
    lines = f.readlines()

with open('（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')
    for line in lines[1:]:
        f.write(fmt(line) + '\n')

確認のために変換したデータを使って、AnyTradingの処理を実行してみました。

実行結果


問題なく自分で用意したデータでAnyTradingが実行できることを確認できました。
本来のやり方とは違うと思いますが、この方法を使っていろいろなデータでAnyTradingを実行することができるようになりました。

AnyTrading - FXトレードを強化学習で実行⑤

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習アルゴリズムを変更

今回は学習アルゴリズムを PPO2 から ACKTR に変更してみます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

8行目 でACKTRをインポートし、29行目 で学習アルゴリズムを PPO2 から ACKTR に変更しています。

学習アルゴリズムを変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -256.39999999998776, 'total_profit': 0.9690349314983275, 'position': 0}

実行結果


PPO2の結果と比較すると、ACKTRのFX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    359.6　→　-256.3
  • 純利益（total_profit）
    0.94　→　0.969

累積報酬はかなり悪化し、純利益はややあがりました。

売買手法も買い（緑の丸）より、売り（赤の丸）の状態がほとんどで売買ロジックが全く違うことを見てとれます。

AnyTrading - FXトレードを強化学習で実行④

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習回数を変更

前回はデータ範囲を変えてみましたが今回は、学習回数を２倍に変えてみます。

その他の条件は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000 * 2)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

34行目 で学習回数を２倍に変更しています。

学習回数を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 156.3000000000536, 'total_profit': 0.9316893368425513, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    359.6　→　156.3
  • 純利益（total_profit）
    0.94　→　0.93

累積報酬が半分以下となり、純利益はほとんど変わりませんでした。

学習回数を３倍、４倍に変更してみても成績はよくなりませんでした。

必要以上に学習回数を増やしても、意味がないようです。

AnyTrading - FXトレードを強化学習で実行③

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回ご紹介した強化学習FX売買の条件を変えて実行してみます。

データの範囲を変更

前回はデータ範囲が、訓練データと検証データともに (50, 1000) でしたが、今回は訓練データ範囲を (30, 5000) 、検証データ範囲を (5000, 10000-30) としてみました。

データ量を約５倍にし、訓練データと検証データの範囲を分けた場合に、どのように成績が変化するのかを確認するのが目的です。

学習アルゴリズムや学習回数は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

16行目 で訓練データの範囲を変更し、40行目 で検証データの範囲を変更しています。

データ範囲を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
{'total_reward': 359.60000000002213, 'total_profit': 0.9436579094404297, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    -100　→　359.6
  • 純利益（total_profit）
    0.92　→　0.94

累積報酬がかなり向上しましたが、純利益はほとんど変わりませんでした。

AnyTradingのソースを確認したところ、投資費用としてユニットごとに 0.0003 が差し引かれたものが純利益として計算されるようです。

AnyTrading - FXトレードを強化学習で実行②

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回はランダムでのFX売買を行いましたが、今回は学習してからFX売買を行ってみます。学習アルゴリズムは PPO2 を使います。

強化学習を行うコード

強化学習アルゴリズム PPO2 を使ってFX売買を実行するサンプルコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

27行目で学習アルゴリズムPPO2を設定しています。

また、34行目で学習ステップ数を128000に設定し、45行目で学習済みモデルで次のアクションを決定しています。

PPO2で学習したモデルを使ってFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -100.099999999994, 'total_profit': 0.9259919709534984, 'position': 1}

実行結果


前回のランダム実行と比べると、今回の強化学習によるFX売買結果は次のようになりました。

  • 累積報酬（total_reward）
    -76　→　-100
  • 純利益（total_profit）
    0.98　→　0.92

ランダム実行より成績が落ちてしまいました。(;^_^A

ここからいろいろパラメータを変えて、成績の改善を目指していきます。

AnyTrading - FXトレードを強化学習で実行①

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

パラメータやFXデータをいろいろと変えて、どこまで成績をあげていけるかを検証していきたいと思います。

今回は、AnyTrading をインストールし、ランダムでのFX売買を行い、その結果を確認してみます。

AnyTradingのインストール

AnyTradingの環境は下記のコマンドでインストールすることができます。

[コマンド]

1
pip install gym-anytrading

ランダム実行を行うコード

ランダム実行を行うコードは次の通りです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common import set_global_seeds

# 環境を作成する
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ランダム行動による動作確認
state = env.reset()
while True:
    # 行動の取得
    action = env.action_space.sample()
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

9行目のgym.makeのパラメータの意味は次の通りです。

  • env（Env型）
    環境名。
  • df（DataFrame型）
    独自のデータセット。
  • window_size（int型）
    直近何フレームの情報を状態として利用するか。
  • frame_bound（tuple型）
    データセット内の訓練範囲を開始行数と終了行数で指定。
  • unit_side（str型）
    FXの取引を開始する側（ユーロ／ドルの場合は「left」でユーロ、「right」でドルを指定）。

ランダム実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -76.1999999999996, 'total_profit': 0.9860980554685419, 'position': 0}

実行結果


ランダム実行なので、結果は都度変わりますが今回は、累積報酬（total_reward）が -76 で、純利益（total_profit）が 0.98 となりました。

次回は学習してから、トレードを行うコードを試します。

Stable Baselines Zoo - 学習アルゴリズムACKTRでシークエスト（SeaquestNoFrameskip-v4）を攻略

インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。

今回は シークエスト（SeaquestNoFrameskip-v4） を攻略します。

水中で敵を倒し人を救出するゲームで、シューティングの要素も含んでいます。

SeaquestNoFrameskip-v4を攻略

ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってSeaquestNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。


各オプションは以下の通りです。

  • 環境(env)
    SeaquestNoFrameskip-v4
  • 学習アルゴリズム(algo)
    ACKTR
  • ステップ数(n)
    3000

[コマンド]

1
python3.7 -m utils.record_video --algo acktr --env SeaquestNoFrameskip-v4 -n 3000

実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)


実行結果


頑張って左右を攻撃してはいますが、人を救出しようとはしていないようです。敵を攻撃しつつ人を救出するという２つの目的を最適化するのは難しいという事でしょうか。。。

Stable Baselines Zoo - 学習アルゴリズムACKTRでQバート （QbertNoFrameskip-v4）を攻略

インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。

今回は Qバート （QbertNoFrameskip-v4） を攻略します。

この環境は主人公の「Qバート」を操作し、敵を避けてブロックの山をジャンプして色を付けていき、全てのブロックに色をつければステージクリアとなる環境です。

QbertNoFrameskip-v4を攻略

ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってQbertNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。


各オプションは以下の通りです。

  • 環境(env)
    QbertNoFrameskip-v4
  • 学習アルゴリズム(algo)
    ACKTR
  • ステップ数(n)
    3000

[コマンド]

1
python3.7 -m utils.record_video --algo acktr --env QbertNoFrameskip-v4 -n 3000

実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)


実行結果


敵をよけるのは苦手なようですが、３面までさくさくクリアすることを確認できました。

Stable Baselines Zoo - 学習アルゴリズムACKTRでピンポン（PongNoFrameskip-v4）を攻略

インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。

今回は ピンポン（PongNoFrameskip-v4） を攻略します。この環境は画面左右に分かれてボールを打ち合うゲームとなります。

PongNoFrameskip-v4を攻略

ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってPongNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。


各オプションは以下の通りです。

  • 環境(env)
    PongNoFrameskip-v4
  • 学習アルゴリズム(algo)
    ACKTR
  • ステップ数(n)
    3000

[コマンド]

1
python3.7 -m utils.record_video --algo acktr --env PongNoFrameskip-v4 -n 3000

実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)


実行結果


画面左が対戦相手のコンピュータで画面右がACKTR学習済みモデルとなりますが、ACKTRの圧勝となりました。

ただ対戦相手のコンピュータが弱すぎるような気がしますが。。。