AnyTrading - ビットコイン投資を強化学習で実行④ 10回投資シミュレーション

前回行った10回投資シミュレーションの結果が意外と面白かったので、今回は少しだけ条件を変えてまた10回投資シミュレーションを行ってみます。

ビットコインデータを使っての10回投資シミュレーション

今回は、投資アルゴリズムと学習データ、検証データを変えずに、参照するデータ数50 から 20 に変更してみます。

  • 学習アルゴリズム
    PPO2
  • 参照する直前データ数
    50→20
  • 学習データ
    [2020-06-29 16:00 ~ 2020-07-24 17:00] 1時間足データ
  • 検証データ
    [2020-07-24 18:00 ~ 2020-07-12 03:00] 1時間足データ

10投資シミュレーションを10回行うソースコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation():
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [50] 2020-06-29 16:00
idx1 = 50
# [350] 2020-07-24 18:00
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=20)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break
# グラフのプロット
plt.cla()
env.render_all()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

for _ in range(10):
simulation()

26行目50行目 で参照する直前データ数を50から20に変更しています。

10回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 13300000.0, 'total_profit': 0.9904737506764453, 'position': 1}
info: {'total_reward': -127340000.0, 'total_profit': 0.9832831900677288, 'position': 0}
info: {'total_reward': 429940000.0, 'total_profit': 1.011445481975599, 'position': 0}
info: {'total_reward': -472090000.0, 'total_profit': 0.967417502272185, 'position': 1}
info: {'total_reward': 40030000.0, 'total_profit': 0.9913254784054742, 'position': 0}
info: {'total_reward': -260510000.0, 'total_profit': 0.9768202719417803, 'position': 0}
info: {'total_reward': 88920000.0, 'total_profit': 0.9949391326424537, 'position': 0}
info: {'total_reward': 25500000.0, 'total_profit': 0.9909099378214967, 'position': 1}
info: {'total_reward': 405860000.0, 'total_profit': 1.0093865995804734, 'position': 1}
info: {'total_reward': 88940000.0, 'total_profit': 0.9948055397687532, 'position': 1}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


10回の投資結果としては7勝3敗となりました。
一番トータル収益の高い学習済みモデルを使えば4億円得られるというのは夢がありますねー。
ただ負けるときは2.6億円失ってしまうのはなかなかにオソロシイデス。