AnyTrading - ビットコイン投資を強化学習で実行⑧ 10回投資シミュレーション

学習済みモデルを使い、期間を変えて検証してみます。

学習済みモデルを使っての投資シミュレーション

今回は学習を行わないので、学習に関するパラメータは不要となります。

検証データは500データ分後ろに移動したものにします。

以前の処理で、学習済みモデル trading_model0.zip ~ trading_model9.zip が作成されているのでそれを読み込みます。

  • 検証データ
    [2020-07-20 12:00 ~ 2020-08-02 02:00] 1時間足データ

学習済みモデルを読み込んで、投資シミュレーションを行うコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i):
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

idx1 = 50
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
model = PPO2.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2 + 500, idx2 + span + 500), window_size=20)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info)
break
# グラフのプロット
plt.cla()
env.render_all()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
lines = f.readlines()
s1 = lines[idx1].split(',')[0]
s2 = lines[idx2-1].split(',')[0]
print(s1,s2, (idx2 - idx1))

s3 = lines[idx2].split(',')[0]
s4 = lines[idx2+span].split(',')[0]
print(s3,s4, (idx2+span - idx2))

for i in range(10):
simulation(i)

48行目 で検証データの位置を500データ分後ろに移動しています。

10回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 887510000.0, 'total_profit': 1.0515069207233156, 'position': 1}
info: {'total_reward': 1375120000.0, 'total_profit': 1.0715165066463221, 'position': 0}
info: {'total_reward': -816060000.0, 'total_profit': 0.9809841824700954, 'position': 1}
info: {'total_reward': -1133470000.0, 'total_profit': 0.969451859987788, 'position': 0}
info: {'total_reward': -354990000.0, 'total_profit': 1.0015367861956161, 'position': 0}
info: {'total_reward': -1834340000.0, 'total_profit': 0.9423721198652031, 'position': 0}
info: {'total_reward': -447420000.0, 'total_profit': 0.9982399586170433, 'position': 1}
info: {'total_reward': -401270000.0, 'total_profit': 1.0002387833236033, 'position': 0}
info: {'total_reward': 1434680000.0, 'total_profit': 1.0787498460037899, 'position': 1}
info: {'total_reward': -1423540000.0, 'total_profit': 0.9582216476939388, 'position': 0}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


これまでの投資結果(トータル報酬)を表にまとめてみます。

No.トータル報酬(5回前)トータル報酬(4回前)トータル報酬(3回前)トータル報酬(2回前)トータル報酬(前回)トータル報酬(今回)
13,300,000円-800,660,000円1,116,260,000円-973,390,000円1,150,100,000円887,510,000円
-127,340,000円564,920,000円239,580,000円1,158,820,000円-1,389,460,000円1,375,120,000円
429,940,000円-1,556,660,000円-806,620,000円1,102,640,000円210,810,000円-816,060,000円
-472,090,000円1,235,520,000円738,540,000円180,224,0000円2,223,310,000円-1,133,470,000円
40,030,000円486,750,000円2,096,110,000円1,061,140,000円1,336,600,000円-354,990,000円
-260,510,000円1,682,380,000円1,493,810,000円919,960,000円-1,016,860,000円-1,834,340,000円
88,920,000円-513,180,000円-936,250,000円915,500,000円173,250,000円-447,420,000円
25,500,000円588,740,000円1,198,470,000円331,960,000円1,847,910,000円-401,270,000円
405,860,000円-58,280,000円-2,274,570,000円1,668,460,000円-1,364,720,000円1,434,680,000円
88,940,000円-602,670,000円-382,560,000円511,840,000円1,651,120,000円-1,423,540,000円

今回は全体として3勝7敗と成績となりました。

これまで全勝だったNo⑤とNo⑧もマイナスとなってしまいました。

今回はデータ位置20あたりの急激な下げが厳しかったのでしょうか。。。