AnyTrading - ビットコイン投資を強化学習で実行⑥ １０回投資シミュレーション

学習済みモデルを使い、期間を変えて検証してみます。

学習済みモデルを使っての投資シミュレーション

今回は学習を行わないので、学習に関するパラメータは不要となります。

検証データは200データ分後ろに移動したものにします。

前前回の処理で、学習済みモデル trading_model0.zip ～ trading_model9.zip が作成されているのでそれを読み込みます。

  • 検証データ
    [2020-07-20 12:00 ～ 2020-08-02 02:00]　１時間足データ

学習済みモデルを読み込んで、投資シミュレーションを行うコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350 
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2 + 200, idx2 + span + 200), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        print(s3,s4, (idx2+span - idx2))

for i in range(10):
    simulation(i)

50行目 で検証データの位置を200データ分後ろに移動しています。

１０回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 1116260000.0, 'total_profit': 0.9190015581136497, 'position': 0}
info: {'total_reward': 239580000.0, 'total_profit': 0.8897135772330719, 'position': 0}
info: {'total_reward': -806620000.0, 'total_profit': 0.8516359345667083, 'position': 0}
info: {'total_reward': 738540000.0, 'total_profit': 0.9133648069343092, 'position': 0}
info: {'total_reward': 2096110000.0, 'total_profit': 0.9603946671917265, 'position': 0}
info: {'total_reward': 1493810000.0, 'total_profit': 0.9450242883545142, 'position': 1}
info: {'total_reward': -936250000.0, 'total_profit': 0.8509305788589696, 'position': 1}
info: {'total_reward': 1198470000.0, 'total_profit': 0.9206734566716215, 'position': 0}
info: {'total_reward': -2274570000.0, 'total_profit': 0.7870000103298123, 'position': 0}
info: {'total_reward': -382560000.0, 'total_profit': 0.8633185218352399, 'position': 1}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


前回の結果（トータル報酬）と今回の結果（トータル報酬）を表にまとめてみます。

No.トータル報酬（前前回）トータル報酬（前回）トータル報酬（今回）
①13,300,000円-800,660,000円1,116,260,000円
②-127,340,000円564,920,000円239,580,000円
③429,940,000円-1,556,660,000円-806,620,000円
④-472,090,000円1,235,520,000円738,540,000円
⑤40,030,000円486,750,000円2,096,110,000円
⑥-260,510,000円1,682,380,000円1,493,810,000円
⑦88,920,000円-513,180,000円-936,250,000円
⑧25,500,000円588,740,000円1,198,470,000円
⑨405,860,000円-58,280,000円-2,274,570,000円
⑩88,940,000円-602,670,000円-382,560,000円

No⑤とNo⑧は３連続でプラス報酬となっています。今後の検証も期待できそうです。

最適な学習済みモデルを作成するために

これまでいろいろな検証を行ってきましたが、次のような手順で好成績を残すことができることが分かりました。

  • パラメータを変えつつ、何回も強化学習を行う。
    注意すべき点は、同じパラメータと同じ学習データであったとしても、強化学習を実行するたびに学習済みモデルは異なる。（おそらく強化学習の初期値が毎回異なるためだと推測される。）
  • 学習済みモデルを使って、複数パターンの検証を行い十分な成績を残せる学習済みモデルを選別する。