AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編①

これまで学習アルゴリズムとしてPPO2を使っていましたが、今回からACKTRを使ってみます。

ACKTR は TPROとActor-Criticを組み合わせた学習法です。

  • TPRO(Trust Region Policy Optimization)
    高い報酬が得られる行動を優先し、低い報酬しか得られない行動を避けるように方策を最適化する学習アルゴリズム VPG(Vanilla Policy Gradient) を、学習が安定するように改良した学習法。
  • Actor-Critic
    「方策」と「価値関数」の両方を利用した学習法。
    「方策」は行動選択に用いられるため Actor と呼ばれ、「価値関数」を予測する部分はActorが選択した行動を批判するため Critic と呼ばれています。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

今回は学習データと検証データの期間を指定しています。さすがに同じ期間であればそれなりの結果になるかという狙いです。

  • 学習アルゴリズム
    ACKTR

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ

  • 検証データ
    [2017-07-14 ～ 2018-05-12]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i, window_size):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350 
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    # model = PPO2.load('trading_model')
    # model = ACKTR.load('trading_model')

    # モデルの学習
    model.learn(total_timesteps=128000)

    # モデルの保存
    model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=window_size)
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        print(s3,s4, (idx2+span - idx2))

for i in range(10):
    simulation(i, 50)

simulation関数 の第２引数に 参照する直前データ数 を指定できるようにしています。

実行結果

実行結果は次のようになりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 52039260000.0, 'total_profit': 14.47817840056156, 'position': 1}
info: {'total_reward': 43732960000.0, 'total_profit': 9.583795335125448, 'position': 1}
info: {'total_reward': 549600000.0, 'total_profit': 0.47190877347820903, 'position': 0}
info: {'total_reward': 42343420000.0, 'total_profit': 4.914901478774299, 'position': 1}
info: {'total_reward': 45688700000.0, 'total_profit': 9.837992185613668, 'position': 1}
info: {'total_reward': 31742480000.0, 'total_profit': 2.9707574425845267, 'position': 1}
info: {'total_reward': 39540980000.0, 'total_profit': 7.194179491992542, 'position': 1}
info: {'total_reward': 37024600000.0, 'total_profit': 5.091570695662939, 'position': 1}
info: {'total_reward': 47806280000.0, 'total_profit': 12.566409350123624, 'position': 1}
info: {'total_reward': 7211600000.0, 'total_profit': 1.3761519803166984, 'position': 0}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)

上記のトータル報酬を表にまとめてみます。

No.トータル報酬（今回）
①52,039,260,000円
②43,732,960,000円
③549,600,000円
④42,343,420,000円
⑤45,688,700,000円
⑥31,742,480,000円
⑦39,540,980,000円
⑧37,024,600,000円
⑨47,806,280,000円
⑩7,211,600,000円

さすがに学習データと検証データ同じであれば、全勝できますね。

といいますか、これで負け越したら「なにを学習しているんだ？？」ということになりますからね。

今後は今回学習したモデルをいろいろなパターンの検証データで投資成績を評価していきます。