AnyTrading - FXトレードを強化学習で実行⑦ USDJPY分足データを使う

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

今回はUSDJPYの分足データを使ってFX投資シミュレーションをしてみます。

USDJPYの分足データを使っての投資シミュレーション

2018年の１年分のデータを使って学習し、その学習結果をもとに2019年に１年間投資するとどうなるかを確認します。

準備したデータの2018年の最初のデータのインデックスは 5981180 で、2019年の最初のデータのインデックスは 6346695 でしたので、これをソースに反映します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
#env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = gym.make('forex-v0', frame_bound=(5981180-30, 6346695), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env = gym.make('forex-v0', frame_bound=(6346695, 6346695*2-5981180-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

18行目 で学習用の2018年の１年分のデータ範囲を指定し、43行目 で検証用の2019年の１年分のデータを指定しています。

学習用データと検証用のデータは同じレングスでないといけません。そのため2019年の１年分データ範囲は多少ずれてしまいますが、誤差の範囲とします。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 56600.00000000502, 'total_profit': 0.9830014666797735, 'position': 0}

実行結果


トータル報酬が 56600 で、トータル収益が 0.98 となりました。

かなり優秀な成績のようですが本当でしょうか・・・。分足データで一年中投資し続けるという人間には無理な行動ですが、強化学習で愚直に行うといい成績になってくれるということでしょうか。引き続きの検証が必要です。

今回はデータに気をとられて学習アルゴリズムを気にしなかったのですが、次回は ACKTR ではなく PPO2 を使いその他の条件は同じとして検証してみます。