AnyTrading - FXトレードを強化学習で実行⑭ 2010年で学習し2011年で検証

いったんコロナショック時での投資は忘れて、通常時の市場での検証を行ってみます。

2010年で学習し2011年で検証

2010年のデータで学習を行い、2011年のデータで検証してみます。

パラメータとしては、コロナショック時のシミュレーションで成績の良かった学習アルゴリズム PPO2 で参照すべき直前データを 100 としています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2010年1月最初のインデックス
idx1 = 3064016
# 2011年1月最初のインデックス
idx2 = 3430536
# 2010年1月最初から2010年12月最後のデータ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()```

<h2> <span class="label label-success">FXトレードを実行</span> </h2>

上記コードを実行すると次のような結果になります。

[コンソール出力]

info: {‘total_reward’: -10000.00000005187,
‘total_profit’: 0.7218380064611924,
‘position’: 1}


<br>

<center>

![実行結果](/img/zoo/trade14.png)

</center>

<br>

- トータル報酬　-10000
- トータル収益　0.7218

<br>

なかなかしぶい結果がでました。。。。トータル収益はこれまでの検証で最低の成績かもしれません。

今後は他の期間をいろいろと検証していきたいと思います。

AnyTrading - FXトレードを強化学習で実行⑬ 参照データ数100、アルゴリズムACKTR

AnyTradingで参照すべき直前のデータ数を100にした場合に、好成績を残すことができました。

前回は PPO2 ではなく ACKTR をアルゴリズムとして検証してみます。

参照データ数100、アルゴリズムACKTR

ソースは下記のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

36行目 でアルゴリズムを ACKTR に変更しています。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': 5999.999999999657,
       'total_profit': 1.006682665673531,
       'position': 0}

実行結果


PPO2 から ACKTR に変更したことにより投資成績は次のようになりました。

  • トータル報酬　23400　→　5999
  • トータル収益　0.992　→　1.006

あくまでコロナショック下という特殊な状況ですが、トータル報酬では PPO2 が勝っており、トータル収益では ACKTR の方が上という事になりました。

また ACKTR は売りのポジションをとることが多いのも特徴になっています。

AnyTrading - FXトレードを強化学習で実行⑫ 参照するデータ数を変更(100→200)

AnyTradingで参照すべき直前のデータ数を変更して、投資成績の変化を確認してみます。

参照する直前データ数を変更

参照すべき直前のデータ数を変更するには gym.make するときの window_size で指定します。

前回は 30 から 100 に変更してかなり成績が向上したので、今回はさらに 200 まで参照データ数を引き上げて検証してみます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=200)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=200)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

24行目 と 48行目 で、参照する直前のデータを 100 から 200 に変更しています。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
4
info: {'total_reward': -45900.000000015425,
       'total_profit': 0.8990281692592879,
       'position': 0}


実行結果


参照データ数を 30→100→200 と変化させたときの成績遷移は以下の通りです。

  • トータル報酬　-68300　→　23400　→　-45900
  • トータル収益　0.907　→　0.992　→　0.899

今回は、トータル報酬とトータル収益ともに大幅に成績が悪化してしまいました。

単純に直前の参照データ数を上げても成績が上がるというわけではなさそうです。。。

AnyTrading - FXトレードを強化学習で実行⑪ 参照するデータ数を変更

AnyTradingで参照すべき直前のデータ数を変更して、投資成績の変化を確認してみます。

参照する直前データ数を変更

参照すべき直前のデータ数を変更するには gym.make するときの window_size で指定します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

24行目 と 48行目 で、参照する直前のデータを 30 から 100 に変更しています。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': 23400.000000005402,
       'total_profit': 0.9927528929385181,
       'position': 1}

実行結果

  • トータル報酬　-68300　→　23400
  • トータル収益　0.907　→　0.992

トータル報酬とトータル収益ともに大きく成績が向上しました。これだけでコロナショックを乗り切れたという事になるのでしょうか。

もう少しこのパラメータを変えることでの成績変化を検証したいと思います。

AnyTrading - FXトレードを強化学習で実行⑩ コロナショック時の投資シミュレーション(ACKTR)

2020年になってコロナショックがあり大幅に動いた投資市場ですが、こんなときに強化学習で投資してたらどうなっていたのか気になったので検証してみます。

コロナショック時の投資シミュレーション(ACKTR)

検証データとしては USDJPYの分足データ を 2020年1月の最初から2020年5年の最後 までを使い、学習データとしては 2019年6月から2019年12月 のデータを使います。

今回は 強化学習アルゴリズムとしてACKTR を使い、前回使用した学習アルゴリズム PPO2 との結果を比較します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

35行目のアルゴリズム PPO2 をコメントアウトし、36行目のアルゴリズム ACKTR を有効化します。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': -68300.00000000806,
       'total_profit': 0.9079909009227386,
       'position': 0}

実行結果


学習アルゴリズムを PPO2 から ACKTR に変更し、投資成績は次のように変化しました。

  • トータル報酬　-63500　→　-68300
  • トータル収益　0.879　→　0.907

トータル報酬では PPO2 の方が成績がよく、トータル収益では ACKTR の方がやや上という結果になりました。

ただ今回はトータル報酬がどちらもかなりのマイナスなので、どちらのアルゴリズムでもコロナショック下の投資環境ではうまくいかないということが分かりました。

ただコロナショック直前のデータを学習したものでシミュレーションしたので、リーマンショック時など今回の状況に似たデータを学習すれば結果が変わるのかもしれません。

AnyTrading - FXトレードを強化学習で実行⑨ コロナショック時の投資シミュレーション(PPO2)

2020年になってコロナショックがあり大幅に動いた投資市場ですが、こんなときに強化学習で投資してたらどうなっていたのか気になったので検証してみます。

コロナショック時の投資シミュレーション(PPO2)

まず 、強化学習アルゴリズムとしてはPPO2 を使ってみます。

検証データとしては USDJPYの分足データ を 2020年1月の最初から2020年5年の最後 までを使い、学習データとしては 2019年6月から2019年12月 のデータを使います。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

16行目から21行目でデータのインデックスとデータ数を算出し、24行目で学習データの範囲、48行目で検証データの範囲として指定しています。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': -63500.00000002256,
       'total_profit': 0.8798891584195812,
       'position': 1}

実行結果


累積報酬（total_reward）は -63500、純利益（total_profit）は 0.879となりました。

やはり通常状態の相場と違い、大きな暴落がある場合は成績が悪くなるようです。

AnyTrading - FXトレードを強化学習で実行⑧ Colaboratoryで実行

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

AnyTrading を実行するためにはいろいろとライブラリをインストールが必要なのですが、もっとも簡単に実行できるように Colaboratory で実行環境を構築してみました。

ColaboratoryでのAnyTrading環境構築

最短で環境を構築するためのコマンドは、下記の３行になります。

1
2
3
!pip install gym-anytrading
!pip install stable-baselines
!pip install tensorflow==1.14.0

ここで環境をリスタートするようにメッセージが表示されるので、リスタートします。

AnyTradingサンプルコード

AnyTradingを実行するサンプルコードは以下の通りです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 1000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(1000, 2000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

FXトレードを実行

上記コードを実行すると次のような結果になります。

実行結果


問題なく実行できました。

これでPCにAnyTrading実行環境を構築しなくても、クラウド上で動作確認ができるようになりました。

AnyTrading - FXトレードを強化学習で実行⑦ USDJPY分足データを使う

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

今回はUSDJPYの分足データを使ってFX投資シミュレーションをしてみます。

USDJPYの分足データを使っての投資シミュレーション

2018年の１年分のデータを使って学習し、その学習結果をもとに2019年に１年間投資するとどうなるかを確認します。

準備したデータの2018年の最初のデータのインデックスは 5981180 で、2019年の最初のデータのインデックスは 6346695 でしたので、これをソースに反映します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
#env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = gym.make('forex-v0', frame_bound=(5981180-30, 6346695), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env = gym.make('forex-v0', frame_bound=(6346695, 6346695*2-5981180-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

18行目 で学習用の2018年の１年分のデータ範囲を指定し、43行目 で検証用の2019年の１年分のデータを指定しています。

学習用データと検証用のデータは同じレングスでないといけません。そのため2019年の１年分データ範囲は多少ずれてしまいますが、誤差の範囲とします。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 56600.00000000502, 'total_profit': 0.9830014666797735, 'position': 0}

実行結果


トータル報酬が 56600 で、トータル収益が 0.98 となりました。

かなり優秀な成績のようですが本当でしょうか・・・。分足データで一年中投資し続けるという人間には無理な行動ですが、強化学習で愚直に行うといい成績になってくれるということでしょうか。引き続きの検証が必要です。

今回はデータに気をとられて学習アルゴリズムを気にしなかったのですが、次回は ACKTR ではなく PPO2 を使いその他の条件は同じとして検証してみます。

AnyTrading - FXトレードを強化学習で実行⑥ オリジナルデータを使う

自分で用意した為替データをAnyTradingで使う場合、本来であればgym.makeする際にdfオプションとしてデータフレームを渡せばいいらしいんですが、うまくいかなかったので別の方法で対処しました。

具体的には、デフォルトで参照しているCSVデータにフォーマットを合わせてオリジナルデータを上書きしました。

AnyTradingでオリジナルデータを使う

AnyTradingではデフォルトで下記のcsvデータを参照しています。

（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv

このCSVデータは下記のようなフォーマットです。

[FOREX_EURUSD_1H_ASK.csv]

1
2
3
4
5
6
7
8
9
10
Time,Open,High,Low,Close,Volume
01.01.2017 22:00:00.000,1.05236,1.05253,1.05221,1.05227,143539993.3
01.01.2017 23:00:00.000,1.05227,1.05426,1.05226,1.05282,253139999.4
02.01.2017 00:00:00.000,1.05283,1.05283,1.05268,1.05281,131399993.9
02.01.2017 01:00:00.000,1.05282,1.05286,1.05225,1.0524,273940002.4
02.01.2017 02:00:00.000,1.05239,1.0524,1.05164,1.0522,258140014.6
02.01.2017 03:00:00.000,1.05219,1.05244,1.05184,1.05226,2288179932
02.01.2017 04:00:00.000,1.05226,1.05232,1.05181,1.05193,711799987.8
02.01.2017 05:00:00.000,1.05195,1.05197,1.05136,1.05161,288209991.5
02.01.2017 06:00:00.000,1.05163,1.05176,1.05113,1.05172,390880004.9

例えば下記のようなデータを自分で用意したとします。

[USDJPY.txt]

1
2
3
4
5
6
7
8
9
10
<TICKER>,<DTYYYYMMDD>,<TIME>,<OPEN>,<HIGH>,<LOW>,Close,<VOL>
USDJPY,20010102,230300,114.43,114.43,114.43,114.43,4
USDJPY,20010102,230400,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230500,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230700,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230800,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230900,114.44,114.44,114.44,114.44,4
USDJPY,20010102,231100,114.44,114.45,114.44,114.45,4
USDJPY,20010102,231200,114.45,114.45,114.45,114.45,4
USDJPY,20010102,231300,114.45,114.45,114.43,114.43,4

このデータを変換する処理を簡単に書いてみました。

[AnyTrading用にデータを変換する処理]

1
2
3
4
5
6
7
8
9
10
11
12
13
def fmt(line):
    ss = line.strip().split(',')
    return '{}.{}.{} {}:{}:{}.000,{},{},{},{},{}'.format(ss[1][6:8], ss[1][4:6], ss[1][:4],
                                                         ss[2][:2], ss[2][2:4], ss[2][4:6],
                                                         ss[3], ss[4], ss[5], ss[6], ss[7])

with open('USDJPY.txt', 'r') as f:
    lines = f.readlines()

with open('（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')
    for line in lines[1:]:
        f.write(fmt(line) + '\n')

確認のために変換したデータを使って、AnyTradingの処理を実行してみました。

実行結果


問題なく自分で用意したデータでAnyTradingが実行できることを確認できました。
本来のやり方とは違うと思いますが、この方法を使っていろいろなデータでAnyTradingを実行することができるようになりました。

AnyTrading - FXトレードを強化学習で実行⑤

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習アルゴリズムを変更

今回は学習アルゴリズムを PPO2 から ACKTR に変更してみます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

8行目 でACKTRをインポートし、29行目 で学習アルゴリズムを PPO2 から ACKTR に変更しています。

学習アルゴリズムを変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -256.39999999998776, 'total_profit': 0.9690349314983275, 'position': 0}

実行結果


PPO2の結果と比較すると、ACKTRのFX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    359.6　→　-256.3
  • 純利益（total_profit）
    0.94　→　0.969

累積報酬はかなり悪化し、純利益はややあがりました。

売買手法も買い（緑の丸）より、売り（赤の丸）の状態がほとんどで売買ロジックが全く違うことを見てとれます。