AnyTrading - FXトレードを強化学習で実行⑩ コロナショック時の投資シミュレーション(ACKTR)

2020年になってコロナショックがあり大幅に動いた投資市場ですが、こんなときに強化学習で投資してたらどうなっていたのか気になったので検証してみます。

コロナショック時の投資シミュレーション(ACKTR)

検証データとしては USDJPYの分足データ を 2020年1月の最初から2020年5年の最後 までを使い、学習データとしては 2019年6月から2019年12月 のデータを使います。

今回は 強化学習アルゴリズムとしてACKTR を使い、前回使用した学習アルゴリズム PPO2 との結果を比較します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

35行目のアルゴリズム PPO2 をコメントアウトし、36行目のアルゴリズム ACKTR を有効化します。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': -68300.00000000806,
       'total_profit': 0.9079909009227386,
       'position': 0}

実行結果


学習アルゴリズムを PPO2 から ACKTR に変更し、投資成績は次のように変化しました。

  • トータル報酬　-63500　→　-68300
  • トータル収益　0.879　→　0.907

トータル報酬では PPO2 の方が成績がよく、トータル収益では ACKTR の方がやや上という結果になりました。

ただ今回はトータル報酬がどちらもかなりのマイナスなので、どちらのアルゴリズムでもコロナショック下の投資環境ではうまくいかないということが分かりました。

ただコロナショック直前のデータを学習したものでシミュレーションしたので、リーマンショック時など今回の状況に似たデータを学習すれば結果が変わるのかもしれません。

AnyTrading - FXトレードを強化学習で実行⑨ コロナショック時の投資シミュレーション(PPO2)

2020年になってコロナショックがあり大幅に動いた投資市場ですが、こんなときに強化学習で投資してたらどうなっていたのか気になったので検証してみます。

コロナショック時の投資シミュレーション(PPO2)

まず 、強化学習アルゴリズムとしてはPPO2 を使ってみます。

検証データとしては USDJPYの分足データ を 2020年1月の最初から2020年5年の最後 までを使い、学習データとしては 2019年6月から2019年12月 のデータを使います。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2020年1月1日最初のインデックス
idx1 = 6677691
# 2020年5月31日最後のインデックス
idx2 = 6824172
# 2020年1月1日最初から2020年5月31日最後のデータ数
span = 6824172 - 6677691

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1 - span, idx1), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

16行目から21行目でデータのインデックスとデータ数を算出し、24行目で学習データの範囲、48行目で検証データの範囲として指定しています。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
2
3
info: {'total_reward': -63500.00000002256,
       'total_profit': 0.8798891584195812,
       'position': 1}

実行結果


累積報酬（total_reward）は -63500、純利益（total_profit）は 0.879となりました。

やはり通常状態の相場と違い、大きな暴落がある場合は成績が悪くなるようです。

AnyTrading - FXトレードを強化学習で実行⑧ Colaboratoryで実行

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

AnyTrading を実行するためにはいろいろとライブラリをインストールが必要なのですが、もっとも簡単に実行できるように Colaboratory で実行環境を構築してみました。

ColaboratoryでのAnyTrading環境構築

最短で環境を構築するためのコマンドは、下記の３行になります。

1
2
3
!pip install gym-anytrading
!pip install stable-baselines
!pip install tensorflow==1.14.0

ここで環境をリスタートするようにメッセージが表示されるので、リスタートします。

AnyTradingサンプルコード

AnyTradingを実行するサンプルコードは以下の通りです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 1000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(1000, 2000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

FXトレードを実行

上記コードを実行すると次のような結果になります。

実行結果


問題なく実行できました。

これでPCにAnyTrading実行環境を構築しなくても、クラウド上で動作確認ができるようになりました。

AnyTrading - FXトレードを強化学習で実行⑦ USDJPY分足データを使う

AnyTrading は、FXや株式のトレーディングアルゴリズムを検証するための環境です。

今回はUSDJPYの分足データを使ってFX投資シミュレーションをしてみます。

USDJPYの分足データを使っての投資シミュレーション

2018年の１年分のデータを使って学習し、その学習結果をもとに2019年に１年間投資するとどうなるかを確認します。

準備したデータの2018年の最初のデータのインデックスは 5981180 で、2019年の最初のデータのインデックスは 6346695 でしたので、これをソースに反映します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
#env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = gym.make('forex-v0', frame_bound=(5981180-30, 6346695), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env = gym.make('forex-v0', frame_bound=(6346695, 6346695*2-5981180-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

18行目 で学習用の2018年の１年分のデータ範囲を指定し、43行目 で検証用の2019年の１年分のデータを指定しています。

学習用データと検証用のデータは同じレングスでないといけません。そのため2019年の１年分データ範囲は多少ずれてしまいますが、誤差の範囲とします。

FXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 56600.00000000502, 'total_profit': 0.9830014666797735, 'position': 0}

実行結果


トータル報酬が 56600 で、トータル収益が 0.98 となりました。

かなり優秀な成績のようですが本当でしょうか・・・。分足データで一年中投資し続けるという人間には無理な行動ですが、強化学習で愚直に行うといい成績になってくれるということでしょうか。引き続きの検証が必要です。

今回はデータに気をとられて学習アルゴリズムを気にしなかったのですが、次回は ACKTR ではなく PPO2 を使いその他の条件は同じとして検証してみます。

AnyTrading - FXトレードを強化学習で実行⑥ オリジナルデータを使う

自分で用意した為替データをAnyTradingで使う場合、本来であればgym.makeする際にdfオプションとしてデータフレームを渡せばいいらしいんですが、うまくいかなかったので別の方法で対処しました。

具体的には、デフォルトで参照しているCSVデータにフォーマットを合わせてオリジナルデータを上書きしました。

AnyTradingでオリジナルデータを使う

AnyTradingではデフォルトで下記のcsvデータを参照しています。

（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv

このCSVデータは下記のようなフォーマットです。

[FOREX_EURUSD_1H_ASK.csv]

1
2
3
4
5
6
7
8
9
10
Time,Open,High,Low,Close,Volume
01.01.2017 22:00:00.000,1.05236,1.05253,1.05221,1.05227,143539993.3
01.01.2017 23:00:00.000,1.05227,1.05426,1.05226,1.05282,253139999.4
02.01.2017 00:00:00.000,1.05283,1.05283,1.05268,1.05281,131399993.9
02.01.2017 01:00:00.000,1.05282,1.05286,1.05225,1.0524,273940002.4
02.01.2017 02:00:00.000,1.05239,1.0524,1.05164,1.0522,258140014.6
02.01.2017 03:00:00.000,1.05219,1.05244,1.05184,1.05226,2288179932
02.01.2017 04:00:00.000,1.05226,1.05232,1.05181,1.05193,711799987.8
02.01.2017 05:00:00.000,1.05195,1.05197,1.05136,1.05161,288209991.5
02.01.2017 06:00:00.000,1.05163,1.05176,1.05113,1.05172,390880004.9

例えば下記のようなデータを自分で用意したとします。

[USDJPY.txt]

1
2
3
4
5
6
7
8
9
10
<TICKER>,<DTYYYYMMDD>,<TIME>,<OPEN>,<HIGH>,<LOW>,Close,<VOL>
USDJPY,20010102,230300,114.43,114.43,114.43,114.43,4
USDJPY,20010102,230400,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230500,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230700,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230800,114.44,114.44,114.44,114.44,4
USDJPY,20010102,230900,114.44,114.44,114.44,114.44,4
USDJPY,20010102,231100,114.44,114.45,114.44,114.45,4
USDJPY,20010102,231200,114.45,114.45,114.45,114.45,4
USDJPY,20010102,231300,114.45,114.45,114.43,114.43,4

このデータを変換する処理を簡単に書いてみました。

[AnyTrading用にデータを変換する処理]

1
2
3
4
5
6
7
8
9
10
11
12
13
def fmt(line):
    ss = line.strip().split(',')
    return '{}.{}.{} {}:{}:{}.000,{},{},{},{},{}'.format(ss[1][6:8], ss[1][4:6], ss[1][:4],
                                                         ss[2][:2], ss[2][2:4], ss[2][4:6],
                                                         ss[3], ss[4], ss[5], ss[6], ss[7])

with open('USDJPY.txt', 'r') as f:
    lines = f.readlines()

with open('（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')
    for line in lines[1:]:
        f.write(fmt(line) + '\n')

確認のために変換したデータを使って、AnyTradingの処理を実行してみました。

実行結果


問題なく自分で用意したデータでAnyTradingが実行できることを確認できました。
本来のやり方とは違うと思いますが、この方法を使っていろいろなデータでAnyTradingを実行することができるようになりました。

AnyTrading - FXトレードを強化学習で実行⑤

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習アルゴリズムを変更

今回は学習アルゴリズムを PPO2 から ACKTR に変更してみます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
#from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

8行目 でACKTRをインポートし、29行目 で学習アルゴリズムを PPO2 から ACKTR に変更しています。

学習アルゴリズムを変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -256.39999999998776, 'total_profit': 0.9690349314983275, 'position': 0}

実行結果


PPO2の結果と比較すると、ACKTRのFX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    359.6　→　-256.3
  • 純利益（total_profit）
    0.94　→　0.969

累積報酬はかなり悪化し、純利益はややあがりました。

売買手法も買い（緑の丸）より、売り（赤の丸）の状態がほとんどで売買ロジックが全く違うことを見てとれます。

AnyTrading - FXトレードを強化学習で実行④

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

学習回数を変更

前回はデータ範囲を変えてみましたが今回は、学習回数を２倍に変えてみます。

その他の条件は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000 * 2)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

34行目 で学習回数を２倍に変更しています。

学習回数を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': 156.3000000000536, 'total_profit': 0.9316893368425513, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    359.6　→　156.3
  • 純利益（total_profit）
    0.94　→　0.93

累積報酬が半分以下となり、純利益はほとんど変わりませんでした。

学習回数を３倍、４倍に変更してみても成績はよくなりませんでした。

必要以上に学習回数を増やしても、意味がないようです。

AnyTrading - FXトレードを強化学習で実行③

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回ご紹介した強化学習FX売買の条件を変えて実行してみます。

データの範囲を変更

前回はデータ範囲が、訓練データと検証データともに (50, 1000) でしたが、今回は訓練データ範囲を (30, 5000) 、検証データ範囲を (5000, 10000-30) としてみました。

データ量を約５倍にし、訓練データと検証データの範囲を分けた場合に、どのように成績が変化するのかを確認するのが目的です。

学習アルゴリズムや学習回数は前回同様です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(30, 5000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(5000, 10000-30), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

16行目 で訓練データの範囲を変更し、40行目 で検証データの範囲を変更しています。

データ範囲を変更してFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
{'total_reward': 359.60000000002213, 'total_profit': 0.9436579094404297, 'position': 1}

実行結果


前回の結果と比較すると、FX売買結果は次のように変化しました。

  • 累積報酬（total_reward）
    -100　→　359.6
  • 純利益（total_profit）
    0.92　→　0.94

累積報酬がかなり向上しましたが、純利益はほとんど変わりませんでした。

AnyTradingのソースを確認したところ、投資費用としてユニットごとに 0.0003 が差し引かれたものが純利益として計算されるようです。

AnyTrading - FXトレードを強化学習で実行②

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

前回はランダムでのFX売買を行いましたが、今回は学習してからFX売買を行ってみます。学習アルゴリズムは PPO2 を使います。

強化学習を行うコード

強化学習アルゴリズム PPO2 を使ってFX売買を実行するサンプルコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 環境の生成
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(50, 1000), window_size=30)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break

# グラフのプロット
plt.cla()
env.render_all()
plt.show()

27行目で学習アルゴリズムPPO2を設定しています。

また、34行目で学習ステップ数を128000に設定し、45行目で学習済みモデルで次のアクションを決定しています。

PPO2で学習したモデルを使ってFXトレードを実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -100.099999999994, 'total_profit': 0.9259919709534984, 'position': 1}

実行結果


前回のランダム実行と比べると、今回の強化学習によるFX売買結果は次のようになりました。

  • 累積報酬（total_reward）
    -76　→　-100
  • 純利益（total_profit）
    0.98　→　0.92

ランダム実行より成績が落ちてしまいました。(;^_^A

ここからいろいろパラメータを変えて、成績の改善を目指していきます。

AnyTrading - FXトレードを強化学習で実行①

AnyTrading は、FXや株式のトレーディングアルゴリズムのための強化学習環境です。

パラメータやFXデータをいろいろと変えて、どこまで成績をあげていけるかを検証していきたいと思います。

今回は、AnyTrading をインストールし、ランダムでのFX売買を行い、その結果を確認してみます。

AnyTradingのインストール

AnyTradingの環境は下記のコマンドでインストールすることができます。

[コマンド]

1
pip install gym-anytrading

ランダム実行を行うコード

ランダム実行を行うコードは次の通りです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common import set_global_seeds

# 環境を作成する
env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ランダム行動による動作確認
state = env.reset()
while True:
    # 行動の取得
    action = env.action_space.sample()
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

9行目のgym.makeのパラメータの意味は次の通りです。

  • env（Env型）
    環境名。
  • df（DataFrame型）
    独自のデータセット。
  • window_size（int型）
    直近何フレームの情報を状態として利用するか。
  • frame_bound（tuple型）
    データセット内の訓練範囲を開始行数と終了行数で指定。
  • unit_side（str型）
    FXの取引を開始する側（ユーロ／ドルの場合は「left」でユーロ、「right」でドルを指定）。

ランダム実行

上記コードを実行すると次のような結果になります。

[コンソール出力]

1
info: {'total_reward': -76.1999999999996, 'total_profit': 0.9860980554685419, 'position': 0}

実行結果


ランダム実行なので、結果は都度変わりますが今回は、累積報酬（total_reward）が -76 で、純利益（total_profit）が 0.98 となりました。

次回は学習してから、トレードを行うコードを試します。