AnyTrading - ビットコイン投資を強化学習で実行⑥ １０回投資シミュレーション

学習済みモデルを使い、期間を変えて検証してみます。

学習済みモデルを使っての投資シミュレーション

今回は学習を行わないので、学習に関するパラメータは不要となります。

検証データは200データ分後ろに移動したものにします。

前前回の処理で、学習済みモデル trading_model0.zip ～ trading_model9.zip が作成されているのでそれを読み込みます。

  • 検証データ
    [2020-07-20 12:00 ～ 2020-08-02 02:00]　１時間足データ

学習済みモデルを読み込んで、投資シミュレーションを行うコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350 
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2 + 200, idx2 + span + 200), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        print(s3,s4, (idx2+span - idx2))

for i in range(10):
    simulation(i)

50行目 で検証データの位置を200データ分後ろに移動しています。

１０回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 1116260000.0, 'total_profit': 0.9190015581136497, 'position': 0}
info: {'total_reward': 239580000.0, 'total_profit': 0.8897135772330719, 'position': 0}
info: {'total_reward': -806620000.0, 'total_profit': 0.8516359345667083, 'position': 0}
info: {'total_reward': 738540000.0, 'total_profit': 0.9133648069343092, 'position': 0}
info: {'total_reward': 2096110000.0, 'total_profit': 0.9603946671917265, 'position': 0}
info: {'total_reward': 1493810000.0, 'total_profit': 0.9450242883545142, 'position': 1}
info: {'total_reward': -936250000.0, 'total_profit': 0.8509305788589696, 'position': 1}
info: {'total_reward': 1198470000.0, 'total_profit': 0.9206734566716215, 'position': 0}
info: {'total_reward': -2274570000.0, 'total_profit': 0.7870000103298123, 'position': 0}
info: {'total_reward': -382560000.0, 'total_profit': 0.8633185218352399, 'position': 1}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


前回の結果（トータル報酬）と今回の結果（トータル報酬）を表にまとめてみます。

No.トータル報酬（前前回）トータル報酬（前回）トータル報酬（今回）
①13,300,000円-800,660,000円1,116,260,000円
②-127,340,000円564,920,000円239,580,000円
③429,940,000円-1,556,660,000円-806,620,000円
④-472,090,000円1,235,520,000円738,540,000円
⑤40,030,000円486,750,000円2,096,110,000円
⑥-260,510,000円1,682,380,000円1,493,810,000円
⑦88,920,000円-513,180,000円-936,250,000円
⑧25,500,000円588,740,000円1,198,470,000円
⑨405,860,000円-58,280,000円-2,274,570,000円
⑩88,940,000円-602,670,000円-382,560,000円

No⑤とNo⑧は３連続でプラス報酬となっています。今後の検証も期待できそうです。

最適な学習済みモデルを作成するために

これまでいろいろな検証を行ってきましたが、次のような手順で好成績を残すことができることが分かりました。

  • パラメータを変えつつ、何回も強化学習を行う。
    注意すべき点は、同じパラメータと同じ学習データであったとしても、強化学習を実行するたびに学習済みモデルは異なる。（おそらく強化学習の初期値が毎回異なるためだと推測される。）
  • 学習済みモデルを使って、複数パターンの検証を行い十分な成績を残せる学習済みモデルを選別する。

AnyTrading - ビットコイン投資を強化学習で実行⑤ １０回投資シミュレーション

前回行った１０回投資シミュレーションの結果がなかなか良い勝率だったので今回はその学習済みモデルを使い、期間を変えて検証してみます。

学習済みモデルを使っての投資シミュレーション

今回は学習を行わないので、学習に関するパラメータは不要となります。

検証データは前回のものを100データ分後ろに移動したものにします。

前回の処理で、学習済みモデル trading_model0.zip ～ trading_model9.zip が作成されているのでそれを読み込みます。

  • 検証データ
    [2020-07-16 08:00 ～ 2020-07-28 22:00]　１時間足データ

学習済みモデルを読み込んで、投資シミュレーションを行うコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350 
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2 + 100, idx2 + span + 100), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        print(s3,s4, (idx2+span - idx2))

for i in range(10):
    simulation(i)

44行目 と 47行目 をコメントアウトして学習を行わないようにし 41行目 で学習済みモデルを読み込んでいます。

また、50行目 で検証データの位置を100データ分後ろに移動しています。

１０回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': -800660000.0, 'total_profit': 0.8871423377034632, 'position': 1}
info: {'total_reward': 564920000.0, 'total_profit': 0.9406731039728069, 'position': 1}
info: {'total_reward': -1556660000.0, 'total_profit': 0.8563050737197522, 'position': 0}
info: {'total_reward': 1235520000.0, 'total_profit': 0.9731507256725124, 'position': 0}
info: {'total_reward': 486750000.0, 'total_profit': 0.9360567427907976, 'position': 0}
info: {'total_reward': 1682380000.0, 'total_profit': 0.9902475624121104, 'position': 0}
info: {'total_reward': -513180000.0, 'total_profit': 0.8963847499197707, 'position': 1}
info: {'total_reward': 588740000.0, 'total_profit': 0.9492319160424293, 'position': 0}
info: {'total_reward': -58280000.0, 'total_profit': 0.9160118344100849, 'position': 1}
info: {'total_reward': -602670000.0, 'total_profit': 0.8958363786448649, 'position': 1}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


前回の結果（トータル報酬）と今回の結果（トータル報酬）を表にまとめてみます。

No.トータル報酬（前回）トータル報酬（今回）
①13,300,000円-800,660,000円
②-127,340,000円564,920,000円
③429,940,000円-1,556,660,000円
④-472,090,000円1,235,520,000円
⑤40,030,000円486,750,000円
⑥-260,510,000円1,682,380,000円
⑦88,920,000円-513,180,000円
⑧25,500,000円588,740,000円
⑨405,860,000円-58,280,000円
⑩88,940,000円-602,670,000円

No⑤とNo⑧は、前回と今回の検証両方でプラスの報酬となっていていい感じです。

No③は前回4.3億円ほど儲けましたが、今回は15億円ほど失っております・・・・シビレますね。(;^ω^)

AnyTrading - ビットコイン投資を強化学習で実行④ １０回投資シミュレーション

前回行った１０回投資シミュレーションの結果が意外と面白かったので、今回は少しだけ条件を変えてまた１０回投資シミュレーションを行ってみます。

ビットコインデータを使っての１０回投資シミュレーション

今回は、投資アルゴリズムと学習データ、検証データを変えずに、参照するデータ数 を 50 から 20 に変更してみます。

  • 学習アルゴリズム
    PPO2
  • 参照する直前データ数
    50→20
  • 学習データ
    [2020-06-29 16:00 ～ 2020-07-24 17:00]　１時間足データ
  • 検証データ
    [2020-07-24 18:00 ～ 2020-07-12 03:00]　１時間足データ

１０投資シミュレーションを１０回行うソースコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation():
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [50] 2020-06-29 16:00
    idx1 = 50
    # [350] 2020-07-24 18:00
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    # model = PPO2.load('trading_model')

    # モデルの学習
    model.learn(total_timesteps=128000)

    # モデルの保存
    model.save('trading_model')

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

for _ in range(10):
    simulation()

26行目 と 50行目 で参照する直前データ数を50から20に変更しています。

１０回投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 13300000.0, 'total_profit': 0.9904737506764453, 'position': 1}
info: {'total_reward': -127340000.0, 'total_profit': 0.9832831900677288, 'position': 0}
info: {'total_reward': 429940000.0, 'total_profit': 1.011445481975599, 'position': 0}
info: {'total_reward': -472090000.0, 'total_profit': 0.967417502272185, 'position': 1}
info: {'total_reward': 40030000.0, 'total_profit': 0.9913254784054742, 'position': 0}
info: {'total_reward': -260510000.0, 'total_profit': 0.9768202719417803, 'position': 0}
info: {'total_reward': 88920000.0, 'total_profit': 0.9949391326424537, 'position': 0}
info: {'total_reward': 25500000.0, 'total_profit': 0.9909099378214967, 'position': 1}
info: {'total_reward': 405860000.0, 'total_profit': 1.0093865995804734, 'position': 1}
info: {'total_reward': 88940000.0, 'total_profit': 0.9948055397687532, 'position': 1}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


１０回の投資結果としては７勝３敗となりました。
一番トータル収益の高い学習済みモデルを使えば４億円得られるというのは夢がありますねー。
ただ負けるときは２．６億円失ってしまうのはなかなかにオソロシイデス。

AnyTrading - ビットコイン投資を強化学習で実行③ 投資シミュレーション

AnyTradingを実行してきて今更ながら気づいたのですが、実行するたびに結果が変わります。

同じ学習済みモデルを使って同じ検証データを使えば、結果は同じになると思いますが、現状は毎回学習を行っているのでたとえ同じ学習データを使ったとしても学習済みモデルが毎回変わるので、その学習モデルを使った検証結果も変化することに気づきました。

ということで（？）今回は、前回行った強化学習（投資シミュレーション）を、１０回実行してその投資結果を確認してみます。

ビットコインデータを使っての投資シミュレーション・・・を１０回行う

前回使用したパラメータは以下の通りですが、今回もこの条件で検証していきます。

  • 学習アルゴリズム
    PPO2
  • 参照する直前データ数
    50
  • 学習データ
    [2020-06-29 16:00 ～ 2020-07-24 17:00]　１時間足データ
  • 検証データ
    [2020-07-24 18:00 ～ 2020-07-12 03:00]　１時間足データ

投資シミュレーションを１０回行うソースコードは次のようになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation():
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [50] 2020-06-29 16:00
    idx1 = 50
    # [350] 2020-07-24 18:00
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=50)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    # model = PPO2.load('trading_model')

    # モデルの学習
    model.learn(total_timesteps=128000)

    # モデルの保存
    model.save('trading_model')

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=50)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

for _ in range(10):
    simulation()

毎回結果をチャート表示すると閉じるボタンを押すのが手間なので、表示はせず毎回結果を画像ファイルに保存するように修正しています。（65～66行目）

ビットコインの投資シミュレーションを１０回実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': -44700000.0, 'total_profit': 0.9867232104536462, 'position': 1}
info: {'total_reward': 784580000.0, 'total_profit': 1.02832169410665, 'position': 1}
info: {'total_reward': 286280000.0, 'total_profit': 1.003519355106663, 'position': 1}
info: {'total_reward': 182900000.0, 'total_profit': 0.9992320904098855, 'position': 0}
info: {'total_reward': -271540000.0, 'total_profit': 0.9771806974466056, 'position': 0}
info: {'total_reward': -381700000.0, 'total_profit': 0.9709514553702535, 'position': 0}
info: {'total_reward': -103640000.0, 'total_profit': 0.9856629894020188, 'position': 0}
info: {'total_reward': -197330000.0, 'total_profit': 0.9807788607628171, 'position': 0}
info: {'total_reward': 450890000.0, 'total_profit': 1.0123894296993825, 'position': 1}
info: {'total_reward': 387080000.0, 'total_profit': 1.0097177579237395, 'position': 0}

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


１０回の投資結果としては５勝５敗となりました。
ただこの中から成績のいい学習済みモデルを抽出して、他の期間で投資を行ったらどうなるのか・・・・ということを今後検証していこうと思います。

AnyTrading - ビットコイン投資を強化学習で実行② 投資シミュレーション。

前回準備したビットコインデータを使って投資シミュレーションを行います。

ビットコインデータを使っての投資シミュレーション

最初のパラメータとしては次のように設定してみました。

  • 学習アルゴリズム
    PPO2
  • 参照する直前データ数
    50
  • 学習データ
    [2020-06-29 16:00 ～ 2020-07-24 17:00]　１時間足データ
  • 検証データ
    [2020-07-24 18:00 ～ 2020-07-12 03:00]　１時間足データ
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [50] 2020-06-29 16:00
idx1 = 50
# [350] 2020-07-24 18:00
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=50)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=50)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()

ビットコインの投資シミュレーションを実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

1
2
3
info: {'total_reward': -188660000.0,
       'total_profit': 0.9782260891934539,
       'position': 0}

実行結果


トータル報酬が -188,660,000、トータル収益が 0.9782 となりました。

２億円近くの損益となると笑えませんね。(;^_^A

最初のビットコイン投資結果としては散々な結果となってしまいましたが、今後は、学習アルゴリズムや参照データ数などを変更して、投資結果がどう変化するかを検証していこうと思います。

AnyTrading - ビットコイン投資を強化学習で実行① [事前準備]ビットコインデータを用意する。

AnyTradingを使ってビットコインの投資シミュレーションを行います。

まず下記のサイトから、ビットコインの日足データをダウンロードできます。

ビットコインCSVデータ - http://nipper.work/btc/index.php?market=bitFlyer&coin=BTCJP

１時間足や日足などのタイムスパンは、好みで選択できます。

今回は 2017/05/22 から 2020/08/06 までの １時間足データ をダウンロードしました

AnyTrading用にフォーマット変換

上記でダウンロードしたCSVデータを、AnyTradingのフォーマットに合せてフォーマット変換します。

以下は変換のサンプルコードなので必要であれば、参考にして下さい。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# １行分のデータをフォーマット変換する関数
def fmt(line):
    ss = line.strip().split(',')
    dt1, dt2 = ss[0].split()
    y, m, d = dt1.split('-')
    return '{}.{}.{} {}.000,{},{},{},{},{}'.format(m, d, y, dt2,
                                                   ss[1], ss[2], ss[3], ss[4], ss[5])

with open('btc.csv', 'r') as f:     # ダウンロードしたCSVデータを指定する。
    lines = f.readlines()

with open('（AnyTradingのインストール・ディレクトリ）/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')    # AnyTrading用の見出しを出力
    for line in lines[1:]:
        f.write(fmt(line) + '\n')                   # フォーマット変換したデータを出力

次回は、このデータを使ってAnyTradingを実行し投資成績を検証していきます。

AnyTrading - FXトレードを強化学習で実行（２１） 2018年で学習し2019年で検証

今回は、2018年のデータで学習を行い、2019年のデータで検証してみます。

2018年で学習し2019年で検証

パラメータとしては、これまで同様に学習アルゴリズム PPO2 で参照すべき直前データを 100 としています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2018年1月最初のインデックス
idx1 = 5981180
# 2019年1月最初のインデックス
idx2 = 6346695
# 2018年1月最初から2018年12月最後のデータ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()```

<h2> <span class="label label-success">FXトレードを実行</span> </h2>

上記コードを実行すると次のような結果になります。

[コンソール出力]

info: {‘total_reward’: -91199.9999999869,
‘total_profit’: 0.7891427171172003,
‘position’: 1}


<br>

<center>

![実行結果](/img/zoo/trade21.png)

</center>

<br>
今回の成績を含めて、これまでの投資成績を表にまとめると次のようになります。
<br>
<table class="table table-striped table-bordered">
<tr class="success"><th></th><th>学習データ</th><th>検証データ</th><th>トータル報酬</th><th>トータル収益</th></tr>
<tr><td>（今回の結果）</td><td><b>2018年</b></td><td><b>2019年</b></td><td align="right"><b>-91,199</b></td><td align="right"><b>0.7891</b></td></tr>
<tr><td></td><td>2016年</td><td>2017年</td><td align="right">-138,300</td><td align="right">0.6932</td></tr>
<tr><td></td><td>2015年</td><td>2016年</td><td align="right">198,100</td><td align="right">0.9675</td></tr>
<tr><td></td><td>2014年</td><td>2015年</td><td align="right">-59200</td><td align="right">0.7990</td></tr>
<tr><td></td><td>2013年</td><td>2014年</td><td align="right">-179,400</td><td align="right">0.7486</td></tr>
<tr><td></td><td>2012年</td><td>2013年</td><td align="right">176,799</td><td align="right">0.9825</td></tr>
<tr><td></td><td>2011年</td><td>2012年</td><td align="right">85,399</td><td align="right">0.9991</td></tr>
<tr><td></td><td>2010年</td><td>2011年</td><td align="right">-10,000</td><td align="right">0.7218</td></tr>
</table>

<br>

今回は、トータル収益 <b>-91,199</b> とまたマイナスとなってしまいました。

2011年～2019年と比較をしてきましたが、現状３勝５敗という結果になりました。

ちょっと成績がよくないので次回からは違う方向での検証を行っていきたいと思います。

AnyTrading - FXトレードを強化学習で実行⑳ 2016年で学習し2017年で検証

今回は、2016年のデータで学習を行い、2017年のデータで検証してみます。

2016年で学習し2017年で検証

パラメータとしては、これまで同様に学習アルゴリズム PPO2 で参照すべき直前データを 100 としています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2016年1月最初のインデックス
idx1 = 5248888
# 2017年1月最初のインデックス
idx2 = 5981180
# 2016年1月最初から2016年12月最後のデータ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()```

<h2> <span class="label label-success">FXトレードを実行</span> </h2>

上記コードを実行すると次のような結果になります。

[コンソール出力]

info: {‘total_reward’: -138300.0000000881,
‘total_profit’: 0.693251225650117,
‘position’: 1}


<br>

<center>

![実行結果](/img/zoo/trade20.png)

</center>

<br>
今回の成績を含めて、これまでの投資成績を表にまとめると次のようになります。
<br>
<table class="table table-striped table-bordered">
<tr class="success"><th></th><th>学習データ</th><th>検証データ</th><th>トータル報酬</th><th>トータル収益</th></tr>
<tr><td>（今回の結果）</td><td><b>2016年</b></td><td><b>2017年</b></td><td align="right"><b>-138,300</b></td><td align="right"><b>0.6932</b></td></tr>
<tr><td></td><td>2015年</td><td>2016年</td><td align="right">198,100</td><td align="right">0.9675</td></tr>
<tr><td></td><td>2014年</td><td>2015年</td><td align="right">-59200</td><td align="right">0.7990</td></tr>
<tr><td></td><td>2013年</td><td>2014年</td><td align="right">-179,400</td><td align="right">0.7486</td></tr>
<tr><td></td><td>2012年</td><td>2013年</td><td align="right">176,799</td><td align="right">0.9825</td></tr>
<tr><td></td><td>2011年</td><td>2012年</td><td align="right">85,399</td><td align="right">0.9991</td></tr>
<tr><td></td><td>2010年</td><td>2011年</td><td align="right">-10,000</td><td align="right">0.7218</td></tr>
</table>

<br>

今回は、トータル収益 <b>-138,300</b> となりました。

2011年～2017年と順次比較をしてきましたが、現状３勝４敗という結果になっています。

AnyTrading - FXトレードを強化学習で実行⑲ 2015年で学習し2016年で検証

今回は、2015年のデータで学習を行い、2016年のデータで検証してみます。

2015年で学習し2016年で検証

パラメータとしては、これまで同様に学習アルゴリズム PPO2 で参照すべき直前データを 100 としています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2015年1月最初のインデックス
idx1 = 4884278
# 2016年1月最初のインデックス
idx2 = 5248888
# 2015年1月最初から2015年12月最後のデータ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()```

<h2> <span class="label label-success">FXトレードを実行</span> </h2>

上記コードを実行すると次のような結果になります。

[コンソール出力]

info: {‘total_reward’: 198100.00000000553,
‘total_profit’: 0.9675328117919187,
‘position’: 1}


<br>

<center>

![実行結果](/img/zoo/trade19.png)

</center>

<br>
今回の成績を含めて、これまでの投資成績を表にまとめると次のようになります。
<br>
<table class="table table-striped table-bordered">
<tr class="success"><th></th><th>学習データ</th><th>検証データ</th><th>トータル報酬</th><th>トータル収益</th></tr>
<tr><td>（今回の結果）</td><td><b>2015年</b></td><td><b>2016年</b></td><td align="right"><b>198,100</b></td><td align="right"><b>0.9675</b></td></tr>
<tr><td></td><td>2014年</td><td>2015年</td><td align="right">-59200</td><td align="right">0.7990</td></tr>
<tr><td></td><td>2013年</td><td>2014年</td><td align="right">-179,400</td><td align="right">0.7486</td></tr>
<tr><td></td><td>2012年</td><td>2013年</td><td align="right">176,799</td><td align="right">0.9825</td></tr>
<tr><td></td><td>2011年</td><td>2012年</td><td align="right">85,399</td><td align="right">0.9991</td></tr>
<tr><td></td><td>2010年</td><td>2011年</td><td align="right">-10,000</td><td align="right">0.7218</td></tr>
</table>

<br>

今回は、トータル収益 <b>198,100</b> とこれまでで最も好成績となりました。

2011年～2016年と順次比較をしてきましたが、現状３勝３敗という結果になっています。

AnyTrading - FXトレードを強化学習で実行⑱ 2014年で学習し2015年で検証

今回は、2014年のデータで学習を行い、2015年のデータで検証してみます。

2014年で学習し2015年で検証

パラメータとしては、これまで同様に学習アルゴリズム PPO2 で参照すべき直前データを 100 としています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
import os, gym
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# 2014年1月最初のインデックス
idx1 = 4529847
# 2015年1月最初のインデックス
idx2 = 4884278
# 2014年1月最初から2014年12月最後のデータ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=100)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
model = PPO2('MlpPolicy', env, verbose=1)
#model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
# model = PPO2.load('trading_model')

# モデルの学習
model.learn(total_timesteps=128000)

# モデルの保存
model.save('trading_model')

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=100)
env.seed(0)
state = env.reset()
while True:
    # 行動の取得
    action, _ = model.predict(state)
    # 1ステップ実行
    state, reward, done, info = env.step(action)
    # エピソード完了
    if done:
        print('info:', info)
        break
# グラフのプロット
plt.cla()
env.render_all()
plt.show()```

<h2> <span class="label label-success">FXトレードを実行</span> </h2>

上記コードを実行すると次のような結果になります。

[コンソール出力]

info: {‘total_reward’: -59200.00000001036,
‘total_profit’: 0.7990141651909192,
‘position’: 1}


<br>

<center>

![実行結果](/img/zoo/trade18.png)

</center>

<br>
2014年のデータで学習し、2015年のデータで検証した投資成績は次の通りです。

- トータル報酬　-10,000　→　85,399　→　176,799　→　-179,400　→　-59200
- トータル収益　0.7218　→　0.9991　→　0.9825　→　0.7486　→　0.7990

<br>

前回に引き続き今回も、トータル報酬がマイナスとなってしまいました。

2011年、2012年、2013年、2014年、2015年と順次比較をしてきましたが、現状２勝３敗という結果になっています。