AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑩

今回は１０種類の学習済みモデルのうち、以前の検証で３勝３敗だったイーブンな学習モデルを検証していきます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(7)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの⑧（３勝３敗のもの）を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


うーん、微妙ですがやっぱりイーブンな結果でしょうか。

今回は以前の検証結果と同様にイーブンな学習済みモデルだったことを検証できました。・・・・たまたまだと思いますが　(;^ω^)

AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑨

今回は１０種類の学習済みモデルのうち、以前の検証で０勝６敗だったダメダメな学習モデルを検証していきます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(3)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの④（０勝６敗のもの）を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


意外と負け先行とはなりませんでした。トータルイーブンくらいの結果でしょうか。

ただ勝ちも負けもしない学習済みモデルでは全然意味がないのですが。。。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑧

現在検証中の１０種類の学習済みモデルですが、よく見たら３つの学習済みモデルの検証結果が４勝２敗でした。

これまでそのうちの２種類で３０回検証を行ったので、今回は最後の１つの４勝２敗学習済みモデルの検証となります。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(4)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの⑤（４勝２敗のもの）を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


かなり負け筋の学習済みモデルとなりました。ここまで負け越した結果がでると分かりやすくて逆にいいと感じます。

ここ３回で４勝２敗モデル３種類を検証してきましたが、次のような総評となりました。

  • 学習済みモデル①
    かなりの好成績で実運用でも検証してみたいほど。
  • 学習済みモデル②
    勝ってるのか負けてるのか判断しにくいモデル。ただただイーブンの結果となった。
  • 学習済みモデル⑤
    明らかにマイナス収益先行型。ダメダメモデル。

４勝２敗となったのは期間を少しずつシフトした結果ですが、今回のように同じデータで３０回検証した結果とは全然違った投資結果となりました。

強化学習って奥が深いです・・・・というよりこの検証方法が正しいのか、はたまたその前の学習方法があっているのか・・・自信がありません。

迷ってても仕方ないので、いろいろな強化学習を毎日実践していきます！

それで何かに届かなかった領域にたどり着けたら嬉しいんですけどね。。。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑦

今回も、以前の検証で４勝２敗とそこそこだった学習済みモデルを使います。

同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(1)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの②（４勝２敗のもの）を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


同じ４勝２敗の学習済みモデルでもだいぶ結果が異なりました。

前回の学習済みモデルは本当に優秀な成績でしたが、今回のモデルはトータル負け越しているように見えます。

検証回数を増やすのは、学習済みモデルの優劣を判断するのにとても重要なことだと思われます・・・・当たり前ですかね　(;^_^A

AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑥

今回は、以前の検証で４勝２敗とそこそこだった学習済みモデルを使います。

同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(0)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの①を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


思ったよりいい投資成績となりました・・・・というかこれまでで一番いい結果かもしれません。

学習済みモデルの成績確認は、

  1. 同じ条件（パラメータ）下で、複数の学習済みモデルを作成する。
  2. 別条件もしくは同一条件で、何度も各学習済みモデルの投資成績を確認する。
  3. 2の結果より、トータルで成績のよい学習済みモデルを選別する。

というフローが正解なのでしょうか。。。迷走は続きます。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編⑤

今回は、以前の検証で５勝１敗とかなり好成績だったもう一つの学習済みモデルを使います。

同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(8)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの⑨を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


勝率としては悪くないのですが、損失が多めにでることが気になります。

ただ以前の検証で好成績だった学習済みは、検証回数を増やしても好成績である傾向があるように感じます。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編④

今回は、以前の検証で５勝１敗とかなり好成績だった学習済みモデルを使います。

同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(5)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの⑥を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


お！意外といけるような気がします。さすがに好成績だった学習済みモデルです！

同じく５勝１敗の好成績だった学習済みモデルがもう１つあるのでそれを次回同じように検証してみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編③

今回は、一番成績の悪かった学習済みモデルを使って、同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

パラメータはすべて前回と同じですが、学習済みモデルを⑩から④に変更します。

④は一番成績の悪かった学習済みモデルです。６回検証して全敗した確かな（？）実績があります。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を３０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(30):
    labels.append('{}'.format(i))
    simulation(3)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの④を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


微妙です。。。微妙すぎます。どうせなら大負けしてほしいのですが、こんなイーブンの結果ではランダム実行してるのとなんら変わりません。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編②

迷走中なので、前回と同じように１つの学習済みモデルを使って、同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

（改善方法や今後の方向性は全く見えていません・・・）

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

パラメータはすべて前回と同じですが、学習済みモデルを⑥から⑩に変更します。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を２０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(20):
    labels.append('{}'.format(i))
    simulation(9)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

92行目で、学習済みモデルの⑩を指定しています。

実行結果

実行結果は次のようになりました。

実行結果


勝率は悪くないと思うのですが、もっと安定したトータル収益をあげられるようにしたいものです。

AnyTrading - ビットコイン投資を強化学習で実行　迷走編①

突然ですが、勘違いしていました。

学習済みモデルと検証データが同じであれば同じ結果になると。。

何回か実行してみたらそんなことはなく、毎回結果が変わります。なにかが間違っているのでしょうか。

とりかえず今回は、１つの学習済みモデルを使って、同じ検証データでシミュレーションを行いその結果を棒グラフに表示してみます。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

  • 学習アルゴリズム
    PPO2

  • 参照する直前データ数
    50

  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ

  • 検証データ
    [2019-09-23 ～ 2020-07-19]　１日足データ

ソース

１つの学習済みモデルを使い、同じデータでの検証を２０回行い、トータル収益を棒グラフにするコードは以下の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=20)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    with open('C:/Util/Anaconda3/Lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
        lines = f.readlines()
        s1 = lines[idx1].split(',')[0]
        s2 = lines[idx2-1].split(',')[0]
        #print(s1,s2, (idx2 - idx1))

        s3 = lines[idx2].split(',')[0]
        s4 = lines[idx2+span].split(',')[0]
        #print(s3,s4, (idx2+span - idx2))

#for i in range(10):
#    simulation(i)
#labels = ['label1', 'label2', 'label3', 'label4', 'label5']
#means = [20, 34, 30, 35, 27]
labels = []
means = []

for i in range(20):
    labels.append('{}'.format(i))
    simulation(6)


x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

plt.show()

実行結果

実行結果は次のようになりました。

実行結果

やっぱりばらばらの結果になってしまいました。どうしてでしょうか・・・・。今後の方向性が全く見えなくなりました。。。。