AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 600日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを600日分移動したものを使用します。

56行目で、検証データの位置を600日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2019-03-08 ~ 2020-01-02] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+600, idx2+600), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


前回に引き続きまして、今回もトータル収益が全てプラスという結果になりました。

未知のデータになってから3勝1敗と上々の成績です。

次回は検証データを700日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 500日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを500日分移動したものを使用します。

56行目で、検証データの位置を500日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2018-11-28 ~ 2019-09-24] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+500, idx2+500), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


結果にばらつきがあるものの全勝となっています。

前回の結果と比べて2~3倍の収益率になっているのも好感がもてます。

学習データと検証データが被らない状態になってからは、2勝1敗とまあまあの結果です。

次回は検証データを600日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 400日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを400日分移動したものを使用します。

56行目で、検証データの位置を400日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2018-08-20 ~ 2019-06-16] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+400, idx2+400), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


頑張って全勝しています。たまに結果がちょんと飛び出るのが特徴的です。

反対売買もちょんと飛び出るのがちょんととびでることがあり、なんかおもしろいです。。

未知のデータになってからは1勝1敗です。

次回は検証データを500日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 300日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを300日分移動したものを使用します。

56行目で、検証データの位置を300日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2018-05-12 ~ 2019-03-08] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+300, idx2+300), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


今回の検証データから、学習データの範囲とはまったく被らない未知のデータによる検証となります。

全敗しております。。。(-_-;)

他の学習済みモデルでもこの期間はたいてい全敗しているので、とても勝ちにくいデータなのかもしれません。

次回は検証データを400日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 200日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを200日分移動したものを使用します。

56行目で、検証データの位置を200日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2018-02-01 ~ 2018-11-28] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+200, idx2+200), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


今回もまだ安定したプラス収益となりました。

反対売買した時の損益が、正規売買した時の収益より少なめなのが特徴的だと感じます。

次からは学習データと検証データが全く別になるので、ここからが本当の投資検証となります。

次回は検証データを300日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 100日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを100日分移動したものを使用します。

56行目で、検証データの位置を100日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2017-10-24 ~ 2018-08-20] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+100, idx2+100), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


安定した好成績となりました。

学習データと検証データが200日分ほど重なっているので、まだマイナス収益になってもらっては困るのですが。。。

次回は検証データを200日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(6番目 × 0日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの6番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

学習データと検証データは同じものを使いました。間違いなく勝てるはずのずるいデータ設定となっています。(;^_^A

90行目で、学習済みモデルの6番目を指定しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2017-07-14 ~ 2018-05-12] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+0, idx2+0), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(5, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


さすがに学習データと検証データが全く同じなので、全てトータルプラス収益となっています。

(反対売買の結果は見る必要がないかもしれません。。。)

ここから検証データを少しずつ移動して、収益結果がどう変化していくかを見ていきます。

次回は検証データを100日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(5番目 × 800日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの5番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを800日分移動したものを使用します。

55行目で、検証データの位置を800日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2019-09-24 ~ 2020-07-20] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1+800, idx2+800), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(4, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


全敗ではありますが、これまでの検証に比べて金額が少なめです。

一方、反対売買の方ですが正規売買の負け金額よりもかなり大きめ・・・3倍ほどになっているのがこれまでなかった結果で少し面白いです。

これまでは正規売買と反対売買の金額はプラスマイナス方向に正反対であることが多かったですので。

次回はACKTR学習済みモデルを変えて検証を続けていきます。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(5番目 × 700日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの5番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを700日分移動したものを使用します。

55行目で、検証データの位置を700日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2019-06-16 ~ 2020-04-11] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
env = gym.make('forex-v0', frame_bound=(idx1+700, idx2+700), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(4, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


今回は全敗という結果になりました。3連勝中だったので残念です。

未知のデータになってから3勝2敗とやや勝ち越しています。

これまでの学習済みモデルと大差ない感じになってきています。

次回は検証データを800日分移動して同じ30回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行 ACKTR編(5番目 × 600日移動)

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを10種類作成しました。

今回からはそのうちの5番目の学習済みモデルに対して、30回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを600日分移動したものを使用します。

56行目で、検証データの位置を600日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ~ 2018-05-12] 1日足データ
  • 検証データ
    [2019-03-08 ~ 2020-01-02] 1日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
global means
# ログフォルダの生成
log_dir = './logs/'
os.makedirs(log_dir, exist_ok=True)

# [20] 2020-06-28 10:00
idx1 = 50
#
idx2 = 350
# データ数
span = idx2 - idx1

# 環境の生成
env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
env = Monitor(env, log_dir, allow_early_resets=True)

# シードの指定
env.seed(0)
set_global_seeds(0)

# ベクトル化環境の生成
env = DummyVecEnv([lambda: env])

# モデルの生成
#model = PPO2('MlpPolicy', env, verbose=1)
model = ACKTR('MlpPolicy', env, verbose=1)

# モデルの読み込み
#model = PPO2.load('trading_model{}'.format(i))
model = ACKTR.load('trading_model{}'.format(i))

# モデルの学習
#model.learn(total_timesteps=128000)

# モデルの保存
#model.save('trading_model{}'.format(i))

# モデルのテスト
#env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
env = gym.make('forex-v0', frame_bound=(idx1+600, idx2+600), window_size=window_size)
env.seed(0)
state = env.reset()
while True:
# 行動の取得
action, _ = model.predict(state)
# 1ステップ実行
state, reward, done, info = env.step(action)
# エピソード完了
if done:
print('info:', info, info['total_reward'])
means.append(info['total_reward'])
break
# グラフのプロット
plt.cla()
env.render_all()
#plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
#plt.show()

#with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
# lines = f.readlines()
# s1 = lines[idx1].split(',')[0]
# s2 = lines[idx2-1].split(',')[0]
# #print(s1,s2, (idx2 - idx1))
#
# s3 = lines[idx2].split(',')[0]
# s4 = lines[idx2+span].split(',')[0]
# #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
labels.append('{}'.format(i))
simulation(4, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果(反対売買)


前回に引き続きまして、今回もトータル収益が全てプラスという結果になりました。

また前回と比較して倍ほど収益率も高くなっています。

未知のデータになってから3勝1敗と上々の成績です。

次回は検証データを700日分移動して同じ30回検証を行ってみたいと思います。