AnyTrading - ビットコイン投資を強化学習で実行　PPO2編（２番目）

11月19日の記事にてアルゴリズムPPO2で新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの２番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    model = PPO2.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   400,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(2, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

０番目、１番目の学習済みモデルと同じように勝ったり負けたりとなりました。

この調子ですと他の学習済みモデルも、よい投資成績は望めそうにありません。

今回作成した学習済みモデルは一旦破棄して、次回はパラメータを変更して再度学習済みモデルを作り直したいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　PPO2編（０番目）

11月19日の記事にてアルゴリズムPPO2で新たにビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの０番目の学習済みモデルに対して、５０回連続で投資検証を行います。

これまでは、毎日100日ずつ検証データをずらして検証していましたが、今回からは一気に全期間の投資結果を確認します。

処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    idx1 = prm['start_idx']
    idx2 = prm['end_idx']

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+prm['move_idx'], idx2+prm['move_idx']), window_size=prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)	# 0 or 1 
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()


for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   400,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(0, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全期間勝ったり負けたりで何を学習してるんでしょう？？？といった感じです。

でも一気にこれだけの結果を確認できるのは嬉しいですね。今まだチマチマと検証しすぎでした。

次回は別の学習済みモデルを検証していきます・・・が成績次第では、別のパラメータで学習済みモデルを作り直すかもしれません。

AnyTrading - 学習済みモデルの作成（改善版）

今回は、新しい学習済みモデルを作成していきます。

過去にも何回か学習済みモデルを作成してきましたが、今回は少しコードを改良します。

具体的には、パラメータを１か所に集めます。

今後このパラメータを変えて学習済みモデルを作成して検証し、またパラメータを変えて検証を行う・・・そして十分な投資成績の学習済みモデルが作成できればいいなと思っています。

学習済みモデルの作成

学習済みモデルを作成するコードは下記の通りになります。

42行目から45行目で学習済みモデルを作るためのパラメータを指定しています。

パラメータの内容は、コメントしていますのでご参照下さい。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i, prm):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    idx1 = prm['start_idx']
    idx2 = prm['end_idx']

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの学習
    model.learn(total_timesteps=prm['timesteps'])

    # モデルの保存
    model.save('model{}'.format(i))

prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
       'start_idx'  :   100,      #start_idx 学習データの開始位置
       'end_idx'    :   400,      #end_idx 学習データの終了位置
       'timesteps'  :128000  }    #timesteps 訓練ステップ数
for i in range(10):
    simulation(i, prm)

上記コードを実行すると、model0.zipからmodel9.zipの１０種類の学習済みモデルが作成されます。

次回からはこのモデルでどのような投資成績を出すことができるのかを検証していきます。

AnyTrading - Bitcoinデータの更新

今まで検証していたデータはビットコインの日足データで「2017-05-21」から「2020-08-17」までだったのですが、新しい投資検証を行う前に一旦更新しておきます。

ビットコインデータのダウンロードサイトやAnyTrading用のデータを更新する方法は以前ご紹介していますが、復習として一通り記載していきます。

CSVデータをサイトからダウンロード

まず下記のサイトから、ビットコインの日足データをダウンロードします。

ビットコインCSVデータ - http://nipper.work/btc/index.php?market=bitFlyer&coin=BTCJP

１時間足や日足などのタイムスパンは、好みで選択できます。

今回は 2017/05/21 から 2020/11/19 までの １日足データ をダウンロードしました

AnyTradingでオリジナルデータを使う

簡易的な方法としてAnyTradingがデフォルトで参照しているCSVデータに、フォーマットを合わせてオリジナルデータを上書きします。

AnyTradingではデフォルトで下記のcsvデータを参照しています。

（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv

このCSVデータは下記のようなフォーマットです。

[FOREX_EURUSD_1H_ASK.csv]

1
2
3
4
5
6
7
8
9
10
Time,Open,High,Low,Close,Volume
01.01.2017 22:00:00.000,1.05236,1.05253,1.05221,1.05227,143539993.3
01.01.2017 23:00:00.000,1.05227,1.05426,1.05226,1.05282,253139999.4
02.01.2017 00:00:00.000,1.05283,1.05283,1.05268,1.05281,131399993.9
02.01.2017 01:00:00.000,1.05282,1.05286,1.05225,1.0524,273940002.4
02.01.2017 02:00:00.000,1.05239,1.0524,1.05164,1.0522,258140014.6
02.01.2017 03:00:00.000,1.05219,1.05244,1.05184,1.05226,2288179932
02.01.2017 04:00:00.000,1.05226,1.05232,1.05181,1.05193,711799987.8
02.01.2017 05:00:00.000,1.05195,1.05197,1.05136,1.05161,288209991.5
02.01.2017 06:00:00.000,1.05163,1.05176,1.05113,1.05172,390880004.9

例えば下記のようなデータを自分で用意したとします。

（このデータはダウンロードしたCSVファイルの形式となります。）

[btc.csv]

1
2
3
4
5
6
7
8
2017-05-21 00:00:00,232660,242460,231962,242460,231.863
2017-05-22 00:00:00,243915,343303,236510,254214,309.532
2017-05-23 00:00:00,256994,276003,256994,276002,4.94
2017-05-24 00:00:00,284989,284989,275603,275603,0.002
2017-05-25 00:00:00,302146,302146,300000,301050,1.05
2017-05-26 00:00:00,303000,340000,270002,270002,17.01
2017-05-27 00:00:00,349998,349998,194003,281061,21.613
2017-05-28 00:00:00,269998,269999,210000,269999,2.1200001

このデータをAnyTrading用に変換する処理を簡単に書いてみました。

[AnyTrading用にデータを変換する処理]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
def fmt(line):
    ss = line.strip().split(',')
    dt1, dt2 = ss[0].split()
    y, m, d = dt1.split('-')
    return '{}.{}.{} {}.000,{},{},{},{},{}'.format(m, d, y, dt2,
                                                   ss[1], ss[2], ss[3], ss[4], ss[5])

with open('btc.csv', 'r') as f:
    lines = f.readlines()

with open('（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')
    for line in lines:
        f.write(fmt(line) + '\n')

確認のために今回変換したデータを使って、AnyTradingの処理を実行してみます。

実行結果


問題なく自分で用意したデータでAnyTradingが実行できることを確認できました。

本来のやり方とは違うと思いますが、この方法を使っていろいろなデータでAnyTradingを実行することができるようになります。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 800日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを８００日分移動したものを使用します。

55行目で、検証データの位置を８００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-09-24 ～ 2020-07-20]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+800, idx2+800), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


ほぼ全敗の結果となりました。

未知のデータになってから２勝３敗１分けと、今までで一番成績の悪い学習済みモデルとなりました。

ただ反対売買だと全勝し、収益率も高めとなるようです。

次回からは新たに別の学習済みモデルを作成して検証していきたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 700日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを７００日分移動したものを使用します。

55行目で、検証データの位置を７００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-06-16 ～ 2020-04-11]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+700, idx2+700), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


全勝とはいきませんでしたが、プラス収益の方が優勢になっていると思います。

今回は１勝とカウントしておきます。

未知のデータになってから２勝２敗１分けとかなりの微妙な成績となっています。

次回は検証データを800日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 600日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを６００日分移動したものを使用します。

56行目で、検証データの位置を６００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-03-08 ～ 2020-01-02]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+600, idx2+600), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


う～～ん、ダメですね。ほとんどマイナス収益です。

この学習済みモデルは未知のデータになってから１勝２敗１分と相当ダメダメですね。

次回は検証データを700日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 500日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを５００日分移動したものを使用します。

56行目で、検証データの位置を５００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-11-28 ～ 2019-09-24]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+500, idx2+500), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


ほぼ全敗です。。。

他のモデルではほとんど全勝となる検証データだっただけに残念です。

学習データと検証データが被らない状態になってからは、１勝１敗１分となっています。

次回は検証データを600日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 400日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを４００日分移動したものを使用します。

56行目で、検証データの位置を４００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-08-20 ～ 2019-06-16]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+400, idx2+400), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


今回は、勝ったり負けたりという結果となりました。

反対売買でも、同じような結果となっています。

前回は厳しい検証データにもかかわらず良い結果がでたのでもしかしてこのまま全勝できるのか・・・と思っていただけに残念です。

未知のデータになってからは１勝０敗１分となります。

次回は検証データを500日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 300日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを３００日分移動したものを使用します。

56行目で、検証データの位置を３００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-05-12 ～ 2019-03-08]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+300, idx2+300), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


今回の検証データから、学習データの範囲とはまったく被らない未知のデータによる検証となります。

・・・・！！！ぜ、全勝です。お、驚きです。

他の学習済みモデルではこの期間はたいてい全敗しているので、今回のモデルもきっとダメなのだろうと予測していたんですが。。。

一番マイナス収益になりやすい検証データで全勝したということは、もしかして他の期間でもいい投資成績を残せるのでは・・・・楽しみです。

次回は検証データを400日分移動して同じ３０回検証を行ってみたいと思います。