AnyTrading - Bitcoinデータの更新

今まで検証していたデータはビットコインの日足データで「2017-05-21」から「2020-08-17」までだったのですが、新しい投資検証を行う前に一旦更新しておきます。

ビットコインデータのダウンロードサイトやAnyTrading用のデータを更新する方法は以前ご紹介していますが、復習として一通り記載していきます。

CSVデータをサイトからダウンロード

まず下記のサイトから、ビットコインの日足データをダウンロードします。

ビットコインCSVデータ - http://nipper.work/btc/index.php?market=bitFlyer&coin=BTCJP

１時間足や日足などのタイムスパンは、好みで選択できます。

今回は 2017/05/21 から 2020/11/19 までの １日足データ をダウンロードしました

AnyTradingでオリジナルデータを使う

簡易的な方法としてAnyTradingがデフォルトで参照しているCSVデータに、フォーマットを合わせてオリジナルデータを上書きします。

AnyTradingではデフォルトで下記のcsvデータを参照しています。

（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv

このCSVデータは下記のようなフォーマットです。

[FOREX_EURUSD_1H_ASK.csv]

1
2
3
4
5
6
7
8
9
10
Time,Open,High,Low,Close,Volume
01.01.2017 22:00:00.000,1.05236,1.05253,1.05221,1.05227,143539993.3
01.01.2017 23:00:00.000,1.05227,1.05426,1.05226,1.05282,253139999.4
02.01.2017 00:00:00.000,1.05283,1.05283,1.05268,1.05281,131399993.9
02.01.2017 01:00:00.000,1.05282,1.05286,1.05225,1.0524,273940002.4
02.01.2017 02:00:00.000,1.05239,1.0524,1.05164,1.0522,258140014.6
02.01.2017 03:00:00.000,1.05219,1.05244,1.05184,1.05226,2288179932
02.01.2017 04:00:00.000,1.05226,1.05232,1.05181,1.05193,711799987.8
02.01.2017 05:00:00.000,1.05195,1.05197,1.05136,1.05161,288209991.5
02.01.2017 06:00:00.000,1.05163,1.05176,1.05113,1.05172,390880004.9

例えば下記のようなデータを自分で用意したとします。

（このデータはダウンロードしたCSVファイルの形式となります。）

[btc.csv]

1
2
3
4
5
6
7
8
2017-05-21 00:00:00,232660,242460,231962,242460,231.863
2017-05-22 00:00:00,243915,343303,236510,254214,309.532
2017-05-23 00:00:00,256994,276003,256994,276002,4.94
2017-05-24 00:00:00,284989,284989,275603,275603,0.002
2017-05-25 00:00:00,302146,302146,300000,301050,1.05
2017-05-26 00:00:00,303000,340000,270002,270002,17.01
2017-05-27 00:00:00,349998,349998,194003,281061,21.613
2017-05-28 00:00:00,269998,269999,210000,269999,2.1200001

このデータをAnyTrading用に変換する処理を簡単に書いてみました。

[AnyTrading用にデータを変換する処理]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
def fmt(line):
    ss = line.strip().split(',')
    dt1, dt2 = ss[0].split()
    y, m, d = dt1.split('-')
    return '{}.{}.{} {}.000,{},{},{},{},{}'.format(m, d, y, dt2,
                                                   ss[1], ss[2], ss[3], ss[4], ss[5])

with open('btc.csv', 'r') as f:
    lines = f.readlines()

with open('（AnyTradingインストール先）/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'w') as f:
    f.write('Time,Open,High,Low,Close,Volume\n')
    for line in lines:
        f.write(fmt(line) + '\n')

確認のために今回変換したデータを使って、AnyTradingの処理を実行してみます。

実行結果


問題なく自分で用意したデータでAnyTradingが実行できることを確認できました。

本来のやり方とは違うと思いますが、この方法を使っていろいろなデータでAnyTradingを実行することができるようになります。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 800日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを８００日分移動したものを使用します。

55行目で、検証データの位置を８００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-09-24 ～ 2020-07-20]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+800, idx2+800), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


ほぼ全敗の結果となりました。

未知のデータになってから２勝３敗１分けと、今までで一番成績の悪い学習済みモデルとなりました。

ただ反対売買だと全勝し、収益率も高めとなるようです。

次回からは新たに別の学習済みモデルを作成して検証していきたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 700日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを７００日分移動したものを使用します。

55行目で、検証データの位置を７００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-06-16 ～ 2020-04-11]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+700, idx2+700), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


全勝とはいきませんでしたが、プラス収益の方が優勢になっていると思います。

今回は１勝とカウントしておきます。

未知のデータになってから２勝２敗１分けとかなりの微妙な成績となっています。

次回は検証データを800日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 600日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを６００日分移動したものを使用します。

56行目で、検証データの位置を６００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2019-03-08 ～ 2020-01-02]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+600, idx2+600), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


う～～ん、ダメですね。ほとんどマイナス収益です。

この学習済みモデルは未知のデータになってから１勝２敗１分と相当ダメダメですね。

次回は検証データを700日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 500日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを５００日分移動したものを使用します。

56行目で、検証データの位置を５００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-11-28 ～ 2019-09-24]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+500, idx2+500), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


ほぼ全敗です。。。

他のモデルではほとんど全勝となる検証データだっただけに残念です。

学習データと検証データが被らない状態になってからは、１勝１敗１分となっています。

次回は検証データを600日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 400日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを４００日分移動したものを使用します。

56行目で、検証データの位置を４００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-08-20 ～ 2019-06-16]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+400, idx2+400), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


今回は、勝ったり負けたりという結果となりました。

反対売買でも、同じような結果となっています。

前回は厳しい検証データにもかかわらず良い結果がでたのでもしかしてこのまま全勝できるのか・・・と思っていただけに残念です。

未知のデータになってからは１勝０敗１分となります。

次回は検証データを500日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 300日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを３００日分移動したものを使用します。

56行目で、検証データの位置を３００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-05-12 ～ 2019-03-08]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+300, idx2+300), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


今回の検証データから、学習データの範囲とはまったく被らない未知のデータによる検証となります。

・・・・！！！ぜ、全勝です。お、驚きです。

他の学習済みモデルではこの期間はたいてい全敗しているので、今回のモデルもきっとダメなのだろうと予測していたんですが。。。

一番マイナス収益になりやすい検証データで全勝したということは、もしかして他の期間でもいい投資成績を残せるのでは・・・・楽しみです。

次回は検証データを400日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 200日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを２００日分移動したものを使用します。

56行目で、検証データの位置を２００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2018-02-01 ～ 2018-11-28]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+200, idx2+200), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


全勝となっており、収益率は他の学習済みモデルよりも少なめ・・50%～60%程度です。

反対売買時には損失が少なく、たまにプラス収益になるのは少し珍しいパターンです。

次からは学習データと検証データが全く別になりますし、どんな結果になっていくのでしょうか。

次回は検証データを300日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 100日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

検証データには学習データを１００日分移動したものを使用します。

56行目で、検証データの位置を１００日分後ろに移動しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2017-10-24 ～ 2018-08-20]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+100, idx2+100), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


安定した好成績となりました。

学習データと検証データが２００日分ほど重なっているので、まだマイナス収益になってもらっては困るのですが。。。

他モデルと比べて、収益にばらつきが多いような気がします。

次回は検証データを200日分移動して同じ３０回検証を行ってみたいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（９番目 × 0日移動）

9月6日の記事にて学習済みアルゴリズムをACKTRにかえてビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの９番目の学習済みモデルに対して、３０回連続で投資検証を行います。

強化学習のパラメータ

強化学習時のパラメータと学習用・検証用データスパンは下記の通りです。

学習データと検証データは同じものを使いました。間違いなく勝てるはずのずるいデータ設定となっています。(;^_^A

90行目で、学習済みモデルの９番目を指定しています。

  • 学習アルゴリズム
    ACKTR
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-14 ～ 2018-05-12]　１日足データ
  • 検証データ
    [2017-07-14 ～ 2018-05-12]　１日足データ

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, window_size):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [20] 2020-06-28 10:00
    idx1 = 50
    # 
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=window_size)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    #model = PPO2.load('trading_model{}'.format(i))
    model = ACKTR.load('trading_model{}'.format(i))

    # モデルの学習
    #model.learn(total_timesteps=128000)

    # モデルの保存
    #model.save('trading_model{}'.format(i))

    # モデルのテスト
    #env = gym.make('forex-v0', frame_bound=(idx2+500, idx2 + span+500), window_size=20)
    env = gym.make('forex-v0', frame_bound=(idx1+0, idx2+0), window_size=window_size)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    #plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

    #with open('C:/Util/anaconda3/envs/openai_gym/lib/site-packages/gym_anytrading/datasets/data/FOREX_EURUSD_1H_ASK.csv', 'r') as f:
    #    lines = f.readlines()
    #    s1 = lines[idx1].split(',')[0]
    #    s2 = lines[idx2-1].split(',')[0]
    #    #print(s1,s2, (idx2 - idx1))
    #
    #    s3 = lines[idx2].split(',')[0]
    #    s4 = lines[idx2+span].split(',')[0]
    #    #print(s3,s4, (idx2+span - idx2))

labels = []
means = []

for i in range(50):
    labels.append('{}'.format(i))
    simulation(9, 50)

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rect = ax.bar(x, means, width)
ax.set_xticks(x)
ax.set_xticklabels(labels)

#plt.show()
plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))

実行結果

実行結果は次のようになりました。

実行結果

実行結果（反対売買）


さすがに学習データと検証データが全く同じなので、全てトータルプラス収益となっています。

ただデータが同じ割には、結果にばらつきがあるのが気になります。（他モデルではばらつきがないことが多いです。）

ここから検証データを少しずつ移動して、収益結果がどう変化していくかを見ていきます。

次回は検証データを100日分移動して同じ３０回検証を行ってみたいと思います。