AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（４番目）

11月23日の記事にてアルゴリズムACKTRで新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの４番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    # model = PPO2.load('model{}'.format(i))
    model = ACKTR.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   300,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(4, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全ての期間での勝敗を集計しますと６勝４敗となります。

うち３勝は学習データと検証データが被っているのでそれを差し引くと３勝４敗となります。

直近２回の検証ではほとんど全敗だったので、今回のモデルはまだマシな気がしますが、勝率５割を下回っていますのでまだまだ十分な投資パフォーマンスだとは言えません。

次回は引き続き別の学習済みモデルを検証していきます。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（３番目）

11月23日の記事にてアルゴリズムACKTRで新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの３番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    # model = PPO2.load('model{}'.format(i))
    model = ACKTR.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   300,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(3, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全ての期間での勝敗を集計しますと３勝７敗となります。

うち２勝は学習データと検証データが被っているのでそれを差し引くと１勝６敗となります。

１勝はしているもののほぼ全敗です。前回検証はパーフェクト全敗だったので、ここ２回の投資成績は悲惨な感じです。

次回以降のモデルはもう少し投資パフォーマンスが改善していることを望みます。

次回は引き続き別の学習済みモデルを検証していきます。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（２番目）

11月23日の記事にてアルゴリズムACKTRで新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの２番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    # model = PPO2.load('model{}'.format(i))
    model = ACKTR.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   300,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(2, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全ての期間での勝敗を集計しますと３勝７敗となります。

うち３勝は学習データと検証データが被っているのでそれを差し引くと０勝７敗となります。

・・・・！！つまりは全敗です。ただこの結果だけを見てがっかりすることはありません。

全敗するモデルがあるなら、全勝するモデルができる可能性があるかもしれませんので。

次回は引き続き別の学習済みモデルを検証していきます。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（１番目）

11月23日の記事にてアルゴリズムACKTRで新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの１番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    # model = PPO2.load('model{}'.format(i))
    model = ACKTR.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   300,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(1, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全ての期間での勝敗を集計しますと６勝４敗となります。

うち３勝は学習データと検証データが被っているのでそれを差し引くと３勝４敗となります。

正直いまいちな投資パフォーマンスです。

次回は別の学習済みモデルを検証していきます。

AnyTrading - ビットコイン投資を強化学習で実行　ACKTR編（０番目）

11月23日の記事にてアルゴリズムACKTRで新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの０番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    # model = PPO2.load('model{}'.format(i))
    model = ACKTR.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   300,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(0, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

それぞれの期間でトータル収支はそれほど違いがないようです。

全ての期間での勝敗を集計しますと６勝４敗となります。

うち３勝は学習データと検証データが被っているのでそれを差し引くと３勝４敗となります。

とても微妙な投資成績と言わざるをえません。

次回は別の学習済みモデルを検証していきます。

AnyTrading - 学習済みモデルの作成（ACKTR）

前回作成した学習済みモデルの成績が良くなかったので、新しい学習済みモデルを作成していきます。

アルゴリズムをPPO2から、ACKTRに戻してみます。（PPO2の成績がほんとに悪かったもので・・・）

学習のためのパラメータをまとめると次の一覧のようになります。

パラメータ設定値
参照すべき直前のデータ数(window_size)30
学習データの開始位置(start_idx)100
学習データの終了位置(end_idx)300
訓練ステップ数(timesteps)128000
学習アルゴリズムACKTR

学習済みモデルの作成

学習済みモデルを作成するコードは下記の通りになります。

パラメータの内容は、コメントしていますのでご参照下さい。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i, prm):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    idx1 = prm['start_idx']
    idx2 = prm['end_idx']

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    #model = PPO2('MlpPolicy', env, verbose=1)
    model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの学習
    model.learn(total_timesteps=prm['timesteps'])

    # モデルの保存
    model.save('model{}'.format(i))

prm = {'window_size':    30,      #window_size 参照すべき直前のデータ数
       'start_idx'  :   100,      #start_idx 学習データの開始位置
       'end_idx'    :   300,      #end_idx 学習データの終了位置
       'timesteps'  :128000  }    #timesteps 訓練ステップ数
for i in range(10):
    simulation(i, prm)

上記コードを実行すると、model0.zipからmodel9.zipの１０種類の学習済みモデルが作成されます。

次回からはこのモデルでどのような投資成績を出すことができるのかを検証していきます。

AnyTrading - ビットコイン投資を強化学習で実行　PPO2編（１番目）

11月19日の記事にてアルゴリズムPPO2で新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの１番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    model = PPO2.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   400,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(1, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

０番目の学習済みモデルと同じように勝ったり負けたりとなりました。

やっぱり学習時のパラメータがよくなかったのでしょうか。。。

次回は２番目の学習済みモデルを検証してみます。

AnyTrading - ビットコイン投資を強化学習で実行　PPO2編（２番目）

11月19日の記事にてアルゴリズムPPO2で新たにビットコインの学習済みモデルを１０種類作成しました。

そのうちの２番目の学習済みモデルに対して、５０回連続で投資検証を行います。

一度に全期間の投資結果を確認します。処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)
    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'],
                                            prm['end_idx']),
                                            window_size = prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)
    # シードの指定
    env.seed(0)
    set_global_seeds(0)
    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])
    # モデルの読み込み
    model = PPO2.load('model{}'.format(i))
    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(prm['start_idx'] + prm['move_idx'],
                                            prm['end_idx']   + prm['move_idx']),
                                            window_size = prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)    # 0 or 1
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()

for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   400,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(2, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

０番目、１番目の学習済みモデルと同じように勝ったり負けたりとなりました。

この調子ですと他の学習済みモデルも、よい投資成績は望めそうにありません。

今回作成した学習済みモデルは一旦破棄して、次回はパラメータを変更して再度学習済みモデルを作り直したいと思います。

AnyTrading - ビットコイン投資を強化学習で実行　PPO2編（０番目）

11月19日の記事にてアルゴリズムPPO2で新たにビットコインの学習済みモデルを１０種類作成しました。

今回からはそのうちの０番目の学習済みモデルに対して、５０回連続で投資検証を行います。

これまでは、毎日100日ずつ検証データをずらして検証していましたが、今回からは一気に全期間の投資結果を確認します。

処理内容はソースをご確認下さい。

ソース

ソースは下記の通りです。

[ソース]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

import numpy as np
import matplotlib.pyplot as plt

def simulation(i, prm):
    global means
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    idx1 = prm['start_idx']
    idx2 = prm['end_idx']

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    model = PPO2.load('model{}'.format(i))

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx1+prm['move_idx'], idx2+prm['move_idx']), window_size=prm['window_size'])
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)	# 0 or 1 
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info, info['total_reward'])
            means.append(info['total_reward'])
            break
    # グラフのプロット
    plt.cla()
    env.render_all()


for move_idx in range(0, 1000, 100):
    labels = []
    means = []
    prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
           'start_idx'  :   100,      #start_idx 学習データの開始位置
           'end_idx'    :   400,      #end_idx 学習データの終了位置
           'move_idx'   :   move_idx} #学習データからの移動分。移動したものを検証データとする。
    for i in range(50):
        labels.append('{}'.format(i))
        simulation(0, prm)

    x = np.arange(len(labels))
    width = 0.35

    fig, ax = plt.subplots()

    rect = ax.bar(x, means, width)
    ax.set_xticks(x)
    ax.set_xticklabels(labels)

    plt.savefig('trading{:03d}.png'.format(move_idx))

実行結果

実行結果は次のようになりました。

実行結果( 0日移動)
実行結果(100日移動)
実行結果(200日移動)
実行結果(300日移動)
実行結果(400日移動)
実行結果(500日移動)
実行結果(600日移動)
実行結果(700日移動)
実行結果(800日移動)
実行結果(900日移動)

全期間勝ったり負けたりで何を学習してるんでしょう？？？といった感じです。

でも一気にこれだけの結果を確認できるのは嬉しいですね。今まだチマチマと検証しすぎでした。

次回は別の学習済みモデルを検証していきます・・・が成績次第では、別のパラメータで学習済みモデルを作り直すかもしれません。

AnyTrading - 学習済みモデルの作成（改善版）

今回は、新しい学習済みモデルを作成していきます。

過去にも何回か学習済みモデルを作成してきましたが、今回は少しコードを改良します。

具体的には、パラメータを１か所に集めます。

今後このパラメータを変えて学習済みモデルを作成して検証し、またパラメータを変えて検証を行う・・・そして十分な投資成績の学習済みモデルが作成できればいいなと思っています。

学習済みモデルの作成

学習済みモデルを作成するコードは下記の通りになります。

42行目から45行目で学習済みモデルを作るためのパラメータを指定しています。

パラメータの内容は、コメントしていますのでご参照下さい。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation(i, prm):
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    idx1 = prm['start_idx']
    idx2 = prm['end_idx']

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=prm['window_size'])
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの学習
    model.learn(total_timesteps=prm['timesteps'])

    # モデルの保存
    model.save('model{}'.format(i))

prm = {'window_size':   100,      #window_size 参照すべき直前のデータ数
       'start_idx'  :   100,      #start_idx 学習データの開始位置
       'end_idx'    :   400,      #end_idx 学習データの終了位置
       'timesteps'  :128000  }    #timesteps 訓練ステップ数
for i in range(10):
    simulation(i, prm)

上記コードを実行すると、model0.zipからmodel9.zipの１０種類の学習済みモデルが作成されます。

次回からはこのモデルでどのような投資成績を出すことができるのかを検証していきます。