AnyTrading - ビットコイン投資を強化学習で実行③ 投資シミュレーション

August 9, 2020

AnyTradingを実行してきて今更ながら気づいたのですが、実行するたびに結果が変わります。

同じ学習済みモデルを使って同じ検証データを使えば、結果は同じになると思いますが、現状は毎回学習を行っているのでたとえ同じ学習データを使ったとしても学習済みモデルが毎回変わるので、その学習モデルを使った検証結果も変化することに気づきました。

ということで（？）今回は、前回行った強化学習（投資シミュレーション）を、１０回実行してその投資結果を確認してみます。

ビットコインデータを使っての投資シミュレーション・・・を１０回行う

前回使用したパラメータは以下の通りですが、今回もこの条件で検証していきます。

学習アルゴリズム
PPO2
参照する直前データ数
50
学習データ
[2020-06-29 16:00 ～ 2020-07-24 17:00]　１時間足データ
検証データ
[2020-07-24 18:00 ～ 2020-07-12 03:00]　１時間足データ

投資シミュレーションを１０回行うソースコードは次のようになります。

import os, gym
import datetime
import gym_anytrading
import matplotlib.pyplot as plt
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL
from stable_baselines.common.vec_env import DummyVecEnv
from stable_baselines import PPO2
from stable_baselines import ACKTR
from stable_baselines.bench import Monitor
from stable_baselines.common import set_global_seeds

def simulation():
    # ログフォルダの生成
    log_dir = './logs/'
    os.makedirs(log_dir, exist_ok=True)

    # [50] 2020-06-29 16:00
    idx1 = 50
    # [350] 2020-07-24 18:00
    idx2 = 350
    # データ数
    span = idx2 - idx1

    # 環境の生成
    env = gym.make('forex-v0', frame_bound=(idx1, idx2), window_size=50)
    env = Monitor(env, log_dir, allow_early_resets=True)

    # シードの指定
    env.seed(0)
    set_global_seeds(0)

    # ベクトル化環境の生成
    env = DummyVecEnv([lambda: env])

    # モデルの生成
    model = PPO2('MlpPolicy', env, verbose=1)
    #model = ACKTR('MlpPolicy', env, verbose=1)

    # モデルの読み込み
    # model = PPO2.load('trading_model')

    # モデルの学習
    model.learn(total_timesteps=128000)

    # モデルの保存
    model.save('trading_model')

    # モデルのテスト
    env = gym.make('forex-v0', frame_bound=(idx2, idx2 + span), window_size=50)
    env.seed(0)
    state = env.reset()
    while True:
        # 行動の取得
        action, _ = model.predict(state)
        # 1ステップ実行
        state, reward, done, info = env.step(action)
        # エピソード完了
        if done:
            print('info:', info)
            break
    # グラフのプロット
    plt.cla()
    env.render_all()
    plt.savefig('trading{:%Y%m%d_%H%M%S}.png'.format(datetime.datetime.now()))
    #plt.show()

for _ in range(10):
    simulation()

毎回結果をチャート表示すると閉じるボタンを押すのが手間なので、表示はせず毎回結果を画像ファイルに保存するように修正しています。（65～66行目）

ビットコインの投資シミュレーションを１０回実行

上記コードを実行すると次のような結果になりました。

[コンソール出力]

info: {'total_reward': -44700000.0, 'total_profit': 0.9867232104536462, 'position': 1}
info: {'total_reward': 784580000.0, 'total_profit': 1.02832169410665, 'position': 1}
info: {'total_reward': 286280000.0, 'total_profit': 1.003519355106663, 'position': 1}
info: {'total_reward': 182900000.0, 'total_profit': 0.9992320904098855, 'position': 0}
info: {'total_reward': -271540000.0, 'total_profit': 0.9771806974466056, 'position': 0}
info: {'total_reward': -381700000.0, 'total_profit': 0.9709514553702535, 'position': 0}
info: {'total_reward': -103640000.0, 'total_profit': 0.9856629894020188, 'position': 0}
info: {'total_reward': -197330000.0, 'total_profit': 0.9807788607628171, 'position': 0}
info: {'total_reward': 450890000.0, 'total_profit': 1.0123894296993825, 'position': 1}
info: {'total_reward': 387080000.0, 'total_profit': 1.0097177579237395, 'position': 0}