AnyTrading - ビットコイン投資を強化学習で実行　日足編①

これまでビットコインの １時間足 のデータで投資シミュレーションを行ってきましたが、今回からは １日足 での検証を行ってみます。

強化学習のパラメータ

ソースはこれまでの応用なので割愛し、強化学習のパラメータだけを下記に示します。

  • 学習アルゴリズム
    PPO2
  • 参照する直前データ数
    50
  • 学習データ
    [2017-07-13 ～ 2018-05-11]　１日足データ
  • 検証データ
    [2018-05-12 ～ 2019-03-07]　１日足データ

投資結果

実行結果は以下の通りです。

[コンソール出力]

1
2
3
4
5
6
7
8
9
10
info: {'total_reward': 737820000.0, 'total_profit': 1.5204328969406768, 'position': 0}
info: {'total_reward': 4451760000.0, 'total_profit': 1.9543889662243907, 'position': 0}
info: {'total_reward': 4724240000.0, 'total_profit': 1.8577326597225763, 'position': 1}
info: {'total_reward': -3133420000.0, 'total_profit': 1.0932763909885006, 'position': 1}
info: {'total_reward': 7880400000.0, 'total_profit': 2.791961784381706, 'position': 0}
info: {'total_reward': 2833180000.0, 'total_profit': 1.9502291844926507, 'position': 0}
info: {'total_reward': 2268160000.0, 'total_profit': 1.8259053513012946, 'position': 1}
info: {'total_reward': 1437600000.0, 'total_profit': 1.8368776844043904, 'position': 1}
info: {'total_reward': -3185920000.0, 'total_profit': 1.12174062698247, 'position': 1}
info: {'total_reward': -5817080000.0, 'total_profit': 1.0365691835994815, 'position': 0}

[出力画像]

実行結果(1回目)
実行結果(2回目)
実行結果(3回目)
実行結果(4回目)
実行結果(5回目)
実行結果(6回目)
実行結果(7回目)
実行結果(8回目)
実行結果(9回目)
実行結果(10回目)


投資結果（トータル報酬）を表にまとめてみます。

No.トータル報酬（前回）
①737,820,000円
②4,451,760,000円
③4,724,240,000円
④-3,133,420,000円
⑤7,880,400,000円
⑥2,833,180,000円
⑦2,268,160,000円
⑧1,437,600,000円
⑨-3,185,920,000円
⑩-5,817,080,000円

１０種類の学習済みモデルの結果は７勝３敗です。

これからは、今回作成した学習済みモデルを使い期間を変えて投資結果を検証していきます。