Stable Baselines Zoo - インベーダーゲームを攻略　ACER(Actor-Critic with Experience Replay)編

インベーダーゲームを各学習アルゴリズムで攻略します。

今回使用する学習アルゴリズムは ACER です。

ACER は、A3Cをオフポリシーに書き換えて、Experience Replay を利用できるようにした学習アルゴリズムです。

ACERでインベーダーゲームを攻略

ACER の学習済みモデル(Stable Baselines Zoo提供)を使ってインベーダーゲームを実行し、その様子を動画ファイルに出力します。


各オプションは以下の通りです。

  • 環境(env)
    SpaceInvadersNoFrameskip-v4
  • 学習アルゴリズム(algo)
    ACER
  • ステップ数(n)
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo acer --env SpaceInvadersNoFrameskip-v4 -n 1000

実行結果は次の通りです。(Ubuntu 19.10で動作確認しています。)


実行結果


ほとんど攻撃してないし、こそこそしてる割には簡単にやられるしまったく使えない学習済みモデルでした　(;^_^A）