Stable Baselines Zoo - パックマンを攻略　ACER(Actor-Critic with Experience Relay)編

パックマンを各学習アルゴリズムで攻略します。

今回使用する学習アルゴリズムは ACER です。

ACER は Actor-Critic with Experience Relay の略で、「方策」と「価値関数」の両方を利用した学習法 A3C をオフポリシーに書き換えて「Experience Replay」を利用できるようにした学習法です。

(Ubuntu 19.10で動作確認しています。)

ACERでパックマンを攻略

次の条件で、学習アルゴリズム ACER の学習済みモデル使ってパックマンを実行し、その様子を動画ファイルに出力します。

  • 環境
    MsPacmanNoFrameskip-v4
  • 学習アルゴリズム
    ACER
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo acer --env MsPacmanNoFrameskip-v4 -n 1000

実行結果は次の通りです。


実行結果


DQNよりはましですが、PPO2とあまり変わらないくらいの成績だと感じます。。。