Stable Baselines Zoo - 学習アルゴリズムACKTRでカーレースゲーム(EnduroNoFrameskip-v4)を攻略

インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。

今回は カーレースゲーム(EnduroNoFrameskip-v4) を攻略します。相手の車を抜いていくことを目的とする単純なゲームです。

EnduroNoFrameskip-v4を攻略

ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってEnduroNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。


各オプションは以下の通りです。

  • 環境(env)
    EnduroNoFrameskip-v4
  • 学習アルゴリズム(algo)
    ACKTR
  • ステップ数(n)
    3000

[コマンド]

1
python3.7 -m utils.record_video --algo acktr --env EnduroNoFrameskip-v4 -n 3000

実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)


実行結果


相手の車を抜かすどころか抜かれまくってます。。。

後ろからくる車にぶつからないようにするゲームだと勘違いしてるんでしょうか。。。(;^_^A)

以前、同じ環境を学習アルゴリズム DQN で実行したときも同じような結果となりました。カーレースの攻略は意外と難しいものなんですね。