インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。
今回は カーレースゲーム（EnduroNoFrameskip-v4） を攻略します。相手の車を抜いていくことを目的とする単純なゲームです。
EnduroNoFrameskip-v4を攻略
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってEnduroNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
- 環境(env)
EnduroNoFrameskip-v4 - 学習アルゴリズム(algo)
ACKTR - ステップ数(n)
3000
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env EnduroNoFrameskip-v4 -n 3000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
相手の車を抜かすどころか抜かれまくってます。。。
後ろからくる車にぶつからないようにするゲームだと勘違いしてるんでしょうか。。。(;^_^A）
以前、同じ環境を学習アルゴリズム DQN で実行したときも同じような結果となりました。カーレースの攻略は意外と難しいものなんですね。