インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。
今回は 倒立ふりこ（CartPole-v1） を攻略します。倒立ふりこは、板の上に立っている棒を倒さないように、板を左右に動かしバランスをとる環境です。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってCartPole-v1を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env CartPole-v1 -n 3000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
インベーダーゲームで一番成績の良かった学習アルゴリズム ACKTR をいろいろな環境で実行してみます。
今回は ブロック崩し（BreakoutNoFrameskip-v4） を攻略します。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってBreakoutNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env BreakoutNoFrameskip-v4 -n 3000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
これまでインベーダーゲームをいろいろな学習アルゴリズムを使ってみましたが、一番成績の良かった ACKTR をいろいろな環境で実行してみます。
今回は 二足歩行シミュレーション（BipedalWalker-v3） という環境を攻略します。二足歩行を最適化することを目標とします。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってBipedalWalker-v3を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env BipedalWalker-v3 -n 2000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
これまでインベーダーゲームをいろいろな学習アルゴリズムを使ってみましたが、一番成績の良かった ACKTR をいろいろな環境で実行してみます。
今回は ビームライダー（BeamRiderNoFrameskip-v4） という環境を攻略します。
ビームライダーはシューティングゲームで、円盤のような敵を１５体倒せば母艦が登場し、それを撃破すればボーナス点が入って面クリアとなります。
基本操作は左右移動のみで、縦に５本走っているラインの間を行き来して攻撃もこのライン上でのみ可能となっています。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってBeamRiderNoFrameskip-v4を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env BeamRiderNoFrameskip-v4 -n 2000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
これまでインベーダーゲームをいろいろな学習アルゴリズムを使ってみましたが、一番成績の良かった ACKTR をいろいろな環境で実行してみます。
今回は Acrobot-v1 という環境を攻略します。
これはヌンチャクのようなものをうまく回転させるようにする環境です。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってAcrobot-v1を実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env Acrobot-v1 -n 2000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
インベーダーゲームを各学習アルゴリズムで攻略します。
今回使用する PPO2 は、PPOのGPU対応版です。
PPOは最先端のアプローチと同等またはそれ以上の性能を発揮しながら、実装およびチューニングを容易にしています。
また、各ステップでの計算コスト関数を最小限に抑えながらも、ポリシーからの逸脱を比較的小さく抑えることができるアルゴリズムとなっています。
使いやすさとパフォーマンスが優れているため、OpenAIが使用する強化学習アルゴリズムのデフォルトとなっています。
PPO2 の学習済みモデル(Stable Baselines Zoo提供)を使ってインベーダーゲームを実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo ppo2 --env SpaceInvadersNoFrameskip-v4 -n 1000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
インベーダーゲームを各学習アルゴリズムで攻略します。
今回使用する DQN は、深層強化学習アルゴリズムを利用した学習法です。
DQN - Wikipedia
一部のゲームにおいて人間以上のスコアを獲得できているそうです。
DQN の学習済みモデル(Stable Baselines Zoo提供)を使ってインベーダーゲームを実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo dqn --env SpaceInvadersNoFrameskip-v4 -n 1000 |
実行結果は以下のようになりました。(Ubuntu 19.10で動作確認しています。)
インベーダーゲームを各学習アルゴリズムで攻略します。
今回使用する ACKTR は TPROとActor-Criticを組み合わせた学習法です。
ACKTR の学習済みモデル(Stable Baselines Zoo提供)を使ってインベーダーゲームを実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acktr --env SpaceInvadersNoFrameskip-v4 -n 1000 |
実行結果は次の通りです。(Ubuntu 19.10で動作確認しています。)
インベーダーゲームを各学習アルゴリズムで攻略します。
今回使用する学習アルゴリズムは ACER です。
ACER は、A3Cをオフポリシーに書き換えて、Experience Replay を利用できるようにした学習アルゴリズムです。
ACER の学習済みモデル(Stable Baselines Zoo提供)を使ってインベーダーゲームを実行し、その様子を動画ファイルに出力します。
各オプションは以下の通りです。
[コマンド]
1 | python3.7 -m utils.record_video --algo acer --env SpaceInvadersNoFrameskip-v4 -n 1000 |
実行結果は次の通りです。(Ubuntu 19.10で動作確認しています。)
BeamRiderNoFrameskip-v4 を学習アルゴリズム A2C で攻略します。
BeamRiderNoFrameskip-v4 は、敵をビームで攻撃する単純なシューティングゲームです。
A2C は、A3Cを分散同期にした学習アルゴリズムです。
学習アルゴリズム A2C の学習済みモデル(Stable Baselines Zoo提供)を使って BeamRiderNoFrameskip-v4 を実行し、その様子を動画ファイルに出力します。
[コマンド]
1 | python3.7 -m utils.record_video --algo acer --env BeamRiderNoFrameskip-v4 -n 1000 |
実行結果は次の通りです。(Ubuntu 19.10で動作確認しています。)
