Stable Baselines Zoo には、学習済みモデルを実行している様子を動画ファイルに保存する機能があります。
この機能を使って BreakoutNoFrameskip-v4環境 を実行する様子を動画ファイルに出力します。
BreakoutNoFrameskip-v4環境 は昔懐かしのブロック崩しゲームです。
(Ubuntu 19.10で動作確認しています。)
次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。
[コマンド]
1 | python3.7 -m utils.record_video --algo ppo2 --env BreakoutNoFrameskip-v4 -n 1000 |
上記コマンドを実行すると、次のような動画ファイルが出力されます。
Stable Baselines Zoo の学習済みモデルを実行した様子を、動画ファイルに保存する機能を使って Walker2DBulletEnv-v0環境 を実行します。
Walker2DBulletEnv-v0環境 は2次元の下半身（Walker2D）がまっすぐ歩く（Bullet）環境です。
(Ubuntu 19.10で動作確認しています。)
次の条件で学習済みモデルのビデオ録画を実行します。
[コマンド]
1 | python3.7 -m utils.record_video --algo ppo2 --env Walker2DBulletEnv-v0 -n 1000 |
上記コマンドを実行すると、次のような動画ファイルが出力されます。
Stable Baselines Zoo の学習済みモデルを実行した様子を動画ファイルに保存する機能を使って HopperBulletEnv-v0環境 を実行します。
HopperBulletEnv-v0環境 は何かがぴょんぴょん（Hopper）とまっすぐ進む（Bullet）環境です。（？）
(Ubuntu 19.10で動作確認しています。)
次の条件で学習済みモデルのビデオ録画を実行します。
[コマンド]
1 | python3.7 -m utils.record_video --algo ppo2 --env HopperBulletEnv-v0 -n 1000 |
上記コマンドを実行すると、次のような動画ファイルが出力されます。
Stable Baselines Zoo の学習済みモデルを実行した様子を動画ファイルに保存する機能を使って HalfCheetahBulletEnv-v0環境 を実行します。
HalfCheetahBulletEnv-v0環境 は半分（Half）のチータ（Cheetah）が弾丸（Bullet）みたいに走る環境です。（！？）
(Ubuntu 19.10で動作確認しています。)
次の条件で学習済みモデルのビデオ録画を実行します。
[コマンド]
1 | python3.7 -m utils.record_video --algo ppo2 --env HalfCheetahBulletEnv-v0 -n 1000 |
上記コマンドを実行すると、次のような動画ファイルが出力されます。
Stable Baselines Zoo には、学習済みモデルを実行した様子を動画ファイルに保存する機能があります。
(Ubuntu 19.10で動作確認しています。)
動画ファイルを保存するために必要な ffmpeg コマンドをインストールしておきます。
1 | sudo apt-get install ffmpeg |
次の条件で学習済みモデルのビデオ録画を実行します。
[コマンド]
1 | python -m utils.record_video --algo ppo2 --env MountainCar-v0 -n 1000 |
上記コマンドを実行すると、次のような動画ファイルが出力されます。
Stable Baselines Zoo とは、学習済みのモデルを集めたものです。
これを利用することで、学習やパラメータの試行錯誤をすることなく、環境の攻略を試してみることができます。
Stable Baselines Zoo - https://stable-baselines.readthedocs.io/en/master/guide/rl_zoo.html
Stable Baselines Zoo を使うためには、以下のコマンドでリポジトリをクローンします。
1 | git clone https://github.com/araffin/rl-baselines-zoo |
「rl-baselines-zoo」というフォルダが作成されます。
学習済みモデルの動作確認を行うには、「rl-baselines-zoo」フォルダに移動し次のコマンドを実行します。
[コマンド]
1 | python enjoy.py --algo ppo2 --env CartPole-v1 --folder trained_agents -n 5000 |
パラメータの意味は次の通りです。
実行すると下記のようなウィンドウが表示され、うまく棒のバランスがとれていることが分かります。
前回 OpenAI Gym で利用できる環境IDの一覧を表示させてみました。
しかし、いくつか試してみると追加で設定を行わないと利用できない環境があることが分かりました。
そこで今回は、利用可能な環境IDだけを一覧表示してみます。
環境IDの一覧を取得しつつ gym.make関数 で正常に環境を作成できるかどうかをチェックしていきます。
[コード]
1 | from gym import envs |
上記のコードを実行すると下記のように一覧が表示されます。
[実行結果]
1 | Copy-v0 |
前回の一覧に比べるとだいぶ減りましたが、デフォルトでもこれだけの環境で強化学習の動作確認ができるのは勉強する上で大変助かります。
OpenAI Gym のいろいろな環境で強化学習を試すために、どんな環境があるのかを調べてみます。
環境IDの一覧を取得するためのコードは次のようになります。
[コード]
1 | from gym import envs |
上記のコードを実行すると環境がたくさん表示されます。
省略しようかと思ったのですが、せっかくなので全て表示しておきます。
[実行結果]
1 | Copy-v0 |
いろいろな環境で強化学習の調査ができると思うと楽しみです。
Stable Baselines の強化学習アルゴリズムの１つである PPO2 を使ってCartPole-v1を攻略してみます。
PPO2 は、マルチプロセッシングで訓練可能な強化学習アルゴリズムです。
各処理のポイントはコメントをご参照ください。
[コード]
1 | import gym |
Stable Baselines は、OpenAI が提供する「強化学習アルゴリズム」の実装セット OpenAI Baselines の改良版です。
最新の強化学習アルゴリズムを含む複数のアルゴリズムがサポートされており、インターフェースやドキュメントなどが整理され、使いやすい実装になっていることが大きな特徴です。
Stable Baselines - https://github.com/hill-a/stable-baselines
以下の強化学習アルゴリズムをサポートしています。
Stable Baselines をインストールするには次のコマンドを実行します。
1 | pip install stable-baselines[mpi] |
Microsoft MPI v10.0 - https://www.microsoft.com/en-us/download/details.aspx?id=57467
MPI（Message Passing Interface） とは、並列コンピューティングを利用するために標準化された規格および実装です。
Stable Baselines では「DDPG」「GAIL」「PPO1」「TRPO」のマルチプロセッシングの実装に MPI が使用されています。