Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(MinitaurBulletEnv-v0)

Stable Baselines Zoo の動画ファイル出力機能を使って MinitaurBulletEnv-v0環境 を実行する様子を動画ファイルにしてみます。

MinitaurBulletEnv-v0環境 は、三角形の車輪を持つ車のような物体をうまく前に進めるようにする環境です。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(MinitaurBulletEnv-v0)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    MinitaurBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo dqn --env MinitaurBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


三角形の車輪は回るわけではなく、突っついたり引っ張ったりして虫のような雰囲気(?)をかもし出しつつ前に進んでる様子を確認することができます。

Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(BeamRiderNoFrameskip-v4)

Stable Baselines Zoo の動画ファイル出力機能を使って BeamRiderNoFrameskip-v4環境 を実行する様子を動画ファイルにしてみます。

BeamRiderNoFrameskip-v4環境 は、簡単なシューティングゲームです。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(BeamRiderNoFrameskip-v4)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    BeamRiderNoFrameskip-v4
  • 学習アルゴリズム
    DQN
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo dqn --env BeamRiderNoFrameskip-v4 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


完全ではありませんが、それなりに敵からの攻撃をよけつつ敵を撃破できているようです。

Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(AntBulletEnv-v0)

Stable Baselines Zoo には、学習済みモデルを実行している様子を動画ファイルに保存する機能があります。

この機能を使って AntBulletEnv-v0環境 を実行する様子を動画ファイルに出力します。

AntBulletEnv-v0環境 はアリっぽい形をした4本足の模型がうまく歩けるように調整する環境です。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(AntBulletEnv-v0)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    AntBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env AntBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


きちんと(?)虫っぽい動きで歩く様子を確認することができます。

Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(HumanoidBulletEnv-v0)

Stable Baselines Zoo には、学習済みモデルを実行している様子を動画ファイルに保存する機能があります。

この機能を使って HumanoidBulletEnv-v0環境 を実行する様子を動画ファイルに出力します。

HumanoidBulletEnv-v0環境 は人の形をした模型がうまく歩けるように調整する環境です。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(HumanoidBulletEnv-v0)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    HumanoidBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env HumanoidBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


足を引きずってるような感じはしますが、転ばずにうまく歩けている様子を確認することができます。

Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(MinitaurBulletDuckEnv-v0)

Stable Baselines Zoo には、学習済みモデルを実行している様子を動画ファイルに保存する機能があります。

この機能を使って MinitaurBulletDuckEnv-v0環境 を実行する様子を動画ファイルに出力します。

MinitaurBulletDuckEnv-v0環境 は車輪が3角形の車の上にアヒルが乗っていて、それを落とさないように進まなければいけないちょっと変わった環境です。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(MinitaurBulletDuckEnv-v0)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    MinitaurBulletDuckEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env MinitaurBulletDuckEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


頑張ってるような気もしますが、アヒルは結構落ちてしまっていてもう少し改善してほしい感じです。

Stable Baselines Zoo - 学習済みモデルを動画ファイルに出力(BreakoutNoFrameskip-v4)

Stable Baselines Zoo には、学習済みモデルを実行している様子を動画ファイルに保存する機能があります。

この機能を使って BreakoutNoFrameskip-v4環境 を実行する様子を動画ファイルに出力します。

BreakoutNoFrameskip-v4環境 は昔懐かしのブロック崩しゲームです。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルの動画ファイル出力(BreakoutNoFrameskip-v4)

次の条件で、学習済みモデルを実行している様子を動画ファイルに出力します。

  • 環境
    BreakoutNoFrameskip-v4
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env BreakoutNoFrameskip-v4 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


なかなか的確にブロックを崩している様子を確認することができます。

Stable Baselines Zoo - 学習済みモデルのビデオ録画(Walker2DBulletEnv-v0)

Stable Baselines Zoo の学習済みモデルを実行した様子を、動画ファイルに保存する機能を使って Walker2DBulletEnv-v0環境 を実行します。

Walker2DBulletEnv-v0環境 は2次元の下半身(Walker2D)がまっすぐ歩く(Bullet)環境です。

(Ubuntu 19.10で動作確認しています。)

学習済みモデルのビデオ録画(Walker2DBulletEnv-v0)

次の条件で学習済みモデルのビデオ録画を実行します。

  • 環境
    Walker2DBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env Walker2DBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


下半身だけの物体がまっすぐ歩いている様子を確認できます。

Stable Baselines Zoo - 学習済みモデルのビデオ録画(HopperBulletEnv-v0)

Stable Baselines Zoo の学習済みモデルを実行した様子を動画ファイルに保存する機能を使って HopperBulletEnv-v0環境 を実行します。

HopperBulletEnv-v0環境 は何かがぴょんぴょん(Hopper)とまっすぐ進む(Bullet)環境です。(?)

(Ubuntu 19.10で動作確認しています。)

学習済みモデルのビデオ録画(HopperBulletEnv-v0)

次の条件で学習済みモデルのビデオ録画を実行します。

  • 環境
    HopperBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env HopperBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


片足の物体がぴょんぴょんとまっすぐ進んでいる様子を確認できます。

Stable Baselines Zoo - 学習済みモデルのビデオ録画(HalfCheetahBulletEnv-v0)

Stable Baselines Zoo の学習済みモデルを実行した様子を動画ファイルに保存する機能を使って HalfCheetahBulletEnv-v0環境 を実行します。

HalfCheetahBulletEnv-v0環境 は半分(Half)のチータ(Cheetah)が弾丸(Bullet)みたいに走る環境です。(!?)

(Ubuntu 19.10で動作確認しています。)

学習済みモデルのビデオ録画(HalfCheetahBulletEnv-v0)

次の条件で学習済みモデルのビデオ録画を実行します。

  • 環境
    HalfCheetahBulletEnv-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python3.7 -m utils.record_video --algo ppo2 --env HalfCheetahBulletEnv-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果


チータ(!?)に見えなくもない物体が、きちんと弾丸みたい(!?)走っている様子が確認できます。

Stable Baselines Zoo - 学習済みモデルのビデオ録画

Stable Baselines Zoo には、学習済みモデルを実行した様子を動画ファイルに保存する機能があります。

(Ubuntu 19.10で動作確認しています。)

前準備

動画ファイルを保存するために必要な ffmpeg コマンドをインストールしておきます。

1
sudo apt-get install ffmpeg

学習済みモデルのビデオ録画

次の条件で学習済みモデルのビデオ録画を実行します。

  • 環境
    MountainCar-v0
  • 学習アルゴリズム
    PPO2
  • ステップ数
    1000

[コマンド]

1
python -m utils.record_video --algo ppo2 --env MountainCar-v0 -n 1000

上記コマンドを実行すると、次のような動画ファイルが出力されます。


実行結果