Stable Baselines① - 概要とインストール

Stable Baselines は、OpenAI が提供する「強化学習アルゴリズム」の実装セット OpenAI Baselines の改良版です。

最新の強化学習アルゴリズムを含む複数のアルゴリズムがサポートされており、インターフェースやドキュメントなどが整理され、使いやすい実装になっていることが大きな特徴です。

Stable Baselines - https://github.com/hill-a/stable-baselines

以下の強化学習アルゴリズムをサポートしています。

  • A2C
  • ACER
  • ACKTR
  • DDPG
  • DQN
  • GAIL
  • HER
  • PPO1
  • PPo2
  • TPRO
  • SAC
  • TD3

Stable Baselinesのインストール

Stable Baselines をインストールするには次のコマンドを実行します。

1
2
3
4
pip install stable-baselines[mpi]
pip install tensorflow=1.14.0
pip install pyqt5
pip install imageio

Windowsを使用している場合は、Microsoft MPI のインストールも必要となります。

Microsoft MPI v10.0 - https://www.microsoft.com/en-us/download/details.aspx?id=57467

MPI（Message Passing Interface） とは、並列コンピューティングを利用するために標準化された規格および実装です。

Stable Baselines では「DDPG」「GAIL」「PPO1」「TRPO」のマルチプロセッシングの実装に MPI が使用されています。