模倣学習では、専門家や上手な人の行動を記録しておいてそれと近い行動をとるようにエージェントを学習させます。
少ないデータで望ましい行動を短時間で学習させることができる模倣学習はとても重要な学習手法です。
模倣学習には２つの問題があります。
- 状態数が多い場合、上手な人の行動をとりきるのが困難になる。
- 行動を記録するのが難しい状態がある。
模倣学習の方法として次の4つがあります。
1.Forward Training
各タイムステップの個別戦略を作っておいてそれをつなぎ合わせて全体戦略とします。
単純な教師あり学習より実際の状態遷移分布に近いデータで各戦略を学習させることができます。
2.SMILe
複数の戦略を混合していく手法です。
最初の戦略は上手な人の行動だけから学習し、その後は学習した戦略を混ぜていきます。
3.DAgger
戦略ではなくデータを混ぜ合わせていき、そこから学習して戦略を作成していきます。
具体的には各ステップで得られた状態とその状態における上手な人の行動のペアを学習データに足していきます。
4.GAIL
上手な人の模倣を見破られないようにする手法です。
模倣する側と模倣を見破る側の２つのモデルが存在し、一方は模倣を行いもう一方は鑑定を行う設定で学習を行います。（敵対的学習）