進化戦略と遺伝的アルゴリズム

ニューラルネットワークの学習では勾配法が使われることが一般的ですが、勾配法とは違うアプローチとして「進化戦略」と「遺伝的アルゴリズム」があります。

進化戦略

パラメータを複数生成し、各パラメータを使った場合のモデルを評価します。
評価がよいものに近いパラメータをさらに生成し、評価を行うというプロセスを繰り返します。
（多くの候補から優秀なものを絞り込むというアプローチです）

遺伝的アルゴリズム

進化戦略と基本は同じですが、評価が高かったパラメータ同士を混ぜる（交叉）、ランダムなパラメータを入れる（突然変異）という操作を行います。