勾配降下法

勾配降下法 : 微分可能な関数 y=f(x) の極小値を求める方法
微分係数 : f'(a) = lim (f(a+h)-f(a))/h = lim (f(a+h)-f(a))/((a+h)-h)
x を a から a+h に変化させた時の f の変化 f(a+h)-f(a) は、近似的に f'(a) に比例する
f'(a) を利用して、y の誤差から x の誤差が計算できる(逆伝播)
解の候補 a を利用して、次の候補 a' を a' = a + h f'(a) で改良 ( h は学習率 / f' は f の微分 )
f'(x) が x に対する y の変化の割合
f'(x) が 0 になる方向に x を修正する
特に、f'(x) > 0 なら減らし、f'(x) < 0 なら増やす (f'(x) = 0 は答え)
欠点
最小値ではなく、極小値になる可能性がある(Local Minimum 問題)
学習率が大きいと発散し、小さいと収束が遅い
確率的勾配降下法
学習率を調整して、発散せずに、収束を速くする工夫