ニューロンの学習

ニューロンの学習
ニューロンの振舞い (入力 x1, x2,.., xk / 重み w1, w2, .., wk / 出力
y = f(x1,x2,..,xk) = F( Σ wi xi) [ F は活性化関数 ]
y は、xi の関数と定義されるが、wi の関数と見なす事ができる
ニューロンへの勾配降下法の適用
y の誤差を減らすには、wi をどう変化させれば良いか ?
f を wi で偏微分 ( wi 以外は定数と考えると、f は wi の一変数関数なので、それを wi で微分 )
微分の連鎖律の利用
y' = f'(wi) = F'(wi) * (Σ wi xi' )= F'(wi) * xi
更に F(x) = ReLU(x) ならば、F'(x) = 0 ( x < 0 ) または 1 ( x >= 0 )