ニューロンの学習

ニューロンの振舞い
            w0
        1  ---->  1 * w0 --+
            w1             |
        x1 ----> x1 * w1 --+--> s = w0 + Σ wk * xk --> ReLU --> y
            ..            ..
            wk             |
        xk ----> xk * wk --+
                             y = ReLU( s ) = ReLU( x0 + Σ wk * xk )

重み wi の影響
wi を少しだけ変更した時、y がどれだけ変化するか([偏]微分の考え方)
y >= 0 の時、( s が xi に比例して変化し、その結果 y も ) xi に比例
y < 0 の時、( s は xi に比例して変化するが、y の方は ) 変化無し
ニューロンの学習 ( wi をどう修正すべきか ? )
y の誤差 (e[誤差] = y[予想値] - 正解値) を小くするように wi を修正
wi' = wi - e * xi * h ( h は修正幅 / xi の値は wi の影響の大きさ )