RNN (回帰/再帰 NN ) とは

自然言語処理固有の特徴
言葉は、頭から順に与えられる
後ろの言葉の意味は、それまでの表現(文脈)によって決る(cf. 指示語)
RNN (Recurrent Neural Network) とは
従来のNN (CNN, RNN に対して DNN と呼ぶ) に、一つ前の結果を反映させる
DNN では、データが一方向(入力から出力/浅い方から深い方)にしか流れない
RNN では、一つ前のデータの処理結果が、次のデータの処理の付加情報として入力に入る(回帰/再帰)
人間の「記憶能力」をモデル化 ( CNN は「感覚器」のモデル化 )
RNN のインパクト
自然言語処理固有の特徴となる「文脈(過去の入力の履歴)」の利用を実現
DL による自然言語処理の道筋を付けた
RNN の問題点 : 「文脈」として、「事前」しかみていない (「事後」は.. ?)
単語間の距離が離れると影響力が小くなってしまう
NN の構造的な問題 ( BP でも問題になった.. )
データを頭からみてゆく(逐次処理)
並列化が難しい (学習速度の低下につながる)