言語認識技術の最近の動向

Transformar
文章を頭から処理するのではなく、まとめて処理
単語の出現順序 -> 単語間の距離
文章中の注目すべき単語に関する情報(アテンション)をデコーダからエンコーダに伝達
改良点
後ろの単語も利用できる ( 文脈の拡大 [バックトラック処理] )
並列処理が可能
転移学習
学習済みのモデルに、ネットワークを追加して追加学習させる
分野固有(基礎内容)の学習を再利用できる
CNN 部分の再利用
線素等の認識(フィルター)は、認識対象と独立と考えてよい
NN の前段は、学習が遅いので、その部分の再利用は効果的
色々な、「学習済み Model」が公開されている
GPT-3 (Generative Pre-trained Transformer - 3)
Transformar 形式の NN で、膨大な学習データで学習済み
色々なアプリケーションに応用可能