自然言語処理の課題

自然言語処理の課題
出力の課題 : 「意味」とは ?
そもそも「意味」とは何か ?
それは、どう「表現」すべきか ? ( 良い表現方法があるなら、何故それを利用しない ? )
入力の問題 : 表現ルールが明確でない ( 人工言語との違い )
単語の意味はどうやって決める ? ( 膨大な辞書の必要性 )
文法はあっても、省略や、慣用句、流行語等、例外が多過ぎる ( 背景知識の必要性 )
処理の問題 : 単純なボトムアップ処理ではない ( 人工言語との違い )
文脈の理解が必要 (意味を考えて、聞き直す[バックトラック])
そもそも人間にも難しい ( 外国語の修得 )
cf. 「すもももももももものうち」、「ここではきものをぬぐ」、「time flies like an arrow」
自然言語処理の技術
形態素解析(語の切出し) : 文字列を区切、単語にする
構文解析(文法処理) : 単語の順番と組み合せによって、単語役割を決める
意味解析(意味の理解) : 言語表現から、意味を抽出
文脈解析(理解の再検討): 状況や知識から、言語表現の意味の調整