Language Processing Neural Network with Additional Learning

We propose a vector conversion method of words and a language processing neural network (LPNN) with additional learning. A vector conversion method is a technique of generating word vector. The LPNN receives Japanese texts, and outputs or infers the knowledge that related to the inputs. The LPNN can learn inputs, even if the first learning process is completed. We carried out several kinds of computer simulations to confirm validity and effectiveness of the network. 本論文ではこれらの問題を解決するために, 新し い単語ベクトル生成法と追加学習可能な言語処 理ニューラルネットワーク(LPNN : Language Processing Neural Network)を提案する. 単語の ベクトル表現化によって, 学習に用いなかった単 語もネットワークで扱うことが可能となった. ま た, 追加学習にも対応している. 1. はじめに 言語は,人間の高度な知的活動である思考や類 推などの中心となっている. また, 他者とのコミ ュニケーションも言語が主な媒体である. 従って, コンピュータが自然言語を扱うことができ, また 記憶や推論などの機能を行うことができれば, 知 的情報処理システムとしての利便性は飛躍的に 向上すると考えられる. これまでに, 自然言語処理のために様々な手法 が発表されている [1]-[3] .その代表例には Fillmoreの格文法やSchankの概念依存モデルが ある[1]. しかし, これらは記号論的な手法であり, 類似性などの表現が困難などの問題点がある. 一方, 人間の脳に関する様々な研究が行われる と共に, 脳が持つ情報処理機能を様々な分野へ応 用する試みがなされている[4]-[8]. これらの研究 はボトムアップな手法で,ニューラルネットワー クに代表されるような類似性の表現などが可能 な手法である. 言語や概念を扱うニューラルネッ トワークに関しては, ニューラルネットワークの パターン情報処理能力, 帰納的学習能力, 汎化能 力を生かす研究[6]-[8]などがある. 例えば田中ら は, 長さに依存せずに文章データを扱うことがで きる, 文章概念記憶ニューラルネットワーク[7] を提案した. しかし, 文献[7]では文章は扱えるも のの, 単語そのものの意味の扱いは行えなかっ た. 以下, 2.では単語ベクトル生成法と LPNN につ いての詳細な解説を示し, 3.では評価実験および その結果を, 4.で結論を述べる. 2. 提案ネットワーク 2.1. ネットワークの概要 図 1 に提案ネットワークの概要を示す. LPNN では, 入力された自然言語を前処理によって三つ 組という形に分解される. そして, 単語ベクトル 生成法によって得られたベクトル表現の形に変 換され, LPNN に入力される. LPNN は, 入力に 関連する三つ組を想起し出力することができ, 更 にその出力を用いて推論することができる. 単語 をベクトル表現に変換しているので, 学習に使用 していない未知の単語による推論も可能となっ ている. 図 1 ネットワークの流れ そこで, 片岡らは自然言語を入力とする推論可 能なニューラルネットワーク[8]を提案した. こ のモデルにより, 自然言語文の文単位での処理と, 単語を用いた推論の同時的な扱いが可能となっ た. しかし, 単語の扱い方に大きな問題があり, 学習に使用した単語以外は使用することができ なかった. また, 学習の機会も初めの一回のみで, 人のように新たな知識を追加で学習することが 不可能であった. WD2-3 24th Fuzzy System Symposium (Osaka, September 3-5, 2008)