言語などの時系列処理をニューラルネットでいかに行わせるかは重要な課題である. Elman (1990) は,Jordan (1986) の 再帰ニューラルネットワークを拡張し,時間の及ぼす 影響を,潜在的にネットワーク内に表現することで,通常の多層パーセプトロンの ネットワークに時系列を処理する能力を持たせた.Jordanのネットワークでは,出力層 の出力を隠れ層にフィードバックすることによって,ネットワークが一時刻前に自分が どんな行動をとったかということを知ることができた.一方,Elmanは,一時刻前の 隠れ層の内容を文脈層 (ワーキングメモリ) に保存し,それを次の入力と共に隠れ層に フィードバックするElmanネットを提案した.このネットワークは,単純再帰ネット ワーク (Simple Reccurent Network以後SRNと略す) とも呼ばれており,隠れ層の フィードバックにより,前回までの入力情報を,正しい出力を得るために必要な形で 表現し,保存して次回の処理に利用することができる.このElmanネットは強力な 時系列処理の能力を持ち,様々な分野で応用されている.
また,ElmanはこのSRNに文を構成する単語を系列データとして次々と提示し,単語を 提示するごとに,次に提示される単語を予測させることによって,関係節を含む複雑な 文章の文法構造 (ここでは統語範疇の線的配列規則) を学習させられることを 示した[ElmanElman1991].この研究で重要な点は,次の2点である.第一に,外部から 明示的に教師信号を与えられなくても,予測学習によって正しい文法構造を学ぶことが できるということを示したこと.第二にネットワークは最初から複雑な文を提示された 場合,その文法構造を学習することができず,まず関係節を含まない単純な文のみを 学習させ,それから徐々に関係節を含む文を増やして学習させることが必要であること である.
しかし,子供が実際に文法を獲得していく過程では簡単な文から徐々に複雑な文を提示 されることはありえない.そこで彼は,ネットワークのワーキングメモリ容量に制限を 与え,その容量を徐々に増やすことによって最初から複雑な文を学習させても正しく 学習できることを示し,ワーキングメモリの成長と子供が容易に言語を獲得できること に関連性があることを示唆している[ElmanElman1993].
これらのElmanの研究では,基本的に特別な教師信号なしにネットワークが統語範疇の 線的配列規則を学習可能であることを示した点で高く評価できる.しかし,たとえば 疑問文などに関しては検討が得られていないばかりでなく,他の統語知識に関しても 同一のネットワークで学習可能かどうかということに対しては全く触れられていない.
統語知識の中で重要な部分として,文脈によらない文法的カテゴリーの配列規則と同時 に格関係がある1.これまでElmanが検証して きた統語範疇の線的配列以外の統語知識である格関係が同様のネットワークで獲得可能 であるかどうかを検討することは言語獲得という点からきわめて重要である.また, 統語知識の一つである格関係は単に単語系列から学習できるものではない.これは, 視覚情報のような他の種類の情報によって学習されるはずである.例えば, 子供はA chase Bという文とAがBを追いかけている情景をみることによって格関係を 理解する.したがって本研究では,このような視覚情報が格関係学習の際の教師信号と して与えられるとして,同一のネットワークで統語範疇の線的配列規則と格関係の規則 が同時に学習可能かを検討した.また,ネットワークに学習させる文自体も,平叙文の 疑問形や疑問詞whoによって主語や目的語を問う疑問文を含ませた.疑問文では,文頭 の助動詞と文末の?の対応や疑問詞whoによる主語や目的語の統語範疇の配列の変化等の ように, 平叙文には存在しない遠い関係や,主語の単数複数に加え疑問文であるかないか の違いによる動詞の変化など,より複雑な制約が存在する.ネットワークはこれらを 各単語の格関係と共に学習しなければならない.