全ての学習終了後，重みを固定してネットワークの出力を調べた．ネットワークは次に
来る単語を予測して出力することを学習したが，この予測問題には不確定性があり，
完全に正しい予想をするのは不可能である．
例えば，
boy who dogs
という文が
提示されたとき，次に来るのはchase，feed，hear，see，whoの5種類の内どれかを
特定することはできない．よって，ネットワークはそれぞれの単語に対応するユニット
を，次にその単語が提示されるであろう確率に沿って活性化させることになる．
そこで，Elman (1991) と同様に，ネットワークの出力がその確率をどれだけよく
近似できているかどうかを調べた．まず，学習時の最終セットで使用したのと同様の
単文12500個，複文37500個からなる文集合を新たに生成する．次に，一つの文を
構成する各単語に対して，その単語までの文の部分列を与えられたときの次の各単語の
出現確率をその文集合から統計的に計算し，ベクトルとして表す．そして，計算した
確率ベクトルと，ネットワークが同じ文の部分列を与えられたときの出力との
平均コサインを計算する．結果，平均コサインは0.82となった．ネットワークの
出力ユニットをすべて同じくらいだけ活性化させた場合の確率ベクトルとの
平均コサインは0.41であるので，ネットワークは次にどの単語が提示されるかを
よく予測できていることが分かる．
一方，一つ前の入力の格関係については不確定性はないので，ネットワークは 一つ前の入力が主格か目的格かによって一意的に主格ユニットか目的格ユニットを 活性化させることになる．ネットワークの格関係判定の平均誤差を上記と同様の 方法で求めると0.002となり，ネットワークがほぼ完全に格関係判定を学習している ということが分かる．
これらのシミュレーションはネットワークの結合加重の初期値を変えて20例試みた． その結果，学習のためのエポック数に5-20の変動はあったものの，全てのネットワーク で同様の結果が得られた．
ただし，ここまでの方法ではネットワークが具体的にどのような文法規則にそって
予測を行っているかが分かりづらい．そこで実際にネットワークが学習に使用した
単語を文法カテゴリ別に分け，ネットワークがどの文法カテゴリに属する単語を
予測しているかを，各単語に対応する出力ユニットのカテゴリ別総和をとってグラフに
図示する (Elman, 1991)．
| S | ： | ピリオド | ||
| W | ： | who | ||
| V2N | ： | 目的語不可の自動詞 (複数形・原形) | ||
| V2R | ： | 目的語必須の他動詞 (複数形・原形) | ||
| V2O | ： | 目的語可の動詞 (複数形・原形) | ||
| V1N | ： | 目的語不可の自動詞 (三人称単数現在形) | ||
| V1R | ： | 目的語必須の自動詞 (三人称単数現在形) | ||
| V1O | ： | 目的語可の自動詞 (三人称単数現在形) | ||
| PN | ： | 固有名詞 | ||
| N2 | ： | 複数名詞 | ||
| N1 | ： | 単数名詞 | ||
| SUB | ： | 主格 | ||
| OBJ | ： | 目的格 |
まず，ネットワークが平叙文を正しく学習しているかどうかを見る．
図![[*]](cross_ref_motif.gif)
から
図までは，
boy who dogs chase feeds cats
という文をネットワークに入力したときの
ネットワークの出力を，カテゴリ別に示したものである (各省略記号の説明は，
表を参照すること)．
ネットワークはboyに対応するのは三人称単数形の動詞で
ある (図，図) が，
dogsに対応するのは複数形の動詞であること (図)，
関係節の動詞はboyを目的語として取らなければならないので自動詞であっては
ならないこと (図)，feedsは他動詞なので次に
目的語が来るが (図)，他動詞chaseの
目的語はboyなので次に目的語は来ないこと，catsの次はピリオドか関係節が
来ること (図) 等を学習
できている．また，一つ前の入力が主語なら主格ユニットを活性化
させ (図，図)，
一つ前の入力が目的語なら目的格ユニットを活性化
させる (図) ことによって，文中の単語の格関係を
正しく判断できている．
次に，does boy who chases dog feed cats?という文をネットワークに提示したときの
出力を図から
図までに示す．疑問文では，
主節の主語と対応する動詞は原形だが，関係節の中の動詞は主節と単数複数が
一致していなければならない．
また，文の最後はピリオドではなく？で終わる．図と
図から，ネットワークは主節の主語と
対応する動詞は原形であることを学習していることが分かる．
また，関係節中の動詞は主語boyに対応して三人称単数形
である (図) ということを学習しているということも
分かる．さらに図より，関係詞whoは関係節
の主語であるということを，主格ユニットを活性化させることによって判定するなど，
格関係も正しく判定している．
今度は，ネットワークに疑問詞whoによって主節の主語または目的語を問う疑問文を
提示したときのネットワークの出力を示す．図から
図は文who chases catsをネットワークに
提示したときの出力，図から
図は，
文who does boy who Mary chases feed?を提示したときのネットワークの出力である．
まず，ネットワークはwhoが文頭に来たときは主節の主語または目的語を問う
疑問文であるので，三人称単数形の動詞か疑問詞が次に来るということを
予測している (図)．また，疑問詞whoの次に動詞が続くとwhoは
主節の主語であるため主格であるが (図)，助動詞が
続くとwhoは目的格である (図) ということも，判定
できている．さらに，文が主節の目的語を問う疑問文なら主節の動詞は自動詞では
ないことや (図)，にも
かかわらず，主節の動詞は目的語を
取らないこと (図)，なども
学習している．