Predicting Word Fixations in Text with a CRF Model for Capturing General Reading Strategies among Readers

Human gaze behavior while reading text reflects a variety of strategies for precise and efficient reading. Nevertheless, the possibility of extracting and importing these strategies from gaze data into natural language processing technologies has not been explored to any extent. In this research, as a first step in this investigation, we examine the possibility of extracting reading strategies through the observation of word-based fixation behavior. Using existing gaze data, we train conditional random field models to predict whether each word is fixated by subjects. The experimental results show that, using both lexical and screen position cues, the model has a prediction accuracy of between 73% and 84% for each subject. Moreover, when focusing on the distribution of fixation/skip behavior of subjects on each word, the total similarity between the predicted and observed distributions is 0.9462, which strongly supports the possibility of capturing general reading strategies from gaze data. Title and Abstract in Japanese 人の一般的な文章理解戦略を捉えるための CRFモデルを用いた文章中の単語注視予測 人間が文章を読む際の視線行動には、正確かつ効率的に読むための様々な戦略が反映されて いる。しかしながら、その戦略を視線データから抽出し、自然言語処理技術に取り入れると いう可能性に関しては、これまでほとんど研究されて来なかった。本研究では、この可能性を 研究するための第一歩として、単語ベースの注視行動の観察を通して文章理解戦略の抽出可 能性を調査する。我々は既存の視線データを用い、各単語が被験者によって注視されるかど うかを予測する条件付き確率場モデルを訓練する。実験では、語彙情報と画面位置情報を手 がかりにすることで、このモデルが各被験者に対して 73%から 84%の予測精度を与えること が示される。さらに、各単語に対する被験者間の注視/スキップの分布に着目すると、予測 された分布と実際に観察された分布との全体的な近似度は 0.9462であることが示され、視線 データから一般的な文章理解戦略を捉えうる可能性を強く裏付ける実験結果となっている。