Effects of Picture Labeling on Science Text Processing and Learning: Evidence From Eye Movements

This study investigated the effects of reading a science text illustrated by either a labeled or unlabeled picture. Both the online process of reading the text and the offline conceptual learning from the text were examined. Eye-tracking methodology was used to trace text and picture processing through indexes of first- and second-pass reading or inspection. Fifty-six sixth graders were randomly assigned to one of three reading conditions (text with a labeled illustration, text with an unlabeled illustration, or text only) in a pretest, immediate posttest, and delayed posttest design. Results showed no differences for factual knowledge as a function of reading condition. However, for the transfer of knowledge at both posttests, readers of the text with the labeled illustration outperformed readers in the other two conditions, who did not differentiate from each other. Eye-fixation data showed that the labeled illustration promoted more integrative processing of the learning material, as revealed by the time spent refixating text segments while reinspecting the illustration. In addition, relations emerged between the indexes of integration of text and picture during online processing and the offline measures of factual knowledge and transfer of knowledge. Overall, in accordance with the theoretical assumptions of the multimedia principle, the study underlines the crucial role of integrative processing of words and graphics to sustain learning from illustrated text. Moreover, the study indicates that this integrative processing can be effectively supported by appropriate visual signaling. 本研究调查有标记或无标记的插图对阅读科学文本的影响。研究者考查在线的文本阅读和离线的文本概念学习过程;通过追视测验方法记录首次和第二次注视时间指数,追踪阅读者对文本和图片阅读或捡视的处理过程。56名小学六年级学生被随机分配到三组阅读环境(有标记插图的文本、无标记插图的文本,或无插图的文本),以实验前测、即时后测和延迟后测的设计进行研究。研究结果显示,以事实知识作为阅读环境的函数时,并无发现任何差异。然而,在两个后测中,有标记插图文本的阅读者,在知识转移表现上,均优胜于其他两组的阅读者,而其他两组的表现并无差异。眼球注视资料揭示阅读者在重新检视插图时重新注视文本分节所用的时间,这些资料说明,有标记插图能促进阅读者对学习材料作更多的综合性处理。此外,在线的文本阅读时综合处理文本与图像的指数,与离线的事实知识习得和知识转移的表现成绩,两者之间出现关联。总的来说,本研究依据多媒体理原则的理论假设,强调文字与图像的综合处理,在支援插图文本的阅读学习上所起的关键作用。本研究亦指出,适当的视觉信号可以有效地支援这种综合处理过程。 Este estudio investigo el efecto de leer un texto cientifico con ilustraciones con o sin leyendas. Se examinaron tanto el proceso de leer el texto en la red como el aprendizaje conceptual de aprendizaje del texto. Se uso la metodologia de seguir el movimiento de los ojos para seguir la pista del procesamiento del texto y las ilustraciones por medio de indices de la lectura de primera y segunda instancia o inspeccion. Cincuenta y seis estudiantes de sexto grado fueron escogidos al azar para participar en una de tres condiciones de lectura (un texto con una ilustracion con leyenda, un texto con una ilustracion sin leyenda, o solo el texto) en un pre examen, un pos examen de inmediato, y un pos examen atrasado. Los resultados no mostraron ninguna diferencia en cuanto al conocimiento de los datos como funcion de la condicion de lectura. Sin embargo, para la transferencia del conocimiento en ambos pos examenes, los lectores del texto con ilustraciones con leyendas salieron mejor que los de las otras dos condiciones, los cuales no mostraron diferencias entre si. Los datos sobre el movimiento ocular mostraron que las ilustraciones con leyendas promovieron un procesamiento mas integrado del material a ser aprendido, como visto por el tiempo pasado en reconcentrarse en los segmentos de texto mientras se volvia a ver la ilustracion. Ademas, surgieron relaciones entre los indices de integracion del texto y la ilustracion durante el procesamiento en la red y las medidas fuera de la red del conocimiento de hechos y transferencia del conocimiento. En conjunto, de acuerdo con las teorias asumidas de los principios de multimedia, este estudio subraya el rol importante del procesamiento integrado de palabras e ilustraciones para apoyar el aprendizaje por medio de textos ilustrados. Ademas, el estudio indica que este procesamiento integrado puede ser efectivamente apoyado por el senalamiento visual apropiado. استقصت هذه الدراسة تأثيرات قراءة نص علمي مصور بصورة معلمة أو غير معلمة. وقد تم فحص كل من عملية قراءة النص على الشابكة والتعلم المفاهيمي لدى النص خارج الشابكة. وتم استخدام طريقة متابعة العيون لتقصص أثر معالجة النص والصورة من خلال مؤشرات المرور الأول والثاني أو المعاينة. وقد تم تعيين ستة وخمسين طالبا في الصف السادس الابتدائي عشوائيا في حالة من ثلاث حالات قرائية (نص صوره معلمة، ونص وصوره غير معلمة، ونص مجرد) في نموذج اختبار قبلي واختبار بعدي مباشر واختبار بعدي متأخر. وأشارت النتائج إلى عدم وجود اختلافات فيما يتعلق بمعرفة حقيقية كوظيفة حالة القراءة. ومع ذلك، وبخصوص نقل المعرفة في كل من الاختبارين البعدين، أداء قراء النص ذات الصور المعلمة تجاوز أداء القراء في الحالتين الأخرين الذين لم يتميزوا عن بعضهم بعضا. وقد بينت معطيات تثبيت العيون أن الصور المعلمة دعمت معالجة المواد التعلمية أكثر تكاملا كما تبينت بقضاء الوقت في إعادة تثبيت قطع النص بينما تمت إعادة النظر في الصورة. وبالإضافة إلى ذلك، ظهرت علاقات بين مؤشرات تكامل النص والصورة أثناء المعالجة على الشابكة ومقاييس المعرفة الحقيقية خارج الشابكة ونقل المعرفة. عموما ووفقا للافتراضات النظرية لدى مبدأ المواد المتعدد الأوساط فإن الدراسة تؤكد دور المعالجة المتكاملة الحاسم للكلمات والصور لمؤازرة التعلم من نص مصور. وفوق هذا، تشير الدراسة إلى أن هذه المعالجة المتكاملة تستطيع دعمها إشارات بصرية ملاءمة. Aвтopы пpoaнaлизиpoвaли peзyльтaты чтeния нayчнoгo тeкcтa, cнaбжeннoгo иллюcтpaциeй c пoдпиcью или бeз пoдпиcи. Иccлeдoвaлиcь пpoцeccы чтeния oнлaйн и oфлaйн (нa элeктpoнныx и бyмaжныx нocитeляx). Meтoд, пoзвoляющий oтcлeживaть движeниe глaзa, иcпoльзoвaлcя, чтoбы ycтaнoвить, кaк пpoиcxoдит oбpaбoткa тeкcтoвoй инфopмaции и видeopядa: yчитывaлиcь индeкcы пepвичнoгo и пoвтopнoгo пpoчтeния и пpocмoтpa. Иcпытyeмым (yчaщимcя шecтoгo клacca, N=56)пpeдлaгaлocь пpoчитaть тeкcт в oднoм из тpex вapиaнтoв: тeкcт c пoдпиcaннoй иллюcтpaциeй, тeкcт c нeпoдпиcaннoй иллюcтpaциeй, тeкcт бeз иллюcтpaции. Пpoвepкa знaний ocyщecтвлялacь дo чтeния, нeпocpeдcтвeннo пocлe нeгo и пo пpoшecтвии знaчитeльнoгo вpeмeни. Peзyльтaты нe пoкaзaли пpямoй зaвиcимocти пoлyчeнныx знaний oт ycлoвий чтeния. Teм нe мeнee, в oбoиx зaключитeльныx тecтax дeти, paбoтaвшиe c тeкcтoм c пoдпиcaннoй иллюcтpaциeй, пoкaзaли бoлee выcoкиe peзyльтaты, нeжeли двe дpyгиe гpyппы, чьи peзyльтaты дpyг oт дpyгa нe oтличaлиcь. Дaнныe aппapaтypы, фикcиpoвaвшeй движeния глaз, cвидeтeльcтвyют o тoм, чтo пoдпиcь пoд иллюcтpaциeй cпocoбcтвoвaлa бoлee цeльнoмy ycвoeнию yчeбнoгo мaтepиaлa – cyдя пo вpeмeни, пoтpaчeннoмy нa пepecмoтp ceгмeнтoв тeкcтa пpи пoвтopнoм пpocмoтpe иллюcтpaции. Кpoмe тoгo, oбнapyжилacь cвязь мeждy пoкaзaтeлями цeльнocти вocпpиятия тeкcтa и иллюcтpaтивнoгo мaтepиaлa пpи paбoтe oнлaйн, c oднoй cтopoны, и oфлaйн-зaмepaми фaктичecкиx знaний yчeникoв и cпocoбaми иx пepeдaчи, c дpyгoй. B цeлoм, в cooтвeтcтвии c тeopeтичecкими пoлoжeниями o пpинципax мyльтимeдийнocти, иccлeдoвaниe пoдчepкивaeт вaжнocть цeльнoгo вocпpиятия cлoв и гpaфики для пoлyчeния знaний из иллюcтpиpoвaннoгo тeкcтa. Кpoмe тoгo, иccлeдoвaниe yкaзывaeт, чтo coчeтaниe тeкcтa c иллюcтpaциями мoжeт эффeктивнo пoддepживaтьcя cooтвeтcтвyющими визyaльными cигнaлaми. Cette etude porte sur la lecture d'un texte scientifique illustre par une image avec ou sans etiquette. Nous avons examine a la fois le processus de lecture en ligne et, hors ligne, l'apprentissage conceptuel issu du texte. Nous avons utilise une strategie d'observation du regard et de traitement de l'image au moyen d'indices de lecture et d'inspection lors d'un premier et d'un second passage. Nous avons reparti au hasard cinquante-six eleves de 6e dans chacune des trois conditions de lecture (textes avec illustration etiquetee, texte avec illustration non etiquetee, ou texte uniquement) dans un plan comportant un pretest, un post-test immediat et un post-test differe. Les resultats n'ont pas presente de differences de connaissances factuelles en fonction de la condition de lecture. Cependant, en ce qui concerne le transfert de connaissances aux deux post-tests, les lecteurs du texte avec etiquette ont depasse les lecteurs des deux autres conditions, qui ne se distinguent pas l'un de l'autre. Les donnees relatives aux fixations de l’œil montrent que l'illustration avec etiquette favorise un processus plus integratif du materiel d'apprentissage, comme le montre le temps passe a fixer a nouveau des segments de texte en reinspectant les illustrations. De plus, des relations ont emerge entre les indices d'integration du texte et de l'image lors du traitement en ligne et les mesures hors ligne de connaissance factuelle et de transfert de connaissance. De maniere globale, en accord avec les positions theoriques du principe multimedia, l’etude souligne le role crucial du traitement integratif de mots et des illustrations en faveur d'un apprentissage a partir d'un texte illustre. En outre, l’etude indique que ce processus integratif peut etre soutenu efficacement par un signalement visuel adequat.