Konstruktion mentaler Repräsentationen bei der Verarbeitung von Text und Bildern

Computerbasierte Lernumgebungen ermoglichen die Nutzung unterschiedlicher Darstellungsformate und Sinnesmodalitaten. Dabei stellt sich die Frage, welche Unterschiede zwischen dem Lernen mit Hor- und Lesetexten bestehen und wie diese Unterschiede beeinflusst werden, wenn zusatzlich zum Text auch Bilder beim Lernen dargeboten werden. 72 Versuchspersonen nahmen an einem Experiment mit einem 2x2 Design mit den Faktoren Textmodalitat (Horen/Lesen) und Reprasentationsformat (nur Text/Text und Bilder) teil. Wie erwartet fuhrte eine Kombination von Text und Bildern zu einer elaborierteren Verarbeitung visuell-raumlicher Information und zu einem tieferen Verstandnis. Keine Unterschiede bezuglich der Prasentationsmodalitat konnten zwischen der reinen Text- und der Text- und Bildbedingung gefunden werden. Dagegen zeigte sich unter beiden experimentellen Bedingungen ein Vorteil fur das Horen gegenuber dem Lesen bei der Konstruktion visuell-raumlicher Reprasentationen. Als Erklarung fur diese Ergebnisse spielen Aspekte, die uber bisherige Annahmen der Cognitive Load Theorie beim Lernen mit Hor- und Lesetexten hinausgehen, eine wesentliche Rolle. Die Befunde weisen daraufhin, dass unterschiedliche Verarbeitungsprozesse beim Hor- und Leseverstehen fur visuell-raumliche Information im Arbeitsgedachtnis dazu fuhren, dass gerade bei visuell-raumlichen Inhalten das Hor- dem Leseverstehen uberlegen ist. (DIPF/Orig.) Computer-based learning environments allow to provide information by using different representational formats and sensory modalities. In the context of multimedia learning the question arises, what kind of differences exist between learning from written text and learning from spoken text and how these differences are modified by the additional presentation of pictures. 72 university students participated in an experiment with a 2x2 design including the factors text modality (written/spoken) and representational format (text only/text with pictures). As expected learning from a combination of text and pictures leaded to more elaborated visuo-spatial mental representations and to a deeper understanding of the content than learning from text alone. No different effects of the sensory modality were found between the text-only condition and the text-plus-picture condition. Instead, listening was superior to reading under both experimental conditions for the construction of visuo-spatial representations. The explanation of the results goes beyond previous explanations in the light of the cognitive load theory. The findings suggest that different processing conditions for listening and reading in the working memory are responsible for the effect that especially for visuo-spatial representations listening is more effective than reading. (DIPF/Orig.)

[1]  Gary J. Anglin,et al.  On Empirically Validating Functions of Pictures in Prose , 1987 .

[2]  Slava Kalyuga,et al.  Managing split-attention and redundancy in multimedia instruction , 1999 .

[3]  R. Mayer,et al.  A Split-Attention Effect in Multimedia Learning: Evidence for Dual Processing Systems in Working Memory , 1998 .

[4]  J. Müsseler,et al.  Influences of modality, text difficulty, and processing control on inferences in text processing , 1985 .

[5]  Walter Kintsch,et al.  Summarizing Stories After Reading and Listening. , 1977 .

[6]  David R. Olson,et al.  Memory and inference in the comprehension of oral and written discourse , 1978 .

[7]  W. Schnotz,et al.  Einflüsse der Visualisierungsform auf die Konstruktion mentaler Modelle beim Text- und Bildverstehen , 1999 .

[8]  Sharon K Tindall-Ford,et al.  When two sensory modes are better than one , 1997 .

[9]  C. Penney Modality effects and the structure of short-term verbal memory , 1989, Memory & cognition.

[10]  Margarete Imhof,et al.  Hören und Sehen. Behaltensrelevante Effekte von Illustrationen beim Zuhören , 1996 .

[11]  H. Tabbers,et al.  The modality of text in multimedia instructions:Refining the design guidelines. , 2002 .

[12]  Detlev Leutner,et al.  Aufmerksamkeitsverteilung oder Aufmerksamkeitsfokussierung? Empirische Ergebnisse zur "Split-Attention-Hypothese" beim Lernen mit Multimedia , 2001 .

[13]  M. D’Esposito Working memory. , 2008, Handbook of clinical neurology.

[14]  D. Rubin,et al.  Reading and listening to oral‐based versus literate‐based discourse , 2000 .

[15]  C. Habel,et al.  Zur Wahl des repräsentierten Raumausschnitts beim Aufbau mentaler Modelle während der Textrezeption , 1997 .

[16]  Klaus Stiller Navigation über Bilder und bimodale Textdarbietung beim computerbasierten Lernen , 2001, Z. für Medienpsychologie.

[17]  J. Sweller,et al.  Reducing cognitive load by mixing auditory and visual presentation modes , 1995 .

[18]  Manuela Paechter Auditive und visuelle Texte in Lernsoftware , 1997 .

[19]  Frank R. Hartman,et al.  Single and multiple channel communication: A review of research and a proposed model , 1961 .

[20]  Shaaron Ainsworth,et al.  The functions of multiple representations , 1999, Comput. Educ..

[21]  P. Chandler,et al.  THE SPLIT‐ATTENTION EFFECT AS A FACTOR IN THE DESIGN OF INSTRUCTION , 1992 .

[22]  A. Glenberg,et al.  Comprehension of illustrated text: Pictures help to build mental models☆ , 1992 .

[23]  M. Horowitz,et al.  Listening and Reading, Speaking and Writing: An Experimental Investigation of Differential Acquisition and Reproduction of Memory , 1967 .

[24]  H. Tabbers,et al.  Multimedia instructions and cognitive load theory: effects of modality and cueing. , 2004, The British journal of educational psychology.