Phonological Awareness Intervention Research: A Critical Review of the Experimental Methodology

The methodological rigor of 39 studies of phonological awareness intervention was evaluated based on internal and external validity criteria. The internal validity criteria encompassed general design characteristics, measurement, and statistical treatment, while the external validity criteria included research hypotheses, participant selection and description, and generalization and maintenance measures. The most serious methodological flaws observed in many of the studies were (a) nonrandom assignment of participants to conditions; (b) failure to control for Hawthorne effects by providing alternate interventions to control groups; (c) insufficient or nonexistent assurance of fidelity of treatment; (d) poor measurement sensitivity; and (e) inadequately described samples. Only seven studies met two thirds or more of all the evaluative criteria, although all of these investigations demonstrated at least one fatal flaw. The reported findings are compared with those of two similar methodological reviews. Suggestions for improvement of future intervention research are provided. El rigor metodologico de 39 estudios de intervencion en conciencia fonologica fue evaluado sobre la base de criterios de validez interna y externa. Los criterios de validez interna comprendieron caracteristicas generales de diseno, mediciones y tratamiento estadistico, en tanto que los criterios de validez externa incluyeron las hipotesis de la investigacion, la seleccion y descripcion de los participantes y la generalizacion y mantenimiento del efecto fuera de la situacion experimental. Las fallas metodologicas mas serias observadas en muchos de los estudios fueron (a) no asignar al azar a los participantes a las distintas condiciones; (b) ausencia de control de los efectos Hawthorne, al proveer intervenciones alternativas a los grupos de control; (c) insuficiencia o ausencia de certeza en la exactitud del tratamiento; (d) escasa sensibilidad de las mediciones y (e) muestras descriptas inadecuadamente. Solo siete estudios reunieron dos tercios o mas de todos los criterios de evaluacion, aunque todas estas investigaciones demostraron al menos una falla fatal. Los hallazgos reportados se comparan con los de dos revisiones metodologicas similares. Se hacen sugerencias para mejorar las futuras investigaciones de intervencion. Die methodologische Rigorositat von 39 Studien phonologischer Eingriffe zur Bewusheitsforderung wurde aufgrund intern und extern gultiger Kriterien bewertet. Die intern angewandten Bewertungskriterien schliesen generelle Auslegungscharakteristiken, Bemessung und statistische Behandlung bzw. Auswertung ein, wahrend die extern gultigen Kriterien Forschungshypothesen, Teilnehmerauswahl und Beschreibung, sowie Allgemein- und Aufrechterhaltungsmasnahmen einschliesen. Der schwerwiegendste methodologische Tadel an beobachteten Fehlern bei vielen der Studien lag in (a) nicht-wahllose Bestimmung der den Bedingungen unterworfenen Teilnehmer; (b) Versaumen von Kontrollen gemas den Hawthorne Effekten durch Einfugen alternativer Eingriffe zur Kontrolle der Gruppen; (c) unzureichende oder nicht existierende Zusicherung der genauen Gleichbehandlung der Mittel; (d) geringe Beimessung an Einfuhlungsvermogen; und (e) mangelhafte Beschreibung der Muster. Lediglich sieben Studien erfullten zwei Drittel oder mehr aller Bewertungskriterien, obwohl alle diese Untersuchungen mindestens einen entscheidenden Fehler aufwiesen. Die berichteten Ergebnisse wurden mit jenen aus zwei methodologisch ahnlichen Rezensionen verglichen. Es wurden Verbesserungsvorschage fur zukunftige vermittelnde Forschung angemerkt. On a evalue la rigueur methodologique de 39 etudes d'interventions relatives a la conscience phonetique en se basant sur des criteres de validite interne et externe. Les criteres de validite interne comprennent les caracteristiques generales du plan experimental, la mesure, le traitement statistique, tandis que les criteres de validite externe incluent les hypotheses de recherche, la selection et la description des participants, les mesures concernant la generalisation et le maintien. Les points faibles les plus serieux observes dans de nombreuses etudes ont ete: a) repartition non aleatoire des partici pants dans les conditions experimentales; b) manque de controle de l'effet Hawthorne en faisant alterner les interventions des groupes controle; c) fidelite du traitement insuffisante ou inexistante; d) sensibilite de la mesure faible; e) echantillons decrits de maniere inadequate. Seules sept etudes satisfont a au moins deux tiers de la totalite des criteres d'evaluation, mais toutes presentent neanmoins au moins un defaut fatal. Les resultats obtenus sont compares avec deux etudes de methodologie. Le texte presente des suggestions pour ameliorer les futures interventions de recherche.