Kritik an der Hattie-Studie „Visible Learning – Lernen sichtbar machen“

Der Stein des Anstoßes: Die Hattie-Studie „Visible Learning“

Bereits kurz nach der Veröffentlichung von John Hatties „Visible Learning“ äußerten sich einige Autoren kritisch. Die Kritik zielte insbesondere auf eine genaue Lesart des Textes ab, da der mediale Hype um John Hattie’s Forschungsergebnisse (vgl. Zitat: „Heiliger Gral„) und die politische Dimension der Debatte oft zu Verkürzungen führte.

Dies veranlasste Neuseeländische Bildungsforscher dazu, die Hattie-Studie genauer unter die Lupe zu nehmen. Ihre Kritik mit dem Titel Invisible Learnings? wurde im New Zealand Journal of Educational Studies veröffentlicht und hatte das erklärte Ziel „sicherzustellen, dass Diskussionen auf einer genauen Lektüre des Buches beruhen und nicht auf halbgaren ‚Reaktionen‘ in den Medien.“

Auch Klaus Zierer, der Übersetzer der deutschen Ausgabe der Hattie-Studie „Lernen sichtbar machen“, warnte kürzlich vor einem »Fast-Food-Hattie«. Annemarie von der Groeben, ehemalige didaktische Leiterin der Bielefelder Laborschule, befürchtete in Hinblick auf die Hattie-Studie, die schon vorab als „Klassiker“ gehandelt wird, „dass jeder daraus entnimmt, was zur eigenen Position passt.“

Die folgende Übersicht stellt einige Hauptkritikpunkte an der Hattie-Studie in der deutschen und internationalen Debatte zusammen, und möchte dazu motivieren, die demnächst auf deutsch erscheinende Hattie-Studie „Lernen sichtbar machen“ genau zu lesen und sich nicht nur auf Interpretationen in den Medien zu verlassen.

UPDATE (2016)

Wecker/Vogel/Hetmanek (2016): „Visionär und imposant – aber auch belastbar?“

Eine fundierte wissenschaftliche Auseinandersetzung mit den Grundprinzipien, der Datengrundlage und der methodischen Vorgehensweise haben die Autor*innen Christof Wecker, Freydis Vogel und Andreas Hetmanek durchgeführt und den Volltext auf Researchgate zur Verfügung gestellt. Ihr Fazit:  „[Hatties] Ansatz einer umfassenden Integration empirischer bildungswissenschaftlicher Forschung erweist sich als visionär, aber unter den gegenwärtigen Publikationsbedingungen wissenschaftlich solide nicht durchführbar.“ Sie schlagen als Lösung eine zentrale Datenbank mit Studienergebnissen der empirischen Bildungsforschung vor, in der die Daten standardisiert und in metaanalytisch verwertbarer Form zugänglich gemacht werden.

Der Artikel beginnt mit einer ausführlichen Diskussion der bisher vorliegenden Kritikpunkte. Anschließend untersucht das Autor*innenteam die methodischen Grundlagen einer Metaanalyse zweiter Stufe (Hattie spricht von einer Meta-Meta-Analyse bzw. Synthese von Meta-Analysen). Im nächsten Abschnitt kritisieren sie ausführlich als Hauptkritikpunkte die Datengrundlage sowie die Vorgehensweise. Diese Kritik ist hier stichpunktartig dargestellt (vgl. Wecker et al. Tab 1):

FRÜHERE KRITIK (VOR 2016)

Invisible Learnings, eine Kritik der Hattie-Studie

Ivan Snook

Bemerkenswert ist, dass die Kritiker um den emeritierten neuseeländischen Pädagogik-Professor Ivan Snook¹ an den meisten Stellen ihres Beitrags „Invisible Learnings“ Hattie selbst zu Wort kommen lassen, der bei genauer Lesart seines Buches „Visible Learning“ deutlich auch auf die Beschränkungen seiner Studie hinweist. Dies geht jedoch in der öffentlichen Debatte oft unter, weshalb die komprimierte Zusammenstellung möglicher Kritikpunkte als wichtige Hilfe bei der Lektüre des Buches und der begleitenden bildungspolitischen Debatte dienen kann. Folgende Punkte werden im einzelnen diskutiert:

(1) Die Kritiker hinterfragen die Methodik der Meta-Analyse: Darf sich eine Synthese von Meta-Studien dem Anspruch entziehen, die zugrundeliegenden Studien auf ihre Qualität und Validität zu prüfen? Sie hinterfragen auch die Interpretation der Effektstärke d, die in Visible Learning eine zentrale Rolle einnimmt: Wie lässt sich d in die Wirklichkeit übersetzen? D.h. ist ein laut Hattie kleiner Effekt von 0.2 in der Realität wirklich kaum beachtenswert. Die Kritik weist auch darauf hin, dass Mittelwerte die Komplexität im Unterricht verschleiern und aufgrund der Unterschiedlichkeit der verwendeten Studien die Gefahr besteht, Äpfel mit Birnen zu vergleichen. Eine große Schwierigkeit von Meta-Analysen ist es außerdem Variablen und Einflussgrößen klar zu definieren. Die Übertragbarkeit der Erkenntnisse auf andere Länder, als in den zugrundeliegenden Studien erforscht, ist nicht nachgewiesen.
(2) Hintergrund- und Kontextvariablen wie z.B. die soziale Herkunft spielen in „Visible Learning“ keine Rolle, worauf auch Hattie selbst explizit hinweist. Die Autoren der Kritik betonen jedoch, dass „politische Entscheidungen nicht isoliert von diesen Hintergrundvariablen abgeleitet werden können.“
(3) Die enge Sichtweise auf nur eine Dimension schulischen Lernens untersucht und interpretiert Lernerfolg als nichts anderes als messbare Lernergebnisse im kognitiven Bereich.
(4) Die Anwendbarkeit der Erkenntnisse im Unterrichtsalltag ist nur bedingt möglich: Wie Hattie selbst schreibt, kommen „die meisten erfolgreichen Effekte aus Innovationsprogrammen und diese Innovationseffekte sind evtl. nicht dieselben wie die Effekte von Lehrern im regulären Unterricht.“ Die Kritiker zitieren ein Innovationsprogramm PACE bei dem die Klassengröße künstlich klein gehalten wurde.
(5) Korrelation vs. Kausalzusammenhang: Auch hier lassen die Kritiker Hattie selbst zu Wort kommen, der in seiner Studie darauf hinweist: Obwohl das „fundamentale Wort in Meta-Analysen, Effekstärke, eine Kausalität behauptet (was ist der Effekt von a auf b), ist diese Behauptung oft nicht haltbar.“ Oder anders ausgedrückt: wenn etwas statistisch signifikant ist, bedeutet dies nicht unbedingt „Lehrer sollten dies tun“.
Zum Schluss werden zwei politische Implikationen detailliert kritisiert: der von Hattie behauptete geringe Effekt der Klassengröße und (Schüler)leistungsabhängige Bezahlung von Lehrkräften.

Kritik an der Hattie-Studie in Deutschland

Auch in Deutschland stößt die Hattie-Studie auf Kritik und auch diese bezieht sich oft auf den schwierigen Zusammenhang von wissenschaftlichen Erkenntnissen und politischen Entscheidungen.

Ewald Terhart

Bereits seit 2011 setzt sich der Münsteraner Pädagoge Ewald Terhart² für eine kritische Auseinandersetzung mit den Erkenntnissen der Hattie-Studie ein. Sein Beitrag „Hat John Hattie tatsächlich den Heiligen Gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit Visible Learning“ unternimmt eine umfassende Kritik und Einordnung nicht nur der (empirischen) Methode der Hattie-Studie sondern auch von John Hatties (theoretischem) Verständnis von Unterricht. Am Ende kann Terhart seine Eingangsfrage klar verneinen. Endgültige Antworten liefert auch Hattie nicht, die Suche geht weiter.

Georg Lind

Der Konstanzer Psychologe Georg Lind³ geht in seinem Beitrag „Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik.“ mit Hattie hart ins Gericht. Lind schreibt: „Die wichtigste Kritik richtet sich, so meine ich, a) gegen die Methode der Meta-Analyse selbst, b) gegen die Anlage und Analyse der empirischen Einzelstudien, auf die sich diese stützt, und c) gegen die Verabsolutierung von „Effekten“, ohne Abschätzung von Kosten und Ertrag.“ Er mahnt die Entscheidungträger: „Man kann aus Testdaten und auch aus Meta-Analysen, die darauf aufbauen, keine Politik „ablesen“. Man kann das richtige Wissen nur finden, wenn man sich auch gegensätzliche Meinungen anhört, auf gründlichen Analysen besteht und demokratische Maximen nicht außer Acht lässt.“

Hans Brügelmann

Der Siegener Grundschulpädagoge Hans Brügelmann⁴ untertitelt seine kritische Einordnung der Hattie-Studie mit „Metaanalysen: Nutzen und Grenzen von Allgemeinaussagen in der Bildungsforschung“. Seine Kritik zielt insbesondere darauf ab, dass Hatties Daten durch die Verdichtung und „die Ablösung von den konkreten Kontexten für Praxis weitgehend ihre Bedeutung verlieren.“ Er schätzt diese Verdichtung für einen Überblick über die Forschung und für bildungspolitische Entscheidungen jedoch als „verdienstvoll“ ein und schließt seinen Beitrag mit dem Hinweis: „Für Lehrer/innen bedeutet das: Jede Situation ist ein neuer Fall und bedarf einer eigenen Einschätzung. Die Durchschnittsbefunde aus (Meta-)Metanalysen können dafür hilfreiche Hypothesen liefern – aber keine Vorschriften.“

Kritik an der Hattie-Studie in Norwegen

Arne Kåre Topphol

In Norwegen kritisierte Arne Kåre Topphol⁵ von der Hochschule Volda den Umgang mit statistischen Daten in der Bildungsforschung und fragt in einem Kommentar „Können wir uns auf den Gebrauch von Statistiken in der pädagogischen Forschung verlassen?“ Seine Kritik bezieht sich auf die mögliche fehlerhafte Verwendung von statistischen Methoden in der pädagogischen Forschung, insbesondere Hatties Gebrauch und Interpretation der Common Language Effect Size (CLE) (vgl. McGraw and Wong 1992). Er betont, dass diese Methodenkritik wahrscheinlich keinen Einfluss auf Hatties wissenschaftliche Schlussfolgerungen hat, da der Großteil der Erkenntnisse in Visible Learning nicht auf CLE beruht, sondern auf der Effektstärke d. Hattie bezeichnet in einer Antwort Topphols Kritik als „recht vernünftig“, klärt jedoch nicht vollständig auf, wieso die berichteten Werte für die Common Language Effect Size (CLE) in Visible Learning mitunter größer als 100% bzw. kleiner als 0% sind.⁶ Dies ist per definitionem unmöglich, da CLE eine Wahrscheinlichkeit beschreibt (zwischen 0%=unwahrscheinlich und 100%=sicher). Konkret beschreibt CLE die Wirkung einer Intervention als Wahrscheinlichkeit, dass eine zufällig ausgewählte Person aus dem Innovationsprogramm besser abschneidet, als ein zufällig ausgewähltes Mitglied der Kontrollgruppe. Es bleibt abzuwarten ob in der deutschen überarbeiteten Ausgabe diese fehlerhaften Werte angepasst wurden. Update: In der deutschen überarbeiteten Ausgabe „Lernen sichtbar machen“ wurden alle CLE-Werte korrigiert.

Literatur zur Hattie-Kritik

(1) Wecker, C., Vogel, F. & Hetmanek, A. (2016): Visionär und imposant – aber auch belastbar?. Zeitschrift für Erziehungswissenschaft 20, 21–40 (Volltext)

(2) Snook, O’Neill, Clark, et al. (2009) Invisible Learnings?: A Commentary on John Hattie’s Book – ‚Visible Learning: A Synthesis of Over 800 Meta-analyses Relating to Achievement‘. New Zealand Journal of Educational Studies, Vol. 44, No. 1, 2009: 93-106. (Abstract)
(3) Terhart, E. (2011): Hat John Hattie tatsächlich den Heiligen Gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit Visible Learning. (Volltext)
(4) Lind, G. (2013): Meta-analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik. (Volltext)
(5) Brügelmann, H. (2013): Die Hattie-Studie: Der heilige Gral der Didaktik?in Grundschule aktuell 121 – Februar 2013 (Volltext)
(6) Arne Kåre Topphol (2011): Kan vi stole på statistikkbruken i utdanningsforskinga? / Können wir uns auf den Gebrauch von Statistiken in der pädagogischen Forschung verlassen? in Norsk pedagogisk tidsskrift 06/2011: 460-470. (Weblink zur Diskussion zwischen Topphol und Hattie auf englisch)
(7) John Hattie (2008): Visible Learning. A synthesis of over 800 meta- analyses relating to achievement“ von John A. C. Hattie, London & New York: Routledge, 2008. Kritische Werte für CLE in Appendix A, S. 263ff (Buchbesprechung)

Weiterlesen: Die deutsche Ausgabe von John Hatties Buch „Visible Learning“ erschien 2013 im Schneider Verlag. Sie können die Hattie-Studie „Lernen sichtbar machen“ auf Amazon bestellen. Das darauf aufbauende Handbuch für Lehrkräfte „Visible Learning for Teachers“ erscheint 2014 in deutscher Übersetzung. Sie können das Buch „Lernen sichtbar machen für Lehrpersonen“ auf Amazon vorbestellen.

Lernen sichtbar machen: Welche Erfahrungen haben Sie gemacht?