Kritik an der Hattie-Studie „Visible Learning – Lernen sichtbar machen“

visible-learning-Hattie-Studie-von-John-Hattie

Der Stein des Anstoßes: Die Hattie-Studie „Visible Learning“

Bereits kurz nach der Veröffentlichung von John Hatties „Visible Learning“ äußerten sich einige Autoren kritisch. Die Kritik zielte insbesondere auf eine genaue Lesart des Textes ab, da der mediale Hype um John Hattie’s Forschungsergebnisse (vgl. Zitat: „Heiliger Gral„) und die politische Dimension der Debatte oft zu Verkürzungen führte.

Dies veranlasste Neuseeländische Bildungsforscher dazu, die Hattie-Studie genauer unter die Lupe zu nehmen. Ihre Kritik mit dem Titel Invisible Learnings? wurde im New Zealand Journal of Educational Studies veröffentlicht und hatte das erklärte Ziel „sicherzustellen, dass Diskussionen auf einer genauen Lektüre des Buches beruhen und nicht auf halbgaren ‚Reaktionen‘ in den Medien.“

Auch Klaus Zierer, der Übersetzer der deutschen Ausgabe der Hattie-Studie „Lernen sichtbar machen“, warnte kürzlich vor einem »Fast-Food-Hattie«. Annemarie von der Groeben, ehemalige didaktische Leiterin der Bielefelder Laborschule, befürchtete in Hinblick auf die Hattie-Studie, die schon vorab als „Klassiker“ gehandelt wird, „dass jeder daraus entnimmt, was zur eigenen Position passt.“

Die folgende Übersicht stellt einige Hauptkritikpunkte an der Hattie-Studie in der deutschen und internationalen Debatte zusammen, und möchte dazu motivieren, die demnächst auf deutsch erscheinende Hattie-Studie „Lernen sichtbar machen“ genau zu lesen und sich nicht nur auf Interpretationen in den Medien zu verlassen.

UPDATE (2016)

Wecker/Vogel/Hetmanek (2016): „Visionär und imposant – aber auch belastbar?“

Eine fundierte wissenschaftliche Auseinandersetzung mit den Grundprinzipien, der Datengrundlage und der methodischen Vorgehensweise haben die Autor*innen Christof Wecker, Freydis Vogel und Andreas Hetmanek durchgeführt und den Volltext auf Researchgate zur Verfügung gestellt. Ihr Fazit:  „[Hatties] Ansatz einer umfassenden Integration empirischer bildungswissenschaftlicher Forschung erweist sich als visionär, aber unter den gegenwärtigen Publikationsbedingungen wissenschaftlich solide nicht durchführbar.“ Sie schlagen als Lösung eine zentrale Datenbank mit Studienergebnissen der empirischen Bildungsforschung vor, in der die Daten standardisiert und in metaanalytisch verwertbarer Form zugänglich gemacht werden.

Der Artikel beginnt mit einer ausführlichen Diskussion der bisher vorliegenden Kritikpunkte. Anschließend untersucht das Autor*innenteam die methodischen Grundlagen einer Metaanalyse zweiter Stufe (Hattie spricht von einer Meta-Meta-Analyse bzw. Synthese von Meta-Analysen). Im nächsten Abschnitt kritisieren sie ausführlich als Hauptkritikpunkte die Datengrundlage sowie die Vorgehensweise. Diese Kritik ist hier stichpunktartig dargestellt (vgl. Wecker et al. Tab 1):

Kritikpunkte zur Datengrundlage (Meta-Analysen 1. Stufe):

  • Zwischen Metaanalysen wechselnde Verwendung von Cohens d oder Hedges’ g vs. Glass’ delta.
  • Verwendung des Standardfehlers anstelle der Standardabweichung Fehlende Gewichtung der Primärstudien nach ihrer Präzision
  • Fehlende Angaben zur Varianz der geschätzten gemeinsamen Effekt- stärke (Varianz, Standardfehler oder Konfidenzintervall)
  • Angabe der Standardabweichung der Primärstudieneffekte anstelle von Angaben zur Varianz (bzw. zum Standardfehler) der geschätzten gemeinsamen Effektstärke
  • Fehlende Primärstudientabelle
  • Fehlende Angaben in Primärstudientabelle, insbesondere zu Stichpro- bengrößen in Experimental- und Kontrollbedingungen

Kritikpunkte zur Vorgehensweise (Meta-Analysen zweiter Stufe)

  • Einschluss einzelner Effektstärkenschätzungen aus Metaanalysen erster Stufe, die auch Effekte auf Variablen jenseits des Leistungsbe- reichs einbeziehen
  • Fehlerhafte Zuordnung von Metaanalysen erster Ordnung zu den Einflussfaktoren
  • Verwendung des Korrelationskoeffizienten bei Zusammenfassung abhängiger Effektstärken innerhalb von Metaanalysen erster Stufe anstelle von Fishers Z-Werten
  • Fehlende Verwendung oder Berechnung des Standardfehlers trotz hinreichender Angaben in Metaanalysen erster Stufe
  • Fehlerhafte Berechnung des Standardfehlers aus Angaben zur Stan- dardabweichung der Effektstärken in Metaanalysen erster Stufe an- stelle von Angaben zur Stichprobengröße in den Primärstudien
  • Fehlende Berücksichtigung der statistischen Abhängigkeiten zwi- schen Metaanalysen erster Stufe mit sich überschneidenden Mengen von Primärstudien
  • Ungewichtete Zusammenfassung der Effektstärken aus den Metaana- lysen erster Stufe
  • Verwendung des arithmetischen Mittels der Standardfehler aus den Metaanalysen erster Stufe als Standardfehler der in der Metaanalyse zweiter Stufe ermittelten Effektstärkenschätzung
  • Verzicht auf Signifikanztests und Berechnung von Konfidenzinterval- len für die in der Metaanalyse zweiter Stufe ermittelten Effektstärken- schätzungen

FRÜHERE KRITIK (VOR 2016)

Invisible Learnings, eine Kritik der Hattie-Studie

ivan-snook-kritik-hattie-studie

Ivan Snook

Bemerkenswert ist, dass die Kritiker um den emeritierten neuseeländischen Pädagogik-Professor Ivan Snook1 an den meisten Stellen ihres Beitrags „Invisible Learnings“ Hattie selbst zu Wort kommen lassen, der bei genauer Lesart seines Buches „Visible Learning“ deutlich auch auf die Beschränkungen seiner Studie hinweist. Dies geht jedoch in der öffentlichen Debatte oft unter, weshalb die komprimierte Zusammenstellung möglicher Kritikpunkte als wichtige Hilfe bei der Lektüre des Buches und der begleitenden bildungspolitischen Debatte dienen kann. Folgende Punkte werden im einzelnen diskutiert:

(1) Die Kritiker hinterfragen die Methodik der Meta-Analyse: Darf sich eine Synthese von Meta-Studien dem Anspruch entziehen, die zugrundeliegenden Studien auf ihre Qualität und Validität zu prüfen? Sie hinterfragen auch die Interpretation der Effektstärke d, die in Visible Learning eine zentrale Rolle einnimmt: Wie lässt sich d in die Wirklichkeit übersetzen? D.h. ist ein laut Hattie kleiner Effekt von 0.2 in der Realität wirklich kaum beachtenswert. Die Kritik weist auch darauf hin, dass Mittelwerte die Komplexität im Unterricht verschleiern und aufgrund der Unterschiedlichkeit der verwendeten Studien die Gefahr besteht, Äpfel mit Birnen zu vergleichen. Eine große Schwierigkeit von Meta-Analysen ist es außerdem Variablen und Einflussgrößen klar zu definieren. Die Übertragbarkeit der Erkenntnisse auf andere Länder, als in den zugrundeliegenden Studien erforscht, ist nicht nachgewiesen.
(2) Hintergrund- und Kontextvariablen wie z.B. die soziale Herkunft spielen in „Visible Learning“ keine Rolle, worauf auch Hattie selbst explizit hinweist. Die Autoren der Kritik betonen jedoch, dass „politische Entscheidungen nicht isoliert von diesen Hintergrundvariablen abgeleitet werden können.“
(3) Die enge Sichtweise auf nur eine Dimension schulischen Lernens untersucht und interpretiert Lernerfolg als nichts anderes als messbare Lernergebnisse im kognitiven Bereich.
(4) Die Anwendbarkeit der Erkenntnisse im Unterrichtsalltag ist nur bedingt möglich: Wie Hattie selbst schreibt, kommen „die meisten erfolgreichen Effekte aus Innovationsprogrammen und diese Innovationseffekte sind evtl. nicht dieselben wie die Effekte von Lehrern im regulären Unterricht.“ Die Kritiker zitieren ein Innovationsprogramm PACE bei dem die Klassengröße künstlich klein gehalten wurde.
(5) Korrelation vs. Kausalzusammenhang: Auch hier lassen die Kritiker Hattie selbst zu Wort kommen, der in seiner Studie darauf hinweist: Obwohl das „fundamentale Wort in Meta-Analysen, Effekstärke, eine Kausalität behauptet (was ist der Effekt von a auf b), ist diese Behauptung oft nicht haltbar.“ Oder anders ausgedrückt: wenn etwas statistisch signifikant ist, bedeutet dies nicht unbedingt „Lehrer sollten dies tun“.
Zum Schluss werden zwei politische Implikationen detailliert kritisiert: der von Hattie behauptete geringe Effekt der Klassengröße und (Schüler)leistungsabhängige Bezahlung von Lehrkräften.

Kritik an der Hattie-Studie in Deutschland

Auch in Deutschland stößt die Hattie-Studie auf Kritik und auch diese bezieht sich oft auf den schwierigen Zusammenhang von wissenschaftlichen Erkenntnissen und politischen Entscheidungen.

ewald-terhart-hattie-studie-visible-learning-lernen-sichtbar-machen-kritik

Ewald Terhart

Bereits seit 2011 setzt sich der Münsteraner Pädagoge Ewald Terhart2 für eine kritische Auseinandersetzung mit den Erkenntnissen der Hattie-Studie ein. Sein Beitrag „Hat John Hattie tatsächlich den Heiligen Gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit Visible Learning“ unternimmt eine umfassende Kritik und Einordnung nicht nur der (empirischen) Methode der Hattie-Studie sondern auch von John Hatties (theoretischem) Verständnis von Unterricht. Am Ende kann Terhart seine Eingangsfrage klar verneinen. Endgültige Antworten liefert auch Hattie nicht, die Suche geht weiter.

georg-lind-kritik-hattie-studie

Georg Lind

Der Konstanzer Psychologe Georg Lind3 geht in seinem Beitrag „Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik.“ mit Hattie hart ins Gericht. Lind schreibt: „Die wichtigste Kritik richtet sich, so meine ich, a) gegen die Methode der Meta-Analyse selbst, b) gegen die Anlage und Analyse der empirischen Einzelstudien, auf die sich diese stützt, und c) gegen die Verabsolutierung von „Effekten“, ohne Abschätzung von Kosten und Ertrag.“ Er mahnt die Entscheidungträger: „Man kann aus Testdaten und auch aus Meta-Analysen, die darauf aufbauen, keine Politik „ablesen“. Man kann das richtige Wissen nur finden, wenn man sich auch gegensätzliche Meinungen anhört, auf gründlichen Analysen besteht und demokratische Maximen nicht außer Acht lässt.“

hans-brügelmann-kritik-hattie-studie

Hans Brügelmann

Der Siegener Grundschulpädagoge Hans Brügelmann4 untertitelt seine kritische Einordnung der Hattie-Studie mit „Metaanalysen: Nutzen und Grenzen von Allgemeinaussagen in der Bildungsforschung“. Seine Kritik zielt insbesondere darauf ab, dass Hatties Daten durch die Verdichtung und „die Ablösung von den konkreten Kontexten für Praxis weitgehend ihre Bedeutung verlieren.“ Er schätzt diese Verdichtung für einen Überblick über die Forschung und für bildungspolitische Entscheidungen jedoch als „verdienstvoll“ ein und schließt seinen Beitrag mit dem Hinweis: „Für Lehrer/innen bedeutet das: Jede Situation ist ein neuer Fall und bedarf einer eigenen Einschätzung. Die Durchschnittsbefunde aus (Meta-)Metanalysen können dafür hilfreiche Hypothesen liefern – aber keine Vorschriften.“

Kritik an der Hattie-Studie in Norwegen

arne-kare-topphol-kritik-hattie-studie

Arne Kåre Topphol

In Norwegen kritisierte Arne Kåre Topphol5 von der Hochschule Volda den Umgang mit statistischen Daten in der Bildungsforschung und fragt in einem Kommentar „Können wir uns auf den Gebrauch von Statistiken in der pädagogischen Forschung verlassen?“ Seine Kritik bezieht sich auf die mögliche fehlerhafte Verwendung von statistischen Methoden in der pädagogischen Forschung, insbesondere Hatties Gebrauch und Interpretation der Common Language Effect Size (CLE) (vgl. McGraw and Wong 1992). Er betont, dass diese Methodenkritik wahrscheinlich keinen Einfluss auf Hatties wissenschaftliche Schlussfolgerungen hat, da der Großteil der Erkenntnisse in Visible Learning nicht auf CLE beruht, sondern auf der Effektstärke d. Hattie bezeichnet in einer Antwort Topphols Kritik als „recht vernünftig“, klärt jedoch nicht vollständig auf, wieso die berichteten Werte für die Common Language Effect Size (CLE) in Visible Learning mitunter größer als 100% bzw. kleiner als 0% sind.6 Dies ist per definitionem unmöglich, da CLE eine Wahrscheinlichkeit beschreibt (zwischen 0%=unwahrscheinlich und 100%=sicher). Konkret beschreibt CLE die Wirkung einer Intervention als Wahrscheinlichkeit, dass eine zufällig ausgewählte Person aus dem Innovationsprogramm besser abschneidet, als ein zufällig ausgewähltes Mitglied der Kontrollgruppe. Es bleibt abzuwarten ob in der deutschen überarbeiteten Ausgabe diese fehlerhaften Werte angepasst wurden. Update: In der deutschen überarbeiteten Ausgabe „Lernen sichtbar machen“ wurden alle CLE-Werte korrigiert.

Literatur zur Hattie-Kritik

(1) Wecker, C., Vogel, F. & Hetmanek, A. (2016): Visionär und imposant – aber auch belastbar?. Zeitschrift für Erziehungswissenschaft 20, 21–40 (Volltext)

(2) Snook, O’Neill, Clark, et al. (2009) Invisible Learnings?: A Commentary on John Hattie’s Book – ‚Visible Learning: A Synthesis of Over 800 Meta-analyses Relating to Achievement‘. New Zealand Journal of Educational Studies, Vol. 44, No. 1, 2009: 93-106. (Abstract)
(3) Terhart, E. (2011): Hat John Hattie tatsächlich den Heiligen Gral der Schul- und Unterrichtsforschung gefunden? Eine Auseinandersetzung mit Visible Learning. (Volltext)
(4) Lind, G. (2013): Meta-analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik. (Volltext)
(5) Brügelmann, H. (2013): Die Hattie-Studie: Der heilige Gral der Didaktik?in Grundschule aktuell 121 – Februar 2013 (Volltext)
(6) Arne Kåre Topphol (2011): Kan vi stole på statistikkbruken i utdanningsforskinga? / Können wir uns auf den Gebrauch von Statistiken in der pädagogischen Forschung verlassen? in Norsk pedagogisk tidsskrift 06/2011: 460-470. (Weblink zur Diskussion zwischen Topphol und Hattie auf englisch)
(7) John Hattie (2008): Visible Learning. A synthesis of over 800 meta- analyses relating to achievement“ von John A. C. Hattie, London & New York: Routledge, 2008. Kritische Werte für CLE in Appendix A, S. 263ff (Buchbesprechung)

hattie-studie-visible-learning-for-teachers-lernen-sichtbar-machen-fuer-lehrpersonen-deutsche-ausgabevisible-learning-german-hattie-studie-deutsch-lernen-sichtbar-machenWeiterlesen: Die deutsche Ausgabe von John Hatties Buch „Visible Learning“ erschien 2013 im Schneider Verlag. Sie können die Hattie-Studie „Lernen sichtbar machen“ auf Amazon bestellen. Das darauf aufbauende Handbuch für Lehrkräfte „Visible Learning for Teachers“ erscheint 2014 in deutscher Übersetzung. Sie können das Buch „Lernen sichtbar machen für Lehrpersonen“ auf Amazon vorbestellen.
6 Kommentar auf “Kritik an der Hattie-Studie „Visible Learning – Lernen sichtbar machen“
  1. Tom Jork sagt:

    Sehr lobenswert, dass auf dieser Seite derart ausführlich auf die Kritik an der Metaanalyse eingegangen wird. Das zeigt, dass hier tatsächlich versucht wird, sich sachlich mit dem Thema auseinanderzusetzen. Leider wird (wie es weiter oben auch schon erwähnt wird) aus den statistischen Werten ein Leitfaden für die Politik herausgelesen. Schade, denn wenn man sich die Mühe macht, findet man durchaus Studien, die bereits darauf angelegt sind, bestimmte Fragen hinsichtlich des deutschen Bildungssystems zu beantworten. Ein auffälliges Besipiel ist die Frage nach dem Nutzen des Sitzenbleibens. Hier in Deutschland gab es bereits 2004 eine Studie des RWI, welches genau diese Frage untersuchte und dem Sitzenbleiben einen sehr viel größeren Effekt zuschreibt als die entsprechende Kennzahl der Hattie-Analyse. Auch ich kann deshalb nur die Macher dieser Seiten in Ihrem Aufruf unterstützen, dass man sich selbst ein Bild von der Analyse machen sollte – und das gilt für alle Studien, die immer wieder gerne zur Rechtfertigung politischer Programme/Ideologien herangezogen werden.

    • Washbrook sagt:

      Hallo Tom Jork,
      ihr Beispiel vom Sitzenbleiben geht leider in die Hose: Julia Krohne undKlaus-Jürgen Tillmann (Fakultät für Erziehungswissenschaft der Universität Bielefeld) haben die von Ihnen angeführte Studie des RWI heftig kritisiert: Sie arbeite „mit theoretisch äußerst dürftigen Argumenten“ und „erhebliche methodische Zeifel“ seien angebracht. Davon abgesehen, gebe ich Ihnen Recht: Es gibt genaue Einzelstudien für die unterschiedlichsten Unterrichtskonzepte, auf die wir zurückgreifen können und – so wir genügend Zeit dafür erübrigen können – auch sollten. Nur scheint es auch bei Menschen wie Ihnen und mir erkenntnisleitende Interessen zu geben, die uns die eine Studie (die uns bestätigt) lesen lassen und die andere (die unserer Meinung widerspricht) nicht.
      Freundliche Grüße

      • Tom Jork sagt:

        Danke für die Antwort – mir war die Kritik an der RWI-Studie nicht bekannt, werde sie mir aber genauer ansehen. Da stehen wir wieder vor dem Dilemma: Zu jeder Meinung gibt es eine passende Studie und zu jeder Studie mind. einen scharfen Kritiker und Zweifler an der Wissenschaftlickeit. Worauf sollte man also seine Meinung gründen, wenn man nicht zum Ideologen werden möchte.
        Nebenbei: Wie geht Hattie mit der grundlegenden Infragestellung der Wissenschaftlichkeit seiner Studie um (Vgl. Georg Lind)?

  2. Auch ich danke für die sachliche Darstellung unterschiedlicher Sichtweisen – und für die Mühe, diese breit gestreuten Reaktionen auf Hattie an einer Stelle zusammenzuführen. Empfehlen möchte ich ergänzend Heft 7 (39. Jg, 2013) von „Lehren und Lernen“, das in sechs Beiträgen die unterschiedlichen Einschätzungen gut zusammenfasst.

  3. Hans Brügelmann sagt:

    Bin gerade erst über einen Kommentar von Heike Schmoll in der FAZ auf die kritischen Analysen von
    Schulmeister, R./ Loviscach, J. (2014): Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. In: SEMINAR, H. 2/2014, 121-130, und Lehren&Lernen, H. 9/2014, 33-39. [Zsfg in Schulmeister, R./ Loviscach, J. (2014): Fehler in John Hatties „sichtbarem Lernen“. Download: http://www.lehrerfreund.de/schule/1s/hattie-studie-kritik/4572 ] gestoßen.
    Sie machen an einer Reihe von ausgewählten „Tiefenbohrungen“ deutlich, welche Verkürzungen bei der Verdichtung der Basisstudien passieren können – und passiert sind.

4 other websites write about für "Kritik an der Hattie-Studie „Visible Learning – Lernen sichtbar machen“"
  1. […] mich über meine eigene Meinung hinaus zu einem fast vollendeten Umdenken bewogen: Das eine ist die Antwort auf meinen Kommentar zur wissenschaftlichen Kritik an der Hattie-Studie, das andere ist ein Artikel zum Thema Sitzenbleiben auf […]

  2. […] Übersicht zur Kritik an der Hattie-Studie "Visible Learning" […]

  3. […] Zusammenstellung zu den Hauptpunkten der Kritik an der Hattie-Studie in der deutschen und internationalen Debatte. Es lohnt sich, Hattie genau zu lesen.  […]

  4. […] Voor een keurig overzicht van de receptie in Duitsland klik hier. […]

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*

CAPTCHA Code *