"Diese Studien werfen mehr Fragen auf, als sie Antworten geben"

Bildungsforscherin Gundel Schümer kritisiert, dass in Deutschland internationale Schulvergleichsstudien wie PISA überschätzt werden - und auch politisch missbraucht

Heute erscheint die neue Ausgabe der OECD-Studie „Bildung auf einen Blick“, eine Art jährlicher Qualitätsvergleich der verschiedenen Bildungssysteme. Sie als Bildungsforscherin halten die Aussagekraft von solchen Vergleichen für gering – warum?

Gundel Schümer: Seit Ende der 50er, Anfang der 60er Jahre gibt es solche Vergleichsstudien. Am Anfang bezogen sie sich zunächst auf Daten, die in den einzelnen Ländern vorlagen, also zum Beispiel auf die Art der Schulabschlüsse und die Anteile der verschiedenen Absolventen. Es hat sich aber schnell herausgestellt, dass diese Daten nicht vergleichbar sind, und man begann, den „Output“ der Schulen verschiedener Länder zu messen. Ein weiteres Problem ist, dass in der politischen Debatte suggeriert wird, mit den Ergebnissen von Studien wie PISA ließen sich politische Maßnahmen sozusagen wissenschaftlich begründen. Es ist außerordentlich schwierig, interkulturell aussagekräftige Tests zu entwickeln, international vergleichbare Stichproben zu bilden. Und vor allem auch den Kontext, in dem die Leistungen stattfinden, international vergleichbar zu erfassen. Aber diese Studien beweisen nichts. Sie sagen nichts darüber, wie man ein Bildungssystem gestalten muss. Sie werfen höchstens Fragen auf und regen zum Nachdenken an.

Aber die Ergebnisse von PISA, wo zum Beispiel die mathematischen Fähigkeiten verglichen werden, sind doch eindeutig ...

Gundel Schümer: Ich würde nicht sagen, dass Untersuchungen wie TIMSS oder PISA keinen Sinn haben. Sie sind außerordentlich anregend, sie taugen eher dazu, dass wir die Systeme anderer Länder ernst nehmen, dass wir uns sozusagen von ihnen inspirieren lassen. Es geht eben auch anders als hierzulande! Aber kausale Zusammenhänge, also warum die Schul- und Unterrichtsorganisation in dem oder jenem Land zu diesen oder jenen Ergebnissen führt, lassen sich aus den Befunden nicht ableiten. Ohnehin sagt ja jeder verantwortliche Empiriker, dass sich solche Zusammenhänge nur mithilfe von Längsschnittstudien, nicht aber mithilfe von Querschnittstudien wie PISA oder TIMSS aufdecken lassen.

Warum ist es denn so schwierig, Bildungssysteme miteinander zu vergleichen?

Gundel Schümer: Als die International Association for the Evaluation of Educational Achievement (IEA) in den frühen 60er Jahren anfing, solche Studien zu machen, herrschte unter Bildungsforschern die naive Vorstellung, man könnte nun endlich die Welt als Laboratorium benutzen und die Wirkungen der verschiedenen institutionellen Rahmenbedingungen miteinander vergleichen. In manchen Ländern kommen die Kinder schon mit vier in die Schule, in anderen erst mit sieben, und so weiter. Nun dachte man, man könne den Effekt der unterschiedlichen Bedingungen auf die Lernerfolge prüfen. Das geht aber nicht, weil zum Beispiel die Erziehung in den Elternhäusern kulturell unterschiedlich ist, weil es in manchen Ländern verpflichtende Kindergärten gibt, aber in anderen nicht, weil der Unterricht in den einzelnen Ländern unterschiedlich gestaltet wird, weil die Ausbildung und die Arbeitsbedingungen der Lehrer verschieden sind und so weiter und so weiter. Die Frage nach dem „idealen Einschulungsalter“ oder nach der „besten Schul- und Unterrichtsorganisation“, lässt sich nicht mit internationalen Vergleichsstudien herausfinden.

Was Schüler können, ist das Ergebnis langjähriger Lernprozesse, die sich innerhalb und außerhalb der Schulen abspielen. Die verschiedenen Einflüsse lassen sich nicht so einfach messen und von einander abgrenzen. Den Tests der PISA-Studien liegen nicht die Lehrpläne der Länder zugrunde, sondern es wurde ein Mindestmaß an Fähigkeiten im Lesen, Rechnen und den Naturwissenschaften definiert, Fähigkeiten, die man eben in einer modernen Industriegesellschaft braucht. Aber da sollte die Diskussion eigentlich anfangen, nicht aufhören: Ist das alles, was wir den 15-Jährigen vermitteln wollen oder gibt es noch weitere wichtige Lernziele?

Sie kritisieren auch die „Zweitverwertung“ der Daten internationaler Schulleistungsvergleiche durch Bildungsökonomen wie beispielsweise Ludger Wößmann vom Münchner IFO – Institut.

Gundel Schümer: An den ökonomischen Studien ist ärgerlich, dass die Wissenschaftler nicht viel von Schule und Unterricht verstehen, die Schulsysteme der verglichenen Länder nicht kennen und mit Daten rechnen, deren Bedeutung sie nicht einschätzen können. Rechnen können Bildungsökonomen ganz vorzüglich, alles sehr raffiniert, aber das nützt nichts, wenn man die Ergebnisse nicht interpretieren kann! Diese Wissenschaftler kommen nicht aus der Pädagogik, sondern aus der Wirtschaftswissenschaft. Dabei finde ich es eigentlich außerordentlich positiv, dass sie sich für die Bildung interessieren. Leider schauen sie überhaupt nicht, wie die Daten, mit denen sie rechnen, von der IEA bzw. der OECD ausgewertet wurden und wie die anderen Bildungswissenschaften mit ihnen umgehen.

Es gibt keinen positiven Effekt der Privatschulen auf die Leistungen der Schüler

.

Ludger Wößmann will beispielsweise herausgefunden haben, dass die Klassengröße keinen nennenswerten Einfluss auf den Lernerfolg hat.

Gundel Schümer: So etwas kommt heraus, wenn man nur die mathematischen Leistungen von Schülern in siebten und achten Klassen betrachtet und mit den Klassengrößen korreliert! Man muss aber auch schauen, wie die Kinder erzogen werden, welche Lerngeschichte sie haben, welche Methoden die Lehrer einsetzen und wie sie ihren Unterricht gestalten. Nicht alles, was im Mathematikunterricht der Sekundarstufe I möglich ist, ist auch in anderen Fächern und Altersgruppen möglich. Lesen oder Sprachen lernen oder der Unterricht mit kleinen Kindern verlangt andere Klassengrößen. Wie groß Klassen sein können, hängt außerdem auch vom sozialen Hintergrund der Schüler ab. Fragen Sie Eltern oder Lehrer, wie wichtig die Klassengröße ist! An den Betroffenen geht man total vorbei.

Was halten sie von der Forderung nach mehr Privatschulen, weil diese besser seien als die staatlichen?

Gundel Schümer: In einem Kommentar zu bildungsökonomischen Veröffentlichungen, den ich zusammen mit Manfred Weiß geschrieben habe, sind wir dieser Frage nachgegangen. Ludger Wößmann hat ja auch errechnet, dass Schülerinnen und Schüler in den Ländern besser seien, in denen es mehr Privatschulen gibt, weil der Wettbewerb zwischen beiden Schulformen sich angeblich positiv auf das ganze Schulsystem auswirke. Die Zusammensetzung der Schülerschaft in öffentlichen und privaten Schulen ist bei diesen ökonomischen Untersuchungen allerdings nicht angemessen berücksichtigt worden.

Man kann bei dieser Frage nicht einfach mit Durchschnitten rechnen, sondern muss Schulen mit vergleichbarer Zusammensetzung der Schülerschaft miteinander konfrontieren, d.h. Schulen mit vergleichbaren Anteilen an Jungen, an Migranten und an Schülern der verschiedenen sozialen Schichten. Statistiker sprechen vom „Matchen“. Wenn man also private und öffentliche Schulen „matcht“, dann zeigt sich ein anderes Bild, es gibt nämlich gar keinen positiven Effekt der Privatschulen auf die Leistungen. Wenn sie besser dastehen, liegt es daran, dass sie andere Schüler haben.