Sind PISA-Testergebnisse pure Ideologie?

Tests wie beispielsweise der PISA-Test zur Erfassung des Lernerfolges bei Schülern sind hochkomplexe Produkte. Sie werden in mehreren Stufen nach international anerkannten, wissenschaftlichen Kriterien konstruiert. Das Gebiet der "Testkonstruktion" ist ein eigenständiger Forschungsbereich innerhalb der Sozialwissenschaften wie beispielsweise der Psychologie.

Solch ein Test, ob nun der PISA-Test oder einer der bekannten IQ-Tests (beispielsweise der Hamburg-Wechsler-IQ-Test), ist ein wissenschaftlich austariertes Messinstrument. Sozialwissenschaftler haben das Problem, dass es für das, was sie messen wollen (also beispielsweise Lernerfolg oder Intelligenz), keine physikalischen Messapparaturen wie Thermometer, Barometer, Hydrometer und dergleichen gibt. Sozialwissenschaftler müssen sich deshalb ihre Messapparate selber bauen. Und genau diese Fragenkataloge oder Leistungs- oder Wissenstests sind die Messapparate der Sozialwissenschaftler.

Genau wie ein Thermometer oder Barometer geeicht werden muss, so muss bei den sozialwissenschaftlichen Tests sichergestellt sein, dass sie genau sind. "Genau" heißt in diesem Fall, dass sie tatsächlich das messen, was sie messen sollen und dass sie zuverlässig messen, also nicht mal in einer Situation empfindlicher als Messinstrument reagieren und in anderen Situationen nicht "anschlagen". Wenn ein Thermometer also statt der Temperatur den Luftdruck messen würde, wäre das schlecht. Außerdem wäre es schlecht, wenn ein Thermometer in Deutschland genauer funktionieren würde als in Frankreich. Bezogen auf sozialwissenschaftliche Tests heißt das beispielsweise, dass bei einem IQ-Test erfasst werden soll, wie schnell jemand denken kann und nicht, welches Vorwissen er mitbringt, wieviel jemand weiß. Die PISA-Tests hingegen wollen messen, wieviel jemand lernen konnte. Der PISA-Test interessiert sich also im Gegensatz zu einem IQ-Test für das Wissen, das jemand erlernt hat. Wenn ein IQ-Test oder ein PISA-Test nun in einem Land genauer messen würde als in einem anderen Land, dann wäre das schlecht. Auch wenn ein IQ-Test oder ein PISA-Test gestern etwas anderes messen würden als heute, wäre das schlecht. Genauso wie es schlecht wäre, wenn ein Thermometer heute die Temperatur korrekt anzeigt, morgen jedoch nicht mehr. Man könnte in diesem Fall die Temperaturmessungen nicht mehr über mehrere Tage miteinander vergleichen und könnte keine Aussagen darüber treffen, ob sich beispielsweise die Durchschnittstemperatur in den letzten Wochen erhöht hat oder nicht.

Sozialwissenschaftliche Tests sind also Messinstrumente. Anders jedoch als Messinstrumente, die physikalische Eigenschaften messen, ist ihre Konstruktion weitaus komplizierter.

So werden beispielsweise die einzelnen Items eines Tests mit statistischen Methoden daraufhin überprüft, ob sie alle unterschiedliche Aspekte des abzufragenden Themas messen. Man möchte ja beispielsweise beim PISA-Test nicht das Wissen in Geschichte dutzendmal in mehreren Items abfragen, mathematisches Wissen jedoch nur in einer Aufgabe oder einem Item. Außerdem müssen die Fragen verständlich sein und beim PISA-Test müssen die Frage-Items oder Leistungstests so konstruiert sein und so vielfältig sein, dass man mit ihnen auch die unterschiedlichen Ausprägungen des Wissens und des Lernerfolges messen kann. Es nutzt nichts, wenn man am Ende vorwiegend Kinder hat, die entweder alle Aufgaben lösen konnten (weil sie zu einfach waren) oder gar keine Aufgaben lösen konnten (weil sie zu schwierig waren).

Sozialwissenschaftliche Tests unterlaufen aus diesen Gründen eine Reihe von Vortests, in denen man Teile des Gesamttestes ausprobiert an Testpersonen, um die Fragen und Items und Leistungstests anschließend weiter zu justieren und den Test zu verändern.

Es ist außerdem nicht unüblich, als "fertig" bezeichnete Tests doch noch einmal Jahre später zu korrigieren und feinzujustieren, um bessere Messergebnisse zu bekommen.

Wird bei einer solchen nachträglichen Justierung jedoch der Test noch einmal erheblich verändert, entsteht das Problem, dass seine Testergebnisse eventuell nicht mehr vergleichbar sind mit den Testergebnissen der Test-Vorgängerversion.

Und genau dies scheint bei dem heutigen PISA-Test der Fall zu sein. So stellt es jedenfalls der OECD-Pisa-Koordinator Andreas Schleicher dar und jeder Sozialwissenschaftler wird seine Ausführungen als logisch und glaubwürdig betrachten.

So wird plötzlich aus einer scheinbaren Verbesserungen der Leistungen der deutschen Schüler beim aktuellen PISA-Test, eine eventuelle, noch nicht sicher nachweisbare Verbesserung der Leistung. Denn um solch eine Verbesserung wissenschaftlich gesichert nachweisen zu können, müsste die jetzige Version des PISA-Tests erst noch mehrmals angewendet werden.

Die Unions-Kultusminister jedoch sehen in den Äußerungen von Andreas Schleicher, dass also die scheinbare Verbesserung der Leistung deutscher Schüler nicht so sicher ist wie das zunächst aussieht, pure Politik und ideologische Befangenheit. So als wolle Schleicher den deutschen Kindern und dem deutschen Schulsystem keinen Erfolg gönnen. Die Unions-Kultusminister fordern gar deshalb den Rücktritt von Andreas Schleicher, wie Tagesschau.de berichtet.

Die Rücktrittsforderung der Unions-Kultusminister gegenüber Schleicher wirkt extrem lächerlich, wenn man sich etwas mit dem Problemfeld der "Testkonstruktion" auskennt. Die Unions-Kultusminister sollten sich vielleicht zunächst etwas schlauer machen, bevor sie mit unhaltbaren Anschuldigungen um sich werfen.

Sonst könnten noch Rücktrittsforderungen in ganz anderer Richtung laut werden.

Aber ich glaube eh, dass die Kultusminister ihre Rücktrittsforderungen nicht ernst meinen. Aber sie sind natürlich prächtig geeignet, um damit abzulenken von den Schwächen des deutschen Schulsystems, für die sie die politische Verantwortung tragen. Und dieses Ablenkungsmanöver wird funktioniern. Weil die deutschen Medien keine Kraft haben, um sich mit den Hintergründen eines PISA-Tests zu beschäftigen und diese dem Publikum zu erklären, befürchte ich.

Technorati-Tags: PISA, Kultusminister, Union, CDU, CSU, OECD, Andreas Schleicher, Testkonstruktion, Schulsystem, Schule