Wissen allein reicht nicht: Neue Auswertung ermöglicht mehr als nur Länderrankings in der PISA-Studie
Forschungsteam der Freien Universität Berlin, des Instituts für die Pädagogik der Naturwissenschaften und des Boston College zeigt neue Perspektiven auf Ergebnisse aus Bildungsstudien und wie aussagekräftige Vergleiche gelingen können
Nr. 067/2021 vom 23.04.2021
Eine internationale Forschungsgruppe unter der Beteiligung von Prof. Dr. Steffi Pohl von der Freien Universität Berlin hat gezeigt, dass die Ergebnisse der PISA-Studien zur Erhebung von Schulleistungen nicht nur reine Fähigkeiten der Schülerinnen und Schüler beschreiben. Vielmehr umfassten die Ergebnisse eine Mischung aus Fähigkeiten und Strategien zur Bearbeitung von Aufgaben, etwa die Zeiteinteilung und das Überspringen von Fragen. Den Wissenschaftlerinnen und Wissenschaftlern zufolge kann derzeit nicht immer klar bestimmt werden, welcher Aspekt in welchem Maß im PISA-Ergebnis berücksichtigt ist. Hinzu komme, dass die verschiedenen Aspekte nicht gleich für alle Schülerinnen und Schüler eingingen. Dies sei insbesondere für Länder-Rankings bedeutsam. Veröffentlicht wurden die Forschungsergebnisse in der Fachzeitschrift Science. Die Abkürzung PISA steht für „Programme for International Student Assessment“ (Programm zur internationalen Schülerbewertung).
Großangelegte Bildungsstudien haben einen wichtigen Einfluss auf bildungspolitische Entscheidungen. Seit der Veröffentlichung der Ergebnisse der ersten PISA-Studie im Dezember 2001 durch die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), in der Deutschland gegenüber anderen Ländern vergleichsweise schlecht abgeschnitten hatte, wurde in der öffentlichen Debatte zunächst Bildung in Schulen, später aber auch in vorschulischen Einrichtungen und die Ausbildung von Lehrkräften verstärkt in den Fokus genommen.
Die Autorinnen und Autoren der Studie schlagen vor, die verschiedenen Aspekte, die für eine Aufgabenbearbeitung wichtig sind, auseinander zu halten und getrennt zu erfassen, darunter die Korrektheit der Antwort, die Zeit, die für die Antwort gebraucht wurde, und wie viele Aufgaben von den Schülerinnen und Schülern überhaupt bearbeitet wurden. Um Strategien zur Aufgabenbearbeitung zu messen, nutzen die Wissenschaftlerinnen und Wissenschaftler Log-Daten aus der computerisierten Testung, zum Beispiel die Zeiteinteilung pro Aufgabe, sowie statistische Modelle zur Beschreibung. Dies ermöglicht einen tieferen Einblick in die Art, wie Aufgaben bearbeitet werden. An einem Beispiel zeigen sie, dass verschiedene Länder unterschiedliche Stärken aufweisen: In manchen Ländern arbeiten Schülerinnen und Schüler sehr sorgfältig und beantworten Fragen in der Regel richtig. Sie nutzen dafür aber sehr viel Zeit und bearbeiten nicht alle Aufgaben des Tests. In anderen Ländern beantworten die Schülerinnen und Schüler alle Aufgaben in einer kurzen Zeit, was aber zulasten der Genauigkeit der Antworten geht.
Das vorgeschlagene Vorgehen ermöglicht es dem Forschungsteam zufolge, verschiedene Aspekte zu beleuchten, die für eine erfolgreiche Aufgabenbearbeitung relevant sind, transparent zu machen und somit ein besseres Verständnis der Fähigkeiten der Schülerinnen und Schüler sowie zielgenauere Interventionen zu ermöglichen. Ein nuancierter Vergleich zwischen Ländern wird dadurch möglich, dass in der vorgeschlagenen Vorgehensweise für alle Schülerinnen und Schüler alle Aspekte in der gleichen Weise in der Auswertung berücksichtigt werden. Je nachdem, wie der Schwerpunkt bei der Berücksichtigung der unterschiedlichen Aspekte gelegt wird, kann sich die Reihenfolge der Länder in den Rankings ändern.
Publikation
https://science.sciencemag.org/content/372/6540/338/tab-article-info
Pohl, S., Ulitzsch, E., & von Davier, M. (2021). Reframing country rankings in educational assessments. Science, 372(6540), 338-340. doi:10.1126/science.abd3300
Kontakt
Prof. Dr. Steffi Pohl, Fachbereich Erziehungswissenschaft und Psychologie der Freien Universität Berlin, Telefon: 030 / 838-62926, E-Mail: steffi.pohl@fu-berlin.de