Montag 23. März 2009 von Stefan Langer
Am 05. 03. 2009 unterzogen sich bayerische Achtklässler an rund 4300 Schulen dem VERA-8-Englischtest, der es laut bayerischem Kultusministerium “ermöglicht (…), das Fähigkeitsniveau von Schülerinnen und Schülern zu diagnostizieren und die Jugendlichen zielgerichtet noch besser zu fördern.” Die Broschüre des KM verspricht zudem, dass “der diagnostische Maßstab wissenschaftlich gesichert und durch die seit 2003/2004 deutschlandweit gültigen Bildungsstandards der Kultusministerkonferenz (KmK) gegeben ist. ”
Nach Abschluss der Korrekturen regen sich nun bei vielen Beteiligten Kritik an der inhaltlichen und organisatorischen Konzeption von VERA-8; so auch bei mir: Ich unterrichte an einer Wirtschaftsschule eine achte Klasse im Fach Englisch, dieser Artikel betrifft das Testheft B für Real- und Wirtschaftsschulen in Bayern.
Zunächst einmal erscheinen viele der Aufgaben deutlich zu einfach. So galt es z. B. Ratschläge zum Sonnenbaden mit Piktogrammen zu ‘matchen’: Das Bild eines Sonnenhutes musste dem Text “Wear a large hat to protect your eyes, ears, face and the back of your neck” zugeordnet werden, wobei zur richtigen Lösung lediglich das Wort “hat” erkannt werden musste – eine Aufgabe, die wohl auch Fünftklässler lösen könnten.
Doch es geht auch noch einfacher: “Wear sun cream with SPF 15 or higher. Reapply every 2 hours” – was anspruchsvoll klingt, wird durch die Abbildung einer Flasche mit der Aufschrift “SPF 15″ entwertet, der Satz hätte ebensogut rumänisch oder spanisch abgedruckt werden können, wenn man nur eine Buchstaben- und Zahlenkombination wiedererkennen muss – eine Aussage über Lesekompetenz im Englischen kann die Frage keinesfalls leisten.
Ähnlich simpel sind Fragen zum Text, deren Antworten wörtlich wiederzufinden sind: “[The Olympic Games] will be planned by the Vancouver Organizing Committee.” Es dürfte nicht schwer fallen, die dazugehörige Frage (“Planned by:”) zu beantworten.
So ist es an einigen anderen Stellen auch problemlos möglich, eine richtige Antwort zu geben, ohne zu wissen, was diese Antwort eigentlich bedeutet: “Nana Upstairs” versteckt ihre Süßigkeiten in einer “sewing box”, das erkannten mehr als drei Viertel der Schüler meiner Klasse. Niemand konnte sich aber vorstellen, wie diese geheimnisvollen ‘Schachtel’ aussehen, geschweige denn was sich noch in ihr verbergen könnte – eine lexikalische ‘black box’ sozusagen.
Bei den Aufgaben “Too young to work”, “Hurricane Victims” und “Rats” gelang es den Verfassern des Testheftes, interessante und anspruchsvolle Texte zu wählen und sie auch mit sinn- und niveauvollen Fragen auszustatten. Dennoch konnten meine Schülern lediglich 45% der Fragen des letzten Textes, “Rats”, korrekt beantworten, was vor allem daran lag, dass ein Drittel der Schüler zu wenig Zeit hatte, den Text zu lesen. Sie gingen wohl davon aus, dass die Arbeitszeit von 40 Minuten für alle Aufgaben ausreichen sollte, was allein aufgrund der Länge der Texte und der Anzahl der unbekannten Vokabeln, welche aus dem Kontext erschlossen werden mussten, schwer möglich erscheint. Aufgaben wie “Sniff” und “Robert Rolley”, die je nur einen Punkt erbringen konnten, kosteten sie wertvolle Minuten, die bei “Rats” wohl wesentlich ökonomischer verwendet worden wären.
Die Platzierung der Aufgaben war nicht nur in dieser Hinsicht kritikwürdig; auch das Drucklayout der Testhefte erschwerte den Schülern die Arbeit unnötig: Bei drei langen Textaufgaben mussten sie wiederholt umblättern, um die Fragen bearbeiten zu können. Bei einigen führte dies sogar dazu, dass ganze Aufgaben übersehen wurden.
Unbearbeitete Aufgaben mögen aber auch durch die fehlende Seitennummerierung bedingt sein, nicht einmal die Aufgaben selbst wurden nummeriert; auf der Titelseite findet sich zwar ein Foto von Schreibgeräten und die Logos des IQB und der Humboldt-Universität, nicht aber Felder für Namen bzw. Platznummern der Schüler – primitive Layoutfehler, die bei Schulaufgabenentwürfen von Referendaren zu berechtigter Kritik durch deren Seminarlehrer führen und bei Publikationen eines Instituts zur Qualitätsentwicklung im Bildungswesen einfach nicht vorkommen dürfen.
Für die Korrekturzeichen des Lehrers ist ebenfalls kein Platz vorgesehen, dafür werden die Schüler mittels Piktogramm aufgefordert, ihre Antwort auf der vorgedruckten Zeile zu hinterlassen. Nicht nur die Schüler werden für unfähig gehalten, ihre Antworten an der richtigen Stelle anzubringen. Auch ihre Lehrer, allesamt zweifach staatlich geprüfte Akademiker, werden in den Korrekturanweisungen instruiert, bei den ‘Matching’-Aufgaben als richtige Antworten nicht nur Groß- sondern auch Kleinbuchstaben zuzulassen. Dies wird auf eineinhalb Druckseiten mittels sechs Tabellen mit wiederum je sieben Zeilen erklärt. Wären die Kollegen bei Angabe der Musterlösung im Format “F – H – C – D – A – E” tatsächlich nicht in der Lage gewesen, richtig zu korrigieren?
Bei Antworten in Textform ist keine klare Linie zu erkennen: Antworten wie “30 minits / minuets” (Aufgabe “TV Programme”) oder “He will was a teacher” (Aufgabe “Too Young”) müssen trotz der haarsträubenden Fehler in Grammatik und Rechtschreibung genauso akzeptiert werden wie kleingeschriebene Eigennamen, denn beim vorliegenden Test dreht es sich ja nur um die Überprüfung von Lesekompetenz. Dagegen muss eine völlig korrekte Antwort wie “She always stood in the kitchen” (“Nana Upstairs”) als falsch bewertet werden – denn sie besteht aus mehr als fünf Wörtern. Ist kurz und falsch nun tatsächlich besser als lang und korrekt?
Die Krone wird dem VERA-Test jedoch durch die Online-Erfassung der Ergebnisse aufgesetzt: Die meisten erfahrenen Lehrer korrigieren ‘quer’, also jeweils eine Aufgabe bei der gesamten Klasse, zum einen aus arbeitsökonomischen Erwägungen, zum anderen, um eine Vergleichbarkeit der Korrektur zu gewährleisten. Die VERA-Bögen zwingen den Lehrer jedoch zu einer Eingabe pro Schüler, was bedeutet, dass zunächst alle Arbeiten ‘quer’ korrigiert werden müssen (Arbeitsaufwand ca. drei Stunden bei 30 Schülern), um danach nochmals komplett durchgeblättert zu werden, um die Leistungen online einzugeben; ein Mehraufwand von ca. 90 minits, pardon, Minuten. Hätte man die Datenerfassung nicht in Tabellenform gestalten können, ob nun online oder im Excel-Format?
Der einzige Lichtblick bei der Online-Verarbeitung war der hervorragende Einfall der Programmierer, nach Eingabe einer Wertung den Cursor automatisch in das nächste Feld zu setzen, denn dies erleichtert die Eingabe der 1.170 (!) notwendigen Ziffern (Klassenstärke 30 Schüler) ungemein.
Nach der Durchführung und Korrektur des VERA-8-Tests für die bayerischen Real- und Wirtschaftsschulen scheint mir, dass die Verfasser der Prüfung offensichtlich schon lange nicht mehr an einer Real- oder Wirtschaftsschule unterrichten, wenn sie überhaupt jemals als Schullehrer tätig waren – anders sind die elementaren Fehler, die sich von der Konzeption der Aufgaben bis zum Drucklayout durch den VERA-Test ziehen, nicht zu erklären. Es ist zu bezweifeln, dass ein Test mit den oben beschriebenen Defiziten zu validen Ergebnissen führen kann – und wenn die Validität der Ergebnisse fraglich ist, fällt es schwer, den enormen Mehraufwand, den Studien dieser Art mit sich bringen, zu rechtfertigen.
Die VERA-Testhefte können über einen geschützten Serverbereich des bayerischen ISB heruntergeladen werden; notwendig ist ein Login mit Schulnummer und Passwort, das den teilnehmenden Schulen zuging.
Kommentar des BRLV: Dilettantische Organisation
http://fortbildung-online.bildung-rp.de/