Phase 3 BilWiss-UV

„Ertrag und Entwicklung des universitären bildungswissenschaftlichen Wissens – Validierung eines Kompetenztest für Lehramtsstudierende“

 

Abbildung 7: Forschungsschwerpunkt BilWiss-UV

Ziel der aktuell laufenden dritten Projektphase ist die Weiterentwicklung und Verbesserung des in den Vorgängerprojekten „BilWiss“ und „BilWiss-Beruf“ entwickelten Kompetenztests zur Erfassung des bildungswissenschaftlichen Wissens bei Lehramtsstudierenden und –absolvent(inn)en. Des Weiteren sollen durch eine Reihe an Validierungsstudien die Einsatzmöglichkeiten für Forschung und Bildungsmonitoring überprüft werden und somit der langfristige Ertrag gesichert werden. Das Projekt wird im Rahmen des BMBF-Förderprogramms „KoKoHS – Kompetenzmodelle und Instrumente der Kompetenzerfassung im Hochschulsektor – Validierung und methodische Innovationen“ gefördert. Diese dritte Projektphase beinhaltet außerdem weitere Untersuchungen zum Zusammenhang zwischen Wissen und Praxis. So soll untersucht werden inwieweit sich das bildungswissenschaftliche Wissen im Rahmen des Lehramtsstudiums entwickelt. Ebenfalls steht, wie bereits beschrieben, die weitere Entwicklung und Optimierung des Tests im Mittelpunkt.  

Genauer betrachtet untersucht das geplante Validierungsprogramm unter anderem die curriculare Passung der Testinhalte, die Antwortprozesse bei der Testbearbeitung durch kognitive Interviews, die interne Struktur des Konstrukts sowie den Zusammenhang zwischen Testergebnissen und anderen Variablen. Des Weiteren wird die Veränderungssensitivität des mithilfe des BilWiss-Tests gemessenen Wissens im Rahmen bildungswissenschaftlicher Lerngelegenheiten an den Projektstandorten München und Frankfurt untersucht. Die Projektphase BilWiss-UV umfasst dabei mehrere Teilstudien, die nachfolgend anhand der Graphik verdeutlicht werden.

Abbildung 8: Verlauf BilWiss-UV

Testoptimierung

Im Fokus stand zunächst die psychometrische Überarbeitung des bereits bestehenden Tests. Nach Projektbeginn "BilWiss-UV" wurden anhand von vorliegenden psychometrischen Kennwerten aus den Vorgängerprojekten problematische Aufgaben identifiziert und verändert. Auch die inhaltliche Abdeckung der im Vorgängerprojekt „BilWiss“ identifizierten relevanten bildungswissenschaftlichen Themen durch die Wissensitems wurde geprüft und bei fehlender Passung wurden neue Items generiert. (siehe Itemoptimierung Abbildung 8). Zudem wurde das Antwortformat bei allen 245 Items dahingehend angepasst, dass es entweder ein Multiple-Choice-Format darstellte, bei dem aus vier Antwortalternativen nur eine Antwort ausgewählt werden sollte, oder ein Complex-Multiple-Choice-Format darstellte, bei dem immer alle vier Antwortalternativen auf Ihre Gültigkeit beurteilt werden sollten. Der Großteil der Aufgaben lag allerdings schon in diesem Format vor.

Im nächsten Schritt sollte überprüft werden, inwieweit die bis dahin vorgenommenen Veränderungen im Wissenstest in allen sechs Dimensionen zur Verbesserung der Messgüte der Items beigetragen haben. Dafür fanden im Juni und Juli 2016 Pilotierungen mit insgesamt 555 Lehramtsstudierenden verschiedener Universitäten statt.

Um Informationen zum Antwortverhalten zu erfassen, beurteilten im August 2016 60 Lehramtsstudierende im Rahmen von Kognitiven Interviews die Passung der Testitems zu ihrem bildungswissenschaftlichen Studium. Die Auswertung der Ergebnisse der Pilotstudie sowie der kognitiven Interviews stellte die Grundlage für eine erneute Itemoptimierung und –auswahl für den Wissenstest dar.

Aufgaben, die sich in den Pilotierungen und kognitiven interviews bewährten, wurden anschließend in einem Feldtest eingesetzt, an dem mehr als 600 Lehramtsanwärter(innen) teilnahmen. Basierend auf IRT-Analysen und konfirmatorischen Faktorenanalysen mit den Daten des Feldtests entstand die finale Fassung des Wissenstests.

Der so genannte BilWiss-2.0-Test besteht aus 119 geschlossenen Multiple-Choice-Aufgaben (Einfach- und Mehrfachauswahlaufgaben) aus sechs Inhaltsbereichen:

- Unterrichtsgestaltung (23 Items),

- Lernen & Entwicklung (24 Items),

- Diagnostik & Evaluation (21 Items),

- Bildungstheorie (14 Items),

- Schule als Bildungsinstitution (19 Items),

- Lehrerberuf als Profession (18 Items).

Innerhalb dieser Inhaltsbereiche werden 73 bildungswissenschaftliche Themen abgedeckt, die sich bei der schon beschriebenen Delphi-Studie als relevant herausgestellt haben. Die Subskalen der sechs Inhaltsbereiche können auch einzeln eingesetzt werden. Aufgrund der Testlänge wird nicht empfohlen, alle 119 Items innerhalb einer Testsitzung zu erheben.

Das Instrument kann auch in einer Kurzversion mit 65 Items (Kurztest) eingesetzt werden. Dabei verteilen sich die Items wie folgt auf die sechs Inhaltsbereiche:

- Unterrichtsgestaltung (15 Items),

- Lernen & Entwicklung (10 Items),

- Diagnostik & Evaluation (12 Items),

- Bildungstheorie (9 Items),

- Schule als Bildungsinstitution (9 Items),

- Lehrerberuf als Profession (10 Items).

 

Untersuchung der Wissensentwicklung im Lehramtsstudium: Start eines Studierenden-Längsschnitts

Der im Sommersemester 2017 durchgeführte Start eines Studierenden-Längsschnitts mit 928 Lehramtsstudierenden an den Universitätsstandorten Frankfurt, Duisburg-Essen, München und Tübingen  soll ermöglichen, Veränderungen im bildungswissenschaftlichen Wissen auf Subskalenebene in Abhängigkeit vom Besuch von inhaltlich passender Lerngelegenheiten im bildungswissenschaftlichen Studienteil zu untersuchen. Ziel war es, eine Verteilung der Studierenden über den kompletten Studienverlauf abzubilden, da davon ausgegangen wird, dass je nach Fortschritt im Studium ein unterschiedlicher bildungswissenschaftlicher Wissensstand zu erwarten ist.

Neben der Erfassung des bildungswissenschaftlichen Wissens, der detaillierten Rückmeldung des Fortschritts im bildungswissenschaftlichen Teil des Lehramtsstudiums und der Demographie wurden weitere Aspekte der professionellen Kompetenz aus den Bereichen Motivation, professionelle Überzeugungen sowie die eigene Einschätzung von selbstregulativen Fähigkeiten erfasst. Darüber hinaus wurde nach dem Erleben im Studium, z.B. zum sozialen Zugehörigkeitsgefühl, der Studierbarkeit und dem Wohlbefinden im Studium gefragt.

Der zweite Messzeitpunkt des Studierendenlängsschnitts fand im Wintersemester 2017/2018 statt. Auch diesmal wurden die Studierenden zu den oben genannten Themenfeldern befragt. Es nahmen insgesamt 757 Lehramtsstudierende an den vier Standorten teil.

Bei Messzeitpunkt 3 wurden abhängig von der Kohortenzuordnung (Kohorte 1: Beginn der Teilnahme am Längsschnitt im Sommersemester 2017, Kohorte 2: Beginn der Teilnahme am Längsschnitt im Wintersemester 17/18) die Fragebogenskalen gewählt. Studierende in Kohorte 1, die bereits zum dritten Mal teilnahmen, wurde neben den Skalen zur professionellen Kompetenz auch eine Checkliste zur psychosozialen Gesundheit vorgelegt und sie wurden zu selbstregulativen Fähigkeiten befragt. Außerdem wurde der BEFKI, ein Instrument zur Erfassung der fluiden und kristallinen Intelligenz, eingesetzt. Teilnehmer(innen) der Kohorte 2, die aufgrund des späteren Einstiegs in den Längsschnitt folglich erst zum zweiten Mal befragt wurden, wurden die Skalen von MZP 2 vorgelegt .

Die Gesamtstichprobe zu MZP 3 umfasst 546 Personen (davon 85 Personen Kohorte 2) und verteilt sich auf die Standorte Essen, Frankfurt, München und Tübingen. Es konnte bei 424 Personen ein Längsschnittdatensatz über alle drei Messzeitpunkte erstellt werden.

Um auch denTeilnehmer(inne)n der Kohorte 2 eine dreimalige Teilnahme zu ermöglichen, war eine Nacherhebung nötig, die als Messzeitpunkt 4 im November/Dezember 2018 stattfand. Insgesamt wurden 72 Personen aus den Standorten Essen, Frankfurt und München eingeladen, wovon 16 Personen aus Essen, 16 aus Frankfurt und 22 aus München teilnahmen. Es konnte bei 49 Personen ein Längsschnittdatensatz über alle drei Messzeitpunkte erstellt werden.

 

Untersuchung des berufsbezogenen Ertrags bildungswissenschaftlichen Wissens: Weiterführung der Längsschnittstichprobe aus den vorherigen Projektphasen

Um den langfristigen berufsbezogenen Ertrag des bildungswissenschaftlichen Wissens zu untersuchen, wird auch die Längsschnittstichprobe der Lehrkräfte bzw. ehemaligen Lehramtsanwärter(inne)n aus den vorangegangenen Projektphasen BilWiss und BilWiss-Beruf auch in der aktuellen, dritten Projektphase BilWiss-UV weitergeführt. Für diese seit 2011 bestehende Längsschnittstichprobe der Vorgängerprojekte fand Mitte des Jahres 2017 der fünfte MZP statt. Es konnten 136 Personen per Online-Fragebogen zu ihrem professionellen Verhalten und Erleben der Arbeit an ihrer Schule befragt werden. Zum Einsatz kommen neben der Selbstauskunft der Lehrkräfte mehrere standardisierte Instrumente zur Untersuchung des professionellen Verhaltens in unterschiedlichen schulischen Handlungsfeldern, die größtenteils innerhalb des Projekts entwickelt wurden.

Der sechste und somit letzte Messzeitpunkt der Längsschnittstichprobe wurde Ende des Jahres 2018 durchgeführt. Die Online-Erhebung bestand aus drei Teilen:

1. Online-Erhebung:

Bei der Bearbeitung der Online-Erhebung standen neben der aktuellen beruflichen Situation auch das Erleben und das professionelle Verhalten im Lehrerberuf im Fokus. Zur Erfassung der Professional Vision in Elternberatungssituationen wurde das in 2017 entwickelte Videotool eingesetzt. Ergänzend wurde der Szenariotest zur Elternberatungskompetenz in einer Kurzversion eingesetzt (Bruder, Keller, Klug & Schmitz, 2011). Zur Erfassung des proaktiven Engagements in der Schulentwicklung wurde die in 2017 entwickelte Verhaltenscheckliste eingesetzt. Zur Erfassung der diagnostischen Kompetenz wurde der oben beschriebene Vignetten-Test eingesetzt.

Insgesamt konnten im Online-Fragebogen (incl. Videotool, Szenariotest, Verhaltenscheckliste und diagnostischen Fallvignetten) 68 Personen befragt werden, davon sind 56 derzeit  aktiv als Lehrkraft im Schuldienst tätig (51 Lehrkräfte in Vollzeit).

2. Schüler(innen)befragung

Neben der Bearbeitung der Online-Erhebung war geplant, dass die Studienteilnehmer(innen) auch in einer ihrer Klassen eine Schüler(innen)befragung durchführen, bei der die Wahrnehmung der Schüler(innen) zum professionellen Verhalten der Lehrkraft in den Bereichen Unterrichten, Erziehen und Beurteilen mithilfe eines kurzen Fragebogens erhoben wird. Diese Befragung wird im Januar 2019 organisiert und durchgeführt.

3. Peer-Rating

Darüber hinaus konnten die Studienteilnehmer(innen) an einem Peer-Rating teilnehmen, das in 2018 am Projektstandort Essen entwickelt wurde. An der Peer-Befragung haben 72 Lehrkräfte teilgenommen.