Im Rahmen der Vorstellung des HAND:ET-Konsortiums und der SEDA Kompetenzen werden regelmäßig Web-Artikel veröffentlicht, die über die HAND:ET-Website und Medienkanäle (FB,TW) zugänglich sein werden. Das Ziel ist, die Projektpartner*innen durch kurze fachbereichsbezogene Interviews mit Mitgliedern des Projektteams vorzustellen, die sich mit den Hauptthemen des HAND:ET-Projekts befassen: soziale und emotionale Kompetenzen und Diversitätsbewusstsein (SEDA) sowie die Stärkung von Lehrkräften in Schulen.

Das DIPF, Leibniz-Institut für Bildungsforschung und Bildungsinformation, ist eine zentrale Institution im Bereich der Bildungsforschung und Bildungsinformation. DIPF unterstützt Forschende, Entscheidungsträger*innen und Professionist*innen mit der Durchführung empirischer Forschung und der Bereitstellung innovativer Anwendungen. Die Forschenden des DIPF, die am HAND:ET-Projekt teilnehmen, sind Teil der Abteilung für Lehr- und Lernqualität. Sie befassen sich mit der Qualität und Effektivität von pädagogischen Prozessen in institutionellen Situationen, Schulen und Universitäten. Hierbei liegt ein Schwerpunkt auf der Professionalisierung von Pädagog*innen.

Das DIPF war verantwortlich für die Evaluierung des ursprünglichen Projekts „HAND IN HAND: Sozial-emotionale Kompetenzen für eine tolerante und nicht-diskriminierende Gesellschaft – eine schulweite Herangehensweise“. Dabei wurde ein sogenannter „Multi-Method-Ansatz“ verwendet, bei dem die Perspektiven verschiedener Interessengruppen miteinbezogen wurden. Im HAND:ET-Projekt ist das DIPF für die Entwicklung des Assessments und die externe Evaluierung des Policy-Experiments verantwortlich. Dies umfasst die sorgfältige Planung des Evaluationsprozesses, die Spezifizierung der allgemeinen Ziele der Evaluierung und die Entwicklung der Messinstrumente, die auf die Ziele der Evaluierung abgestimmt sind. Darüber hinaus leitet das DIPF den Prozess der Implementierung des Evaluationsdesigns einschließlich der Vorbereitung und Überwachung der Pre- und Post- Messungen und Durchführung der Datenanalyse.

Dr. Mojca Rožman ist eine wissenschaftliche Mitarbeiterin (Post-Doc) am DIPF und am IEA Hamburg. Sie bringt vielfältige Erfahrung mit internationalen groß angelegten Assessments, Fragebogenentwicklung und psychometrischen Analysen mit. Ihr Fokus liegt auf der Skalierung von Fragebögen und Testdaten sowie der Evaluation von Experimenten.

Dr. Nina Roczen ist Psychologin und wissenschaftliche Mitarbeiterin (Post-Doc) am DIPF innerhalb der Abteilung für Lehr- und Lernqualität. Ihr Forschungsinteresse konzentriert sich auf Kompetenzen in der Bildung für nachhaltige Entwicklung und die Evaluation von Maßnahmen zur Schulentwicklung.

Ein wichtiger Aspekt bei der Förderung der sozialen, emotionalen und diversitätsbezogenen Kompetenzen (SEDA) ist das Assessment. Lange Zeit galten SEDA-Kompetenzen als schwer zu erfassen. Wie ist der aktuelle Stand in diesem Bereich und können wir tatsächlich die SEDA-Kompetenzen genau und zuverlässig bewerten und messen? Gibt es direkte Assessments von SEDA-Kompetenzen?

Die Messung von SEDA-Kompetenzen bleibt nach wie vor eine Herausforderung. Im Gegensatz zu vorwiegend kognitiven Kompetenzen wie mathematischen Kompetenzen oder Lesekompetenzen gibt es keine etablierten Tests zur Messung von SEDA-Kompetenzen. Häufig werden Fragebögen zur Selbsteinschätzung verwendet, da sie praktisch in der Anwendung und kostengünstig sind. Jedoch sind sie anfällig für bewusste oder unbewusste Verzerrungen, da Menschen dazu neigen, sich selbst in einem positiven Licht darzustellen. Alternativ kann versucht werden, SEDA-Kompetenzen durch Interviews zu messen, indem man Personen beschreiben lässt, wie sie sich in verschiedenen kritischen Situationen verhalten würden, und diese Beschreibungen dann analysiert. Diese Methoden sind jedoch sehr zeitaufwändig in der Auswertung. Jede Evaluationsmethode liefert Ergebnisse aus einer anderen Perspektive. Der vielversprechendste Ansatz ist daher der kombinierte Einsatz verschiedener Methoden, wie beispielsweise eine Kombination aus Fragebögen, Beobachtung und Interviews.

Worin liegt die Bedeutung der Evaluation und des Assessments solcher Programme und Experimente?

Eine umfassende Evaluation der Wirksamkeit von Programmen wie HAND:ET hat den Vorteil, dass auf der Grundlage der Evaluierungsergebnisse besonders effektive Programme identifiziert und anschließend in größerem Umfang implementiert werden können.

Wie hilfreich sind Analysen wie beispielsweise Wirkungsstudien für solche Programme, bei denen wir eine Veränderung in Einstellungen, Überzeugungen oder Kompetenzen erwarten?

Wann ist der geeignete Zeitpunkt, um die Wirkung der Interventionen zu bewerten?

Die einzige Möglichkeit, aussagekräftige Informationen über die Auswirkungen von Schulentwicklungsprogrammen wie HAND:ET zu erhalten, ist die Verwendung eines experimentellen Designs. Hierbei werden die Teilnehmer*innen nach dem Zufallsprinzip einer Versuchsgruppe oder einer Kontrollgruppe zugewiesen. Die Versuchsgruppe nimmt am Training teil und die Kontrollgruppe nicht. Die Zielkompetenzen werden zu zwei Zeitpunkten in beiden Gruppen gemessen: Vor dem Beginn des Trainings der Versuchsgruppe und nach der Durchführung des Trainings. Auf diese Weise kann beobachtet werden, ob es größere Kompetenzzuwächse in der Versuchsgruppe im Vergleich zur Kontrollgruppe gibt. Ein signifikanter Unterschied würde darauf hinweisen, dass die Verbesserungen dem Training zuzuschreiben sind.

Für den richtigen Zeitpunkt ist es wichtig, die Kompetenzen direkt vor und nach der Intervention zu messen. Ein bedeutender Anstieg der Kompetenzen in der Versuchsgruppe im Vergleich zur Kontrollgruppe wäre ein vielversprechendes Ergebnis. Allerdings ist es auch wichtig, zu wissen, ob dieser Effekt über einen längeren Zeitraum bestehen bleibt. Zu diesem Zweck wäre es ideal, einen dritten Messzeitpunkt einzuführen. Dieser könnte z. B. sechs Monate oder ein Jahr nach dem Abschluss des Trainings angesetzt werden.

Im Projekt HAND:ET wird eine Evaluierungsstrategie angewendet, die sowohl einen formativen als auch einen summativen Ansatz kombiniert. Wie können die beiden Ansätze beschrieben werden und welche Vorteile ergeben sich aus ihrer Kombination?

Bei der Evaluierung des HAND:ET-Projekts liegt der Schwerpunkt auf der sogenannten summativen Evaluation. Das bedeutet, dass wir herausfinden wollen, ob sich das Training positiv auf die SEDA-Kompetenzen der Lehrkräfte auswirkt. Zusätzlich führen wir auch eine formative Evaluation durch. Dabei geht es darum, Informationen zu sammeln, die dazu beitragen können, die untersuchte Intervention – in diesem Fall das HAND:ET-SEDA-Training – in Zukunft zu verbessern. Wir befragen die Lehrpersonen beispielsweise nach ihren Ideen zur Verbesserung des Programms, zu den Herausforderungen, die sie während des Trainings erlebt haben und zu den Hindernissen, die sie bei der Umsetzung des Gelernten im Unterricht festgestellt haben.

Weitere Informationen über das Projekt finden sie auf der offiziellen HAND:ET-Website. Um über die aktuellen Projektaktivitäten und zukünftigen Ergebnisse informiert zu bleiben, besuchen Sie bitte die offizielle Facebook-Seite des Projekts oder finden Sie Aktuelles zum Projekt auf Twitter.