Wirksamkeit messen! 

In diesem Beitrag erfahrt Ihr, warum eine sorgfältige Wirksamkeitsüberprüfung wichtig ist und welche Standards beachtet werden sollten, um die Wirkung Eurer Angebote aussagekräftig messen zu können.  

Ein besonders wichtiger Erfolgsaspekt von MINT-Bildungsangeboten ist eine fundierte Evaluation. Denn nur so kann man herausfinden, ob die Angebote auch tatsächlich wirksam sind. Die gewonnenen Erkenntnisse können dazu genutzt werden, die Angebote gezielt weiterzuentwickeln. Auf diese Weise verbessern sich die Förderbedingungen für die Teilnehmenden Schritt für Schritt. 

Ein Wirksamkeitsnachweis kann im Nachgang auch für die Bewerbung der eigenen Angebote genutzt werden, um mehr Teilnehmende zu gewinnen. Zudem können solche Daten auch wichtig für eine langfristige Weiterfinanzierung sein. Dadurch bleiben Maßnahmen, die tatsächlich wirken, weiterhin bestehen. Im Idealfall entsteht so für Mädchen auf lange Sicht ein vernetztes Angebot verschiedener MINT-Programme, von denen wir wissen, dass sie tatsächlich wirksam sind und nachhaltige Effekte erzielen. Wie können wir das erreichen? 

Ein Beispiel: Stellt Euch vor, dass wir eine neue Maßnahme entwickelt haben, um Mädchen für MINT zu begeistern. Nachdem wir unser Angebot ein paar Wochen lang durchgeführt haben, schauen wir uns erste Evaluationsergebnisse an. Erfreut stellen wir fest, dass wir positive Effekte für Motivation und MINT-Interesse erzielt haben. Das überzeugt uns: Nicht nur wir sollten diese Maßnahme durchführen, sondern auch möglichst viele andere MINT-Bildungsangebote. 

Aber Moment! Denn etwa ein halbes Jahr nach dem Ende unserer Maßnahme führen wir eine erneute Befragung unserer ehemaligen Teilnehmerinnen durch. Weniger erfreut stellen wir fest, dass die Motivation und das MINT-Interesse wieder abgenommen haben. Teilweise sind sie sogar unter das ursprüngliche Niveau gefallen. 

Was bedeutet das nun für unsere Maßnahme? Wir sollten uns nicht entmutigen lassen, sondern unser Konzept und seine Umsetzung kritisch reflektieren und die Chance nutzen, unsere Maßnahme weiterzuentwickeln. Was müssen wir tun, damit die positiven Effekte, die wir erzielt haben, nicht wieder verpuffen, sondern aufrechterhalten werden? Eine Idee wäre – wie wir aus unserem vorherigen Blogbeitrag wissen –, unsere Teilnehmerinnen nicht nur punktuell, sondern möglichst langfristig zu unterstützen.  

Wir könnten also die Dauer unserer Maßnahme anpassen, um die Mädchen länger auf ihrem MINT-Weg zu unterstützen. Eine andere Möglichkeit könnte sein, ein geeignetes Aufbau-Modul zu entwickeln. Noch besser wäre es, wenn wir unsere Maßnahme systematisch mit weiteren MINT-Angeboten für Mädchen vernetzen können und beginnen, gezielt Synergien zu nutzen. Von diesen Angeboten wissen wir im Idealfall, dass sie tatsächlich wirksam sind, da sie regelmäßig eine fundierte Evaluation durchführen, um ihr Programm gezielt weiterzuentwickeln und möglichst förderliche Bedingungen für ihre teilnehmenden Mädchen zu schaffen. 

Welche Aspekte zeichnen eine fundierte Evaluation aus?

Damit eine Evaluation verlässliche und aussagekräftige Ergebnisse liefert, müssen bestimmte Qualitätsstandards eingehalten werden. Allerdings werden diese Standards in der Praxis häufig aufgrund von zu wenig Zeit, mangelndem Personal und fehlendem Knowhow nicht umgesetzt. Häufig erfolgen lediglich Zufriedenheitsabfragen von Teilnehmenden, nachdem sie bei MINT-Angeboten mitgemacht haben. 

Um jedoch zuverlässige Aussagen über die Effektivität von Angeboten treffen zu können, ist es wichtig, 

• tatsächliche Outcomes wie Kompetenzen, Interesse oder Verhaltensänderungen bei Entscheidungen für oder gegen den MINT-Bereich zu messen und nicht nur die Zufriedenheit der Teilnehmerinnen abzufragen. 

• nicht nur die Situation nach der Teilnahme an Angeboten zu erheben, sondern Veränderungen über den zeitlichen Verlauf, indem man Erhebungen vor, während und nach der Teilnahme durchführt. 

• diese Veränderungen im Vergleich zu sogenannten Kontrollgruppen zu betrachten, um sicherzustellen, dass positive Veränderungen der Teilnehmerinnen tatsächlich auf das MINT-Angebot zurückzuführen sind und nicht auf andere Gründe, zum Beispiel auf schulische Einflüsse während der Teilnahme am Angebot.  

Wie könnt Ihr Euch dem Thema Evaluation praktisch nähern?

Vor allem wenn Ihr bislang wenig Berührungspunkte mit dem Thema Evaluation hattet, kann es auf den ersten Blick komplex und abschreckend wirken. Nicht jedes MINT-Bildungsangebot hat die Möglichkeit, von einer Universität wissenschaftlich begleitet zu werden. Das bedeutet jedoch nicht, dass Ihr auf Evaluation verzichten müsst. Ihr könnt das auch eigenständig umsetzen, wenn Ihr es strukturiert angeht und Euch erlaubt, Euch und Euer Angebot auch in diesem Bereich weiterzuentwickeln.  

Für einen fundierten und pragmatischen Einstieg in das Thema ist das „Handbuch zur Evaluation von MINT-Projekten für Schülerinnen“ zu empfehlen. Das Handbuch führt Euch in zehn Schritten zur eigenen Evaluation und unterstützt Euch dabei, die Wirkung Eures MINT-Angebots für Schülerinnen mit quantitativen Methoden zu erheben. 

In dem Handbuch lernt Ihr,  

• wie Ihr Erfolgsindikatoren auswählen und an die Zielsetzungen Eures Angebots anpassen könnt, um die unmittelbaren, kurzfristigen und langfristigen Wirkungen Eures Angebots messen zu können. 

• wie Ihr diese Indikatoren in geeignete Fragen und Aussagen übersetzen und in Form von Fragebögen bei Euren Teilnehmenden erheben könnt. 

• Zudem erhaltet Ihr Hinweise zur Auswertung Eurer gesammelten Daten und wie Ihr Schlussfolgerungen aus Euren Ergebnissen ziehen könnt.  

Aber natürlich wollen wir Euch mit dem Thema Evaluation nicht alleinlassen, sondern empfehlen Euch hier durchaus auch den Austausch und die Vernetzung mit der Wissenschaft!  

Deshalb freuen wir uns sehr darauf, Prof. Dr. Elke Wolf, eine der Autorinnen des Handbuchs, in unserem kommenden MINTcafé Gender am 12. November 2024, 12:30–14:00 Uhr, als externe Referentin, Expertin und Gästin begrüßen zu dürfen. Sie wird uns ihr Evaluationskonzept für MINT-Projekte für Schülerinnen vorstellen und von ihren praktischen Erfahrungen berichten. Die Anmeldung erfolgt über unsere Community-Plattform.