Die Verwendung von Evidenz im Politikzyklus

Ein Problem und seine Ursachen verstehen

Der Politikzyklus beginnt mit der Identifizierung und Formulierung eines Problems, das Aufmerksamkeit erfordert. Im Idealfall sollte diesem Schritt ein formaler Priorisierungsprozess vorausgehen oder ihn begleiten, der Antworten auf folgende Fragen umfasst:

Die Antworten auf die obigen Fragen führen zur Beschreibung des Problems, die je nach Perspektive unterschiedlich aussehen kann. Das Verständnis des Problems sollte daher durch Forschungsergebnisse, den Entscheidungskontext, ethische Erwägungen und Diskussionen mit wichtigen Stakeholdern untermauert werden. 

Die Fragen, die in der Diagnosephase am schwierigsten zu beantworten sind, sind die jeweils letzteren, weshalb im Folgenden mögliche Lösungen anhand von zwei Fallstudien vorgestellt werden. 

Das erste Beispiel verdeutlicht die zeitlichen Herausforderungen in der Agenda-Setting-Phase, die bei Wahlkampfentscheidungen der politischen Parteien auftreten. Es basiert auf den Erfahrungen von Verian in Deutschland. 

Wie lange wird eine Priorisierung des Themas in einer sich ständig verändernden Welt Bestand haben? Wann sollte man welche Art von Evidenz sammeln? Wann ist Evidenz veraltet?

Vor den Wahlen müssen politische Parteien Entscheidungen über die Kandidaten und die Themen treffen, auf die sie ihren Wahlkampf stützen wollen. Die Parteigremien entscheiden sich in der Regel für ein evidenzbasiertes Briefing, bevor sie ihre Entscheidungen treffen und die Kommunikationsagentur briefen.

Die größte Herausforderung ist das Timing: Wann wird welche Art von Evidenz gesammelt?

Politische Stimmungen können sehr wechselhaft sein. Ein früher Start ermöglicht ein frühes Briefing mit genügend Zeit, um eine gute Kampagne zu entwickeln. Es birgt aber auch das Risiko, dass viele Dinge passieren können, die die Wahrnehmung und die Wirkung einer Kampagne verändern. Die Lösung besteht darin, strategische und taktische Ziele zu trennen. 

Typische strategische Forschungsfragen sind: 
• Wer sind die zugänglichen Wählersegmente unter den Wahlberechtigten?
• Welche Themen und Narrative mobilisieren potenzielle Wähler*innen und welche Themen  demobilisieren politische Gegner?
• Wo ist unsere Partei verwundbar?

Typische taktische Forschungsfragen sind: 
• Was ist die zentrale Wahlkampfbotschaft in der letzten Wahlkampfphase, die das beste Potenzial zur Stimmenmaximierung hat?
• Wie geht man mit Briefwähler*innen um, die bis zu sechs Wochen vor dem Wahltermin wählen dürfen?

Evidenz für strategische Fragen wird in der Regel 6 bis 12 Monate vor dem Wahltag gesammelt. Evidenz für taktische Fragen wird etwa 4 bis 12 Wochen vor dem Wahltag gesammelt. Wenn jedoch unerwartete Ereignisse eintreten (z. B. ein neuer Konflikt oder ein*e neue*r Gegenkandidat*in), ist es ratsam, die Strategie auf der Grundlage neuer Erkenntnisse zu aktualisieren, die nach solchen bedeutenden Ereignissen gesammelt wurden.

Das zweite Beispiel verdeutlicht, wie wichtig es ist, ganzheitliche Diagnoseinstrumente einzusetzen, die mehrere Perspektiven einbeziehen, um die Ursachen langfristiger sozialer Probleme zu identifizieren. Nur so ist es möglich, Hebel für veränderte Trends zu identifizieren. Es basiert auf den Erfahrungen von Verian in Australien. 

Wie lassen sich Ursachen für ein Problem identifizieren, insbesondere wenn sie nicht offensichtlich sind?

Gewalt gegen Frauen hat in Australien eine lange Tradition. Zwei von fünf australischen Frauen hatten nach dem 15. Lebensjahr Gewalt durch einen Mann erlebt. Jede Woche wurden ein oder zwei Frauen von einem aktuellen oder ehemaligen Partner getötet. Die Folgen von Gewalt gegen Frauen kosteten die australische Wirtschaft jährlich 13,6 Milliarden AUD. Die australische Regierung hat die Verringerung der Gewalt gegen Frauen im Jahr 2015 zu einer nationalen Priorität der öffentlichen Gesundheit gemacht.

Es gab zwar umfangreiche Forschungsarbeiten zu diesem Thema, aber die überwiegende Mehrheit konzentrierte sich darauf, das Ausmaß des Problems und die rationalen, bewussten Einstellungen zu identifizieren, die es beeinflussen können. 

Es fehlte jedoch das Verständnis für den Kern des Problems, seinen Ursprung und daher auch Ideen, was getan werden könnte, um Gewalt zu reduzieren.

Neue Forschungsergebnisse zeigten, dass soziale Normen und unbewusste Überzeugungen bei Erwachsenen und Jugendlichen Geschlechterungleichheit, Respektlosigkeit und aggressives Verhalten fördern. Zum Beispiel gab es eine Tendenz zur Täter-Opfer-Umkehr, wenn Beispiele für aggressives oder respektloses Verhalten zwischen Männern und Frauen genannt wurden (“sie muss etwas getan haben”). Außerdem wurde häufig Empathie mit den männlichen Tätern gezeigt (“Es ist sehr schwer, ein junger Mann zu sein, er mag sie wahrscheinlich nur”) oder das Verhalten verhamlost („es ist nicht so schlimm ... Es ist nicht so, dass sie im Krankenhaus gelandet wäre”). 

Aufgrund der unbewussten Natur dieser tief verwurzelten Heuristiken fügten sich viele Australier*innen in ihre Rolle bei der Aufrechterhaltung der Situation und lehnten ihre Verantwortung eher ab. Dies gründete darauf, dass Einflussnahme als kostspielig angeseb hen wurde, so dass viele schnell bereit waren, sich nicht einzumischen, wenn es zu respektlosem Verhalten zwischen jungen Männern und Frauen kam. Es ist eine verbreitete Norm, diese Erfahrung als wichtigen Teil der Entwicklung junger Menschen zu betrachten. Menschen, die Einfluss nehmen wollen, müssen mehr Selbstvertrauen und Selbstwirksamkeit spüren, um angemessen reagieren zu können.

Das Ergebnis dieser tiefergehenden Evidenzsammlung war die Entwicklung einer langfristigen nationalen Kampagne zur Verhaltensänderung, die darauf abzielte, die tief verwurzelten Einstellungen und Überzeugungen auf gesellschaftlicher Ebene im Laufe der Zeit in Frage zu stellen und zu verändern. Die Kampagne “Stop it at the Start” ist eine langfristige Investition, die dem Ausmaß und der Komplexität des Themas gerecht wird – denn die Veränderung tief verwurzelter gesellschaftlicher Einstellungen geschieht nicht über Nacht. Es handelt sich um eine Primärpräventionskampagne. Seit ihrem Start wurde sie unabhängig evaluiert und gilt als die erfolgreichste Kampagne, die jemals von der australischen Regierung gestartet wurde.

Sie hat zu “neuen Diskussionen” über die Zusammenhänge zwischen Respektlosigkeit und Gewalt gegen Frauen geführt, zu einer deutlichen Verringerung der unbewussten Heuristiken, die das Problem unbeabsichtigt aufrechterhalten, und zu einer deutlichen Verringerung der gewaltunterstützenden Einstellungen unter jungen Menschen. Und schließlich ist die durchschnittliche Zahl der australischen Frauen, die von einem aktuellen oder ehemaligen Partner getötet werden, deutlich gesunken, von ein oder zwei pro Woche (2015) auf eine alle 11 Tage (2022). 

Welche Art von Evidenz half, die Ursache des Problems zu erkennen?

Qualitative Forschung, um den Kern des Problems zu dekonstruieren: um zu verstehen, warum das Problem in der Gesellschaft fortbestand, obwohl die meisten Australier*innen Gewalt gegen Frauen und Kinder verurteilten. Innovative qualitative Techniken wurden in Kombination mit dem eigenen Behaviour Change Framework von Verian eingesetzt.

Verian sammelte die Perspektiven vieler verschiedener Gruppen in unterschiedlichen Settings: Es wurden Fokusgruppen mit Müttern, Vätern, Eltern zusammen, älteren und jüngeren Geschwistern, Großeltern und nicht-elterlichen Bezugspersonen durchgeführt. Es fanden Tiefeninterviews mit vulnerableren Zielgruppen wie Menschen mit Behinderungen, Mitgliedern der LGBTQIA-Community und Überlebenden häuslicher Gewalt statt.

Erarbeiten und Auswählen von Lösungen

Sind das Problem und seine Ursachen identifiziert, geht es im nächsten Schritt darum, die beste Lösung für dieses Problem zu entwickeln und auszuwählen.

Abhängig von der Art des Problems und dem Grad der Neuheit des Problems wird möglicherweise eine Sondierungsphase für neue Lösungen oder eine Literaturrecherche benötigt, um Best Practice-Lösungen zu identifizieren. In den meisten Fällen gibt es eine Vielzahl möglicher Lösungen, für die in der Regel nachgewiesen werden muss, welche davon die größte Wirkung und/oder das beste Kosten-Nutzen-Verhältnis bietet. Die folgenden Fragen sind typisch für die Entscheidungsfindung in dieser Phase des Politikzyklus:

Das erste Beispiel veranschaulicht die Herausforderungen in der Designphase bei der Suche nach möglichen Lösungen. Es basiert auf den Erfahrungen des schwedischen Nationalen Rates für Kriminalprävention und der Universität Malmö in Schweden, die die Konzeptionsphase mit einer 2020 veröffentlichten Prozessbewertung begleitet haben.

Wie kann man Lösungen finden, um das Problem anzugehen? Wie adaptiert man etwas, das anderswo funktioniert hat?

Schwere Gewaltverbrechen sind eines der größten gesellschaftlichen Probleme in Schweden. Die Hauptquelle dieser Gewalt scheint innerhalb und zwischen kriminellen Gruppen zu liegen und steht im Zusammenhang mit Schusswaffen. Die schwedische Forschung darüber, was zur Verringerung schwerer Gewalt beiträgt, ist begrenzt, und es sind mehr Kenntnisse erforderlich, um der Polizei und anderen Akteuren der Kriminalprävention die Instrumente an die Hand zu geben, die sie benötigen, um den Trend umzukehren. 

Um mögliche Strategien zur Bekämpfung tödlicher Gewalt zu identifizieren, untersuchte der schwedische Nationale Rat für Kriminalprävention (Brå) Regionen auf der ganzen Welt, die sich zuvor mit tödlicher Gewalt befasst hatten. Sie fanden heraus, dass eine Strategie namens “Group Violence Interventions” (GVI) in den 1990er Jahren in Boston und anderen amerikanischen Städten erfolgreich angewendet wurde.

Um mehr über die Anforderungen und die praktische Umsetzung dieser GVI-Strategie zu erfahren, besuchten Vertreter*innen von Brå die Vereinigten Staaten und berieten sich mit Professor David M. Kennedy, der in den 1990er Jahren das Boston Gun Project leitete und Direktor des National Network for Safe Communities in den Vereinigten Staaten geworden war.

Die GVI-Politik, die in Boston so gut funktionierte, wurde von einer interdisziplinären Arbeitsgruppe in einem Schritt-für-Schritt-Prozess entwickelt, der half, mögliche Probleme zu erkennen und effektiv zu lösen (Problemlösungsmodell-Ansatz). Die Arbeitsgruppe bestand aus Praktiker*innen aus verschiedenen Trägern und Behörden sowie aus Akademiker*innen. Gemeinsam kombinierten sie qualitative und quantitative Forschung mit den Erfahrungen von Polizist*innen und Streetworkern. 

Der GVI-Ansatz versuchte, Bandengewalt zu verhindern, indem er die Bandenmitglieder davon überzeugte, dass Gewalt und Waffengebrauch Konsequenzen haben würden, was sie dazu veranlasste, ihr Verhalten zu ändern. Ein Schlüsselelement der Strategie bestand darin, einer relativ kleinen Zielgruppe eine direkte und explizite “Abschreckungsbotschaft” zu vermitteln, die die Reaktion auf bestimmte Verhaltensweisen offenlegte. Das Boston Police Department hat die Beteiligung an Bandengewalt für die Beteiligten kostspieliger gemacht. Es wurde erwartet, dass die Kommunikation dessen, was mit anderen in der Zielgruppe passiert war, weitere Bandengewalt in der Stadt verhindern würde.

Nach der erfolgreichen Implementierung von GVI in Boston wurde die Strategie vor allem in amerikanischen Städten, aber auch in einigen europäischen Städten wie Glasgow und London umgesetzt. Die Bedingungen für die Einführung von GVI in Schweden wurden mit dem Hinweis auf die Tatsache in Frage gestellt, dass die Unterschiede zwischen den Vereinigten Staaten und Schweden zu groß seien. 

Daher wurde beschlossen, ein Pilotprojekt in einer schwedischen Stadt durchzuführen. Dieser Praxisversuch wurde von einer Prozess- und Wirkungs-Evaluation begleitet, um die Elemente zu verstehen, die erforderlich sind, um eine solche Maßnahme an verschiedene Kontexte/Regionen anzupassen. Die Gemeinde Malmö wurde für zwei Jahre zu einem Pilotprojekt für GVI in Schweden. Das amerikanische Team wurde aufgrund seines Wissens konsultiert, das auf seiner Rolle bei der früheren GVI-Arbeit von Boston basiert.

Die 2021 veröffentlichte Wirkungsevaluation dieses Versuchs zeigte, dass die Zahl der Schießereien in Malmö während des Zeitraums des Pilotprojekts zurückging. Es ist jedoch schwierig, statistisch zu ermitteln, welche Faktoren hinter der Reduktion stehen. Nichtsdestotrotz waren die Ergebnisse vielversprechend genug, so dass immer mehr schwedische Städte diese Politik in ihren Gebieten übernahmen und anpassten.

Feinabstimmung der Implementierung einer Lösung

Ist die Entscheidung gefallen, welche Lösung für ein Problem implementiert werden soll, geht es in der nächsten Phase um die Feinabstimmung während der Implementierungsphase, einschließlich der Planung der 
Kommunikation.

Diese Phase wird von politischen Entscheidungsträger*innen oft vernachlässigt, da sie sich in der Regel auf die Makroebene einer politischen Lösung konzentrieren. Der Erfolg und die Wirksamkeit eines  Vorhabens hängen jedoch oft von einer gut konzipierten Umsetzung und Kommunikation in der Praxis ab. Um sicherzustellen, dass Politik so effizient und effektiv wie möglich durchgesetzt wird, ist es wichtig, dass das Umsetzungskonzept sorgfältig hinterfragt und getestet wird, idealerweise mit allen relevanten Intermediären und Zielgruppen. Typische Forschungsfragen in dieser Phase sind: 

Das erste Beispiel zeigt, wie Widerstände gegen Politikmaßnahmen und Programmen durch Kommunikationsstrategien überwunden werden können. Es basiert auf den Erfahrungen von Verian in den Niederlanden.

Was könnte dazu führen, dass die Maßnahme bei der Umsetzung scheitert? Wie kann ein Vorhaben mit zusätzlichen Erkenntnissen für eine Kommunikationsstrategie verfeinert werden?

Die Niederlande sind als “Land der Fahrräder” bekannt und haben die höchste Rate an Fahrradbesitzenden weltweit. Gleichzeitig verzeichnete das Land einen bemerkenswerten Anstieg verunglückter Radfahrer*innen. Ein Schlüsselfaktor für die Verbesserung der Sicherheit ist die Verwendung von Fahrradhelmen, aber nur sehr wenige Menschen in den Niederlanden tragen einen Helm bei regelmäßigen Fahrradtouren.

Als Reaktion darauf wollte das Ministerium für Infrastruktur und Wasserwirtschaft einen umfassenden Fahrradsicherheitsplan entwickeln, um die Zahl der schweren Verletzungen unter Radfahrer*innen zu reduzieren. Um jedoch von Bürger*innen akzeptiert zu werden, die überwiegend gegen das Tragen von Helmen zu sein schienen, war eine Studie darüber erforderlich, was die Einstellungen, Überzeugungen und Verhaltensweisen der niederländischen Bürger*innen in Bezug auf das freiwillige Tragen von Helmen bei regelmäßigen Fahrradtouren beeinflusst. 

Nur mit dem Wissen um die zentralen Antriebsfaktoren des Widerstands gegen das Tragen von Helmen können wirksame Kommunikations- und Umsetzungsmaßnahmen konzipiert und politische Maßnahmen zur Helmnutzung von den Bürgerinnen und Bürgern auch tatsächlich verfolgt werden.

Da Einflussfaktoren bei einem Thema, bei dem die vorherrschende soziale Norm so stark ausgeprägt ist, schwer zu bestimmen sind, konzipierte Verian ein zweistufiges Forschungsprojekt. Interviews mit Eltern von Kleinkindern, Pendlern und Senior*innen, die regelmäßig Fahrrad fahren, ergaben, dass die Haupthindernisse für die Nutzung von Helmen eine geringe Risikowahrnehmung und die Überzeugung waren, dass Helme unnötig sind und sich negativ auf das Image auswirken. Zu den wichtigsten Hindernissen gehörten soziale Normen, Stereotypen, Probleme mit dem Aussehen und Unbequemlichkeit. Die Studie zeigte jedoch auch, dass die Akzeptanz gesteigert werden könnte, wenn der Helm häufiger getragen wird, die Risikowahrnehmung steigt, sich Design und Komfort verbessern und persönliche Werte wie Verantwortung und Gesundheitsbewusstsein stärker mit der Helmnutzung in Verbindung gebracht werden.

Die quantitative Befragung ergab, dass ein beträchtlicher Teil der Nicht-Helmträger*innen offen dafür wäre, in Zukunft einen Helm zu tragen. Um diese und andere Radfahrer*innen anzusprechen, entwickelte das Ministerium eine Kommunikationsstrategie zur Förderung des freiwilligen Helmtragens unter Radfahrer*innen, die sich auf die eher impliziten, emotionalen Faktoren konzentriert, die nicht nur rationale Kosten-Nutzen-Berechnungen berücksichtigen. Die Studie veranlasste das Ministerium, eine ganzheitliche Sicht auf die Entscheidungsfindung der Bürger*innen in Bezug auf die Verwendung eines Helms einzunehmen und sicherzustellen, dass rationale Entscheidungen nicht durch emotionale Widerstände dominiert werden

Das nächste Beispiel verdeutlicht die Herausforderung, die Akzeptanz der Akteure in der Umsetzungsphase sicherzustellen. Es basiert auf den Erfahrungen von Ramboll in Deutschland.

Wie kann die Partizipation von Intermediären und Zielgruppen über einen längeren Umsetzungszeitraum sichergestellt werden?

Um die Lehrerbildung im Studium zu verbessern, hat das Bundesministerium für Bildung und Forschung (BMBF) das große Förderprogramm “Qualitätsoffensive Lehrerbildung” ins Leben gerufen. Ziel des Programms war es, die Bildungsstrukturen an den Hochschulen zu optimieren, relevante Unterstützungsangebote für Studierende zu entwickeln und die Vergleichbarkeit von Studium und Qualifikationen über die Bundesländer hinweg sicherzustellen.

Das Bundesministerium beauftragte Ramboll Management Consulting und die Universität Linz mit einer umfassenden Evaluation, um die Wirkung dieses groß angelegten Programms zu bewerten. An dem Programm waren 72 Hochschulen aus allen Bundesländern mit 91 sehr heterogenen Projekten beteiligt. Daher musste eine große und vielfältige Gruppe von Akteuren und Interessengruppen einbezogen und über einen relativ langen Evaluierungszeitraum zur Teilnahme motiviert werden.

Die Evaluatoren stellten die Zusammenarbeit der Akteure in den Mittelpunkt, und das Programm zielte auf eine länderübergreifende Zusammenarbeit ab, um Wirkung und Vergleichbarkeit zu gewährleisten.  Um die Bereitschaft aller Stakeholder zur Beteiligung an der Datenerhebung über den gesamten Zeitraum (2016 – 2024) aufrecht zu erhalten, hat Ramboll ein groß angelegtes Evaluationsprogramm aufgesetzt, das Online-Befragungen für alle Projekte, Monitoringsysteme, Experteninterviews, Interviews mit geförderten und nicht geförderten Hochschulen sowie Gruppendiskussionen mit Vertreterinnen und Vertretern der Bildungs- und Wissenschaftsministerien der Bundesländer umfasste. Außerdem war die Beobachtung von Veranstaltungen und eine Dokumentenanalyse vorgesehen. Diese große Vielfalt an Datenquellen stellte sicher, dass alle relevanten Daten erhoben werden konnten, ohne die einzelnen Teilnehmenden zu stark zu belasten.

Außerdem konnten sie jeweils mit einer geeigneten Forschungsmethode angesprochen werden. Sehr heterogene Ausgangspositionen an den Hochschulen wurden durch umfangreichere und weniger standardisierte Monitoringinstrumente (z. B. mehr offene Antwortmöglichkeiten) berücksichtigt. Die Unterstützung von Vertreter*innen der Bundesländer und eines wissenschaftlichen Beirats untermauerte die Expertise und Autorität der Forschenden. Darüber hinaus spielte die Transparenz der Evaluationsergebnisse, z. B. durch jährliche thematische Zwischenberichte und Workshops zur Erörterung von Zwischenergebnissen, eine Schlüsselrolle bei der Einbindung von Stakeholdern, indem sie das Vertrauen stärkte und den Universitäten bereits einige Vorteile bot. Diese Maßnahmen sorgten dafür, dass die „Qualitätsoffensive Lehrerbildung“ Reformen unterstützte, neue Wege in der Lehrerbildung eröffnete und die Forschung in der Lehrerbildung stärkte. Die Projekte und Stakeholder wurden bundesweit vernetzt und in ihrer Arbeit unterstützt. Die “Qualitätsoffensive Lehrerbildung” half den Hochschulen, den Abstimmungsbedarf besser zu bewältigen und durch Vernetzung resilienter zu werden.

Das nächste Beispiel veranschaulicht die Herausforderungen bei der Skalierung in der Implementierungsphase nach einem erfolgreichen Pilotprojekt. Die Fallstudie basiert auf den Erfahrungen der Behavioural Insights Unit  von New South Wales (NSW) mit der Erprobung einfacher Verhaltensinterventionen, um die geschlechtsspezifische Lücke bei der Rekrutierung für die NSW-Regierung in Australien zu verringern.

Wie skaliert man Interventionen, die sich während eines Pilot-projekts als wirksam erwiesen haben?

Seit 2015 war es eine der Prioritäten des Premiers von New South Wales, den Anteil von Frauen in leitenden Führungspositionen im NSW-Regierungssektor bis 2025 von 33 % auf 50 % zu erhöhen. Eine zentrale  Herausforderung bestand darin, dass sich Frauen nicht im gleichen Maße wie Männer für leitende Führungspositionen bewerben (dies wurde in der Diagnosephase entdeckt). Das Behavioural Insights-Team entwickelte zwei einfache, kostengünstige Interventionen, die Frauen ermutigen sollen, sich erneut für leitende Positionen zu bewerben, nachdem sie knapp gescheitert waren.

Die Interventionen bestanden aus einer E-Mail und einem Telefonat mit einem/einer Personalverantwortlichen, das sich darauf konzentrierte, wie gut der/die Bewerber*in abgeschnitten hatte, und sie ermutigte, sich erneut zu bewerben. 

Beide Interventionen nutzen die Verhaltenstendenz, eine Erfahrung danach zu beurteilen, wie wir uns während ihres emotionalen Höhepunkts und am Ende fühlen. Während des Rekrutierungsprozesses ist der emotionale Höhepunkt oft ein Vorstellungsgespräch, während das Ende für die meisten Bewerber*innen eine generische E-Mail ist, in der ihnen mitgeteilt wird, dass ihre Bewerbung nicht erfolgreich war. Die Intervention zielte darauf ab, diesen finalen Eindruck aufzubrechen, indem Bewerber*innen, die ein Vorstellungsgespräch erhielten, aber nicht erfolgreich waren, eine ermutigende E-Mail oder einen Telefonanruf erhielten. Die Interventionen wurden 2019/2020 in einem Pilotprojekt mit einer Gruppe von Stellen im öffentlichen Dienst getestet. Es wurde ein randomisiert-kontrolliertes Studiendesign mit 1.614 Bewerber*innen implementiert. Diese wurden nach dem Zufallsprinzip so zugeteilt, dass sie entweder einen “Business as usual”-Rekrutierungsprozess oder eine ermutigende E-Mail oder eine ermutigende E-Mail plus einen Telefonanruf erhielten. Zwei Wochen nach Erhalt der Intervention (bzw. für die Kontrollgruppe ohne Intervention) erhielten die Bewerber*innen eine Umfrage, um ihre allgemeine Zufriedenheit mit dem Einstellungsverfahren, ihre Absicht, sich erneut zu bewerben, und die Wahrscheinlichkeit, die NSW-Regierung zu empfehlen, zu erfassen. Darüber hinaus wurde geprüft, ob sich die Bewerber*innen innerhalb von drei und sechs Monaten erneut für eine andere leitende Position in der NSW-Regierung bewarben.

Die Pilotergebnisse zeigten deutlich, dass beide Interventionen erfolgreich waren. Sie hatten nicht nur einen erheblichen Einfluss auf die Absicht, sondern auch auf das Verhalten, sich erneut für leitende Positionen zu bewerben. Darüber hinaus war der Einfluss bei Frauen signifikant größer als bei Männern, so dass sich der Gender Gap im Vergleich zur Kontrollgruppe mit einem Gender Gap von 45% signifikant auf 12% (nur E-Mail) bzw. auf 4% (Telefon und E-Mail) reduzierte. Auf der Basis dieser Ergebnisse wurde berechnet, dass, wenn die E-Mail und der Telefonanruf auf die gesamte NSW-Regierung ausgeweitet werden würden, dies den Anteil von Frauen in leitenden Positionen jedes Jahr um bis zu 0,5 % erhöhen und einen wesentlichen Beitrag zur Erreichung einer gleichberechtigten Vertretung der Geschlechter in leitenden Positionen leisten könnte. Aus diesem Grund entwickelte die Kommission für den öffentlichen Dienst in NSW ein Toolkit, um Personalverantwortliche bei der Umsetzung der Interventionen zu unterstützen. Seitdem hat sich die Geschlechtervielfalt in den Regierungsgremien von NSW weiter verbessert, obwohl noch nicht evaluiert wurde, inwieweit dieser Fortschritt auf der Einführung der Intervention beruht.

Bewertung von Leistungen, Wirkungen und langfristigen Effekten einer Lösung

Ohne jegliches Monitoring und Evaluation nach der Implementierung eines Vorhabens weiß man nicht, ob und wie die Lösung funktioniert hat. Das Einholen von Evidenz während des Implementierungsprozesses dient als Frühwarnsystem, wenn etwas schief geht und korrigiert werden muss. Wirkungsevaluationen nach der Implementierung liefern dann die Zahlen, die möglicherweise benötigt werden, um das Vorhaben als Erfolgsgeschichte zu erzählen, um das Kosten-Nutzen-Verhältnis zu überprüfen und um zukünftige politische Entscheidungen in diesem Bereich zu treffen. Typischerweise werden in dieser Phase folgende Forschungsfragen gestellt: 

Das erste Beispiel veranschaulicht die Herausforderung, in der Evaluationsphase umfassende und hilfreiche Forschungsprogramme zu konzipieren. Es basiert auf den Erfahrungen von Verian in Deutschland.

Wurden mit der gewählten Option die gewünschten Ziele erreicht?

Ziel der Bildungsprämie war es, die Teilnahme an beruflichen Bildungsangeboten zu erhöhen, insbesondere für diejenigen, die durch finanzielle Barrieren daran gehindert wurden. Durch das Angebot finanzieller Unterstützung sollte die Weiterbildung für Menschen mit niedrigem Einkommen erschwinglich werden, indem sowohl die finanziellen Kosten als auch andere Hindernisse wie begrenzte Zeit und eingeschränkte Fähigkeiten reduziert werden.

Um zu beurteilen, ob dies erreicht wurde, führte ein Forschungskonsortium bestehend aus Verian, dem Institut für angewandte Wirtschaftsforschung e.V. und dem Forschungsinstitut Betriebliche Bildung (f-bb) eine groß angelegte Evaluationsstudie mit einer ganzheitlichen Betrachtung von Forschungsaspekten und -fragen durch.

Während sich die Evaluation auf die Standardfrage zu Wirksamkeit und Zielerreichung – “Hat das Programm die Teilnahme an beruflichen Bildungsangeboten erhöht?” – konzentrierte, wurde das Forschungsfeld darüber hinaus umfassenderer betrachtet und auch berücksichtigt:

• Analyse und Beurteilung der Wirtschaftlichkeit
• Analyse und Bewertung des Bildungserfolgs
• Identifikation von Verbesserungspotenzialen bzw. Fehlersteuerung im Prozess
• Weiterentwicklung von Maßnahmen und Steuerungsmaßnahmen für das Bundesprogramm

Ziel der Studie war es auch, die langfristigen Auswirkungen und Erkenntnisse für zukünftige Bildungsförderprogramme zu evaluieren. Dabei nahm die Studie einen breiteren Blick ein und erfasste nicht nur das Weiterbildungsverhalten und die Einstellungen der Teilnehmenden, sondern auch die breitere Relevanz von geförderter Weiterbildung und deren Wirkung auf den sozialen Ausgleich, Mobilisierung von benachteiligten Gruppen und den Abbau ungleicher Bildungsbeteiligung.

Sie befasste sich daher mit der Einbettung des Programms in den gesamten gesellschaftlichen Kontext und mit weiteren relevanten Entwicklungen. Diese breite Fokussierung trug dazu bei, eine Reihe von Verbesserungsmöglichkeiten für eine nachhaltige bedarfsorientierte Förderung der beruflichen Entwicklung zu identifizieren, zeigte aber auch Grenzen der Wirksamkeit des Programms auf. Es zeigte sich, dass die Teilnehmenden mit größerer Wahrscheinlichkeit an qualitativ hochwertigeren Schulungen oder zusätzlichen Schulungen teilnahmen, und insbesondere Personen mit geringerem Einkommen schienen ermutigt zu werden. Außerdem berichteten die Teilnehmenden von einer hohen Zufriedenheit mit der Bildungsprämie. Weitere Analysen zeigten jedoch, dass mögliche Effekte der Bildungsprämie auf einen Selektionsbias zurückgeführt werden könnten, da nur motiviertere Teilnehmende überhaupt teilnahmen. Auch die Auswirkungen auf den wirtschaftlichen und beruflichen Aufstieg waren bescheiden. Unter dem Gesichtspunkt der Wirtschaftlichkeit stellte sich heraus, dass das Programm die Einzelförderung sehr teuer machte.

Eine gut konzipierte Evaluationsstudie mit vielfältigen und umfangreichen Forschungsfragen schaffte es daher, eine ausgewogene und differenzierte Bewertung der Gesamtwirkungen des Programms zu erzielen.

Das nächste Beispiel zeigt, wie Monitoring-Systeme in der Evaluationsphase nützlich sein können, um Trends und neue Entwicklungen im Blick zu behalten. Es basiert auf den Erfahrungen von Verian in den Niederlanden.

Wie kann man Monitoring- und Evaluationsdaten nutzen, um kontinuierlich zu verbessern und nachhaltige Veränderungen zu erreichen?

Der niederländische Nationale Sportverband (NOC*NSF) hat sich zum Ziel gesetzt, die Sportbeteiligung in den Niederlanden deutlich zu erhöhen. Um sicherzustellen, dass alle Programme auf Evidenz beruhen und neue Strategien sofort evaluiert werden, beauftragte der Verband Verian mit der Durchführung einer monatlichen Monitoring-Umfrage, die sich an eine repräsentative Stichprobe der niederländischen Bevölkerung richtete.

Die Umfrage misst jeden Monat die sportliche Beteiligung und das Ausmaß der körperlichen Aktivität sowie die am häufigsten ausgeübten Sportarten und die demografische Zusammensetzung der niederländischen Sportler*innen. Das Monitoring stützt sich auf einen standardisierten Fragenkatalog, der auf einer validierten Methodik basiert, um die Teilnahme am Sport und die körperliche Aktivität zu bewerten. Sie kann somit einen Schlüsselindikator für die Sportbeteiligung liefern, der über die Zeit und über verschiedene Kontexte hinweg verglichen werden kann. Da die Daten monatlich erhoben werden, ergibt sich ein detailliertes Bild von Trends und Mustern, woraus sich Handlungsempfehlungen für die Anpassung von Politikmaßnahmen ableiten lassen.

Darüber hinaus ermöglichen die großen Stichproben, die in diesem Zeitraum zusammengetragen wurden, detaillierte statistische Analysen und soziodemografische Vergleiche. Die Monitoring-Umfrage sieht auch Ad-hoc-Fragen und spezielle Schwerpunkte vor, um gezielt Daten über sich abzeichnende Trends, saisonale Aktivitäten oder andere besondere Interessengebiete zu erheben. Der Monitor kombiniert daher ein standardisiertes Basismodul, das zuverlässige und konsistente Ergebnisse liefert, mit der Möglichkeit, Strategien flexibel anzupassen und auf sich abzeichnende Entwicklungen im Sportbereich zu reagieren. 

Eine feste Datenpipeline speist die Daten nur wenige Tage nach Beendigung der Feldarbeit in leicht zugängliche Dashboards ein und stellt alle Erkenntnisse sofort zur Verfügung. Das Dashboard ist sehr flexibel und berücksichtigt Feedback aus den Daten der Vormonate, um sicherzustellen, dass es immer auf dem neuesten Stand ist und zeitnahe und korrekte Ergebnisse liefert. Im Allgemeinen ist der Monitor die Grundlage für politische Positionspapiere von NOC*NSF und für die Erstellung langfristiger Strategien, die auf die in der Umfrage identifizierten Barrieren für eine Vielzahl von Untergruppen niederländischer Bürger*innen abzielen.