News and insights

Was ist gute Evidenz?

Teil von "Impulse für evidenzbasierte Politikfestaltung", eine Handreichung gefördert von der Robert-Bosch-Stiftung und entwickelt von Verian Deutschland.

Herunterladen der Handreichung "Impulse für evidenzbasierte Politikgestaltung"

Wenn wir über Evidenz sprechen, empfehlen wir, die folgenden zwei Arten von Evidenz zu unterscheiden (WHO 2021):

1. Wissenschaftliche oder Forschungsevidenz

wird systematisch durch einen formalen, standardisierten Forschungsprozess nach bestimmten methodischen Standards generiert.

Dies kann Primärforschung, Synthese bestehender Forschung (Sekundärforschung) und andere Produkte umfassen, die auf Evidenz basieren, wie z.B. Leitfäden (Tertiärforschung). Wissenschaftliche Evidenz kann numerisch (quantitativ) oder deskriptiv (qualitativ) sein, wobei eine Reihe von Methoden zum Einsatz kommt.

2. Erfahrungsevidenz

stellt eher informelles Wissen dar, das auf den Meinungen und Erfahrungen von Personen basiert, die in dem zu analysierenden Themenfeld arbeiten oder leben.

Diese Art von Evidenz wird häufig in den Medien, in Expertenberichten, persönlichen Anekdoten, qualitativen Interviews, Gruppendiskussionen oder deliberativen Dialogen geäußert.

Beide Arten von Evidenz können wertvoll sein und unterschiedliche Forschungsfragen beantworten. Ihre Beziehung ist komplementär. Zum Beispiel kann die Erfahrungsforschung einen Bereich hervorheben, auf den sich die wissenschaftliche Forschung konzentrieren sollte, oder sie kann die bereits durchgeführte wissenschaftliche Forschung validieren oder in Frage stellen.

Typische Forschungsfragen, die durch den jeweiligen Evidenztyp beantwortet werden können (Superu 2018), umfassen:

Wissenschaftliche oder Forschungsevidenz

Bestätigen oder beschreiben die Daten die ursprüngliche Hypothese, die Zielgruppe und/ oder die Treiber von Veränderungen?
Gibt es Belege für die Wirksamkeit von Maßnahmen bei der Lösung eines Problems?
Gibt es gut konzipierte Studien oder Auswertungen, um die Gelingensbedingungen oder die gewünschten Wirkungen zu validieren?
Welche positiven, negativen oder unbeabsichtigten Auswirkungen hatte ein Programm oder eine Maßnahme auf Verhaltensänderungen oder andere Ziele?
Gibt es eine Anleitung zur Implementierung? Was sagt die Evidenz über die Ressourcen, Prozesse und Kapazitäten aus, die für die erfolgreiche Umsetzung einer Maßnahme erforderlich sind?
Was sind die Merkmale der Menschen, die von der Maßnahme profitieren? Wie und in welchem Ausmaß sind die Menschen von dem Thema, Problem oder der Chance betroffen?

Erfahrungsevidenz

Wie spiegelt der politische Ansatz die Erfahrungen und das Wissen der Menschen wider, denen er zugute kommen soll?
Was können die früheren Erfahrungen einer Zielgruppe über die Akzeptanz, Bedeutung und Angemessenheit der Politik oder des Programms für sie aussagen?
Was können die Erfahrungen und das Wissen der Stakeholder darüber aussagen, was bisher bei der Zielgruppe funktioniert oder nicht funktioniert hat?
Welche gemeinsamen Ziele haben die verschiedenen Zielgruppen und Interessensvertretungen in Bezug auf die Politikmaßnahme?
Was sagen die Erkenntnisse darüber aus, wie gut die Erfahrungen und Wünsche der Zielgruppe mit den Zielen der Politikmaßnahme übereinstimmen?
Welche Erfahrungen wurden aus Evaluationen oder Berichten ähnlicher Initiativen gesammelt? Wie könnten sie genutzt werden, um den Ansatz zu stärken?

Wie kann man gute Evidenz erkennen?

Bei der Überlegung, auf welche Evidenz Entscheidungen gestützt werden sollen, ist es wichtig, die Robustheit und Qualität der verfügbaren Evidenz zu bewerten. Es gibt zahlreiche Leitfäden von Forschungsvereinigungen und -institutionen, die einen detaillierten Überblick über Qualitätsstandards für die Evidenzproduktion geben. In Deutschland bietet die Gesellschaft für Evaluation e.V. (DeGEval) einen guten Überblick über die Standards für Evaluationen und der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (https://www.adm-ev.de/standards-richtlinien/) stellt eine nützliche Checkliste für Auftraggeber bereit, die Umfragen in Auftrag geben.

In der Praxis ist es jedoch sinnvoller, sich von prägnanten und klaren Rahmenwerken leiten zu lassen, die Schlüsseldimensionen guter Evidenz hervorheben, wie z. B. das folgende Rahmenwerk aus der evidenzbasierten Politikpraxis im Vereinigten Königreich (Houses of Parliament 2017, Nesta 2022).

Bei der Bewertung von Evidenz aus einer Vielzahl von Quellen und Methoden ist es hilfreich sicherzustellen, dass sie die folgenden Kriterien erfüllt:

VERTRAUENSWÜRDIG	Es ist wichtig zu beurteilen, woher die Informationen stammen und wer sie erstellt hat. Sind die Qualifikationen der Autorinnen und Autoren glaubwürdig und ist ihre Vorgehensweise transparent?
OBJEKTIV	Um das Ziel hinter jedem Forschungsvorhaben und die möglichen Verzerrungen, die auftreten können, zu verstehen, sollten Sie den Zweck der Studie und die wahrscheinlichen Motivationen dahinter berücksichtigen. In diesem Zusammenhang ist es oft sinnvoll zu prüfen, wer die Forschung finanziert hat.
RELEVANT	Nicht jede Forschung ist für Ihre Frage oder Situation nützlich. Sie sollten daher prüfen, ob der Kontext, in dem die Forschung stattgefunden hat, mit Ihrem eigenen vergleichbar ist, ob alle relevanten Perspektiven einbezogen wurden und für welche Zielgruppe die Forschung ursprünglich gedacht war.
AKTUELL	Wenn Sie Ihre Entscheidung auf Evidenz stützen, ist es wichtig, dass diese Daten nicht veraltet und immer noch gültig sind. Sie sollten daher prüfen, ob die Informationen, die Sie haben, aktuell sind und ob in der Zwischenzeit etwas Wichtiges passiert ist, das die Ergebnisse beeinflussen könnte.
GENAU	Um die Qualität einer Methode zu beurteilen, sollten Sie sicherstellen, dass die Methodik detailliert beschrieben und angemessen ist. Hilfreich ist auch zu prüfen, ob ähnliche Studien durchgeführt wurden oder ob die Studie wiederholt wurde. In der Regel ist ein Peer-Review oder eine Validierung durch andere Expertinnen und Experten auf diesem Gebiet ein gutes Zeichen für starke Evidenz.

References:

Houses of Parliament (2017): Parliamentary Research Handbook
Nesta (2022): Engaging with evidence toolkit – A practical resource to strengthen capabilities for evidence use and expert engagement.
Social Policy Evaluation and Research Unit (Superu 2018): Making sense of evidence: A guide to using evidence in policy. Wellington, New Zealand.
World Health Organisation (2021) Evidence, policy, impact. WHO guide for evidence-informed decision-making