El uso de datos y estudios en la elaboración de las políticas públicas

Comprender el problema y sus causas

El proceso de elaboración de una política pública comienza con la identificación y formulación de un problema que requiere atención. Idealmente, este paso debería ir precedido —o acompañado— de un proceso sistemático de priorización, en el que se tengan en cuenta cuestiones como las siguientes:

Las respuestas a estas preguntas permiten definir y describir el problema desde distintas perspectivas. Por ello, su comprensión debe apoyarse en datos y estudios, en el contexto en el que se toman las decisiones públicas, en consideraciones éticas y en el diálogo con los actores implicados.

Las preguntas más difíciles de responder en la fase de diagnóstico suelen ser las últimas. Por ello, a continuación, se presentan posibles soluciones a partir de dos casos prácticos. El primer ejemplo ilustra los retos temporales en la fase de establecimiento de la agenda, a partir de las decisiones de campaña electoral adoptadas por los partidos políticos. Se basa en la experiencia de Verian en Alemania.

¿Durante cuánto tiempo se mantiene una prioridad en un contexto en constante cambio? ¿Cuándo debe recopilarse cada tipo de información? ¿En qué momento la información disponible deja de ser válida?

Antes de las elecciones, los partidos políticos deben tomar decisiones sobre los candidatos y los temas en los que quieren basar su campaña.

Para ello, los comités de los partidos suelen recurrir a sesiones informativas basadas en datos antes de tomar decisiones y trasladarlas a la agencia de comunicación.

El mayor desafío es el momento oportuno: decidir cuándo recopilar cada tipo de información

El contexto político puede ser muy volátil. Empezar pronto permite realizar una sesión informativa temprana y disponer de tiempo suficiente para desarrollar una buena campaña, pero también conlleva el riesgo de que se produzcan cambios que alteren la percepción y el impacto de la campaña. La solución consiste en separar los objetivos estratégicos de los tácticos.

Las preguntas habituales de la investigación estratégica son:

• ¿Qué segmentos de votantes son accesibles dentro del electorado?
• ¿Qué temas y narrativas movilizan a los votantes potenciales y cuáles desmovilizan a los oponentes políticos?
• ¿En qué aspectos es vulnerable nuestro partido?

Las preguntas habituales de la investigación táctica son:

• ¿Cuál es el mensaje central de la campaña, en su fase final, con mayor potencial para maximizar los votos?
• ¿Cómo dirigirse a los votantes por correo, que pueden votar hasta unas semanas antes de la jornada electoral?

La información para las cuestiones estratégicas suele recopilarse entre seis y doce meses antes de la jornada electoral. La información de carácter táctico se recoge habitualmente entre cuatro y doce semanas antes. No obstante, si se producen acontecimientos inesperados —por ejemplo, un nuevo conflicto o la aparición de un nuevo candidato opositor—, resulta aconsejable actualizar la estrategia a partir de la nueva información recopilada tras dichos acontecimientos.

El segundo ejemplo pone de relieve la importancia de utilizar herramientas de diagnóstico de carácter integral, que incorporen múltiples perspectivas para identificar las causas profundas de los problemas sociales a largo plazo. Solo así es posible detectar los factores que permiten modificar las tendencias. Se basa en la experiencia de Verian en Australia.

¿Cómo se pueden identificar las causas de un problema, especialmente cuando no son evidentes?

La violencia contra las mujeres tiene una larga tradición en Australia. Dos de cada cinco mujeres australianas han sufrido violencia por parte de un hombre después de los 15 años. Cada semana, una o dos mujeres eran asesinadas por su pareja actual o anterior. Las consecuencias de la violencia contra las mujeres le han costado a la economía australiana 13.600 millones de dólares australianos al año. No es de extrañar que el Gobierno australiano convirtiera la reducción de la violencia contra las mujeres en una prioridad nacional de salud pública en 2015.

Aunque existían numerosas investigaciones sobre el tema, la gran mayoría se había centrado en identificar la magnitud del problema y las actitudes racionales y conscientes que pueden influir en él.

Sin embargo, no se comprendía el núcleo del problema ni su origen, por lo que no se sabía qué se podía hacer para reducir la violencia.

Una nueva investigación reveló que las normas sociales y las creencias inconscientes, entre adultos y jóvenes, promovían la desigualdad de género, la falta de respeto y el comportamiento agresivo. Por ejemplo, se observó una tendencia a culpar a la víctima cuando se planteaban ejemplos de comportamiento agresivo o irrespetuoso entre hombres y mujeres («ella debe haber hecho algo»), así como a empatizar con los hombres («es muy difícil ser un chico joven, probablemente solo le gusta») y a trivializar el comportamiento («no es tan grave… no es como si hubiera acabado en el hospital»). Debido a la naturaleza inconsciente de estas formas de pensar arraigadas, muchos australianos se resignan a su papel en la perpetuación de la situación y rechazan fácilmente la responsabilidad.

Esto es el resultado de la percepción del alto coste que supone ejercer influencia y, como consecuencia, muchos aceptan rápidamente no involucrarse cuando se producen comportamientos irrespetuosos entre jóvenes de ambos sexos. Es una norma común considerar esta experiencia como una parte importante del desarrollo de los jóvenes. Las personas influyentes deben sentir más confianza y autoeficacia para responder de manera adecuada.

Esto ha dado lugar a «nuevas conversaciones» sobre los vínculos entre la falta de respeto y la violencia contra las mujeres, una reducción significativa de las ideas inconscientes que perpetúan involuntariamente el problema y una reducción significativa de las actitudes que apoyan la violencia entre los jóvenes. Y, en última instancia, el número medio de mujeres australianas asesinadas por su pareja actual o anterior ha disminuido significativamente, pasando de una o dos cada semana (2015) a una cada 11 días (2022).

¿Qué tipo de pruebas ayudaron a descubrir la causa del problema?

Investigación cualitativa para desentrañar el fondo de la cuestión: comprender por qué el problema persistía de forma generalizada en la sociedad a pesar de que la mayoría de los australianos condenaban la violencia contra las mujeres y los niños. Se utilizaron técnicas cualitativas avanzadas en combinación con el Marco de Cambio de Comportamiento patentado por Verian.

Verian recopiló las perspectivas de muchos grupos diferentes en distintos entornos: se llevaron a cabo grupos de discusión con madres, padres, parejas de progenitores, hermanos mayores y menores, abuelos y personas influyentes que no eran padres. Se realizaron entrevistas en profundidad con grupos más vulnerables, como personas con discapacidad, miembros de la comunidad LGTBIQ+ y supervivientes de violencia doméstica.

Elaboración y selección de soluciones

Una vez identificados el problema y sus causas, el siguiente paso consiste en desarrollar y seleccionar la solución más adecuada para abordarlo.

En función de la naturaleza del problema y de su grado de novedad, puede ser necesaria una fase exploratoria para desarrollar nuevas soluciones o una revisión de la literatura para identificar buenas prácticas existentes. En la mayoría de los casos, existen varias soluciones posibles que, por lo general, requieren análisis que permitan determinar cuál ofrece un mayor impacto y/o una mejor relación coste-beneficio.

Las siguientes preguntas son habituales en la toma de decisiones durante esta fase del proceso de elaboración de las políticas públicas:

El primer ejemplo que se presenta a continuación ilustra los retos que se plantean en la fase de diseño a la hora de identificar posibles soluciones. Se basa en la experiencia del Consejo Nacional Sueco para la Prevención del Delito y de la Universidad de Malmö, en Suecia, que acompañaron esta fase con una evaluación del proceso publicada en 2020.

¿Cómo podemos generar soluciones para abordar el problema? ¿Cómo adaptar medidas que han funcionado en otros contextos?

Los delitos violentos graves constituyen uno de los principales problemas sociales en Suecia. La principal fuente de esta violencia parece encontrarse dentro y entre los grupos delictivos y está relacionada con el uso de armas de fuego. La investigación disponible en Suecia sobre qué medidas resultan eficaces para reducir la violencia grave es limitada, por lo que se necesita más información para dotar a la policía y a otros agentes de prevención del delito de las herramientas necesarias para revertir esta tendencia.

Para identificar posibles estrategias contra la violencia letal, el Consejo Nacional Sueco para la Prevención del Delito (Brå) analizó regiones de todo el mundo que ya habían abordado este problema. En este análisis se identificó una estrategia denominada «Intervenciones contra la violencia grupal» (GVI, según sus siglas en inglés), que se había aplicado con éxito en Boston y en otras ciudades estadounidenses durante la década de 1990.

Con el fin de conocer mejor los requisitos y la aplicación práctica de la estrategia GVI, representantes de Brå realizaron una visita de estudio a Estados Unidos y consultaron al profesor David M. Kennedy, quien había dirigido el Proyecto sobre Armas de Fuego de Boston en la década de 1990 y posteriormente se había convertido en director de la Red Nacional para Comunidades Seguras de Estados Unidos.

La política GVI que tuvo tan buenos resultados en Boston fue desarrollada por un grupo de trabajo interdisciplinar mediante un proceso gradual que permitió identificar y abordar de forma eficaz los posibles problemas (enfoque de modelo de resolución de problemas). Este grupo de trabajo estaba formado por profesionales de primera línea de distintos organismos, así como por académicos. De manera conjunta, combinaron investigación cualitativa y cuantitativa con la experiencia de agentes de policía y trabajadores sociales.

El enfoque GVI buscaba disuadir la violencia de las pandillas transmitiendo a sus miembros que la violencia y el uso de armas tendrían consecuencias, con el objetivo de promover un cambio de comportamiento. Un elemento clave de la estrategia consistía en comunicar un «mensaje disuasorio» directo y explícito a un público objetivo relativamente reducido, en el que se detallaba la respuesta ante determinados comportamientos. El Departamento de Policía de Boston incrementó los costes asociados a la participación en actos de violencia relacionados con pandillas. Se esperaba que la difusión de las consecuencias entre otros miembros del público objetivo contribuyera a disuadir nuevos episodios de violencia en la ciudad.

Tras la implementación exitosa de la GVI en Boston, la estrategia se aplicó principalmente en ciudades estadounidenses, pero también en algunas ciudades europeas como Glasgow y Londres. No obstante, se plantearon dudas sobre la viabilidad de aplicar la GVI en Suecia, argumentando que las diferencias entre ambos países eran demasiado significativas.

Por este motivo, se decidió poner en marcha un proyecto piloto en una ciudad sueca. Esta aplicación en un entorno real fue acompañada de una evaluación del proceso y del impacto, con el fin de comprender qué elementos eran necesarios para adaptar la política a distintos contextos y territorios. El municipio de Malmö se convirtió en proyecto piloto de la GVI en Suecia durante un periodo de dos años. El equipo estadounidense fue consultado por su experiencia, basada en su participación en la aplicación previa de la GVI en Boston.

La evaluación del impacto de este proyecto piloto, publicada en 2021, mostró que el número de tiroteos en Malmö disminuyó durante el periodo de aplicación. No obstante, resulta difícil determinar desde un punto de vista estadístico qué factores explican esta reducción. Aun así, los resultados fueron lo suficientemente prometedores como para que otras ciudades suecas decidieran adoptar y adaptar esta política en sus propios contextos.

Dado que no siempre es posible ni rentable realizar ensayos en el mundo real para comprobar la eficacia de una o varias soluciones, el siguiente ejemplo ilustra cómo se puede llevar a cabo una prueba de este tipo de forma más rápida y rentable mediante experimentos de laboratorio, en los que se comparan varias soluciones o variaciones de soluciones. Se basa en la experiencia de la Práctica Conductual de Verian en el Reino Unido.

¿Cómo identificar soluciones eficaces? ¿Cómo simular y probar medidas políticas en la fase de diseño?

Según Ofcom, el organismo regulador de las comunicaciones del Reino Unido, la mayoría de los usuarios de Internet considera que las ventajas de conectarse a la red superan los riesgos. Sin embargo, siete de cada diez usuarios afirman haber visto o experimentado algo potencialmente perjudicial en Internet en los últimos tres meses. Las plataformas online suelen utilizar medidas de seguridad como mensajes de alerta, mecanismos de denuncia, controles parentales y términos y condiciones para proteger a sus usuarios.

No obstante, existen pocos estudios públicos sobre la eficacia de estas medidas. Al mismo tiempo, cada vez hay más investigaciones sobre el comportamiento que indican que cambios relativamente pequeños en el diseño del entorno online —que pueden incluir funciones de seguridad— pueden influir en el comportamiento de los usuarios, tanto de forma positiva como negativa.

Para obtener más información sobre el impacto de mensajes de alerta específicos y de los mecanismos de denuncia de contenidos en las plataformas de intercambio de vídeos (VSP), se incorporó un ensayo controlado aleatorio (ECA) a una encuesta online que simulaba una VSP realista (como YouTube, Vimeo o TikTok).

Este experimento de laboratorio permitió observar comportamientos habituales al desplazarse por un feed de redes sociales. Cada participante interactuó con una maqueta de la interfaz de una VSP y tuvo la oportunidad de ver una serie de vídeos cortos, algunos con contenido neutro y otros con contenido legal pero potencialmente perjudicial. Los participantes fueron asignados aleatoriamente a un grupo de control o a un grupo de tratamiento. Al grupo de control se le mostró una interfaz sin mensajes de alerta, mientras que cada uno de los cuatro grupos de tratamiento recibió un tipo específico de mensaje de advertencia.

Los resultados indican que los mensajes de alerta llevaron a los participantes a implicarse más en la toma de decisiones sobre el contenido de los vídeos que se les presentaban. Sin embargo, solo el mensaje de alerta descriptivo de alto nivel —«Este vídeo contiene material que otros espectadores de esta plataforma han denunciado como sensible»— tuvo un impacto estadísticamente significativo en la decisión de omitir contenido legal pero potencialmente perjudicial. Este tipo de mensaje proporcionó a las personas que no deseaban ver el contenido la información necesaria para decidir omitirlo.

Del mismo modo, los participantes que decidieron ver el contenido tras haber sido expuestos a un mensaje de alerta estaban en mejores condiciones de comprender el riesgo de daño: o bien se sentían cómodos con el contenido, o bien eran conscientes de que podían encontrarlo problemático y, por tanto, estaban «preparados» para omitirlo si fuera necesario.

La solución más eficaz identificada en este experimento online tampoco mostró efectos negativos, ya que no aumentó la probabilidad de omitir contenido neutro ni fue percibida como molesta. Para Ofcom, esta fue la primera experiencia con un ensayo controlado aleatorio online que utilizaba una interfaz de usuario simulada para reproducir una secuencia típica —y a menudo inconsciente— de escenarios de toma de decisiones.

La experiencia demostró que, aunque los resultados no se obtengan en un entorno real, una buena simulación puede ofrecer un equilibrio adecuado entre la obtención de información de alta calidad en un plazo reducido y un presupuesto asumible. Los resultados experimentales resultan más realistas que los de una simple encuesta basada en preguntas hipotéticas sobre el comportamiento.

Un mayor tamaño muestral permite probar y comparar varios tratamientos, y el diseño de laboratorio hace posible controlar otras influencias externas para aislar los efectos de cada tratamiento, algo que no es posible en un entorno real. Por este motivo, Ofcom tiene previsto seguir utilizando este enfoque metodológico.

El siguiente ejemplo ilustra los retos que plantea garantizar la aceptación de las partes interesadas en la fase de diseño, cuando es necesario seleccionar una solución muy controvertida entre distintos actores. Se basa en la experiencia de Verian en Francia.

¿Cómo garantizar la aceptación de las partes interesadas? ¿Qué hacer cuando existe una fuerte presión política sobre las opciones seleccionadas?

El Gobierno francés se fijó el ambicioso objetivo de aumentar la tasa de reciclaje de botellas de plástico del 61 % en 2021 al 90 % en 2029. Además, el país aspira a reducir a la mitad el consumo de botellas de plástico para 2030. Para alcanzar estos objetivos, el ministro de Transición Ecológica planteó la introducción de un nuevo sistema de depósito para el reciclaje de botellas de plástico.

Esta solución resultó muy controvertida. Según sus defensores —la industria de las bebidas y las organizaciones medioambientales—, el sistema de depósito sería una palanca clave para alcanzar los objetivos de reciclaje establecidos por la Unión Europea. Otros países, como Alemania, muestran que este sistema puede ser eficaz para lograr dichos objetivos.

Por el contrario, los principales detractores de la medida fueron las autoridades locales, que ya habían realizado importantes inversiones en el sistema de reciclaje existente. El cambio a un sistema de depósito podría privar a estas autoridades de una fuente de ingresos. También existía la preocupación de que los residuos más valiosos fueran devueltos a los fabricantes para su reciclaje, mientras que las autoridades locales asumieran los residuos de menor valor, más difíciles de reciclar.

En este contexto, una ley aprobada en 2020 obligaba al ministro a basar la decisión política en datos sólidos. La ADEME, la Agencia Francesa de Medio Ambiente y Transición Ecológica, encargó a un consorcio de investigación (Verian, Ifop y EY) la recopilación de información para evaluar el concepto de un nuevo sistema de depósito para botellas de bebidas, en comparación con el sistema de reciclaje existente.

La evaluación se apoyó en varias fuentes de información: una comparación europea de sistemas de depósito, una encuesta cuantitativa a consumidores sobre hábitos de compra y separación de residuos, ensayos controlados aleatorios para analizar las percepciones y comportamientos de los consumidores frente al nuevo sistema en comparación con la situación actual, y un análisis económico para examinar la viabilidad financiera del nuevo modelo frente al existente.

Los resultados de la evaluación, publicados en junio de 2023, mostraron que el nuevo sistema de depósito no permitiría alcanzar plenamente todos los objetivos fijados. Asimismo, el sistema actual también podría cumplirlos, siempre que se desplegaran todos los recursos previstos.

A la luz de estas conclusiones y teniendo en cuenta la fuerte oposición de las autoridades locales al nuevo sistema, el ministro de Transición Ecológica decidió en septiembre de 2023 abandonar el plan de implantar un sistema de depósito para los envases de plástico. No obstante, anunció que esta decisión se compensaría mediante el establecimiento de objetivos ambiciosos para que las autoridades locales mejoraran la recogida y el reciclaje, basándose en particular en las estrategias identificadas por la ADEME.

Gracias a esta toma de decisiones basada en datos, las reacciones de las partes interesadas y de los medios de comunicación fueron mayoritariamente positivas, con titulares como: «el Gobierno da marcha atrás en una ‘falsa buena idea’» o «una victoria para nuestros territorios, para nuestros residentes y para la lucha contra la emergencia climática, teniendo en cuenta el impacto presupuestario y ecológico que habría supuesto esta medida».

Ajustar la implementación de una solución

Una vez tomada la decisión sobre qué solución se debe aplicar al problema, la siguiente fase consiste en ajustar las decisiones durante la fase de implementación, incluidos los planes de comunicación. Los responsables políticos suelen descuidar esta fase, ya que suelen centrarse en el nivel macro de una solución política. Sin embargo, el éxito y la eficacia de una solución suelen depender de una implementación y una comunicación bien diseñadas en la práctica. Para garantizar que la política funcione de la manera más eficiente y eficaz posible, es importante que el concepto de implementación se examine y pruebe cuidadosamente, idealmente con todos los intermediar

Una vez tomada la decisión sobre qué solución aplicar al problema, la siguiente fase consiste en ajustar las decisiones durante la implementación, incluidos los planes de comunicación.

Esta fase suele ser descuidada por los responsables políticos, que a menudo se centran en el nivel macro de la política. Sin embargo, el éxito y la eficacia de una solución dependen en gran medida de una implementación y una comunicación bien diseñadas en la práctica.

Para garantizar que la política funcione de la forma más eficiente y eficaz posible, es fundamental examinar y probar cuidadosamente el enfoque de implementación, preferiblemente con la participación de todos los intermediarios y grupos destinatarios relevantes.

Las preguntas de investigación habituales en esta fase son:

El primer ejemplo que se presenta a continuación ilustra cómo puede abordarse la resistencia a las políticas y a los programas mediante estrategias de comunicación. Se basa en la experiencia de Verian en los Países Bajos.

¿Qué podría provocar el fracaso de una medida durante su implementación? ¿Cómo puede perfeccionarse una política a partir de información adicional para definir una estrategia de comunicación?

Los Países Bajos son conocidos como «el país de las bicicletas» y cuentan con la tasa más alta de propiedad de bicicletas del mundo. Al mismo tiempo, el país ha experimentado un aumento notable en el número de víctimas entre los ciclistas. Un factor clave para mejorar la seguridad es el uso del casco, pero muy pocas personas lo utilizan en sus desplazamientos habituales en bicicleta.

Ante esta situación, el Ministerio de Infraestructuras y Gestión del Agua quiso desarrollar un plan integral de seguridad ciclista para reducir el número de lesiones graves entre los ciclistas. Sin embargo, para lograr la aceptación ciudadana —en un contexto en el que la mayoría parecía oponerse al uso del casco— fue necesario investigar qué motivaba las actitudes, creencias y comportamientos de la población neerlandesa respecto al uso voluntario del casco en los desplazamientos cotidianos.

Solo comprendiendo los factores clave que explican la resistencia al uso del casco es posible diseñar medidas eficaces de comunicación y aplicación, así como implementar políticas que los ciudadanos estén dispuestos a cumplir. Dado que estos factores pueden ser difíciles de identificar en un ámbito en el que la norma social dominante es tan fuerte, Verian diseñó un proyecto de investigación en dos fases.

Las entrevistas realizadas a padres de niños pequeños, personas que se desplazan diariamente al trabajo y personas mayores que utilizan la bicicleta de forma habitual revelaron que los principales obstáculos para el uso del casco eran la percepción de bajo riesgo y la creencia de que los cascos son innecesarios y perjudican la imagen personal.

Entre los principales obstáculos identificados se encontraban las normas sociales, los estereotipos, los aspectos relacionados con la apariencia y las molestias asociadas al uso del casco. No obstante, la investigación también mostró que la aceptación podría aumentar si el uso del casco se generalizara, si se incrementara la percepción del riesgo, si mejoraran el diseño y la comodidad, y si valores personales como la responsabilidad y la concienciación sobre la salud se vincularan más estrechamente a su uso.

La encuesta cuantitativa indicó que una parte significativa de las personas que no utilizaban casco estaría dispuesta a hacerlo en el futuro. Para dirigirse a estos ciclistas y a otros colectivos, el Ministerio desarrolló una estrategia de comunicación destinada a reforzar el uso voluntario del casco, centrada en factores implícitos y emocionales, y no únicamente en cálculos racionales de coste-beneficio.

La investigación llevó al Ministerio a adoptar un enfoque holístico de la toma de decisiones ciudadanas en relación con el uso del casco y a garantizar que la resistencia emocional no prevaleciera sobre la elección racional.

El siguiente ejemplo ilustra el reto que supone garantizar la aceptación de las partes interesadas en la fase de implementación. Se basa en la experiencia de Ramboll en Alemania.

¿Cómo garantizar la participación de los intermediarios y de los grupos destinatarios durante un periodo de implementación prolongado?

Con el fin de mejorar la formación del profesorado durante los estudios universitarios, el Ministerio Federal de Educación e Investigación (BMBF) puso en marcha un amplio programa de financiación y desarrollo denominado «Qualitätsoffensive Lehrerbildung». El objetivo del programa era optimizar las estructuras educativas en las universidades, desarrollar servicios de apoyo relevantes para el estudiantado y garantizar la comparabilidad de los estudios y las cualificaciones en todos los estados federados. El ministerio federal encargó a Ramboll Management Consulting y a la Universidad de Linz la realización de una evaluación exhaustiva para valorar el impacto de este programa a gran escala.

El programa contó con la participación de 72 universidades de todos los estados federados de Alemania, con un total de 91 proyectos muy heterogéneos. Por ello, fue necesario implicar y motivar a un grupo amplio y diverso de partes interesadas para que participaran durante un periodo de evaluación relativamente largo. Los evaluadores dependían de la cooperación de estas partes interesadas, y el programa también buscaba fomentar la cooperación entre los estados federados para garantizar el impacto y la comparabilidad.

Para mantener la disposición de todas las partes interesadas a participar en la recopilación de datos a lo largo de todo el periodo (2016-2024), Ramboll estableció un programa de evaluación a gran escala que incluía encuestas online para todos los proyectos, sistemas de seguimiento, entrevistas a expertos, entrevistas con universidades financiadas y no financiadas, debates en grupo con representantes de los ministerios de educación y ciencia de los estados federados, así como la observación de eventos y el análisis documental.

Esta amplia variedad de fuentes de datos permitió recopilar toda la información relevante sin imponer una carga excesiva a los participantes individuales y facilitó que cada grupo fuera abordado mediante el método de investigación más adecuado. Las posiciones iniciales, muy diversas, de las universidades se tuvieron en cuenta mediante instrumentos de seguimiento más amplios y menos estandarizados, como opciones de respuesta más abiertas.

El respaldo de los representantes de los estados federados y de un consejo asesor científico reforzó la credibilidad y la autoridad del equipo evaluador. Asimismo, la transparencia de los resultados —por ejemplo, a través de informes temáticos provisionales anuales y talleres para debatir los resultados intermedios— desempeñó un papel clave en la implicación de las partes interesadas, ya que aumentó la confianza y aportó beneficios tempranos a las universidades.

Estas medidas garantizaron que la «Qualitätsoffensive Lehrerbildung» apoyara las reformas e impulsara nuevos enfoques en la formación del profesorado, además de fortalecer la investigación en este ámbito. Los proyectos y las partes interesadas se conectaron a escala nacional y recibieron apoyo en su trabajo. El programa ayudó a las universidades a gestionar mejor las necesidades de coordinación y a reforzar su resiliencia mediante la creación de redes.

El siguiente ejemplo ilustra los retos de escalabilidad en la fase de implementación tras una prueba piloto satisfactoria. El estudio de caso se basa en la experiencia de la Unidad de Análisis del Comportamiento de Nueva Gales del Sur (NSW), al probar intervenciones conductuales sencillas para reducir la brecha de género en la contratación del Gobierno de Nueva Gales del Sur, en Australia.

¿Cómo ampliar intervenciones que han demostrado ser eficaces durante una prueba piloto?

Desde 2015, una de las prioridades del primer ministro era aumentar la proporción de mujeres en puestos de alta dirección en el sector gubernamental de Nueva Gales del Sur, del 33 % al 50 % para 2025. Uno de los principales retos era que las mujeres no solicitaban puestos de alta dirección en la misma proporción que los hombres, algo que se identificó en la fase de diagnóstico.

El equipo de ‘Behavioural Insights’ desarrolló dos intervenciones sencillas y de bajo coste destinadas a animar a las mujeres a volver a presentarse a puestos de alto nivel tras haber quedado cerca de obtenerlos. Las intervenciones consistían en el envío de un correo electrónico y en una llamada telefónica realizada por un responsable de contratación, centrada en destacar el buen desempeño de la candidata y animarla a volver a presentar su solicitud.

Ambas intervenciones aprovechaban la tendencia conductual a juzgar una experiencia en función de cómo nos sentimos en su momento emocional más intenso y al final de la misma. En los procesos de selección, el momento emocional más relevante suele ser la entrevista, mientras que el final, para la mayoría de las personas candidatas, suele consistir en un correo electrónico genérico informando de que su solicitud no ha sido seleccionada. La intervención tenía como objetivo modificar esta impresión final mediante el envío de un correo electrónico o la realización de una llamada telefónica de ánimo a quienes habían sido entrevistados, pero no seleccionados.

Las intervenciones se probaron en un programa piloto entre un grupo de organismos del sector público durante 2019-2020. Se llevó a cabo un ensayo controlado aleatorio con 1.614 personas candidatas, que fueron asignadas aleatoriamente a un proceso de selección «habitual», a recibir un correo electrónico de ánimo o a recibir un correo electrónico de ánimo acompañado de una llamada telefónica.

Dos semanas después de recibir la intervención —o de no recibirla— se envió una encuesta a las personas candidatas para registrar su nivel de satisfacción general con el proceso de selección, su intención de volver a presentarse y la probabilidad de recomendar a un colega al Gobierno de Nueva Gales del Sur. Además, se supervisó si volvían a presentar su candidatura a otro puesto de alto nivel en el Gobierno de Nueva Gales del Sur en un plazo de tres y seis meses.

Los resultados del programa piloto mostraron claramente que ambas intervenciones fueron eficaces. Tuvieron un impacto significativo no solo en la intención, sino también en el comportamiento real de volver a presentar la candidatura a puestos de alta dirección. Además, el efecto fue significativamente mayor en las mujeres que en los hombres, de modo que la brecha de género se redujo hasta el 12 % (solo correo electrónico) y el 4 % (correo electrónico y llamada telefónica), frente al grupo de control, que presentaba una brecha de género del 45 %.

Se estimó que, si el correo electrónico y la llamada telefónica se ampliaban a todo el Gobierno de Nueva Gales del Sur, la proporción de mujeres en puestos de alta dirección podría aumentar hasta un 0,5 % anual, contribuyendo de forma significativa al objetivo de lograr la igualdad de representación de género en estos puestos. En consecuencia, la Comisión de la Función Pública desarrolló un conjunto de herramientas para ayudar a los responsables de contratación a implementar estas intervenciones en todos los organismos. Desde entonces, la diversidad de género en los consejos de administración del Gobierno de Nueva Gales del Sur ha seguido mejorando, aunque todavía no se ha evaluado si este avance se debe directamente a la implementación de esta medida.

Porcentaje de mujeres enpuestos directivos senior en el sector público de Nueva Gales del Sur (Australia)

Fuente: Comisión del ServicioPúblico de Nueva Gales del Sur (2022). Informe sobre el perfil de la fuerzalaboral 2022. Gobierno de Nueva Gales del Sur (Australia).

Evaluación de los resultados, el impacto y las repercusiones de una solución

Sin un seguimiento y una evaluación tras la implementación de una solución no es posible saber si ha funcionado ni de qué manera. La recopilación de información durante el proceso de implementación puede servir como un sistema de alerta temprana en caso de que algo no funcione como se esperaba y sea necesario introducir correcciones.

Las evaluaciones de impacto posteriores a la implementación proporcionan los datos necesarios para explicar los resultados obtenidos, valorar si la inversión ha merecido la pena e informar futuras decisiones políticas.

En esta fase suelen plantearse las siguientes preguntas de investigación:

El primer ejemplo que se presenta a continuación ilustra el reto que supone diseñar programas de investigación exhaustivos y útiles en la fase de evaluación. Se basa en la experiencia de Verian en Alemania.

¿Ha logrado la opción seleccionada los objetivos deseados?

El objetivo del programa educativo alemán «Bildungsprämie» era aumentar la participación en la formación profesional, especialmente entre las personas que se veían limitadas por barreras económicas. Mediante la concesión de apoyo financiero, se pretendía que la formación resultara asequible para las personas con bajos ingresos, abordando tanto el coste como otras barreras, como la falta de tiempo y de competencias.

Para evaluar si se lograron estos efectos, un consorcio de investigación formado por Verian, el Institut für angewandte Wirtschaftsforschung e.V. y el Forschungsinstitut Betriebliche Bildung (f-bb) llevó a cabo un estudio de evaluación a gran escala, con una visión holística de los distintos aspectos y preguntas de investigación.

Aunque la evaluación se centró en la pregunta estándar sobre la eficacia y el logro de los objetivos -«¿Aumentó el programa la participación en la formación profesional?»-, se adoptó un enfoque más amplio y también se analizaron los siguientes aspectos:

• Análisis y evaluación de la viabilidad económica.
  • Análisis y evaluación del éxito educativo.
  • Identificación de posibles mejoras o detección de fallos en el proceso.
  • Desarrollo de acciones y medidas de control para el programa federal.

La investigación también tenía como objetivo evaluar los posibles impactos a largo plazo y generar información útil para futuros programas de fomento de la formación. Para ello, se adoptó una perspectiva amplia que no se limitó a medir los comportamientos y actitudes de los participantes en relación con la formación continua y el desarrollo profesional, sino que también tuvo en cuenta la relevancia más amplia de la formación subvencionada y su efecto en la compensación social, la movilidad y la reducción de la desigualdad en la participación educativa.

En consecuencia, se analizó la integración del programa en el contexto social general y otros desarrollos relevantes. Este enfoque amplio permitió identificar diversas oportunidades de mejora y de promoción sostenida del desarrollo profesional orientado a la demanda, pero también puso de manifiesto las limitaciones de la eficacia del programa. Los resultados mostraron que las personas participantes eran más propensas a realizar formaciones de mayor calidad o formación adicional, y que el programa parecía beneficiar especialmente a quienes tenían ingresos más bajos. Asimismo, los participantes manifestaron un alto grado de satisfacción con la «Bildungsprämie».

No obstante, un análisis más detallado reveló que los posibles efectos de la prima de formación parecían estar influidos por un sesgo de selección, ya que tendían a participar las personas más motivadas. El impacto en el progreso económico y profesional también fue limitado. Además, al considerar la viabilidad económica, se constató que el programa implicaba un elevado coste por participante.

En conjunto, un estudio de evaluación bien diseñado, con preguntas de investigación diversas y amplias, permitió obtener una valoración equilibrada y matizada de los efectos generales del programa.

El siguiente ejemplo muestra cómo los sistemas de seguimiento pueden resultar útiles en la fase de evaluación para analizar tendencias y detectar nuevos desarrollos. Se basa en la experiencia de Verian en los Países Bajos.

¿Cómo pueden utilizarse los datos de seguimiento y evaluación para mejorar de forma continua, implicar a las partes interesadas y lograr un cambio sostenible?

La Federación Nacional Holandesa de Deportes (NOC*NSF) tiene como objetivo aumentar de forma significativa la participación deportiva en los Países Bajos. Para garantizar que todos los programas se basen en datos y que cualquier nueva estrategia pueda evaluarse de manera inmediata, encargó a Verian la realización de una encuesta de seguimiento mensual dirigida a una muestra representativa de la población neerlandesa.

Cada mes, la encuesta mide la participación deportiva y los niveles de actividad física, así como los deportes más practicados y la composición demográfica de las personas que practican deporte en los Países Bajos. Se basa en un conjunto estandarizado de preguntas, apoyado en una metodología validada para evaluar la participación deportiva y la actividad física. De este modo, se obtiene un indicador clave de participación deportiva que puede compararse a lo largo del tiempo y entre distintos contextos. Dado que los datos se recopilan mensualmente, se genera una imagen detallada de las tendencias y los patrones, lo que permite ajustar las políticas con precisión.

Además, el gran tamaño de las muestras acumuladas a lo largo del tiempo permite realizar análisis estadísticos detallados y comparaciones sociodemográficas. La encuesta de seguimiento también facilita la inclusión de preguntas ad hoc y áreas de interés específicas, con el fin de obtener información sobre tendencias emergentes, actividades estacionales u otros ámbitos concretos. De este modo, el sistema de seguimiento combina un módulo básico estandarizado, que proporciona resultados fiables y coherentes, con la flexibilidad necesaria para adaptar las estrategias y responder a nuevas oportunidades en el ámbito deportivo.

Una canalización de datos estable alimenta paneles de control de fácil acceso pocos días después de la finalización del trabajo de campo, lo que permite utilizar la información de manera inmediata. Gracias a su flexibilidad, el panel de control incorpora comentarios y datos de meses anteriores para garantizar que esté siempre actualizado y ofrezca resultados oportunos y precisos. En conjunto, el sistema de seguimiento constituye la base de los documentos de política del NOC*NSF y de la formulación de estrategias a largo plazo orientadas a superar las barreras identificadas en la encuesta para una amplia variedad de subgrupos de la población neerlandesa.