En el año 1922, el oficial del Ejército británico Thomas Edward Lawrence, más conocido como Lawrence de Arabia, (quien sería inmortalizado posteriormente en la genial superproducción de David Lean), se registró en la base de la Royal Air Force (RAF) en Farnborough, bajo un pseudónimo que le permitiese pasar desapercibido tras el fin de la Primera Guerra Mundial, un acontecimiento en el cual este joven arqueólogo alcanzó un protagonismo no deseado tras desempeñar un papel histórico en la revuelta árabe frente al Imperio otomano.

En su famosa obra “El Troquel”, Lawrence manifiesta su propia experiencia como soldado raso en la RAF, donde, entre otros episodios, relata un enfrentamiento con uno de los sargentos. En la trifulca, el superior se mofa de la supuesta ignorancia de Lawrence cuando le pregunta: ¿qué es lo que sabes?

Ante esta pregunta, Lawrence, pudiendo revelar su identidad y acabar con la carrera militar del sargento, prefiere adoptar una estrategia más prudente y, también, algo pedante, contestando sin vacilar: Bueno, mi sargento, específicamente, desde luego, no podemos saber nada, pero como el resto de nosotros, he vallado mi vida con un andamiaje de hipótesis más o menos especulativas.

Esta anécdota nos introduce a un problema tan complejo como es la evidencia del denominado conocimiento científico. Tal problemática ha sido tratada en extenso en este blog (aquí o aquí), si bien desde un punto de vista abstracto atendiendo a la epistemología de la ciencia económica.

Por ello, para demostrar la relevancia de esta cuestión, resulta conveniente aterrizar el análisis a un terreno más práctico y concreto, como pudiera ser la evaluación de las políticas públicas.

En una sociedad cada vez más informada gracias al fenómeno de la democratización de la información que permite la economía digital, los ciudadanos comienzan a ser más exigentes con los políticos, demandando transparencia y un gobierno abierto. Por esta razón, los políticos tratan de justificar su gestión mediante la evaluación de aquellas políticas públicas que aprueban en aras de mejorar el bienestar de la sociedad.

Sin embargo, más allá de los beneficios políticos que puede generarle al gobierno de turno lucir la chapa, es preciso reconocer que cualquier evaluación de políticas públicas puede resultar muy engañosa. Veamos por qué.

El objetivo tácito de la evaluación consiste en demostrar si se ha generado o no un impacto positivo en la sociedad (o en algún colectivo concreto) mediante el desarrollo de una determinada acción o programa. En un primer nivel de evaluación, lo más razonable consistiría en valorar el efecto directo de dicha política tras su implementación. Si el resultado del colectivo “beneficiario” del programa es que ha mejorado tras la implementación del mismo, significa que la política ha funcionado.

No obstante, descendiendo a un segundo nivel, es fácil advertir que en el proceso de evaluación únicamente es posible observar lo que ha ocurrido en el mundo fenoménico, es decir, en la realidad tal y como es percibida por el evaluador. Pero no es posible observar lo que no ha ocurrido.

Por ejemplo, imaginemos que tras la implantación de un determinado programa educativo, el rendimiento escolar medio ha aumentado sobre el colectivo beneficiario, pero no podemos saber cómo se habría comportado dicho rendimiento ante la ausencia del programa educativo. Pudiera ser que un programa educativo demasiado restrictivo elimine los incentivos a la meritocracia por parte del alumnado, y que en consecuencia, el rendimiento aumentase en mayor proporción ante la ausencia del programa. Este escenario irreal de lo que podría haber ocurrido sin la política, se denomina contrafactual.

Los economistas e investigadores sociales en general, tienen muy en cuenta el escenario contrafactual, al menos desde un punto de vista conceptual en el momento de abordar una evaluación.

No es así en el caso de los políticos, que sólo necesitan reunir las correlaciones estadísticas necesarias con las que defender que sus políticas son exitosas. En el caso de España, el organismo responsable de evaluar las políticas públicas es la AEVAL (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios). En calidad de agencia estatal, es forzoso concluir que el examinador (el Estado) es a la vez el examinado (el Estado), por lo que el interés de realizar evaluaciones serias bajo un método que contemple el contrafactual es muy bajo. Por ello no es de extrañar que la gran mayoría de las evaluaciones de políticas públicas se realicen bajo el denominado método de diferencia simple pre-post, comparando al colectivo beneficiario de la política antes y después de su implementación. Ya hemos demostrado en el ejemplo anterior que esta metodología resulta claramente disfuncional, dado que no contempla las circunstancias que varían con el transcurso del tiempo y que pueden condicionar el resultado en mayor medida que la propia política.

En el plano científico, existen otras metodologías que persiguen ser lo más precisas posibles. Dado que es imposible conocer el contrafactual, una solución consensuada por la comunidad de investigadores es tratar de estimarlo a través de dos grupos:

• Grupo de tratamiento: El colectivo beneficiario del programa que se va a evaluar
• Grupo de control: El colectivo que no participa en el programa que se va a evaluar

Comparando la diferencia entre ambos grupos tras la implementación de la política, podemos aproximarnos a una evaluación de impacto más robusta.  Siguiendo nuestro ejemplo, el grupo de tratamiento podría ser una clase o grupo de alumnos seleccionado como caso piloto del programa educativo, y el grupo de control se referiría al resto de clases que componen la institución educativa.

¿Se logra así la cuadratura del círculo? Lamentablemente no.  La definición de ambos grupos de control y de tratamiento no está exenta de potenciales sesgos, como aquellos que pueden derivarse del tamaño apropiado de la muestra seleccionada para obtener resultados significativos,  o la homogeneización de características entre los agentes de cada grupo que garantice consistencia, así como otros múltiples factores. Los modernos métodos experimentales basados en las evaluaciones aleatorias (Randomised Control Trials-RCTs) se encuentran en una controversia muy polémica acerca de si son realmente eficaces para estimar el contrafactual.

Angus Deaton, Premio Nobel de Economía del año 2015, se ha mostrado muy crítico con la capacidad de estas evaluaciones para obtener resultados concluyentes que justifiquen el éxito de determinadas políticas. Para este economista escocés, los modelos empíricos no pueden funcionar en modo alguno mientras dejen de lado a la teoría económica, ese andamiaje de hipótesis con las que el evaluador puede dar una interpretación consistente a los datos que observa, teniendo en cuenta la subjetividad inherente en el proceso.

Por tanto, hemos comprobado que el problema técnico de la evaluación de políticas públicas continúa muy abierto en la actualidad.

No obstante, si tuviéramos que asumir que dicho problema estuviese resuelto, quedaría pendiente el problema económico, es decir, la decisión de cuál es el objetivo óptimo que persigue una determinada política pública. Todos los ciudadanos podemos estar de acuerdo en querer gozar de una buena pensión en nuestra jubilación, o tener una educación de calidad que permita a los jóvenes acceder a un mercado laboral que sea productivo y se traduzca en mayores salarios. Sin embargo, las decisiones concretas de cada uno de los individuos acerca de cuáles son los mejores medios que logren estos fines difieren en una gran multitud de factores y matices. Por esta razón, los mecanismos de la denominada democracia directa suelen arrojar a menudo resultados tan conflictivos como el reciente BREXIT celebrado en el Reino Unido.

Por tanto, no es posible realizar cálculos utilitarios que recojan las preferencias de cada individuo y maximicen una función de bienestar social. Esta conclusión ha sido confirmada por numerosos investigadores como Kenneth Arrow o Mancur Olson, e invita a reflexionar sobre el alcance que debería tener el Estado en el diseño de sus políticas públicas. Un Estado excesivamente paternalista bajo el cual “todos decidimos sobre todos” puede caer en el error de restringir las preferencias y necesidades de una minoría para favorecer los intereses de la mayoría. Frente a este modelo social, un Estado asistencial mínimo en el cual “cada uno decide sobre sí mismo” permite que el mercado ofrezca las soluciones que se adapten a la infinita variedad de preferencias de los ciudadanos, que cambian continuamente.

En conclusión, es importante que la ciudadanía sea crítica y comprenda el límite del Estado en la definición de las políticas públicas que recojan las preferencias de todos los ciudadanos, y finalmente, en su capacidad para evaluar los resultados de dichas políticas más allá de la obtención de réditos políticos.