Los límites de las políticas públicas

contrafactual

En el año 1922, el oficial del Ejército británico Thomas Edward Lawrence, más conocido como Lawrence de Arabia, (quien sería inmortalizado posteriormente en la genial superproducción de David Lean), se registró en la base de la Royal Air Force (RAF) en Farnborough, bajo un pseudónimo que le permitiese pasar desapercibido tras el fin de la Primera Guerra Mundial, un acontecimiento en el cual este joven arqueólogo alcanzó un protagonismo no deseado tras desempeñar un papel histórico en la revuelta árabe frente al Imperio otomano.

En su famosa obra “El Troquel”, Lawrence manifiesta su propia experiencia como soldado raso en la RAF, donde, entre otros episodios, relata un enfrentamiento con uno de los sargentos. En la trifulca, el superior se mofa de la supuesta ignorancia de Lawrence cuando le pregunta: ¿qué es lo que sabes?

Ante esta pregunta, Lawrence, pudiendo revelar su identidad y acabar con la carrera militar del sargento, prefiere adoptar una estrategia más prudente y, también, algo pedante, contestando sin vacilar: Bueno, mi sargento, específicamente, desde luego, no podemos saber nada, pero como el resto de nosotros, he vallado mi vida con un andamiaje de hipótesis más o menos especulativas.

Esta anécdota nos introduce a un problema tan complejo como es la evidencia del denominado conocimiento científico. Tal problemática ha sido tratada en extenso en este blog (aquí o aquí), si bien desde un punto de vista abstracto atendiendo a la epistemología de la ciencia económica.

Por ello, para demostrar la relevancia de esta cuestión, resulta conveniente aterrizar el análisis a un terreno más práctico y concreto, como pudiera ser la evaluación de las políticas públicas.

En una sociedad cada vez más informada gracias al fenómeno de la democratización de la información que permite la economía digital, los ciudadanos comienzan a ser más exigentes con los políticos, demandando transparencia y un gobierno abierto. Por esta razón, los políticos tratan de justificar su gestión mediante la evaluación de aquellas políticas públicas que aprueban en aras de mejorar el bienestar de la sociedad.

Sin embargo, más allá de los beneficios políticos que puede generarle al gobierno de turno lucir la chapa, es preciso reconocer que cualquier evaluación de políticas públicas puede resultar muy engañosa. Veamos por qué.

El objetivo tácito de la evaluación consiste en demostrar si se ha generado o no un impacto positivo en la sociedad (o en algún colectivo concreto) mediante el desarrollo de una determinada acción o programa. En un primer nivel de evaluación, lo más razonable consistiría en valorar el efecto directo de dicha política tras su implementación. Si el resultado del colectivo “beneficiario” del programa es que ha mejorado tras la implementación del mismo, significa que la política ha funcionado.

No obstante, descendiendo a un segundo nivel, es fácil advertir que en el proceso de evaluación únicamente es posible observar lo que ha ocurrido en el mundo fenoménico, es decir, en la realidad tal y como es percibida por el evaluador. Pero no es posible observar lo que no ha ocurrido.

Por ejemplo, imaginemos que tras la implantación de un determinado programa educativo, el rendimiento escolar medio ha aumentado sobre el colectivo beneficiario, pero no podemos saber cómo se habría comportado dicho rendimiento ante la ausencia del programa educativo. Pudiera ser que un programa educativo demasiado restrictivo elimine los incentivos a la meritocracia por parte del alumnado, y que en consecuencia, el rendimiento aumentase en mayor proporción ante la ausencia del programa. Este escenario irreal de lo que podría haber ocurrido sin la política, se denomina contrafactual.

Los economistas e investigadores sociales en general, tienen muy en cuenta el escenario contrafactual, al menos desde un punto de vista conceptual en el momento de abordar una evaluación.

No es así en el caso de los políticos, que sólo necesitan reunir las correlaciones estadísticas necesarias con las que defender que sus políticas son exitosas. En el caso de España, el organismo responsable de evaluar las políticas públicas es la AEVAL (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios). En calidad de agencia estatal, es forzoso concluir que el examinador (el Estado) es a la vez el examinado (el Estado), por lo que el interés de realizar evaluaciones serias bajo un método que contemple el contrafactual es muy bajo. Por ello no es de extrañar que la gran mayoría de las evaluaciones de políticas públicas se realicen bajo el denominado método de diferencia simple pre-post, comparando al colectivo beneficiario de la política antes y después de su implementación. Ya hemos demostrado en el ejemplo anterior que esta metodología resulta claramente disfuncional, dado que no contempla las circunstancias que varían con el transcurso del tiempo y que pueden condicionar el resultado en mayor medida que la propia política.

En el plano científico, existen otras metodologías que persiguen ser lo más precisas posibles. Dado que es imposible conocer el contrafactual, una solución consensuada por la comunidad de investigadores es tratar de estimarlo a través de dos grupos:

  • Grupo de tratamiento: El colectivo beneficiario del programa que se va a evaluar
  • Grupo de control: El colectivo que no participa en el programa que se va a evaluar

Comparando la diferencia entre ambos grupos tras la implementación de la política, podemos aproximarnos a una evaluación de impacto más robusta.  Siguiendo nuestro ejemplo, el grupo de tratamiento podría ser una clase o grupo de alumnos seleccionado como caso piloto del programa educativo, y el grupo de control se referiría al resto de clases que componen la institución educativa.

accion colectiva

¿Se logra así la cuadratura del círculo? Lamentablemente no.  La definición de ambos grupos de control y de tratamiento no está exenta de potenciales sesgos, como aquellos que pueden derivarse del tamaño apropiado de la muestra seleccionada para obtener resultados significativos,  o la homogeneización de características entre los agentes de cada grupo que garantice consistencia, así como otros múltiples factores. Los modernos métodos experimentales basados en las evaluaciones aleatorias (Randomised Control Trials-RCTs) se encuentran en una controversia muy polémica acerca de si son realmente eficaces para estimar el contrafactual.

Angus Deaton, Premio Nobel de Economía del año 2015, se ha mostrado muy crítico con la capacidad de estas evaluaciones para obtener resultados concluyentes que justifiquen el éxito de determinadas políticas. Para este economista escocés, los modelos empíricos no pueden funcionar en modo alguno mientras dejen de lado a la teoría económica, ese andamiaje de hipótesis con las que el evaluador puede dar una interpretación consistente a los datos que observa, teniendo en cuenta la subjetividad inherente en el proceso.

Por tanto, hemos comprobado que el problema técnico de la evaluación de políticas públicas continúa muy abierto en la actualidad.

No obstante, si tuviéramos que asumir que dicho problema estuviese resuelto, quedaría pendiente el problema económico, es decir, la decisión de cuál es el objetivo óptimo que persigue una determinada política pública. Todos los ciudadanos podemos estar de acuerdo en querer gozar de una buena pensión en nuestra jubilación, o tener una educación de calidad que permita a los jóvenes acceder a un mercado laboral que sea productivo y se traduzca en mayores salarios. Sin embargo, las decisiones concretas de cada uno de los individuos acerca de cuáles son los mejores medios que logren estos fines difieren en una gran multitud de factores y matices. Por esta razón, los mecanismos de la denominada democracia directa suelen arrojar a menudo resultados tan conflictivos como el reciente BREXIT celebrado en el Reino Unido.

Por tanto, no es posible realizar cálculos utilitarios que recojan las preferencias de cada individuo y maximicen una función de bienestar social. Esta conclusión ha sido confirmada por numerosos investigadores como Kenneth Arrow o Mancur Olson, e invita a reflexionar sobre el alcance que debería tener el Estado en el diseño de sus políticas públicas. Un Estado excesivamente paternalista bajo el cual “todos decidimos sobre todos” puede caer en el error de restringir las preferencias y necesidades de una minoría para favorecer los intereses de la mayoría. Frente a este modelo social, un Estado asistencial mínimo en el cual “cada uno decide sobre sí mismo” permite que el mercado ofrezca las soluciones que se adapten a la infinita variedad de preferencias de los ciudadanos, que cambian continuamente.

En conclusión, es importante que la ciudadanía sea crítica y comprenda el límite del Estado en la definición de las políticas públicas que recojan las preferencias de todos los ciudadanos, y finalmente, en su capacidad para evaluar los resultados de dichas políticas más allá de la obtención de réditos políticos.

3 comentarios en “Los límites de las políticas públicas

  1. Nuevamente un artículo de Jaime Martínez M., viene a poner claridad e invitar a la reflexión. En Chile, estamos en medio del período de un gobierno socialista que en 24 meses ha intentado implementar grandes y atrevidas políticas públicas, que lamentablemente no han sido posible comprender ni aceptar. La mayoría – en este período- con la que cuenta el gobierno en el Parlamento, le ha permitido implementar “a la carrera” esas políticas que (al decir de uno de los presidentes de los partidos de la coalición de Gobierno) son tareas que permitirán “desmontar las bases de la economía neo liberal en las que se basa el modelo de desarrollo del país”. En consideración al término del “súper ciclo” de los comodities, en efecto se ha desacelerado nuestra economía, bajando dramáticamente el precio del cobre, producto que representa un poco menos del 50% del total de las exportaciones, aunque esto ha sido paliado en parte por la baja del petróleo (Chile importa el 98% de ese combustible y Gas). Sin embargo, no sólo en la Minería, sino en todas las áreas ha bajado – y sigue bajando – la tasa de inversión producto de un intenso temor y desconfianza respecto de los efecto de las políticas impulsadas tanto en materia Tributaria, Laboral, Educacional, y últimamente, Constitucional. Esto ha traído aparejado con la desaceleración un inquietante ascenso del desempleo. El gasto se reduce y es difícil hacer ver al público común los efectos de estas políticas.
    En el gobierno anterior de la Presidenta Bachelet se implementó un nuevo sistema de transporte público (Transantiago) para la capital. Han pasado más de 6 años desde entonces. El sistema ha sido un total fracaso según moros y cristianos, con el agravante que ha generado un necesario aporte fiscal al sistema (que antes siendo privado, nada pedía al Estado) de varios cientos de millones de dólares por año. Pero lo peor es que los usuarios aumentaron dramáticamente los tiempos de recorrido, en algunos casos en un 100%. Esto ha implicado un serio deterioro de la calidad de vida y una sobre ocupación del sistema Metro que está en su línea principal, colapsado. Que interesante habría sido analizar esto con el concepto “Contrafactual”.
    La evaluación de esa política pública hecha y voceada por los políticos gestores de la misma – confundiendo con la mezcla de otros asuntos como una urgente necesidad de “Igualdad”, permitió a la Presidenta salir de su mandato con más del 70% de aprobación popular, y el Ministro de Transportes que implementó el fiasco, ser un tiempo después, primera mayoría para ocupar un escaño en la Cámara de Diputados. Se agradece a Jaime Martínez su aporte. Intentaré condensar aún más sus líneas para enviarlas a medios impresos, a menos que se me autorice a re enviar el texto original, con su nombre, de modo que se pueda advertir y hacer pensar a todo el mundo, que la evaluación de la aplicación de las políticas públicas es algo serio que requiere las metodologías que aportan la Economía y otras disciplinas.

    • Muchas Gracias por tu comentario Rogelio,

      Efectivamente, resulta altamente complejo evaluar los efectos de las políticas públicas, más teniendo en cuenta que, a medida que el colectivo beneficiario es más grande, más difícil resulta despejar cuál es el mejor resultado para cada miembro del grupo. A este respecto, sería interesante abordar la tesis de M. Olson en su “Lógica de la acción colectiva” al campo de la evaluación de políticas públicas.

      Por mi parte, estaré encantado si deseas compartir este texto. Y de hecho, si deseas adaptarlo a algún caso concreto de Chile podemos tratar de transformar el artículo y elaborar uno conjunto, firmado por los dos.

      Un saludo y gracias de nuevo.

  2. Estimado Jaime, gracias por tu apoyo a tratar de difundir las “buenas ideas”. Enviaré tú artículo a dos medios impresos: El Mercurio de Santiago, y al periódico La Tercera. Ojala que alguno o los dos editores lo publique. Lo haré de modo consecutivo, para que en la eventualidad que salga uno, el segundo tenga una reelaboración.
    Rogelio Chomon T.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s