ECONOMIA MORAL
El reto de la evaluación en México 1
Requisitos de una valoración útil para el desarrollo social
La economía moral es convocada a existir como resistencia a la economía del "libre mercado": el alza del precio del pan puede equilibrar la oferta y la demanda de pan, pero no resuelve el hambre de la gente
EN 1998 LA MESA DIRECTIVA de la Comisión de Desarrollo Social de la Cámara de Diputados, después de una selección previa entre varios candidatos, me encargó desarrollar el proyecto para evaluar el Progresa, lo que hice conformando, con personal idóneo del más alto nivel, un equipo de trabajo bajo mi coordinación. El proyecto consistía en: 1) evaluación del diseño del programa, 2) análisis del proceso de selección de beneficiarios, y 3) trabajo de campo en 12 comunidades atendidas por el Progresa para evaluarlo cualitativamente. El proyecto, sometido a la presidenta de la mencionada comisión, Clara Brugada, parecía ir sobre ruedas, pero en esos días la Cámara de Diputados firmó un contrato con un despacho de auditores canadienses para llevar a cabo las famosas auditorías del Fobaproa, que absorbió todo el presupuesto no comprometido de la cámara. La posibilidad de que ésta financiase la evaluación se vino abajo. Brugada solicitó a José Gómez de León (qepd), coordinador nacional del Progresa, que el programa financiase la evaluación, lo que éste aceptó. Se hicieron borradores de un convenio entre el Progresa y la Comisión de Desarrollo Social para llevar a cabo el estudio. La negociación se rompió cuando Gómez de León insistió en incluir una cláusula, inaceptable para la contraparte, que estipulaba que los investigadores le entregarían los resultados a él, quien a su vez los entregaría a la Cámara de Diputados una vez que los hubiese revisado. Se vino abajo así, otra vez, la posibilidad de que la primera evaluación del Progresa se llevase a cabo con la promoción de la Cámara de Diputados y de manera independiente del ejecutor del programa (a pesar de que éste lo financiase).
ESTE ESBOZO FRUSTRADO de triangulación es lo que hoy se ha institucionalizado, de otra manera, con la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (Consejo). Este contratará a diversas instituciones para que realicen evaluaciones de programas operados por terceras instituciones.
EN OCTUBRE DE 2000, Carlos Flores Alcocer, Ricardo Govela y yo, miembros del equipo de transición de Fox en materia social, en misión "oficial" tuvimos una larga reunión de trabajo en Washington con el equipo de evaluadores del IFPRI (International Food Policy Research Institute), que estaba terminando una compleja evaluación del Progresa. La reunión tuvo lugar en el BID y fungió como anfitrión Miguel Székely. Emmanuel Skoufias, jefe del equipo evaluador, viéndose presionado ante mis preguntas sobre el papel del Progresa en la evaluación y las características de la interacción entre el equipo evaluador y el personal de dicho programa, señaló que el IFPRI no volvería a aceptar una evaluación en la que el cliente (el que paga la evaluación) fuese el ejecutor mismo del programa, por las graves limitaciones que ello impone a quien realiza la evaluación (en la definición de la agenda de trabajo y en la entrega de información). Skoufias expresó así la necesidad de una triangulación como la antes comentada.
LA EVALUACION, COMO demuestran las dos experiencias relatadas, sólo es auténtica cuando es independiente, lo que no se consigue cuando es autoevaluación, pero tampoco cuando el propio ejecutor del programa es el que contrata al evaluador. La independencia requiere que el legítimo interés de este último, volver a ser contratado, no dependa de lo favorable o desfavorable de los resultados de la evaluación. Cuando el cliente es el ejecutor del programa no suele cumplirse esta condición. La creación del Consejo es un paso importante para que las evaluaciones se lleven a cabo con plena independencia, lo que debe ser objetivo central de su funcionamiento.
UNA AUTENTICA EVALUACION, que para serlo, como vimos, ha de ser independiente, es vital en cualquier actividad humana y, con mucha mayor razón, en las políticas públicas. La evaluación de la gestión de una empresa basada en sus ganancias puede ser adecuada para los accionistas, pero no desde el punto de vista de la sociedad, para la cual la evaluación debe basarse en los efectos múltiples del funcionamiento de la empresa en el todo social y ambiental. Queda claro, así, que el desempeño puede evaluarse desde diversas perspectivas, con resultados distintos e incluso opuestos. Las políticas y programas públicos deben evaluarse siempre desde la perspectiva del todo social y ambiental. Así como desde la perspectiva pública no podemos valorar a la empresa por los objetivos que ésta se ha fijado, tampoco podemos valorar cada política o programa solamente por los objetivos tal como han sido formulados por los responsables, ya que pueden ser estrechos o sesgados. Si un programa de lucha contra la pobreza define como su objetivo mejorar las condiciones de vida de sus beneficiarios, no por ello en su evaluación debemos dejar de lado los posibles efectos del programa en los no beneficiarios. Si bajo la presión de dar prioridad a los beneficiarios de un programa de becas que ha cobrado importancia nacional, las escuelas de cierto nivel educativo (cuyo cupo está copado) empiezan a rechazar a algunos no beneficiarios, evaluar el programa de becas sólo por el aumento de la matrícula en los hogares beneficiarios sería incorrecto. Lo correcto desde la perspectiva del todo social sería tomar en cuenta el efecto neto, que se calcularía descontando del efecto positivo el efecto negativo en la matrícula de los no beneficiarios.
UN PROGRAMA TAMBIEN puede generar efectos negativos a consecuencia de la reacción (no prevista) de los beneficiarios. Por ejemplo, en un programa de complementación alimentaria en Argentina en los años ochentas, dirigido a los menores que asistían a la escuela, una evaluación comparativa del estatus nutricional de los menores respecto de su situación antes del inicio del programa encontró que la nutrición de una parte de ellos había empeorado. Al indagar a fondo se descubrió que los padres de estos menores habían entendido que la escuela se encargaría ahora de alimentar a sus hijos, por lo que habían disminuido los alimentos que les proveían en casa. Este ejemplo nos alerta respecto a dos cuestiones: en primer lugar, que toda acción pública debe prever la reacción de la población beneficiaria ante el programa, monitorearla y diseñar las acciones preventivas para evitar reacciones negativas como la ejemplificada; y en segundo lugar, que la evaluación debe hacerse siempre en términos de los resultados últimos (disminuir la desnutrición) y no de los resultados intermedios (ingesta de alimentos en la escuela).
EN SINTESIS, LA EVALUACION puede ser muy útil si es auténtica, lo que supone la independencia del evaluador (incluyendo que sus intereses no se vean afectados si el resultado de la evaluación es negativo para el programa). Pero para ser útil socialmente, la evaluación debe asumir como perspectiva el todo social y ambiental, lo cual supone rebasar, en algunos casos, la estrecha mirada del programa mismo tal como ha sido formulado. De lo precedente se derivan dos formas en las cuales la mirada puede ser ampliada para alcanzar un enfoque de evaluación verdaderamente útil: 1) evaluar los resultados en términos del todo social y no sólo de las condiciones de vida de la población beneficiaria; 2) valorar los resultados del programa en términos comparativos con los que se obtendrían modificando el diseño del programa o, con los mismos recursos, a través de programas de enfoque diferente.
PERO PARA SER verdaderamente útil, la evaluación tiene que contar con un auditorio receptivo. Las instituciones responsables de la política y de la operación de los programas tienen que estar verdaderamente interesadas en la evaluación y estar dispuestas a incurrir en los costos administrativos y políticos de reformar los programas, e incluso de sustituirlos por otros, si las evaluaciones demuestran que así debe procederse. Una verdadera cultura de la evaluación pasa, por eso y sobre todo, por un cambio de actitud de las autoridades responsables de la política y los programas. También deberían formar parte de ese auditorio receptivo el Poder Legislativo y la opinión pública (que actualmente son casi indiferentes). Esta es la dificultad mayor. Los demás elementos requeridos para consolidar la evaluación en el país (desarrollo de las capacidades personales e institucionales para evaluar), a pesar de lo difícil que parecen, son en mi opinión de menor grado de dificultad. Bastará para lograrlo asignar recursos durante un periodo largo a desarrollar estas capacidades, sobre todo en el medio académico.
LA EVALUACION PUEDE y debe hacerse a diversos niveles. Se puede evaluar el desempeño de un programa en un municipio o estado. Se puede evaluar el programa en su conjunto. Se puede evaluar un conjunto de programas (por ejemplo un subconjunto de los programas de desarrollo social que comparten un rasgo en común) o evaluar como un todo la política de desarrollo social, tal como ordena la Ley General de Desarrollo Social (LGDS). Si el objetivo unificador de la política de desarrollo social es la reducción de la pobreza, podemos evaluar dicha política por la medida en la cual ha logrado disminuir la pobreza en el país. Para ello se requiere medir periódicamente la pobreza, para lo cual se necesita un método de medición y fuentes estadísticas adecuadas. Ambas cuestiones están previstas en la LGDS. Aunque, desde luego, una dificultad difícil de superar es aislar los efectos de dicha política de los demás factores determinantes de la pobreza (empezando por la política económica). Por ello, cuando medimos la pobreza rebasamos la evaluación del desarrollo social y nos acercamos más a una evaluación del desarrollo en su conjunto (económico y social), que constituye el nivel más agregado de la evaluación.
DE LO ANTERIOR se desprende la sabiduría de la LGDS al haber dotado al Consejo no sólo de la tarea de evaluación, sino también de la de medición de la pobreza. Cada vez más se reconoce en los foros intergubernamentales y en los compromisos de ahí derivados que la reducción de la pobreza es elemento central del concepto de desarrollo, de la evaluación del desarrollo. La LGDS define, correctamente, un enfoque multidimensional para medir la pobreza al establecer ocho indicadores, como mínimo, que el Consejo debe incluir en el método que adopte. Esto está en línea con el método, también multidimensional, que el Capítulo V de la Ley de Coordinación Fiscal (LCF) instituye para asignar los recursos del Fondo de Aportaciones para la Infraestructura Social (FAIS), y con la tradición de la medición multidimensional de lo que en México llamamos "marginación". El Consejo está llamado a consolidar esta tradición cumpliendo el mandato que la LGDS le da de partir de los ocho indicadores y desarrollar un método de medición que no sólo habrá de ser aplicado a los estudios de pobreza que la LGDS le ordena realizar por sí mismo (artículo 37), sino que es obligatoria para todas las dependencias y entidades que participen en la ejecución de programas de desarrollo social.
CON ELLO, UN PRIMER logro del Consejo será cumplir con el principio establecido en la LGDS de unificar el método de medición de la pobreza usado por los programas focalizados para seleccionar su población beneficiaria con el que se emplea para medir la evolución de la pobreza nacional. Esto evitará las inconsistencias que resultan de la situación actual, en la que cada programa define su criterio de selección de beneficiarios (algunos han adoptado procedimientos multidimensionales, otros unidimensionales), mientras la Sedeso mide la pobreza por ingresos, a pesar de la definición del principio multidimensional en la LGDS.
--------------
1 Texto que presenté en cumplimiento de uno de los requisitos para participar en la convocatoria "a las y los investigadores académicos que deseen integrar el Consejo Nacional de Evaluación de la Política de Desarrollo Social", publicada por la Sedeso en algunos diarios el 30 de noviembre de 2005. La elección de los seis académicos integrantes del Consejo en el seno de la Comisión Nacional de Desarrollo Social, ayer 9 de febrero, fue otra vez resultado de un pacto entre el PRI y el PAN. Yo fui vetado por ambos partidos, los mismos que desaforaron a Andrés Manuel López Obrador, de lo cual me siento muy orgulloso.