Cómo evalúa MASHAV (el Centro de Cooperación Internacional del Ministerio de
Relaciones Exteriores de Israel) el impacto de su extensa red de cursos, seminarios,
talleres y misiones de corta y larga duración? Hasta qué punto son efectivos sus
métodos de evaluación? Cuáles son los nuevos temas que debe abordar, las nuevas
orientaciones que ha de adoptar? Éstas son las preguntas que MASHAV se plantea
constantemente, a sabiendas de que la evaluación de lo hecho en el pasado es la clave
del éxito en el porvenir.
En el término de "evaluación" está implícito el de "valor". Así, pues, la evaluación es el
proceso por el cual se estima el valor de un proyecto o programa, con miras a
determinar su influencia sobre la población meta. La estimación de lo logrado en el
pasado sirve de base para decidir qué convendrá realizar en el futuro.
Receptividad
MASHAV reacciona ante las evaluaciones, efectuando cambios y adiciones cuando se
percibe la necesidad de una reorientación. Tal fue el caso, por ejemplo, en Kenia
últimamente, donde MASHAV -en cooperación con la Universidad de Nairobi-
implantó el proyecto de riego de Kibwezi: una estación de campo y finca demostrativa
en riego (ver Shalom 1996-2). Concluidas las tareas de investigación y demostración,
algunos agricultores solicitaron una ayuda adicional: extensión. MASHAV aceptó su
solicitud. Colaborando nuevamente con la Universidad de Nairobi, y con el apoyo del
Servicio de Extensión de Kenia, agregó al programa un amplio componente de
extensión.
En el pasado, eran los países donantes quienes efectuaban la evaluación, encomendando
a sus expertos el determinar si los resultados obtenidos justificaban la continuación de
las inversiones. Esto se conocía como evaluación por los resultados. En la actualidad, la
situación es muy diferente, según lo expresa el Dr. Rodney Fink, consultor en
capacitación, investigación e instrucción. "Se ha producido un cambio profundo en lo
tocante a evaluación", indica. "Hoy en día pensamos en términos de evaluación
participativa, un proceso en el que intervienen no sólo los responsables de la
planificación y ejecución de una actividad, sino también los afectados por ella, es decir
los participantes o estudiantes que se benefician de un curso."
Desde 1993 El Dr. Fink ha representado a Estados Unidos en un grupo de evaluación
mixto, Israel-EE.UU. El otro integrante del grupo por parte de Israel, el Dr. Shimón
Amir, ex director de MASHAV, diplomático veterano y evaluador experimentado,
falleció a principios de 1997. Aunque se echó mucho a faltar su toque personal de
sabiduría práctica y su mente analítica, MASHAV siguió adelante con el taller de
evaluación que él había planeado con el Dr. Fink, tanto para honrar la memoria del
finado como para continuar la labor a la que había dedicado tantos esfuerzos durante su
vida. El Dr. Fink llegó a Israel en marzo de este año para ayudar a MASHAV a
reexaminar la forma de evaluar sus programas de capacitación, y en base a ello,
formular nuevos lineamientos para mejorar sus procedimientos de evaluación.
"Este enfoque de evaluación participativa", observa el Dr. Fink, "implica la necesidad
de concebir la evaluación como un proceso que se inicia desde el día en que planea un
curso o proyecto y se definen en detalle sus objetivos. Los planificadores deben saber
desde un principio qué quieren lograr. También deben estar preparados durante el curso
a detenerse y sopesar a dónde van y si avanzan en la dirección correcta. Por ello, deben
estar dispuestos a hacer cambios en medio de un curso, o incluso al principio, de ser
necesario."
Así, por ejemplo, en un proyecto en Uzbekistán, los expertos israelíes tropezaron
inicialmente con dificultades en la elaboración de un programa viable de desarrollo
lechero. La evaluación permanente les permitió ensayar distintos modelos, hasta hallar
un sistema satisfactorio. Asimismo, en un proyecto de riego en Kirguizistán, la
evaluación durante el curso señaló una falta de progreso significativa. Resultado: se
advirtió al experto responsable que pasara, de trabajar con una unidad, a proporcionar
información a varias unidades. En otras palabras, la evaluación permanente puede
señalar cuándo un programa, comparado al plan original, no funciona como debiera, lo
que permite a los responsables introducir cambios rápidos y significativos. "La
evaluación", subraya el Dr. Fink, "es un proceso constante, que no se inicia al concluir
el proyecto, sino que es parte integrante de su planeación y ejecución. Implica la
necesidad de fijar metas desde un principio, y poseer indicadores sobre el grado en que
se alcanzan esas metas."
Formación adicional
La prueba de que un curso ha logrado sus objetivos está muchas veces en la solicitud de
los participantes de una formación adicional en sus propios países. Tal fue el caso de
una maestra de Cagayán de Oro, en Filipinas, que asistió a un curso de Educación
Preescolar en el Centro Internacional de Formación Golda Meir, en Haifa. Su
entusiasmo la llevó a solicitar un curso en el lugar, de continuación, en Cagayán de Oro.
El resultado final fue que escuelas locales, empresas privadas y funcionarios
municipales se comprometieron a crear marcos preescolares en los programas de
escolaridad pública, privada y asistencial. En la actualidad estos programas benefician a
centenares de niños de edad preescolar.
En general, los cursos auspiciados por MASHAV operan según estos principios, con
cursos planeados conforme a objetivos claramente definidos desde un principio. Existe
también consciencia de que los programas no pueden ni deben ser rígidos. Algunos
centros de capacitación, por ejemplo, tienen una reunión inaugural con los participantes,
durante la cual el director del curso puede descubrir que la mayoría de ellos tienen una
formación más elevada que la prevista. Resultado: se eleva el nivel del programa. A la
inversa, si un gran número de participantes no dominan en grado suficiente los temas
planteados, se rebaja el nivel del curso, simplificándolo de modo que puedan
beneficiarse con él.
Reconsideración
A veces un proceso similar de reconsideración se efectúa a los diez o quince días de
iniciarse el curso, preguntando a los participantes, individualmente o en grupos, si a esas
alturas sienten que sus expectativas están siendo satisfechas. El objetivo es verificar si el
material que les están impartiendo corresponde a sus necesidades y a la labor que
realizarán a su regreso a los países de origen.
Para evaluar mejor si se logran o no los objetivos, se suele pedir a los participantes que
elaboren un proyecto final, a fin de verificar en qué medida han asimilado el material.
Algunas veces esos proyectos se preparan en grupos, otras individualmente. Así, en un
curso sobre estrategias de prensa para fines de organización comunitaria, se pidió al
grupo planear una campaña en los medios de comunicación social, así como una lista de
innovaciones que desearían introducir al regresar a su país.
Además, al término de cada curso, los participantes rellenan un formulario de
evaluación detallado, y lo mismo hacen los directores del curso, que lo evalúan desde su
propia perspectiva.
Es indudable que MASHAV involucra a los participantes en el proceso de evaluación,
pero ello se hace -en gran medida- durante e inmediatamente después del curso.
MASHAV ha tenido menos éxito en el seguimiento a largo plazo de los egresados de
los cursos. Con más de 4.000 participantes por año en los cursos de MASHAV, existe
ahora la creciente necesidad de reconsiderar la naturaleza de los contactos con ellos.
Cuestionarios
Varios centros de formación mandan a los egresados, en el plazo de un año del fin de su
curso, un cuestionario en el que se les pide señalar, entre otras cosas, qué información
les resultó más valiosa, cuáles técnicas les fueron más útiles, y cómo logran adaptar y
aplicar a su trabajo el material incluido en el curso. Sin embargo, las respuestas que se
reciben suelen ser pocas y escuetas. MASHAV está considerando si no ha llegado la
hora de elaborar un cuestionario de seguimiento uniforme, que se podría enviar al cabo
de un año, cinco años y quizás también diez. Este tipo de evaluación continuada,
estructurada y formalizada permitiría a MASHAV apreciar los resultados a largo plazo
de sus programas.
Con todo, la mera elaboración del formulario tropieza con dificultades. Los
cuestionarios largos, como los que se usan para investigación académica, suelen
formular la misma pregunta de distintas formas, para validar las respuestas. Pero por
muy válidos que sean, su longitud hace que muchos ni los lean. Por ello, aunque un
cuestionario largo pueda ser más confiable que uno corto, pierde su valor si las
respuestas recibidas son pocas. En cambio, los cuestionarios cortos suscitan más
respuestas, pero pueden no ser confiables.
Hacerlo mejor
En su sentido más básico y esencial, la evaluación puede definirse como aprender a
hacer algo mejor. Pero este "hacerlo mejor" exige procedimientos adecuados de
seguimiento a largo plazo. Debe incluir una reacción constante de los participantes en
cursos anteriores. La clave de la preparación de cursos mejores y más significativos en
el futuro radica en la forma en que se evalúen los programas actuales.
La evaluación por los participantes puede indicar, por ejemplo, que ha llegado el
momento de eliminar cierto curso o programa, que ya no tiene utilidad. Como observa
el Dr. Fink, empero, la mayoría de los cursos no tienen un dispositivo de cesación
gradual. Es preciso, también, formular directrices que indiquen cuándo un proyecto, tal
como una finca demostrativa o un experimento de campo, llega a ser autosuficiente y
está listo para seguir operando por sí solo.
El desarrollo es una tarea de educación en todos los sentidos de la palabra: enseñar a
otros, capacitarlos para lograr una vida mejor para sí mismos y para sus países. Con
todo, no puede compararse con las actividades tradicionales de educación, en las que los
instructores suelen evaluar su impacto sometiendo a los educandos a exámenes escritos,
orales o prácticos. En ese contexto, el examen final marca el fin del curso. La formación
que imparte MASHAV, en cambio, tiene un enfoque y un objetivo distintos. Si bien al
comienzo MASHAV trataba sobre todo de impartir conocimientos y pericia a
individuos, que eran los beneficiarios principales, hoy se ha pasado de "formar a
educandos" a "formar a educadores". La formación se orienta ahora a preparar a quienes
sean capaces de transmitir lo aprendido a otros, logrando lo que se conoce como efecto
multiplicador.
La reorientación a una formación de formadores plantea problemas a los que MASHAV
debe enfrentarse. Así, cabe preguntarse si se han evaluado cabalmente las
consecuencias, tanto ventajas como desventajas, implícitas en tal enfoque. Por ejemplo
no se favorece así a los candidatos más educados, de más alto nivel, a expensas de
otros sectores de la sociedad? No ha llegado la hora de reconsiderar todo el
procedimiento de selección de candidatos? Quizás MASHAV debería desarrollar
métodos más efectivos de selección de candidatos, prefiriendo a quienes puedan aplicar
su formación con la mayor amplitud posible. Está cada vez más claro que la formación
que no se aplica tiene poco valor.
Datos para el seguimiento
Cómo comprobar si la formación ha sido aplicada? MASHAV es consciente de que
aún está por definir un método sistemático de compilación de datos de seguimiento por
escrito. Pero aunque éste es necesario, también pueden utilizarse otros procedimientos.
Una posibilidad sería realizar seminarios o talleres regionales para ex becarios. En la
evaluación se desea saber si lo enseñado ha contribuido al desarrollo y a la economía de
los países de los participantes. Nada mejor que preguntárselo a los propios participantes.
Los encuentros regionales reunirían a ex graduados, que podrían informar del efecto
logrado y de las necesidades futuras de sus países. Tales encuentros, incluso cortos, de
un solo día, podrían servir de tribuna donde los participantes compartirían sus
experiencias, sintiendo que no están solos en sus esfuerzos por mejorar la situación.
Los encuentros entre ex becarios y funcionarios de MASHAV de visita en los distintos
países, aún informales y no planeados, brindan información valiosa. Los egresados
pueden indicar qué creen que faltó en su propia formación, ayudando así a MASHAV a
elegir su orientación futura y a definir nuevos cursos y nuevas áreas de interés.
Recurso valioso
MASHAV está cada vez más consciente de que sus antiguos alumnos son un recurso
valioso para ponderar el valor de su capacitación. Su evaluación constituye una de las
bases para diseñar un nuevo curso o programa en Israel. Además, los ex alumnos
pueden tener una participación importante en la planificación y ejecución de cursos en
el lugar, y también ayudar en las tareas de instrucción. La experiencia demuestra que los
cursos en el lugar más efectivos son los que aprovechan los talentos, experiencia y
servicios de los ex becarios.
No cabe insistir demasiado en el hecho de que la evaluación nunca es unilateral. Tanto
los planificadores como los participantes tienen cada uno su papel. La pregunta que se
plantea es cómo puede lograr MASHAV una mayor participación de sus ex becarios y
cómo fijar métodos para compilar y cotejar los datos de evaluación.
La participación de los egresados de cursos los convierte en asociados en el progreso.
Esas no son meras palabras, sino la base de una evaluación significativa y eficaz, para
definir qué, cómo y dónde hacer las cosas mejor. Como subraya el Dr. Rodney Fink,
"La evaluación es un proceso deseable y no temible. Todas las partes interesadas (los
evaluadores, los participantes, los expertos que informan y los gobiernos involucrados)
tienen un mismo objetivo, el de mejorar los programas."