¿Cómo sistematizar una experiencia? (primera parte)

Luego de revisar los principales conceptos, en esta cuarta jornada del curso nos concentramos sobre el ‘cómo’ de la sistematización. También analizamos otro caso y otras formas de comunicar lecciones aprendidas. Acá presentamos una síntesis de la cuarta jornada.

La sistematización como forma de evaluación.

A partir de las múltiples inquietudes respecto de las semejanzas y diferencias entre la sistematización y la evaluación, procuramos destacar mediante un gráfico cuál es la especificidad de cada abordaje. El gráfico utilizado no pretende ser exhaustivo y detallista, sino que intenta simplemente marcar, a modo de ‘trazo grueso’, las principales diferencias entre los abordajes que se pueden realizar sobre una experiencia (proyecto, programa o política).

La gráfica resalta dos grandes tipos o formas de analizar una intervención: (a) la evaluación orientada a resultados, conocida también como evaluación sumativa, y (b) la evaluación orientada al proceso, conocida como evaluación formativa.

Dentro del primer grupo ubicamos diferentes tipos de evaluación que se concentran sobre distintos aspectos y niveles de los resultados esperados o alcanzados de una evaluación. El segundo grupo abarca aquellas evaluaciones orientadas a comprender el proceso de la intervención y generar aprendizajes a partir de ella.

Con la intención de ilustrar la gráfica, presentamos acá un simple concepto de los principales tipos y énfasis de la evaluación.

Evaluación ex ante o análisis de factibilidad. Se trata de una evaluación orientada a analizar la relevancia del proyecto, su viabilidad y sostenibilidad potencial. Acá se busca verificar si el proyecto propuesto está bien formulado y promete satisfacer necesidades originales o cumplir sus objetivos. También sirve para determinar si es posible su desarrollo según está planeado, enfrentando riesgos a diferentes niveles. Este tipo de análisis focaliza sobre la coherencia lógica del proyecto, sus debilidades y vacíos, y procura determinar su factibilidad social y cultural, técnica, económica, financiera, organizacional, institucional y ambiental, para justificar la aceptación o rechazo, o bien su reformulación. Se concentra principalmente sobre la relación entre la situación inicial (diagnóstico) y la propuesta de intervención expresada en el diseño del proyecto/programa.

Evaluación durante o seguimiento. Es un proceso continuo y sistemático de recolección, análisis y uso de información sobre la ejecución del proyecto para el control de la gestión y la toma de decisiones que contribuyan al logro de los objetivos del proyecto. Tiene la finalidad de ratificar o corregir el rumbo del proyecto frente a eventuales desviaciones. Se concentra principalmente sobre las actividades y los productos que éstas van generando.

Evaluación de la efectividad. La evaluación de la efectividad, muchas veces usado como sinónimo de eficacia, mide el grado en que los resultados han sido alcanzados, es decir, en qué medida un proyecto o programa logra sus objetivos en un período determinado, independientemente de los costos que ello implique. Se concentra principalmente sobre el análisis de los productos y resultados alcanzados comparados con los objetivos y metas expresados en el diseño del proyecto/programa.

Evaluación de la eficiencia. Este tipo de evaluación procura determinar de qué manera un proyecto o programa hace uso de los medios disponibles, cómo se realizan las actividades y de qué modo se alcanzan los resultados previstos. La eficiencia valora la forma en la que se utilizan los recursos que se consumen durante la ejecución, procurando así medir el rendimiento del proceso de ejecución. Se concentra principalmente sobre el análisis de las actividades y sus costos y los productos y resultados del proyecto.

Evaluación del impacto. Este tipo de evaluación presta especial atención al cambio en la vida de las poblaciones como consecuencia de los resultados del proyecto. Es decir, analiza los efectos que los resultados del proyecto han generado respecto de la situación inicial. Estos cambios pueden ser positivos o negativos, deliberados o involuntarios, directos o indirectos, esperados o inesperados. Este tipo de evaluación compara principalmente la situación inicial (sin intervención) y la situación final (luego de un tiempo de finalizado el proyecto/programa).

Sistematización. Ya analizado en profundidad en este curso, la sistematización es un proceso de reflexión crítico orientado a ordenar lo que ha sido la marcha, los procesos y los resultados de una experiencia, para comprenderla y explicarla, y generar a partir de ella nuevos conocimientos o lecciones aprendidas.

Si bien existen muchas similitudes, es importante destacar las diferencias entre un enfoque evaluativo orientado a resultados y aquellos que -como la sistematización- ponen énfasis en los aprendizajes. En la mayoría de los enfoques de evaluación orientada por resultados, como hemos visto, el énfasis central es la medición de los resultados o impactos del proyecto. Ahí, lo esencial de la evaluación es la valorización de las acciones emprendidas en una práctica, como el cumplimiento de metas y objetivos, la relación costo-beneficio en el uso de los fondos, la adecuación de los métodos a los objetivos, etcétera. Si bien los enfoques centrados en el aprendizaje pueden incluir estos elementos, y –de hecho- muchas veces se valen de estos análisis, lo esencial es su intento por captar el desarrollo de la experiencia. En estos enfoques, como la sistematización, interesa principalmente la comprensión de los procesos que se desarrollan en un determinado contexto para poder mejorar su implementación y rescatar los aprendizajes. En estos enfoques se procura conocer y descubrir cómo funciona una propuesta de intervención en un contexto determinado, qué factores obstaculizan y favorecen el logro de objetivos, cuáles son las posibilidades de sostenibilidad y replicabilidad del proyecto en el mismo y otros escenarios, y qué lecciones se aprendieron de la experiencia.

Existen varios tipos de evaluación, surgidos de otros contextos, que tienen similitudes con la sistematización y forman parte de este grupo de evaluaciones con énfasis en los procesos y las lecciones aprendidas. Aún cuando no serán desarrolladas acá, vale mencionar algunas de ellas, Systemic Approach in Evalution (enfoque sistémico en evaluación), Theory Program Evaluation (Evaluación de la Teoría del Programa), Utilization Focused Evaluation (Evaluación orientada a la utilización o toma de decisiones), Developmental Evaluation (evaluación en desarrollo).

Un caso. La sistematización de la experiencia “Elaboración y aprobación de la Ley de Desarrollo Integral de la Juventud”, de Guatemala.

Como hemos realizado en los encuentros anteriores, destinamos un tiempo para analizar un nuevo caso. En esta ocasión mencionamos el proceso seguido para acompañar la sistematización de esta valiosa experiencia de cabildeo en Guatemala, experiencia que fue apoyada por Action Aid y materializada por una veintena de organizaciones de jóvenes de ese país.

Tanto el documento de divulgación de la experiencia como un video documental está disponibles en la sección videos de este blog. Los invitamos a ver el material y comentar el caso.

La metodología de la sistematización (primera parte)

Antes de introducir la metodología de la sistematización, destacamos la importancia de tener en cuenta los componentes presentes en este tipo de metodología. Señalamos que no sólo se trata de prestas atención a cuestiones técnicas como las herramientas y calidad de información, o cuestiones logísticas como los costos, el equipo, los insumos y el personal.

Se trata además de pensar en otros componentes como lo organizativo, lo actitudinal y lo político. Esto implica tener en cuenta la necesidad de un grupo de trabajo, la división de tareas, la comunicación, el diseño de un cronograma. Además, supone una actitud favorable al diálogo, el trabajo en equipo, la receptividad y tolerancia a las diferencias y una buena predisposición a la crítica y autocrítica. Finalmente, entendido quizás como lo estratégico de la sistematización, destacamos la importancia de lo político, esto es un consenso acerca de qué se queremos lograr con los resultados, a quién dirigirlos, y cómo presentarlos para que las lecciones aprendidas de este proceso sean influyentes.

La metodología responde principalmente a la pregunta ¿cómo hacemos una sistematización de experiencias? Como mencionamos en esta jornada, existen diferentes enfoques metodológicos para desarrollar un proceso de sistematización, algunos más complejos que otros. En este curso proponemos un esquema simple y básico.

Como se muestra en la figura, la sistematización es un proceso, el cual supone el tránsito por diferentes momentos o ejes de análisis, aunque no siempre de forma lineal o secuencial. Estos momentos, aspectos  o elementos a ser documentados y analizados durante el proceso de sistematización, constituyen variables que debieran ser observadas en la experiencia a partir de la combinación de diferentes instrumentos de recolección de datos (entrevistas a los responsables del proyecto y población beneficiaria, observación de la operación del proyecto en terreno, análisis de documentos, informes y otras fuentes de información, etcétera).

El punto de partida es la selección de la experiencia o proyecto que se desea sistematizar. Este primer momento se lo conoce como identificación o construcción del objeto de conocimiento, y el principal propósito del mismo es definir el alcance de la experiencia, los aspectos o ejes que sobre los que se desea generar lecciones y aprendizaje. El segundo momento consiste en la identificación de los actores claves o de relevancia para la experiencia, priorizando todos aquellas personas o instituciones que se involucraron de una u otra forma en el proceso o intervención. El tercer momento tiene que ver con la descripción y análisis de la situación inicial y el contexto donde se desarrolló la experiencia. En el cuarto momento, la sistematización se concentra en la recuperación de lo que fueron los principales objetivos y propósitos de la experiencia (explícitos e implícitos) y la descripción y análisis de la intervención. El quinto momento de este proceso, refiere a la descripción de los resultados e impacto del proyecto, si los hubiere, o –dicho en otros términos- el análisis de la situación final o la situación al momento de realizar la sistematización. Finalmente, en el sexto momento, la sistematización se concentra en lo que podría denominarse la producción de conocimiento, o la síntesis de lo que fueron las lecciones y aprendizajes fruto de la intervención.

Vale destacar que existen otras formas de encarar una sistematización. Recomendamos revisar los siguientes materiales: La sistematización: una nueva mirada a nuestras prácticas (páginas 47 a 60) o Aprender de la experiencia: una metodología para la sistematización (páginas 16 a 34).

En esta jornada nos concentramos sobre los dos primeros momentos. Acá señalamos sus principales características.

(1)   Identificación y construcción del objeto de conocimiento

Si entendemos a la sistematización como un proceso de construcción de conocimientos es necesario entonces definir un ‘objeto de conocimiento’, es decir, determinar qué se va a sistematizar, cuál es el eje de la sistematización. Esto consiste en delimitar analíticamente el problema o aspecto de la experiencia que se quiere considerar, identificando y explicitando aquellas variables y preguntas más significativas para nuestra sistematización.

No es posible sistematizar toda la experiencia, sobre todo si se trata de un programa de gran envergadura o una política social en su conjunto. Entonces, es necesario definir lo más precisamente posible los aspectos que se pretende abordar, los cuales representarán las variables centrales de la sistematización.

(2)   Identificación de diversos actores

En todo proceso de desarrollo intervienen diversos individuos o grupos, algunos con una participación más directa y otros con una influencia lejana sobre la misma. La sistematización debe procurar captar la opinión y los puntos de vista la mayor cantidad de actores posibles.

Es importante asumir que estos diversos actores van a tener diferentes visiones, opiniones e interpretaciones sobre cada uno de los componentes de cada proyecto. Si se asume que los diferentes puntos de vista son importantes, entonces es necesario identificar a los actores más relevantes y  describir las perspectivas de cada uno, recogiendo diferentes miradas sobre los mismos hechos.

Algunas preguntas, entre otras tantas, que pueden orientar este momento pueden ser las siguientes: ¿Quiénes participaron en la gestión del proyecto y quiénes en la toma de decisiones cruciales para la experiencia? ¿Quiénes han aportado los diferentes recursos (humanos, materiales, financieros, técnicos, etcétera)? ¿Cuáles son los diferentes sectores o grupos involucrados en la experiencia?

Pero esta jornada no terminó acá. También dedicamos un tiempo al tema de cómo comunicar las lecciones aprendidas. En esta ocasión analizamos tres anuncios vinculados a la prevención del SIDA y el control de la natalidad, focalizando –con diferentes estilos- en el uso del condón.

Campaña para concientizar sobre el uso del condón y prevenir el SIDA, realizado por Yoann Lemoine desde la agencia TBWA. El graffiti del condón.

Anuncio realizado por la Fundación ANTI SIDA de España, para concientizar acerca de cómo el SIDA afecta todos en la sociedad.

A estilo de comedia, para naturalizar un tema que en muchas sociedades aún es tabú, un corto denominado “el condón con naturalidad”.

Como una manera de aprender diferentes estilos y formas de comunicar los aprendizajes que surgen de una sistematización, procuramos identificar en estos anuncios ¿quién emite el mensaje?, ¿quiénes son los receptores?, ¿cuál es el mensaje?, ¿cuál la estrategia comunicacional?, y ¿cuáles los efectos que creemos puede tener?

Finalmente, dando continuidad al análisis del libro la Isla de los cinco faros, que comenzamos a analizar la jornada anterior, en esta ocasión reflexionamos sobre el Segundo Faro.

La luz del faro y su mensaje brillan por encima de todas las otras luces, y esto es así porque el faro ocupa una posición estratégica; emite una luz más potente que las otras; y tiene una luz diferente que se destaca. Para que recuerden nuestro mensaje, entre los muchos que recibimos a diario, tenemos que hacerlo especialmente interesante. Contar una cosa y contar una historia producen efectos muy diferentes. Las historias quedan grabadas en la mente, no así la información, a menos que sea muy precisa. ¿Cuántas veces hemos sido capaces de encender un faro, o más bien nos hemos limitado a encender pequeñas luces que se pierden en medio de otras que pueblan la noche?

Debemos construir una historia para transmitirlo, pensar en metáforas, en comparaciones, en una manera de contarla sugestiva y sorprendente. El faro nos enseña  que da un mensaje que brilla por encima de otros; tienen la fuerza y la magia de la luz para hacerlo. Nosotros tenemos las historias.

Para quienes participan de manera presencial en este curso libre de sistematización de experiencias, nos encontramos el próximo viernes 1 de junio a las 16 horas. A los demás, l@s invitam@s a seguirnos a través del blog, esperando sus aportes, preguntas y reflexiones sobre los temas que vamos tratando…

Saludos…!

About these ads
Esta entrada fue publicada en Uncategorized. Guarda el enlace permanente.

Una respuesta a ¿Cómo sistematizar una experiencia? (primera parte)

  1. Pingback: ¿Cómo sistematizar una experiencia? (segunda parte) | Sistematización de Experiencias

¡Contános tu opinión!

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s