Unidad 3. 2. Técnicas e instrumentos para la evaluación de proyectos de Educación Ambiental.

 

En el momento que ya se tiene identificada la problemática a tratar y se va a iniciar un proyecto de Educación Ambiental, es importante realizar la metodología analizando y evaluando cada una de las fases (técnicas para el diseño, identificación del tema y de la problemática, contextualización, enfoques).

Posteriormente a partir de los indicadores de logró y los criterios que se hayan fijado es necesario acumular información para efectuar la evaluación. Dicha información debe ser recopilada de forma sistemática y científica, es decir utilizando procedimientos e instrumentos que garanticen al máximo la veracidad de los datos obtenidos. La evaluación de un proyecto de Educación Ambiental, como tal se refiere a la comparación de costo-beneficio, abordando el problema de la asignación de recursos para el proyecto en forma explícita y dando recomendaciones mediante diversas técnicas para que el beneficio abarque a toda la comunidad en la medida de lo posible.

Sí se bate el hecho de que cada proyecto de Educación Ambiental es único y distinto a todos los demás, entonces solamente se debe adaptar la técnica para evaluar.

La técnica más común se basa en listas de verificación, dichas listas se utilizan para verificar los atributos económicos y sociales, dichos atributo menciona continuación:

·         Seguridad pública: servicio de bomberos eficiente, fuerza policíaca, servicio de ambulancias y rescate.

·         Efectos fiscales: disminución de carga fiscal, incentivos para las empresas que desarrollen proyectos ambientales.

·         Efectos laborales: creación, distribución y calidad de empleo.

·         Efectos demográficos: edad, nivel educativo, ocupación, tasa de desempleo, migración.

·         Efectos educativos: instalación de nuevas escuelas, escuelas existentes, tasa de dispersión, capacidad de atención.

·         Parámetros ambientales: contaminantes de agua, aire y suelo, olores, ruido, calidad de agua potable.

Estas listas de verificación deberán ser ajustados con los parámetros que se hayan definido derivadas de las necesidades de las comunidades, es decir de la problemática resolver mediante un proyecto de Educación Ambiental, sin embargo, no son limitativas, podrían integrarse más Flow muros, dependiendo de las dimensiones de cada propuesta, por lo cual es necesario que sepas que esos rubros se evaluarán a lo largo del diseño, la implementación y la conclusión del proyecto.

Ahora bien, a pesar de ser difícil determinar el momento en que debe evaluarse del proyecto, se pueden considerar tres momentos prototípicos:

·         Inmediatamente después de su elaboración, pero antes de la aplicación.

·         Durante la ejecución.

·         Después de la realización.

Si bien es cierto que el proyecto de Educación Ambiental debe evaluarse durante su aplicación, cuando se habla del proyecto como tal, se propone evaluar al menos en tres etapas dicho trabajo: antes, durante y al final de la aplicación, lo que será de gran ayuda para el enriquecimiento, modificación y correcta aplicación.

La primera es la evaluación preactiva, es decir previa a la aplicación; la cual va a realizarse sobre la documentación, una vez finalizado el proyecto, pero antes de la aplicación. En esta etapa puede validar es el proyecto y pueden considerarse: la apariencia, el contenido, el constructo, el contraste. Está etapa puede dividirse en tres partes:

1.   Perfil, gran visión o identificación de la idea: se elabora a partir de la información existente, el juicio común y la opinión que da la experiencia.

2.   Estudio de prefactibilidad o anteproyecto: en esta parte se profundiza la investigación en fuentes primarias y secundarias en investigación de mercado, se detallan la tecnología que se empleará, se determina los costos totales y la rentabilidad del proyecto, y es la base en que se apoyan los inversionistas para tomar una decisión.

3.   Proyecto definitivo: básicamente, contiene toda la información del anteproyecto.

Es decir, cuando se ha terminado la fase en donde se ha terminado de recopilar la información previa para poder iniciar un proyecto de Educación Ambiental, y además se tiene toda la información que lo sustenta, así como las actividades a desarrollar, metodologías y las técnicas a utilizar, material didáctico de apoyo y se han planteado los objetivos, tiempos y demás cuestiones, se realizará una evaluación con el fin de enriquecer o simplemente constatar que el trabajo puede comenzar a aplicarse o realizarse.

Cuando ya se está a él etapas del estudio de factibilidad o anteproyecto, se encuentra con dos fases más en la evaluación. La evaluación durante la ejecución la cual será realizada con la intervención de los responsables del proyecto. En esta fase, la valoración puede tener diversos criterios, los cuales eran definidos previamente; es decir, ¿se ha ejecutado lo planeado?, O existen retrasos y/o actividades que ese han anticipado al plan; también puede comprobarse si durante el desarrollo del proyecto han aparecido algunos resultados no previstos; otro aspecto importante a evaluar en un proyecto educativo es la satisfacción de los implicados en el trabajo (respecto a los materiales utilizados, el clima de trabajo, la metodología empleada, las actividades desarrolladas, etcétera.). Y se van a utilizar los procedimientos básicos de actuación que son: autoevaluación, heteroevaluación, coevaluación y triangulación.

Como se mencionó previamente, la siguiente etapa deevaluación es al final de su ejecución, lo cual permitirá ver aquellos detalles que no pudieron contemplarse en la evaluación previa o simplemente comprobar el buen curso que tomó el proyecto. Para está parte evalúa activa, se tienen diversas herramientas o técnicas, las cuales se mencionan a continuación.

La técnica de observación se utiliza en algunos instrumentos estos son: guías de evaluación, inventarios, listas de cotejo o control, anecdotarios, diarios, matrices, estudios de casos, análisis de contenido, análisis de trabajos, análisis de tareas y escalas de observación. Por ejemplo, la aplicación de guías de evaluación es empleada en casos de impacto ambiental, programas de Educación Ambiental y evaluación de riesgos ambiental; para el uso de inventarios tenemos aplicación en la gestión ambiental y el uso de las listas de control se puede observar en la recarga artificial de acuíferos en cuencas fluviales, entre otros.

Otra técnica que se usa es la interrogativa oral, que emplea instrumentos tales como los exámenes orales y las entrevistas. En el caso de las entrevistas, estas pueden ser libres, estructuradas, semiestructuradas, grupales, formales e informales. Los instrumentos que se pueden utilizar son: cuestionarios, escalas de evaluación, pruebas sociométricas, memorandos, test estandarizados, pruebas objetivas, exámenes tradicionales y autobiografías personales.

Como puedes ver, para la etapa de evaluación que se realiza cuando el proyecto se está ejecutando, existen varía herramientas que puedes usar para el enriquecimiento, modificación o simplemente la comprobación de las actividades planeadas del proyecto con la finalidad de alcanzar los objetivos propuestos.

Finalmente, la evaluación postactiva es aquella que se lleva a cabo una vez concluida la aplicación del proyecto; con los datos obtenidos se elaboran las conclusiones pertinentes sobre el proyecto. Es convenientes que está fase evaluativa finalice con una propuesta fundamentada, en la que se formulen las sugerencias para el funcionamiento futuro del proyecto. El análisis de los resultados podría contemplar las siguientes variables:

·         Indicadores de eficacia: con estos indicadores se trata de llegar a una estimación de los resultados conseguidos o productos logrados y se valora si se han cubierto los objetivos o metas previstos y en qué grado, tanto en cantidad como en calidad y respecto al tiempo previsto.

·         Indicadores de eficiencia: los resultados que se obtienen en un proyecto pueden estar influenciados por variables no previstas en el, tal como el ambiente, el entorno, etc. En este sentido, los indicadores de eficiencia tratan de determinar la rentabilidad del proyecto mediante el análisis de costo-resultados y la incidencia del punto de partida en los efectos producidos.

·         Indicadores de funcionalidad: valoran la idoneidad del proceso de ejecución del proyecto mismo, con independencia de los resultados obtenidos.

·         Indicadores de impacto: estos indicadores pondrán de manifiesto los efectos de un proyecto produce en el ámbito de incidencia de sus resultados, pero con independencia de estos últimos.

3.2.1.    Instrumentación de proyectos.

Cuando se habla de la instrumentación de proyectos se refiere a indicadores que se utilizan en diferentes etapas de desarrollo de un proyecto, y a los documentos de trabajo que se utilizaran para verificar que las etapas hayan sido ejecutadas, en tiempo y en forma respecto a lo que se planeó desde el inicio. Es decir, los indicadores van a especificar el tipo de evidencia necesaria para verificar el logro de los objetivos de cada nivel, las actividades y los recursos; además constituyen la base para el seguimiento y evaluación del proyecto. Dependiendo de la naturaleza del proyecto, son los instrumentos que será utilizados. Esto es, como se mencionó anteriormente, que el proceso evaluativo se realiza al menos tres fases del proyecto: antes de su aplicación, durante y al finalizar, para lo cual es necesario usar indicadores que sirvan como base para el seguimiento y evaluación del proyecto; los cuales, como su nombre lo dice, darán la información necesaria que indica el logro de los objetivos. Es importante recordar que, en cada fase del proyecto, (antes, durante y al finalizar) se pueden utilizar diferentes procedimientos, incluyendo sus técnicas e instrumentos recomendados para ejecutarlas, en la siguiente tabla observaras un resumen de estas metodologías o procedimientos, sus técnicas y sus instrumentos, te recuerdo que la metodología te dice los tiempos y como en general, la técnica te indica el cómo en específico y el instrumento es con que se realizara:

Tabla 1. Tabla resumen de las técnicas e instrumentos que se utilizan para evaluar los proyectos.

Procedimientos	Técnicas	Instrumentos
Autoevaluación	Observación: -       Etnografía. -       Participante.	-       guías de evaluación. -       Inventarios. -       Listas de cotejo o control. -       Anecdotarios. -       Diarios (cuadernos de campo). -       Rejillas. -       Estudios de casos. -       Análisis de contenido. -       Análisis de trabajos. -       Análisis de tareas. -       Escalas de observación.
Heteroevaluación	-       No se evalúan a los participantes. -       Se evalúan las instalaciones, materiales y resultados, la técnica sugerida es la observación directa y las encuestas.	-       Guías de evaluación. -       Inventarios. -       Listas de cotejo o control. -       Anecdotarios. -       Diarios (cuadernos de campo). -       Rejillas. -       Estudios de casos. -       Análisis de contenido. -       Análisis de trabajos. -       Análisis de tareas. -       Escalas de observación.
Coevaluación.	Interrogativas: -       Orales.	-       Exámenes orales. -       Entrevistas.
Triangulación.	Interrogativas: -       Escritas.	-       Cuestionarios. -       Escalas de evaluación. -       Pruebas sociométricas. -       Memorandos. -       Informes. -       Test estandarizados. -       Pruebas objetivas. -       Exámenes tradicionales. -       Autobiografías.

Estos procedimientos pueden aplicarse en cualquiera de las fases, sin embargo, es importante tomar en cuenta que un solo indicador nunca dará cuenta del impacto, los cuales no pueden ser preelaborados, ya que requiere de una ubicación en el contexto específico de la realidad que se             quiere medir y una validación y ajuste en el campo, antes de su implementación. Esto es que, un indicador por sí solo no es suficiente para medir el impacto de un proceso, por lo que es necesario construir un sistema de indicadores.

Para comenzar la construcción de un sistema de indicadores, es necesario definir:

·         Que significan los conceptos utilizados (como ambiente, contaminación, proyecto, Educación Ambiental, etc.)

·         Describir el tipo de acción, es decir, especificar el bien o servicio ofrecido.

·         Los puntos esenciales de la situación inicial que da origen a la situación o proceso evaluado (línea base).

·         Cuáles son los propósitos que se desean alcanzar (delimitación de la situación deseada).

·         Ámbito de intervención, factores que la favorecen o dificultan.

Con la información obtenida a partir de los puntos anteriores, podrás entonces comenzar a construir un sistema que te permita evaluar un proyecto, esto con la finalidad de delimitar las acciones, modificaciones o enriquecimiento del trabajo, además de que te ayudarán para evitar que desvíes el camino y, en consecuencia, que no sean cubiertos los objetivos.

Hay indicadores previamente elaborados, los cuales se adaptan a las condiciones específicas de cada proyecto. A continuación, se describen algunos de ellos:

Los indicadores de desempeño miden los insumos, procesos, productos, resultados y efectos de los proyectos, programas o estrategias de desarrollo. Cuando estos indicadores son respaldados con recopilación de datos (encuestas formales), y a través del análisis de la información, permiten seguir los progresos, demostrar los resultados y adoptar medidas correctivas para mejorar el proyecto, sin embargo, el desempeño también tendrá que ser reflejado a nivel comunidad. Estos indicadores son pertinentes cuando los proyectos de Educación Ambiental incluyen productos, es decir, derivado de las actividades se obtiene algún beneficio tangible para las comunidades.

En las comunidades mexicanas los indicadores de desempeño pueden ser muy variados, desde el existo en la limpieza de sitios de uso común que se puede medir en cantidades de residuos colectados, o bien los ahorros de agua en comunidades que carecen de ella, así como en las grandes ciudades la colecta de los materiales de reúso, además de los beneficios como el económico, se logra reducir la contaminación y comenzar a generar una cultura diferente entre la población.

Otro de estos indicadores es el enfoque del marco lógico, el cual ayuda a aclarar los objetivos de cualquier proyecto o programa. Facilita la identificación de las relaciones de causalidad previstas en la cadena formada por los insumos, procesos, productos, resultados y efectos. Durante su aplicación, sirve como instrumento para examinar los progresos y tomar medidas correctivas; cuando se intenta descubrir alguna causa de la situación actual, con el objetivo de corregir conductas mediante las actividades cotidianas, son de mucha ayuda estos indicadores, sobre todo en proyectos como la producción de algún objeto con materiales reciclados o de reúso.

Un indicador que tiene muchas semejanzas con el marco lógico es la evaluación basada en la teoría, solo que este permite una comprensión mucho más profunda del funcionamiento de un programa o actividad. Con la información obtenida de este indicador se puede evaluar si los objetivos serán cubiertos al final del proyecto o no. Se puede utilizar para determinar el diseño de proyectos complejos y mejorar la planificación y la gestión, este indicador se basa sobre todo en la parte académica, pues es una forma de aportar desde las comunidades en los temas que deberán incluirse en las escuelas para poder fomentar el cuidado del ambiente.

Otro indicador son las encuestas formales, las cuales se pueden utilizar para recopilar información estandarizada de una muestra cuidadosamente seleccionada de personas y hogares. Estas recopilan con frecuencia información comparable sobre un número relativamente grande de personas de grupos destinatarios concretos. Las encuestas formales se elaboran previamente, con preguntas específicas y están destinadas a un cierto núcleo de personas cuidadosamente seleccionadas, las cuales son tomadas como muestra estandarizada que pude ser extrapolada a grupos concretos. Estos indicadores son utilizados en proyectos a gran escala, en donde se desarrolla la intervención de empresas y sociedad en conjunto, por esa razón se requiere mucha formalidad.

También se tiene como indicadores a las evaluaciones rápidas, los cuales son rápidos y de bajo costo para obtener las opiniones y comentarios de los beneficiarios y otras partes interesadas, se utilizan en proyectos en donde los actores tienen mucha interacción y es fácil de localizarlos de manera conjunta, como en el caso de los centros escolares que interactúan con la sociedad, con el fin de atender las necesidades de información de los responsables de la toma de decisiones. Algunos ejemplos de estos métodos son las entrevistas a informantes clave, los debates en grupos focales, entrevistas de grupos comunitarios, observación directa y miniencuestas. En este caso, la diferencia son los tiempos, ya que se valen de recursos que proveen información necesaria que ayudará a la evaluación de manera pronta. Además, este método no requiere de la participación del grupo en su totalidad.

En lo que concierne a la intervención activa en la toma de decisiones para quienes participan en un proyecto, programa o estrategia se usan los indicadores participatorios; generan un sentimiento de identificación con los resultados de recomendaciones del seguimiento y evaluación. Los más usado son el análisis de las partes interesadas, la evaluación rural basada en la participación, la evaluación de los beneficiarios y el seguimiento y evaluación participatorios. En este caso se requiere de la participación de todas las personas implicadas en el proyecto, podría considerarse más apto el uso de este método a los fines educativos.

Otro para de instrumentos que se tienen son el análisis de costos-beneficios y el análisis de la eficacia en función de los costos que sirven para determinar si los costos de una actividad pueden estar o no guste explicados por los resultados y los efectos. El primero, mide los insumos y los resultados en términos monetarios y, el segundo, estima los insumos en términos monetarios y los resultados en términos cuantitativos no monetarios (por ejemplo, mejores calificaciones de lectura para las estudiantes). Estos dos tipos de análisis son importantes en cuanto a los aspectos monetarios se refiere, pues con este par de herramientas es posible evaluar los alcances del proyecto de acuerdo con los recursos económicos disponibles y, en dado caso, ideas la manera de obtener mayores recursos o ampliar los alcances.

Otro indicador importante es el de los efectos, que se trata de la identificación sistemática de las repercusiones – positivas o negativas, voluntarias o involuntarias – en los hogares, instituciones y el ambiente, como consecuencia de un determinado programa o proyecto. La evaluación de los efectos ayuda a comprender mejor hasta qué punto las actividades de Granada población objetivo e influyen en su bienestar. Entre estas evaluaciones puede haber desde encuestas por muestreo en gran escala en las poblaciones afectadas por los proyectos se comparan con grupos de control, antes y después de los mismos y, posiblemente, en diferentes momentos durante su ejecución, hasta las evaluaciones rápidas, en pequeña escala, y las evaluaciones participatorios en las que los efectos se estiman sobre la base de la combinación de entrevistas con grupos, informantes claves, estudios de casos y datos secundarios disponibles. Dependiendo de los objetivos planteados, podrás obtener una estimación de los resultados de acuerdo con el impacto que se tendrá en la comunidad, escuela o sociedad y no solo se pueden utilizar en una evaluación previa a la implementación del proyecto sino al obtener los resultados.

3.2.2.    La evaluación para la medición de alcances.

Cuando se habla de una evaluación, no se debe perder de vista la utilidad de está; ya que te permite juzgar el mérito o valor de un programa o proyecto, los productos, las conclusiones o resultados (efectividad), sus procesos; así como los medios o formas para cumplir con su cometido (eficiencia).

Es decir, cuando se hace la comparación del antes y después de llevar a cabo el proyecto y se tiene diferencias representativas tanto en la comunidad de manera tangible y también en las actitudes de las personas, entonces el proyecto fue bien planteado, desarrollado y culminado.

Los pasos importantes que seguir en una evaluación en proyectos de Educación Ambiental son:

1.   Decidir lo que es importante evaluar.

2.   Planificar la evaluación.

3.   Realizar la evaluación.

4.   Utilizar resultados

Estos cuatro pasos van a permitir que, primero, la evaluación sea aplicada de forma correcta y, segundo que sea posible enriquecer, mejorar o cambiar la problemática a resolver, mejorar o cambiar la problemática a resolver debido a que el problema a resolver refleja la finalidad, tanto del proyecto como de todos los recursos que necesitas para desarrollarlo de manera correcta, por lo que los indicadores que se utilizarán en esta parte son primordiales.

Finalmente, se puede concluir que, dependiendo de la naturaleza del proyecto a evaluar, son las herramientas que se van a utilizar, es decir, no se considerarían los mismos indicadores como se evaluó a un proyecto educativo a uno de reciclaje de PET, por ejemplo. Cabe subrayar que el objetivo principal es el de enriquecer el desarrollo del proyecto, y los resultados de este. Así como, mostrar sus fortalezas y debilidades.