¿Para qué queremos Aprender?

Mientras escribía esto se encontraba en plena implementación el operativo Aprender 2016, que mide los resultados de aprendizaje de alumnos de escuela primaria y secundaria en Argentina. Por primera vez en muchísimos años, la aplicación de este tipo de tests está generando una polémica que trasciende al campo educativo.

La discusión sobre si un país tiene que medir los resultados de aprendizaje en el sistema educativo puede sonar hasta ridícula en ciertos contextos. En el amplio campo de la educación internacional, decir que un país tiene que tener una política de medición de resultados de aprendizaje es una obviedad, pero la discusión acerca de para qué lo hacemos es siempre válida en todos los contextos.

Espero que en estos dos primeros párrafos se haya notado mi esfuerzo por evitar usar la palabra evaluación. Esto es porque considero que una cabal comprensión de lo que el concepto implica es el centro del debate. Los anglosajones hacen una distinción interesante entre assessment y evaluation. En el ámbito educativo, assessment refiere a la medición (en general estandarizada) de los resultados de aprendizaje. Evaluation es algo más complejo. Básicamente, es un proceso que tiene cinco pasos: formulación de preguntas que queremos responder, diseño de un instrumento para responderlas, recolección de información a través de la aplicación del instrumento, interpretación de los resultados y toma de decisión.

En castellano únicamente tenemos la palabra evaluación para ambos conceptos, pero eso no quiere decir que no podamos hacer la distinción entre tomar una prueba y evaluar. Siempre es necesario entender la aplicación de una prueba (assessment) como un momento en el ciclo de la evaluación. Ese ciclo termina en la toma de decisiones: aplicamos pruebas para tomar decisiones. Un problema de esto es que las decisiones que un gobierno piensa tomar a partir de la información que da una prueba están condicionadas al tipo de información que esta prueba da.

El abanico de propósitos para una prueba estandarizada es extenso. Dependiendo de cuál sea el tipo de decisión que pretenda tomarse, el instrumento a utilizar (la prueba) es distinto. No existe un instrumento que cubra todo el abanico. En buena medida, la discusión que está sucediendo en Argentina en torno a Aprender 2016 tiene que ver con cuáles son los propósitos de esta prueba, y si el instrumento es el adecuado para esos propósitos.

Se le están haciendo muchas críticas a la prueba, de distinto tenor y calidad. La número uno tiene que ver con su carácter estandarizado. Se arguye que la prueba no tiene en cuenta los contextos en que funcionan las escuelas ni las diferencias individuales de los estudiantes. El problema es que si el objetivo de la prueba tiene que ver con dar una idea de qué está sucediendo a nivel sistema, debe construirse información comparable a lo largo de todas las escuelas. Si esta información no es comparable, es decir, no es estandarizada, su potencialidad para informar las políticas educativas es considerablemente menor. Si en cada escuela medimos algo distinto, no es posible saber, por ejemplo, en qué escuelas están los resultados más bajos.

Pensar en estos resultados como indicadores de la “calidad educativa” de las escuelas argentinas es ciertamente reduccionista, sobre todo para los que consideramos que el valor de la educación va mucho más allá del resultado de un test.

Ahora bien, si lo que queremos es informar a las escuelas para generar procesos de reflexión sobre los resultados, probablemente las pruebas estandarizadas no sean el mejor instrumento. En mi opinión, las escuelas tienen a su disposición mucha más información de la que la prueba puede darles. Tener a un pibe o a una piba enfrente es mucho más rico en términos de información que cualquier prueba que pueda aplicarse. En todo caso, creo que este tipo de información no necesariamente trae los beneficios esperados.

Efectivamente, y ésta es otra crítica relevante, Aprender 2016 mide un rango de saberes muy limitado. Esto es un problema de cualquier evaluación sistemática en cualquier ámbito (nunca podemos recolectar toda la información que querríamos en un tiempo razonable). Tenemos que entender sus limitaciones a la hora de sacar conclusiones al respecto. Estas pruebas miden resultados de aprendizaje en ciertos contenidos de ciertas áreas disciplinares, nada más y nada menos.

Pensar en estos resultados como indicadores de la “calidad educativa” de las escuelas argentinas es ciertamente reduccionista, sobre todo para los que consideramos que el valor de la educación va mucho más allá del resultado de un test. Aun así, que la prueba sea limitada en cuanto a los contenidos y competencias que mide no quiere decir que no tenga valor para informar a las políticas educativas.

Otro cuestionamiento relevante tiene que ver con que se teme que la aplicación de estas pruebas genere una orientación de la enseñanza hacia los contenidos a ser medidos. Creo que esto es una preocupación relevante en los contextos en que estas pruebas tienen consecuencias directas (por ejemplo, cuando de los resultados del examen dependen los salarios de los docentes o la entrada a la universidad de los alumnos). Llevamos más de 20 años de aplicación de este tipo de pruebas en Argentina y jamás he escuchado que éste fuera un problema, y por ahora no veo por qué esto cambiaría.

Hay además muchas otras críticas que considero menores. Por ejemplo, se señala también que sólo se realizan preguntas de opción múltiple, pero el hecho es que son más rápidas para computar y la experiencia con preguntas de respuesta abierta en años anteriores no fue positiva (recordemos que estamos hablando de 1.400.000 estudiantes respondiendo varios cuestionarios), y eso sin considerar el hecho de que si los ítems están bien construidos pueden ser considerados como relevantes.

Un cierto número de cuestionamientos que en mi opinión son falaces tienen que ver con que este tipo de pruebas son promovidas por organismos internacionales y que hay empresas privadas que estarían vinculadas con su confección y procesamiento. Honestamente, me gusta más debatir los mensajes que los enunciatarios, cuando puedo hacer la distinción.

Finalmente, un grupo de críticas se dirige a las acciones que supuestamente el gobierno querría implementar a partir de la aplicación de estas pruebas. Se le atribuye a la nueva gestión la voluntad de generar un ranking de escuelas, de fomentar la privatización del sistema y de atar los resultados de las pruebas a los salarios docentes. Está claro que en muchos lugares del mundo las pruebas estandarizadas fueron utilizadas para fomentar la competencia entre las escuelas, y los rankings fueron instrumentos clave para hacerlo. Chile seguramente es el mejor ejemplo para ver esto.

En el caso de Argentina, la Ley de Educación Nacional de 2006 prohíbe la divulgación de los resultados por escuela. En este sentido, hacer un ranking de escuelas es ilegal, y para hacerlo el Congreso debería primero modificar la ley. Hasta que eso ocurra, el argumento de los rankings será principalmente un recurso para atemorizar. Con respecto a la privatización, se me hace difícil encontrar la conexión entre la aplicación de las pruebas y el aumento de la participación del sector privado en educación.

La falta de claridad acerca de qué decisiones se van a tomar a partir de los resultados de Aprender 2016 es una responsabilidad de la actual gestión.

Durante los últimos 13 años, estas pruebas no tuvieron mucho valor en la agenda pública, y sin embargo el sector privado avanzó. Sobre la posible vinculación de los resultados a los salarios docentes, parece bastante claro que utilizar esta evaluación con ese propósito es una mala idea: la experiencia mexicana con este tipo de políticas nos disuade de implementarlas, los resultados de las pruebas son consecuencia de una serie de intervenciones y características del contexto que superan lo que un docente puede hacer y sólo estamos midiendo censalmente los resultados en los últimos años de primaria y secundaria.

Seguir este camino sería un error con Aprender 2016 en su estado actual (yo creo que sería un error siempre, no tengo espacio para dar esa discusión acá), pero no hay indicios claros de que el gobierno esté pensando en esto por ahora.

La falta de claridad acerca de qué decisiones se van a tomar a partir de los resultados de Aprender 2016 es una responsabilidad de la actual gestión. El hecho es que no sabemos bien para qué estamos aplicando el instrumento, y eso da lugar a muchas especulaciones. Aunque es muy probable que dichas especulaciones hubieran aparecido de todas formas, conocida la oposición de un sector del campo educativo con respecto a PRO, el Ministerio de Educación podría haber sido más claro y así haber evitado parte del conflicto.

En general, en el discurso gubernamental aparecen dos ideas de las que hemos mencionado aquí: informar a las políticas públicas y dar retroalimentación a las escuelas. Para el primer objetivo, hubiera sido deseable definir qué políticas serían informadas. Por ejemplo, qué políticas compensatorias utilizarán la información de las pruebas en su diseño. Lo mismo corre para el segundo, considerando también que aquí, en mi opinión, hay una debilidad intrínseca del instrumento utilizado para el objetivo que desea cumplir.

The following two tabs change content below.

Nicolás Buchbinder

Licenciado en Ciencias de la Educacion (UBA). Maestrando en Política Educativa Internacional (Harvard University) // Twitter: @nico_buch

Últimos posts de Nicolás Buchbinder (Ver todos)