«Mi subsistencia depende de lo que mis estudiantes digan de mí en sus evaluaciones». El Dr. Nate Kornell, profesor de Psicología en el Williams College (EE.UU), comienza con esta rotundidad una interesante reflexión en su blog «Everybody is stupid except you» (Todo el mundo es imbécil menos tú), donde se pregunta si las evaluaciones de los alumnos pueden considerarse un indicador fiable de la competencia de sus profesores y cuál es su auténtica relación con el conocimiento que realmente han adquirido.
Básicamente, Kornell plantea que las evaluaciones de sus alumnos determinan sus posibilidades de mantener su puesto, promocionar o ser despedido, pero que sin embargo no existe ninguna herramienta que evalúe cómo y cuánto han aprendido sus estudiantes, más allá de lo que reflejan sus calificaciones. Aunque en principio parece lógico considerar dichas calificaciones una medida fiable del grado en el que el alumnado ha asimilado los contenidos de una asignatura… ¿estamos seguros de que esto es así? ¿podemos considerar que las evaluaciones de los alumnos y las calificaciones de los profesores son medidas independientes?
Los estudiantes que obtengan buenas calificaciones evaluarán positivamente a sus profesores y, del mismo modo, es probable que quienes han obtenido peores notas no guarden muy buena opinión del responsable de la asignatura, pero eso no indica necesariamente que el docente en cuestión haya realizado un buen trabajo en el primer caso y deficiente en el segundo, al menos si consideramos que su principal función consiste en transmitir conocimiento. Por una parte, la heterogeneidad de contenidos, tareas, exámenes, criterios de calificación, etc. de las asignaturas implica que las notas obtenidas por los alumnos no siempre resulten una medida consistente a la hora de determinar su éxito académico. Además, los profesores podrían influir en las evaluaciones de sus alumnos «enseñando para el examen», inflando las calificaciones o reduciendo la carga lectiva de sus asignaturas (Carrell y West, 2010).
Entonces, ¿qué es lo que evalúan los alumnos exactamente? Considerando los resultados de algunos estudios publicados recientemente, más bien podemos saber qué es lo que NO evalúan:
1) ¿Pueden considerarse las evaluaciones de los alumnos un indicador fiable de la competencia de sus profesores?
Un reciente estudio entre cuyos autores se encuentra el propio Kornell (Carpenter, Wilford, Kornell y Mullaney; 2013) ha tratado de responder a esta pregunta. Los investigadores prepararon dos videos de un minuto de duración en los que se impartía una breve lección de genética y presentaron cada una de las versiones a un grupo diferente de participantes. En el primero de ellos, la profesora aparecía delante de una mesa, hablando con fluidez y explicando la lección mientras miraba a la cámara sin utilizar nota alguna. En la segunda versión del video, la misma profesora se situaba detrás de la mesa e impartía la clase leyendo sus notas sin mirar a la cámara. Los resultados mostraron que quienes vieron la primera versión consideraron que habían aprendido más y que la profesora era más eficaz. Sin embargo, cuando ambos grupos de participantes realizaron un test sobre el contenido de las lecciones, no se observó ninguna diferencia entre ellos: habían aprendido lo mismo. Por tanto, las valoraciones del alumnado respecto a la cantidad de conocimiento que han adquirido no estimarían la cantidad real de información asimilada, sino su percepción subjetiva de la capacidad del profesor… que además podría demostrarse errónea atendiendo a su rendimiento objetivo. Los autores del trabajo publicaron el estudio con el siguiente título: «Las apariencias engañan: la fluidez del profesor incrementa la percepción de aprendizaje sin aumentar el aprendizaje real».
Los resultados de Carpenter et al. (2013) replican parcialmente los obtenidos en el clásico estudio de Ambady y Rosenthal (1993), quienes mostraron que a los alumnos les bastaba analizar el aspecto físico y la conducta no verbal de los profesores durante menos de 30 segundos para emitir una valoración que posteriormente correlacionaba con la evaluación del profesor al final del curso. Sin embargo, aunque los resultados de Ambady y Rosenthal se han interpretado como una prueba de que la primera impresión del alumno puede predecir la capacidad del profesor, lo que en realidad demostrarían sería una elevada consistencia entre dos valoraciones subjetivas de los alumnos.
Por tanto, las evaluaciones de los alumnos parecen basarse en el análisis de variables no relacionadas con la capacidad docente de sus profesores. Su resultado se determinaría en pocos segundos y las posibilidades de que se produzcan cambios respecto al juicio inicial serían más bien escasas.
2) ¿Estas evaluaciones guardan relación con la cantidad y calidad de conocimiento adquirido?
Carrell y West (2010) realizaron un estudio utilizando una muestra de 10.534 estudiantes de la Academia de las Fuerzas Aéreas de los EE.UU., en el que los alumnos se asignaban de manera aleatoria a diferentes profesores encargados de impartir las mismas asignaturas, siguiendo el mismo programa y utilizando el mismo examen final. Los autores midieron la eficacia a corto y largo plazo de los profesores que impartían la asignatura troncal «Introducción al Cálculo», cuyos contenidos era preciso superar para poder cursar otras asignaturas en cursos más avanzados. Los alumnos que cursaron esta asignatura introductoria con docentes menos cualificados y experimentados obtuvieron mejores puntuaciones en el examen y, lógicamente, evaluaron mejor a sus profesores. Sin embargo, fueron los estudiantes que cursaron la asignatura con docentes de mayor experiencia y cualificación quienes rindieron mejor en las asignaturas de los cursos avanzados, aun cuando sus calificaciones en el curso introductorio habían sido más bajas. Los autores del estudio explican sus resultados concluyendo que los profesores experimentados trataban de ampliar los contenidos de la asignatura, promoviendo un aprendizaje más profundo y evitando «enseñar para el examen». Paradójicamente, los profesores que promovieron un aprendizaje profundo y cuyos estudiantes demostraron un mejor rendimiento académico con el paso del tiempo obtuvieron las peores valoraciones de sus alumnos.
En conclusión, el valor de este tipo de evaluaciones como indicador de la calidad y competencia docente parece cuando menos discutible.
Quienes nos dedicamos a la docencia intentamos impartir lecciones claras y amenas. Tratamos de facilitar al máximo la tarea de los estudiantes para despertar su interés y mantener su atención. Pero no deberíamos olvidar que nuestro principal objetivo es enseñar, y que para aprender a veces conviene errar… Y siempre es necesario esforzarse.
El Dr. Kornell concluye su reflexión contando una anécdota que merece la pena reproducir literalmente: «Tuve un profesor en el instituto cuyas lecciones eran tan increíblemente claras que me hizo pensar que la Física era la cosa más sencilla del mundo. Hasta que llegaba a casa e intentaba hacer los problemas. Él era realmente increíble, pero a veces pienso que era DEMASIADO bueno. Nunca tuve que esforzarme para entender sus lecciones… pero quizá hubiese debido hacerlo».
Sígueme en twitter: @msebastian_psi
REFERENCIAS:
Ambady, N. & Rosenthal, R. (1993). Half a minute: predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness. Journal of Personality and Social Psychology, 64(3), 431-441.
Carrell, S.E., & West, J.E. (2010) Does Professor Quality Matter? Evidence from Random Assignment of Students to Professors. Journal of Political Economy, 118(3), 409-432.
Carpenter, S. K., Wilford, M. M., Kornell, N., & Mullaney, K. M. (2013). Appearances can be deceiving: instructor fluency increases perceptions of learning without increasing actual learning. Psychonomic Bulletin & Review. PMID: 23645413
