La investigación es revisada de forma rigurosa, por pares expertos. Sin embargo, la enseñanza suele ser revisada sólo o principalmente por personas no expertas en pedagogía: los estudiantes. Además, cada vez hay más pruebas de que las evaluaciones de la enseñanza por parte de los estudiantes, o SET, son parciales, en particular contra las mujeres y las minorías. Y las calificaciones de los profesores no están necesariamente correlacionadas con los resultados del aprendizaje.

Todo esto fue suficiente para que la Universidad del Sur de California eliminara los SET en las decisiones de titularidad y promoción esta primavera. Los estudiantes seguirán evaluando a sus profesores, con algunos ajustes, incluyendo un nuevo enfoque en el propio compromiso de los estudiantes en un curso. Pero esas calificaciones no se utilizarán en las decisiones de personal de alto nivel.

Los cambios se produjeron antes de lo que esperaba la universidad. Pero un estudio tras otro que sugiere que los SET favorecen a los miembros del profesorado de ciertos géneros y orígenes (en concreto, a los hombres blancos) y perjudican a otros, fue suficiente para que Michael Quick, rector, lo diera por terminado, con efecto inmediato.

«He terminado»

«Simplemente dijo: ‘He terminado. No puedo seguir permitiendo que una parte importante del profesorado esté sometida a este tipo de prejuicios», dijo Ginger Clark, vicerrectora adjunta para asuntos académicos y del profesorado y directora del Centro para la Excelencia en la Enseñanza de la USC. «Ya habíamos estado en el proceso de desarrollar un modelo de evaluación por pares, pero no esperábamos quitar la tirita tan rápido».

Aunque Quick fue elogiado en el campus por su decisión, la siguiente y obvia pregunta es cómo se evaluará la enseñanza en el futuro. La respuesta larga es a través de un énfasis renovado en la excelencia docente en términos de formación, evaluación e incentivos.

«Es un gran movimiento. Todo el mundo está nervioso», dijo Clark. «Pero lo que hemos descubierto es que la gente está realmente ávida de este tipo de ayuda con su enseñanza».

Los SET -una pieza del rompecabezas- seguirán proporcionando «una importante retroalimentación para ayudar al profesorado a ajustar sus prácticas de enseñanza, pero no se utilizarán directamente como una medida en su revisión de rendimiento», dijo Clark. El instrumento de evaluación de la universidad también fue revisado recientemente, con la aportación del profesorado, para eliminar las preguntas propensas a la parcialidad e incluir más preguntas sobre la experiencia de aprendizaje.

Preguntas paraguas como «¿Cómo calificaría a su profesor?» y «¿Cómo calificaría este curso?» -que Clark denominó preguntas de «concurso de popularidad»- están ahora fuera. Se han introducido preguntas sobre el diseño del curso, el impacto del curso y las prácticas de instrucción, inclusión y evaluación. ¿Tienen sentido las tareas? ¿Sienten los estudiantes que han aprendido algo?

Ahora también se pregunta a los estudiantes sobre lo que han aportado al curso. ¿Cuántas horas dedicaron al trabajo del curso fuera de clase? ¿Cuántas veces se pusieron en contacto con el profesor? Qué estrategias de estudio utilizaron?

Aunque estas preguntas ayudan a los profesores a calibrar cómo aprenden sus alumnos, dijo Clark, también señalan a los estudiantes que «su aprendizaje en esta clase depende tanto de su aportación como del trabajo de su profesor». También hay nuevas orientaciones sobre el mantenimiento de los comentarios narrativos -que a menudo son subjetivos y fuera de tema- para el diseño del curso y las prácticas de instrucción.

Aún así, los SET siguen siendo importantes en la USC. Se espera que los miembros del profesorado expliquen cómo han utilizado los comentarios de los estudiantes para mejorar la enseñanza en sus declaraciones de reflexión sobre la enseñanza, que siguen formando parte del proceso de titularidad y promoción, por ejemplo. Pero los datos de la evaluación ya no se utilizarán en esas decisiones de personal.

Las escuelas y universidades también pueden utilizar las evaluaciones para recopilar datos agregados sobre el compromiso de los estudiantes y las percepciones sobre el plan de estudios, o las iniciativas de diversidad e inclusión de la USC, dijo Clark. También pueden utilizarlas para identificar a los miembros del profesorado que hacen «un trabajo sobresaliente a la hora de involucrar a los estudiantes, al profesorado que puede necesitar algo de apoyo en esa área de su enseñanza, o a los comportamientos problemáticos en el aula que requieren una mayor investigación.»

Sin embargo, los SET en sí mismos no se utilizarán como medida directa en las evaluaciones de rendimiento.

Más que un número

Aunque algunas instituciones han reconocido los sesgos inherentes a los SET, muchas se aferran a ellos como herramienta principal de evaluación de la enseñanza porque son fáciles, casi irresistiblemente. Es decir, se tarda unos minutos en ver las calificaciones de los alumnos de los profesores en una escala de 1 a 5, por ejemplo, y etiquetarlos como profesores fuertes o débiles. Se necesitan horas para visitar sus aulas y leer sus planes de estudio para obtener una imagen más matizada y, en última instancia, más precisa.

Sin embargo, ese enfoque más lento y exhaustivo es lo que los profesores y los expertos en pedagogía han estado pidiendo, en todo el mundo académico, durante años. Una encuesta realizada en 2015 por la Asociación Americana de Profesores Universitarios a 9.000 miembros del profesorado, por ejemplo, reveló que el 90% de los encuestados quería que sus instituciones evaluaran la enseñanza con la misma seriedad que la investigación y la erudición.

La encuesta dio una visión adicional de la cuestionable validez de los SET: dos tercios de los encuestados dijeron que estas evaluaciones crean presión para ser calificadores fáciles, una cualidad que los estudiantes premian, y muchos informaron de bajas tasas de retroalimentación.

Haciéndose eco de otros estudios y de los relatos de los profesores, las respuestas a la encuesta de la AAUP sugirieron que los SET tienen un impacto excesivo en los profesores que enseñan fuera de la vía de la titularidad, en el sentido de que las altas calificaciones de los estudiantes pueden significar una renovación del contrato – o no.

El comité de la AAUP que dirigió el estudio de 2015 argumentó que los miembros del profesorado dentro de los departamentos y las universidades – no los administradores – deberían desarrollar sus propias evaluaciones holísticas de la enseñanza. También instó a «los presidentes, decanos, prebostes e instituciones a poner fin a la práctica de permitir que las clasificaciones numéricas de las evaluaciones de los estudiantes sirvan como el único o principal indicador de la calidad de la enseñanza, o que se interpreten como expresión de la calidad del desempeño del trabajo del miembro de la facultad.»

Los comités del profesorado de la USC también han trabajado para abordar la excelencia docente durante los últimos cinco años, recomendando que la universidad invierta más en la enseñanza, adopte incentivos para una instrucción sólida y avance hacia un modelo de revisión por pares.

El plan de evaluación de la enseñanza de la USC refleja algunas de esas recomendaciones, así como un nuevo énfasis en la excelencia docente.

«Debemos renovar nuestro enfoque en la importancia de la enseñanza y la tutoría, poniendo en marcha los sistemas necesarios para formar, evaluar y recompensar la enseñanza excepcional», dijeron Quick, el rector, y Elizabeth Graddy, vicerrectora, en un memorando de marzo al profesorado. «En resumen, hagamos de la USC la gran universidad de investigación que espera, apoya y valora verdaderamente la enseñanza y la tutoría».

Clark, en el Centro para la Excelencia en la Enseñanza del campus, está ayudando a la USC a poner su dinero donde está su boca. Dijo que su nuevo modelo de evaluación por pares implica la definición de la excelencia docente y el desarrollo de la formación del profesorado, desde los estudiantes de postgrado que se convertirán en profesores hasta los profesores titulares.

En cambio, la evaluación por pares

se basará en la observación del aula y la revisión de los materiales, el diseño y las tareas del curso. Los pares evaluadores también tendrán en cuenta las declaraciones de reflexión docente de los profesores y sus prácticas inclusivas.

Las recompensas para la enseñanza de alta calidad incluirán becas y permisos para el desarrollo de la enseñanza y el énfasis en el rendimiento de la enseñanza en las revisiones de mérito, promoción y titularidad, dijo Clark. Lo más significativo, hasta ahora, es que la universidad ha introducido nombramientos continuos para los profesores que califican como intensivos en la enseñanza fuera de la pista de tenencia.

Trisha Tucker, profesora asistente de escritura y presidenta del Consejo de la Facultad de Letras, Artes y Ciencias Dornsife de la USC, dijo que diferentes profesores han tenido diferentes reacciones al «cambio de cultura». Pero dijo que aplaudía la capacidad de la institución para resistirse a la «taquigrafía fácil» de las calificaciones de los profesores en favor de algo más significativo, aunque más difícil. (La USC también ha dejado claro que las expectativas de investigación y servicio no cambiarán.)

«Lleva trabajo hacer esta revisión por pares», dijo. «Pero la enseñanza es importante y se necesita mucho tiempo y recursos para que sea algo más que palabras vacías».

Como la escritura es un proceso impulsado por la retroalimentación, Tucker dijo que su programa ya hace hincapié en la pedagogía y la revisión por pares. Pero los profesores de otros programas tendrán que adaptarse, dijo.

«Para los muchos profesores que no han sido formados de esta manera o contratados en base a estas expectativas, puede producir cierta ansiedad», dijo. Así que una medida importante del éxito de este nuevo enfoque es cómo la USC apoya a las personas que «inicialmente se quedan cortas.»

Clark dijo que el centro de enseñanza ofrece un modelo de revisión por pares que los programas individuales ajustarán a sus propias necesidades durante el próximo año. Ese tipo de participación del profesorado en la configuración de la revisión por pares debería hacer que el proceso sea menos «amenazante» que representativo de una «inversión en el éxito de cada uno», dijo.

En el ínterin, la enseñanza de los profesores se evaluará principalmente a partir de sus propias reflexiones docentes. Y aunque el centro evita utilizar palabras como «obligatorio» con respecto a la formación, está ofreciendo un Instituto para Nuevos Profesores, abierto a todos los instructores, durante 90 minutos al mes durante el almuerzo durante ocho meses. Entre los temas que se tratan están el aprendizaje activo, la maximización de la motivación de los estudiantes y las prácticas de calificación eficaces y eficientes.

No sólo en la USC

Philip B. Stark, decano asociado de la División de Ciencias Matemáticas y Físicas y profesor de estadística en la Universidad de California en Berkeley, que ha estudiado los SET y ha argumentado que las evaluaciones están sesgadas en contra de los instructores femeninos de tantas maneras que es imposible ajustarlas para tener en cuenta ese sesgo, calificó la noticia de la USC de «estupenda».

«Tratar la satisfacción y el compromiso de los estudiantes como lo que son -y sí creo que importan- en lugar de pretender que las evaluaciones de los estudiantes puedan medir la eficacia de la enseñanza es un enorme paso adelante», dijo. «También creo que utilizar los comentarios de los estudiantes para informar sobre la enseñanza, pero no para evaluarla, es un progreso importante».

Stark señaló que la Universidad de Oregón también está a punto de eliminar los SET tradicionales y adoptar un Sistema de Mejora Continua y Evaluación de la Enseñanza basado en comentarios no numéricos. Con este sistema, las evaluaciones de los estudiantes seguirían formando parte de las decisiones de promoción, pero no reducirían a los instructores a números.

Los elementos del programa ya se han puesto a prueba. El Senado del Claustro de Profesores de Oregón tiene que votar esta semana sobre el programa en su conjunto, que se adoptará en otoño. El sistema propuesto incluye una encuesta sobre la experiencia de los estudiantes a mitad de curso, una encuesta anónima a través de la web para recoger opiniones no numéricas sobre el curso que se proporcionarán únicamente al instructor, junto con una encuesta sobre la experiencia de los estudiantes al final del curso. También se utilizará una encuesta de reflexión del profesor al final del curso para mejorar y evaluar la enseñanza. También se proponen marcos de evaluación de pares y de enseñanza, personalizables para las unidades académicas.

«A partir del otoño de 2018, los comités de personal de la facultad, los jefes y los administradores dejarán de usar las calificaciones numéricas de las evaluaciones de los cursos de los estudiantes en las revisiones de tenencia y promoción, las revisiones de mérito y otros asuntos de personal», dice la propuesta del Senado de la Facultad de Oregón. «Si las unidades o los comités persisten en el uso de estas calificaciones numéricas, se incluirá en los materiales de evaluación una declaración sobre la naturaleza problemática de esas calificaciones y una explicación de por qué se están utilizando a pesar de esos problemas»

La moción ya cuenta con apoyo administrativo, con Jayanth R. Banavar, preboste, solicitando participantes en el piloto en su sitio web, diciendo: «Si bien la retroalimentación de los estudiantes puede ser una herramienta importante para la mejora continua de la enseñanza y el aprendizaje, hay evidencia sustancial revisada por pares de que las evaluaciones de los cursos de los estudiantes pueden ser sesgadas, en particular contra las mujeres y los profesores de color, y que las calificaciones numéricas se correlacionan mal con la eficacia de la enseñanza y los resultados del aprendizaje.»

Más que revisar simplemente los instrumentos de evaluación problemáticos, dice la página, Oregón «busca desarrollar un nuevo sistema holístico de evaluación de la enseñanza que ayude a la comunidad universitaria a describir, desarrollar, reconocer y recompensar la excelencia docente.» El objetivo es «aumentar la equidad y la transparencia en la evaluación de la enseñanza para el mérito, la renovación del contrato, la promoción y la tenencia, mientras que simultáneamente proporciona herramientas para la mejora continua del curso.»

Craig Vasey, catedrático de clásicas, filosofía y religión en la Universidad de Mary Washington y presidente del Comité de Enseñanza, Investigación y Publicaciones de la AAUP, dijo que el «elemento más pernicioso» de las evaluaciones cuantitativas de los estudiantes es que los resultados «se traducen en clasificaciones, que luego adquieren vida propia y no mejoran realmente la calidad de la enseñanza»

La revisión de los programas de estudio y la observación de las clases por parte de los compañeros son medios más «útiles de evaluación», dijo. «Y creo que preguntar a los estudiantes qué grado de participación tuvieron en la clase -y especialmente si también preguntan por qué- obtiene «mejor información de ellos que el cuestionario estándar».

Ken Ryalls, presidente de The IDEA Center for learning analytics y editor de SETs, dijo a Inside Higher Ed a principios de este año que no todas las evaluaciones son iguales.

«Nuestro consejo: Encuentre un buen SET que esté bien diseñado y tenga poco sesgo; utilice los datos con cuidado, observando los patrones a lo largo del tiempo, ajustando cualquier sesgo demostrado e ignorando los datos irrelevantes; y utilice múltiples fuentes de datos, como las evaluaciones de los compañeros, las evaluaciones administrativas, los artefactos del curso y las autoevaluaciones, junto con la perspectiva de los estudiantes de los SET», dijo por correo electrónico.