La recherche est évaluée de manière rigoureuse, par des pairs experts. Pourtant, l’enseignement est souvent examiné uniquement ou principalement par des non-experts en pédagogie : les étudiants. Il y a également de plus en plus de preuves de partialité dans les évaluations de l’enseignement par les étudiants, ou SET — contre les instructeurs féminins et minoritaires en particulier. Et les évaluations des professeurs ne sont pas nécessairement corrélées aux résultats d’apprentissage.

Tout cela a suffi pour que l’Université de Californie du Sud supprime les SET dans les décisions de titularisation et de promotion ce printemps. Les étudiants continueront d’évaluer leurs professeurs, avec quelques ajustements — notamment un nouvel accent sur l’engagement personnel des étudiants dans un cours. Mais ces évaluations ne seront pas utilisées dans les décisions de personnel à enjeux élevés.

Les changements ont eu lieu plus tôt que prévu par l’université. Mais étude après étude récente suggérant que les SET avantagent les membres du corps professoral de certains sexes et de certains milieux (à savoir les hommes blancs) et en désavantagent d’autres a suffi pour que Michael Quick, provost, l’appelle de ses vœux, avec effet immédiat.

‘Je suis fini’

« Il a simplement dit : ‘Je suis fini. Je ne peux pas continuer à permettre qu’une partie importante du corps professoral soit soumise à ce genre de préjugés », a déclaré Ginger Clark, vice-provost adjoint pour les affaires académiques et professorales et directrice du Center for Excellence in Teaching de l’USC. « Nous étions déjà en train de développer un modèle d’évaluation par les pairs, mais nous ne nous attendions pas à retirer le sparadrap aussi rapidement. »

Alors que Quick a été félicité sur le campus pour sa décision, la question suivante, évidente, est de savoir comment l’enseignement sera évalué à l’avenir. La réponse longue est à travers un accent renouvelé sur l’excellence de l’enseignement en termes de formation, d’évaluation et d’incitations.

« C’est un grand déménagement. Tout le monde est nerveux », a déclaré M. Clark. « Mais ce que nous avons constaté, c’est que les gens sont en fait avides de ce genre d’aide pour leur enseignement.

Les SET — une pièce du puzzle — continueront à fournir « un feedback important pour aider les professeurs à ajuster leurs pratiques d’enseignement, mais ne seront pas utilisés directement comme mesure dans leur évaluation de performance », a déclaré Clark. L’instrument d’évaluation de l’université a également été récemment révisé, avec la participation du corps professoral, afin d’éliminer les questions susceptibles d’être biaisées et d’inclure davantage de questions sur l’expérience d’apprentissage.

Des questions parasites telles que « Comment évalueriez-vous votre professeur ? » et « Comment évalueriez-vous ce cours ? » — que Clark appelait des questions de « concours de popularité » — sont maintenant hors jeu. Les questions sur la conception du cours, l’impact du cours et les pratiques d’enseignement, d’inclusion et d’évaluation ont été introduites. Les devoirs avaient-ils un sens ? Les étudiants ont-ils le sentiment d’avoir appris quelque chose ?

Les étudiants sont également maintenant interrogés sur ce qu’ils ont apporté à un cours. Combien d’heures ont-ils consacrées au travail de cours en dehors de la classe ? Combien de fois ont-ils contacté le professeur ? Quelles stratégies d’étude ont-ils utilisées ?

Bien que ces questions aident les professeurs à évaluer comment leurs étudiants apprennent, a déclaré Clark, elles signalent également aux étudiants que « votre apprentissage dans cette classe dépend autant de votre contribution que du travail de votre professeur. » Il y a aussi de nouvelles directives sur le maintien des commentaires narratifs – qui sont souvent subjectifs et hors sujet – à la conception du cours et aux pratiques pédagogiques.

Pour autant, les SET restent importants à l’USC. Les membres du corps professoral sont censés expliquer comment ils ont utilisé les commentaires des étudiants pour améliorer l’enseignement dans leurs déclarations de réflexion sur l’enseignement, qui continuent de faire partie du processus de titularisation et de promotion, par exemple. Mais les données d’évaluation ne seront plus utilisées dans ces décisions relatives au personnel.

Les écoles et les collèges peuvent également utiliser les évaluations pour recueillir des données globales sur l’engagement des étudiants et les perceptions du programme d’études, ou les initiatives de diversité et d’inclusion de l’USC, a déclaré Clark. Ils peuvent également les utiliser pour identifier les membres du corps professoral qui font « un travail exceptionnel pour engager les étudiants, les professeurs qui peuvent avoir besoin d’un certain soutien dans ce domaine de leur enseignement, ou les comportements problématiques en classe qui nécessitent une enquête plus approfondie. »

Encore, cependant, les SET eux-mêmes ne seront pas utilisés comme une mesure directe dans les évaluations de performance.

Plus qu’un chiffre

Alors que certaines institutions ont reconnu les biais inhérents aux SET, beaucoup s’y accrochent comme outil principal d’évaluation de l’enseignement parce qu’ils sont faciles — presque irrésistiblement. En effet, il suffit de quelques minutes pour regarder les notes des étudiants d’un professeur sur une échelle de 1 à 5, par exemple, et les qualifier d’enseignants forts ou faibles. Il faut des heures pour visiter leurs salles de classe et lire leurs programmes pour obtenir une image plus nuancée, et finalement plus précise.

Pourtant, cette approche plus longue et plus complète est ce que les professeurs et les experts pédagogiques demandent, dans tout le milieu universitaire, depuis des années. Une enquête menée en 2015 auprès de 9 000 membres du corps professoral par l’Association américaine des professeurs d’université, par exemple, a révélé que 90 % des répondants souhaitaient que leurs institutions évaluent l’enseignement avec le même sérieux que la recherche et l’érudition.

L’enquête a donné un aperçu supplémentaire de la validité douteuse des SET : deux tiers des répondants ont déclaré que ces évaluations créent une pression pour être des correcteurs faciles, une qualité que les étudiants récompensent, et beaucoup ont signalé de faibles taux de rétroaction.

En écho à d’autres études et témoignages de professeurs, les réponses à l’enquête de l’AAUP ont suggéré que les SET ont un impact démesuré sur les professeurs qui enseignent en dehors de la voie de la titularisation, dans la mesure où des évaluations élevées des étudiants peuvent signifier un renouvellement de contrat – ou pas.

Le comité de l’AAUP qui a dirigé l’étude de 2015 a fait valoir que les membres du corps professoral au sein des départements et des collèges – et non les administrateurs – devraient développer leurs propres évaluations holistiques de l’enseignement. Il a également exhorté « les présidents, les doyens, les proviseurs et les institutions à mettre fin à la pratique consistant à permettre aux classements numériques des évaluations des étudiants de servir d’indicateur unique ou principal de la qualité de l’enseignement, ou d’être interprétés comme exprimant la qualité de la performance professionnelle du membre du corps professoral. »

Les comités du corps professoral de l’USC ont également travaillé sur l’excellence de l’enseignement au cours des cinq dernières années, recommandant que l’université investisse davantage dans l’enseignement, adopte des mesures incitatives pour un enseignement solide et se dirige vers un modèle d’évaluation par les pairs.

Le plan d’évaluation de l’enseignement de l’USC reflète certaines de ces recommandations — ainsi qu’un nouvel accent sur l’excellence de l’enseignement.

« Nous devons renouveler notre attention sur l’importance de l’enseignement et du mentorat, en mettant en place les systèmes nécessaires pour former, évaluer et récompenser un enseignement exceptionnel », ont déclaré Quick, le provost, et Elizabeth Graddy, vice-provost, dans un mémo de mars à la faculté. « En bref, faisons de l’USC la grande université de recherche qui attend, soutient et valorise vraiment l’enseignement et le mentorat. »

Clark, au Centre d’excellence en enseignement du campus, aide l’USC à joindre le geste à la parole. Elle a déclaré que son nouveau modèle d’évaluation par les pairs implique de définir l’excellence de l’enseignement et de développer une formation pour le corps professoral, des étudiants diplômés qui deviendront professeurs aux professeurs titulaires.

L’évaluation par les pairs au lieu

L’évaluation par les pairs sera basée sur l’observation de la classe et l’examen du matériel de cours, de la conception et des devoirs. Les pairs évaluateurs tiendront également compte des déclarations de réflexion sur l’enseignement des professeurs et de leurs pratiques inclusives.

Les récompenses pour un enseignement de haute qualité comprendront des subventions et des congés pour le développement de l’enseignement et la mise en valeur de la performance d’enseignement dans les examens de mérite, de promotion et de titularisation, a déclaré Clark. Plus important encore, jusqu’à présent, l’université a introduit des nominations continues pour qualifier les professeurs à forte intensité d’enseignement hors de la voie de la permanence.

Trisha Tucker, professeur adjoint d’écriture et présidente du conseil de la faculté du Dornsife College of Letters, Arts and Sciences de l’USC, a déclaré que différents professeurs ont eu des réactions différentes au « changement de culture ». Mais elle a dit qu’elle applaudissait la capacité de l’institution à résister au « raccourci facile » des évaluations des enseignants en faveur de quelque chose de plus significatif – bien que plus difficile. (L’USC a également précisé que les attentes en matière de recherche et de service ne changeront pas.)

« Cela demande du travail de faire cette évaluation par les pairs », a-t-elle dit. « Mais l’enseignement est important et il faut beaucoup de temps et de ressources pour que cela soit plus que des mots vides. »

Comme l’écriture est un processus axé sur la rétroaction, Tucker a déclaré que son programme met déjà l’accent sur la pédagogie et l’examen par les pairs. Mais les professeurs de certains autres programmes devront s’adapter, dit-elle.

« Pour les nombreux professeurs qui n’ont pas été formés de cette façon ou embauchés en fonction de ces attentes, cela peut produire une certaine anxiété », dit-elle. Ainsi, une mesure importante du succès de cette nouvelle approche est la façon dont l’USC soutient les personnes qui « ne sont pas à la hauteur au départ. »

Clark a déclaré que le centre d’enseignement offre un modèle d’évaluation par les pairs que les programmes individuels adapteront à leurs propres besoins au cours de l’année prochaine. Ce type d’implication du corps professoral dans le façonnement de l’évaluation par les pairs devrait rendre le processus moins « menaçant » que représentatif d’un « investissement dans le succès de chacun », a-t-elle dit.

En attendant, l’enseignement des professeurs sera évalué principalement sur leurs propres réflexions pédagogiques. Et bien que le centre évite d’utiliser des mots tels que « obligatoire » en ce qui concerne la formation, il propose un New Faculty Institute, ouvert à tous les instructeurs, d’une durée de 90 minutes par mois pendant le déjeuner pendant huit mois. Des exemples de sujets incluent l’apprentissage actif, la maximisation de la motivation des étudiants et des pratiques de notation efficaces et efficientes.

Not Just USC

Philip B. Stark, doyen associé de la division des sciences mathématiques et physiques et professeur de statistiques à l’Université de Californie à Berkeley qui a étudié les SET et soutenu que les évaluations sont biaisées contre les instructeurs féminins de tant de façons que les ajuster pour ce biais est impossible, a qualifié la nouvelle de l’USC de « formidable ».

« Traiter la satisfaction et l’engagement des étudiants comme ce qu’ils sont — et je pense vraiment qu’ils comptent — plutôt que de prétendre que les évaluations des étudiants peuvent mesurer l’efficacité de l’enseignement est un énorme pas en avant », a-t-il déclaré. « Je pense également qu’utiliser les commentaires des étudiants pour informer l’enseignement mais pas pour l’évaluer est un progrès important. »

Stark a souligné que l’Université de l’Oregon est également sur le point de tuer les SET traditionnels et d’adopter un système d’amélioration continue et d’évaluation de l’enseignement basé sur des commentaires non numériques. Dans ce système, les évaluations des étudiants feraient toujours partie des décisions de promotion, mais elles ne réduiraient pas les instructeurs à des chiffres.

Des éléments du programme ont déjà été pilotés. Le Sénat de la faculté de l’Oregon doit voter cette semaine sur l’ensemble du programme, qui sera adopté à l’automne. Le système proposé comprend une enquête sur l’expérience des étudiants à mi-parcours, une enquête anonyme sur le Web pour recueillir des commentaires non numériques sur le cours qui ne seront fournis qu’à l’instructeur, ainsi qu’une enquête sur l’expérience des étudiants à la fin du semestre. Une enquête de réflexion de l’instructeur en fin de semestre serait également utilisée pour améliorer le cours et évaluer l’enseignement. Des cadres d’évaluation par les pairs et d’évaluation de l’enseignement, personnalisables pour les unités académiques, sont également proposés.

« À partir de l’automne 2018, les comités du personnel de la faculté, les chefs et les administrateurs cesseront d’utiliser les notes numériques des évaluations de cours des étudiants dans les examens de titularisation et de promotion, les examens du mérite et d’autres questions de personnel », peut-on lire dans la proposition du Sénat de la faculté de l’Oregon. « Si les unités ou les comités persistent à utiliser ces notes numériques, une déclaration concernant la nature problématique de ces notes et une explication de la raison pour laquelle elles sont utilisées malgré ces problèmes seront incluses dans les documents d’évaluation. »

La motion bénéficie déjà d’un soutien administratif, avec Jayanth R. Banavar, provost, sollicitant les participants au projet pilote sur son site Web, en disant : « Bien que les commentaires des étudiants puissent être un outil important pour l’amélioration continue de l’enseignement et de l’apprentissage, il existe des preuves substantielles évaluées par les pairs que les évaluations des cours par les étudiants peuvent être biaisées, en particulier contre les femmes et les professeurs de couleur, et que les notes numériques présentent une faible corrélation avec l’efficacité de l’enseignement et les résultats d’apprentissage. »

Plus qu’une simple révision des instruments d’évaluation problématiques, dit la page, l’Oregon « cherche à développer un nouveau système holistique d’évaluation de l’enseignement qui aide la communauté du campus à décrire, développer, reconnaître et récompenser l’excellence de l’enseignement. » L’objectif est de « renforcer l’équité et la transparence dans l’évaluation de l’enseignement pour le mérite, le renouvellement du contrat, la promotion et la titularisation, tout en fournissant simultanément des outils pour l’amélioration continue des cours. »

Craig Vasey, président des classiques, de la philosophie et de la religion à l’Université de Mary Washington et président du comité de l’AAUP sur l’enseignement, la recherche et les publications, a déclaré que « l’élément le plus pernicieux » des évaluations quantitatives des étudiants est que les résultats « se traduisent par des classements, qui prennent ensuite une vie propre et n’améliorent pas vraiment la qualité de l’éducation. »

L’examen des plans de cours et l’observation de la classe par les pairs sont tous deux des « moyens plus utiles d’évaluation », a-t-il déclaré. « Et je pense que demander aux étudiants à quel point ils étaient engagés dans la classe – et surtout s’ils demandent aussi pourquoi – obtient « une meilleure contribution de leur part que le questionnaire standard. »

Ken Ryalls, président de The IDEA Center for learning analytics et éditeur de SETs, a déclaré à Inside Higher Ed plus tôt cette année que toutes les évaluations ne sont pas créées égales.

« Notre conseil : Trouvez une bonne SET bien conçue et peu biaisée ; utilisez les données avec soin, en observant les tendances au fil du temps, en ajustant tout biais avéré et en ignorant les données non pertinentes ; et utilisez plusieurs sources de données, telles que les évaluations par les pairs, les évaluations administratives, les artefacts de cours et les auto-évaluations, ainsi que le point de vue des étudiants provenant des SET « , a-t-il déclaré par courriel.

>