La ricerca è rivista in modo rigoroso, da pari esperti. Eppure l’insegnamento è spesso rivisto solo o per lo più da non esperti di pedagogia: gli studenti. C’è anche una crescente evidenza di pregiudizi nelle valutazioni degli studenti sull’insegnamento, o SETs – contro le donne e gli istruttori di minoranza in particolare. E le valutazioni degli insegnanti non sono necessariamente correlate con i risultati dell’apprendimento.

Tutto questo è stato sufficiente per l’Università della California del Sud per eliminare le SET nelle decisioni sulla cattedra e sulla promozione questa primavera. Gli studenti valuteranno ancora i loro professori, con alcuni aggiustamenti – compresa una nuova attenzione all’impegno degli studenti stessi in un corso. Ma queste valutazioni non saranno usate nelle decisioni del personale di alto livello.

I cambiamenti hanno avuto luogo prima di quanto l’università si aspettasse. Ma studio dopo studio recente che suggerisce che i SET avvantaggiano i membri di facoltà di certi generi e sfondi (in particolare gli uomini bianchi) e svantaggiano gli altri, è stato sufficiente per Michael Quick, rettore, per chiamarli fuori, con effetto immediato.

“Ho chiuso”

“Ha appena detto, ‘Ho chiuso. Non posso continuare a permettere che una parte sostanziale della facoltà sia soggetta a questo tipo di pregiudizi”, ha detto Ginger Clark, assistente vice rettore per gli affari accademici e di facoltà e direttore del Centro per l’eccellenza nell’insegnamento della USC. “Eravamo già in procinto di sviluppare un modello di valutazione tra pari, ma non ci aspettavamo di togliere il cerotto così in fretta”.

Mentre Quick è stato lodato nel campus per la sua decisione, la prossima, ovvia domanda è come l’insegnamento sarà valutato in futuro. La risposta lunga è attraverso una rinnovata enfasi sull’eccellenza dell’insegnamento in termini di formazione, valutazione e incentivi.

“È una grande mossa. Tutti sono nervosi”, ha detto Clark. “Ma quello che abbiamo trovato è che le persone sono effettivamente affamate di questo tipo di aiuto con il loro insegnamento”.

SETs – un pezzo del puzzle – continuerà a fornire “un feedback importante per aiutare la facoltà a regolare le loro pratiche di insegnamento, ma non sarà utilizzato direttamente come una misura nella loro revisione delle prestazioni”, ha detto Clark. Lo strumento di valutazione dell’università inoltre è stato recentemente rivisto, con l’input della facoltà, per eliminare le domande soggette a bias e includere più richieste sull’esperienza di apprendimento.

Domande ombrello come, “Come valuterebbe il suo professore?” e “Come valuterebbe questo corso? — che Clark ha chiamato “domande da concorso di popolarità” — sono state eliminate. Ci sono domande sul design del corso, sull’impatto del corso e sulle pratiche didattiche, inclusive e di valutazione. I compiti hanno un senso? Gli studenti sentono di aver imparato qualcosa?

Gli studenti ora sono anche interrogati su cosa hanno portato al corso. Quante ore hanno dedicato al lavoro del corso al di fuori delle lezioni? Quante volte hanno contattato il professore? Quali strategie di studio hanno usato?

Mentre queste domande aiutano i professori a valutare come i loro studenti imparano, Clark ha detto, segnalano anche agli studenti che “il vostro apprendimento in questa classe dipende tanto dal vostro contributo quanto dal lavoro del vostro professore”. C’è anche un nuovo orientamento sul mantenimento dei commenti narrativi – che sono spesso soggettivi e fuori tema – al design del corso e alle pratiche didattiche.

Ancora, le SET rimangono importanti a USC. Ci si aspetta che i membri della facoltà spieghino come hanno usato il feedback degli studenti per migliorare l’istruzione nelle loro dichiarazioni di riflessione sull’insegnamento, che continuano a far parte del processo di promozione. Ma i dati di valutazione non saranno più utilizzati in quelle decisioni personali.

Le scuole e i college possono anche utilizzare le valutazioni per raccogliere dati aggregati sull’impegno degli studenti e le percezioni sul curriculum, o le iniziative di diversità e inclusione della USC, ha detto Clark. Possono anche usarle per identificare i membri della facoltà che fanno “un lavoro eccezionale nel coinvolgere gli studenti, la facoltà che può avere bisogno di supporto in quell’area del loro insegnamento, o comportamenti problematici in classe che richiedono ulteriori indagini”.

Ancora una volta, però, le SET stesse non saranno utilizzate come misura diretta nelle valutazioni delle prestazioni.

Più di un numero

Mentre alcune istituzioni hanno riconosciuto i pregiudizi inerenti ai SET, molte si aggrappano ad essi come strumento primario di valutazione dell’insegnamento perché sono facili – quasi irresistibili. Cioè, ci vogliono pochi minuti per guardare le valutazioni degli studenti dei professori su, diciamo, una scala 1-5, ed etichettarli come insegnanti forti o deboli. Ci vogliono ore per visitare le loro aule e leggere i loro programmi per ottenere un quadro più sfumato, e in definitiva più accurato.

Anche se questo approccio più lungo e completo è quello che i professori e gli esperti di pedagogia hanno chiesto, in tutto il mondo accademico, per anni. Un sondaggio del 2015 su 9.000 membri della facoltà da parte dell’Associazione americana dei professori universitari, per esempio, ha rilevato che il 90% degli intervistati voleva che le loro istituzioni valutassero l’insegnamento con la stessa serietà della ricerca e della borsa di studio.

Il sondaggio ha dato ulteriori informazioni sulla discutibile validità delle SET: due terzi degli intervistati hanno detto che queste valutazioni creano pressione per essere valutatori facili, una qualità che gli studenti premiano, e molti hanno riportato bassi tassi di feedback.

Rispondendo ad altri studi e resoconti di facoltà, le risposte al sondaggio AAUP hanno suggerito che le SET hanno un impatto eccessivo sui professori che insegnano fuori dal percorso di ruolo, in quanto alte valutazioni degli studenti possono significare un contratto rinnovato – o no.

Il comitato AAUP che guida lo studio del 2015 ha sostenuto che i membri della facoltà all’interno dei dipartimenti e dei college – non gli amministratori – dovrebbero sviluppare le proprie valutazioni olistiche dell’insegnamento. Ha anche esortato “presidenti, decani, rettori e istituzioni a porre fine alla pratica di permettere che le classifiche numeriche dalle valutazioni degli studenti servano come l’unico o il principale indicatore della qualità dell’insegnamento, o che siano interpretate come espressione della qualità delle prestazioni lavorative del membro della facoltà.”

I comitati di facoltà all’USC hanno anche lavorato per affrontare l’eccellenza dell’insegnamento negli ultimi cinque anni, raccomandando che l’università investa di più nell’insegnamento, adotti incentivi per un’istruzione forte e si muova verso un modello di revisione tra pari.

Il piano di valutazione dell’insegnamento dell’USC riflette alcune di quelle raccomandazioni – così come una nuova enfasi sull’eccellenza dell’insegnamento.

“Dobbiamo rinnovare la nostra attenzione sull’importanza dell’insegnamento e del mentoring, mettendo in atto i sistemi necessari per formare, valutare e premiare un insegnamento eccezionale”, Quick, il rettore, ed Elizabeth Graddy, vice rettore, hanno detto in una nota di marzo alla facoltà. “In breve, facciamo di USC la grande università di ricerca che si aspetta, sostiene e valorizza veramente l’insegnamento e il tutoraggio.”

Clark, al Center for Excellence in Teaching del campus, sta aiutando USC a mettere i suoi soldi dove è la sua bocca. Ha detto che il suo nuovo modello di valutazione tra pari coinvolge la definizione dell’eccellenza dell’insegnamento e lo sviluppo della formazione per la facoltà, dagli studenti laureati che diventeranno professori ai professori ordinari.

Peer Review invece

La revisione tra pari sarà basata sull’osservazione della classe e la revisione dei materiali del corso, il design e le assegnazioni. I valutatori tra pari prenderanno in considerazione anche le dichiarazioni di riflessione sull’insegnamento dei professori e le loro pratiche inclusive.

Le ricompense per l’insegnamento di alta qualità includeranno sovvenzioni e permessi per lo sviluppo dell’insegnamento e l’enfatizzazione delle prestazioni didattiche nelle revisioni di merito, di promozione e di titolarizzazione, ha detto Clark. Più significativamente, finora, l’università ha introdotto nomine continue per qualificare i professori ad alta intensità di insegnamento fuori dal percorso di ruolo.

Trisha Tucker, un professore assistente di scrittura e presidente del Dornsife College of Letters, Arts and Sciences Faculty Council di USC, ha detto che diversi professori hanno avuto reazioni diverse al “cambiamento di cultura”. Ma ha detto che ha applaudito la capacità dell’istituzione di resistere alla “facile stenografia” delle valutazioni degli insegnanti in favore di qualcosa di più significativo – anche se più difficile. (USC ha anche chiarito che la ricerca e le aspettative di servizio non cambieranno.)

“Ci vuole lavoro per fare questa revisione tra pari”, ha detto. “Ma l’insegnamento è importante e ci vuole un sacco di tempo e risorse per renderlo più di semplici parole vuote.”

Come la scrittura è un processo guidato dal feedback, Tucker ha detto che il suo programma enfatizza già la pedagogia e la revisione tra pari. Ma i professori in alcuni altri programmi dovranno adattarsi, ha detto.

“Per i molti docenti che non sono stati addestrati in questo modo o assunti sulla base di queste aspettative, può produrre una certa ansia”, ha detto. Quindi una misura importante del successo di questo nuovo approccio è il modo in cui USC sostiene le persone che “inizialmente non sono all’altezza”.

Clark ha detto che il centro di insegnamento offre un modello per la revisione tra pari che i singoli programmi adatteranno alle proprie esigenze nel corso del prossimo anno. Questo tipo di coinvolgimento della facoltà nel modellare la revisione tra pari dovrebbe rendere un processo che è meno “minaccioso” che rappresentativo di un “investimento nel successo dell’altro”, ha detto.

Nel frattempo, l’insegnamento dei professori sarà valutato principalmente sulle loro riflessioni di insegnamento. E mentre il centro evita di usare parole come “obbligatorio” per quanto riguarda la formazione, sta offrendo un Istituto per nuove facoltà, aperto a tutti gli istruttori, per 90 minuti al mese durante il pranzo per otto mesi. Esempi di argomenti includono l’apprendimento attivo, massimizzando la motivazione degli studenti e pratiche di classificazione efficaci ed efficienti.

Non solo USC

Philip B. Stark, decano associato della Divisione di Scienze Matematiche e Fisiche e professore di statistica presso l’Università della California a Berkeley che ha studiato le SET e ha sostenuto che le valutazioni sono distorte contro gli istruttori donne in così tanti modi che è impossibile aggiustarle per quella distorsione, ha chiamato la notizia USC “formidabile”.

“Trattare la soddisfazione e l’impegno degli studenti per quello che sono – e penso che siano importanti – piuttosto che pretendere che le valutazioni degli studenti possano misurare l’efficacia dell’insegnamento è un enorme passo avanti”, ha detto. “

Stark ha sottolineato che anche l’Università dell’Oregon è sul punto di uccidere le SET tradizionali e adottare un sistema di miglioramento continuo e valutazione dell’insegnamento basato su un feedback non numerico. Sotto il sistema, le valutazioni degli studenti sarebbero ancora parte delle decisioni di promozione, ma non ridurrebbero gli istruttori a numeri.

Elementi del programma sono già stati sperimentati. Il Senato della Facoltà dell’Oregon deve votare il programma nel suo complesso questa settimana, per essere adottato in autunno. Il sistema proposto include un sondaggio intermedio sull’esperienza dello studente, un sondaggio anonimo basato sul web per raccogliere un feedback non numerico sul corso da fornire solo all’istruttore, insieme ad un sondaggio sull’esperienza dello studente alla fine del corso. Un sondaggio di riflessione dell’istruttore alla fine del trimestre verrebbe utilizzato anche per il miglioramento del corso e la valutazione dell’insegnamento. Vengono proposti anche quadri di valutazione dei pari e dell’insegnamento, personalizzabili per le unità accademiche.

“A partire dall’autunno 2018, i comitati del personale di facoltà, i capi e gli amministratori smetteranno di usare le valutazioni numeriche delle valutazioni dei corsi degli studenti nelle revisioni di ruolo e promozione, nelle revisioni di merito e in altre questioni personali”, si legge nella proposta del Senato della Facoltà dell’Oregon. “Se le unità o i comitati persistono nell’utilizzare queste valutazioni numeriche, una dichiarazione riguardante la natura problematica di queste valutazioni e una spiegazione del perché vengono utilizzate nonostante questi problemi sarà inclusa nei materiali di valutazione. Banavar, rettore, ha sollecitato i partecipanti al pilota sul suo sito web, dicendo: “Mentre il feedback degli studenti può essere uno strumento importante per il miglioramento continuo dell’insegnamento e dell’apprendimento, ci sono prove sostanziali che le valutazioni dei corsi degli studenti possono essere distorte, in particolare contro le donne e i docenti di colore, e che le valutazioni numeriche sono scarsamente correlate con l’efficacia dell’insegnamento e i risultati dell’apprendimento”.

Più che rivedere semplicemente strumenti di valutazione problematici, la pagina dice, Oregon “cerca di sviluppare un nuovo sistema olistico di valutazione dell’insegnamento che aiuti la comunità del campus a descrivere, sviluppare, riconoscere e premiare l’eccellenza dell’insegnamento”. L’obiettivo è quello di “aumentare l’equità e la trasparenza nella valutazione dell’insegnamento per il merito, il rinnovo del contratto, la promozione e la cattedra e contemporaneamente fornire strumenti per il miglioramento continuo dei corsi.”

Craig Vasey, presidente di classici, filosofia e religione all’Università di Mary Washington e presidente del comitato AAUP per l’insegnamento, la ricerca e le pubblicazioni, ha detto che “l’elemento più pernicioso” delle valutazioni quantitative degli studenti è che i risultati “vengono tradotti in classifiche, che poi prendono una vita propria e non migliorano realmente la qualità dell’istruzione.”

La revisione dei programmi di studio e l’osservazione in classe da parte dei pari sono entrambi mezzi più “utili per valutare”, ha detto. “E penso che chiedere agli studenti quanto sono stati impegnati nella classe – e soprattutto se chiedono anche perché – ottiene “un input migliore da loro rispetto al questionario standard.”

Ken Ryalls, presidente di The IDEA Center for learning analytics e un editore di SETs, ha detto a Inside Higher Ed all’inizio di quest’anno che non tutte le valutazioni sono create uguali.

“Il nostro consiglio: Trovate un buon SET che sia ben progettato e povero di distorsioni; usate i dati con attenzione, osservando i modelli nel tempo, aggiustando per qualsiasi distorsione provata, e ignorando i dati irrilevanti; e usate più fonti di dati, come le valutazioni dei pari, le valutazioni amministrative, gli artefatti dei corsi e le autovalutazioni, insieme alla prospettiva degli studenti dai SET”, ha detto via e-mail.