Cercetările sunt evaluate într-un mod riguros, de către colegi experți. Cu toate acestea, predarea este adesea evaluată doar sau în cea mai mare parte de către non-experți pedagogici: studenții. Există, de asemenea, tot mai multe dovezi de părtinire în evaluările predării de către studenți, sau SET – în special împotriva femeilor și a instructorilor minoritari. Iar evaluările profesorilor nu sunt neapărat corelate cu rezultatele învățării.

Toate acestea au fost suficiente pentru ca Universitatea din California de Sud să elimine SET-urile în deciziile de titularizare și promovare în această primăvară. Studenții își vor evalua în continuare profesorii, cu unele ajustări – inclusiv un nou accent pe propriul angajament al studenților într-un curs. Dar aceste evaluări nu vor fi folosite în deciziile de personal cu miză mare.

Schimbările au avut loc mai devreme decât se aștepta universitatea. Dar studiu după studiu recent care sugerează că SET-urile avantajează membrii facultății de anumite genuri și medii (și anume bărbații albi) și îi dezavantajează pe alții a fost suficient pentru ca Michael Quick, prorector, să renunțe la ele, cu efect imediat.

„Am terminat”

„A spus pur și simplu: „Am terminat. Nu mai pot continua să permit ca o parte substanțială a facultății să fie supusă acestui tip de prejudecată”, a declarat Ginger Clark, vice-prorector adjunct pentru afaceri academice și facultate și director al Centrului pentru Excelență în Predare al USC. „Eram deja în proces de dezvoltare a unui model de evaluare inter pares, dar nu ne așteptam să scoatem plasturele atât de repede”.

În timp ce Quick a fost lăudat în campus pentru decizia sa, următoarea întrebare, evidentă, este cum va fi evaluată predarea în viitor. Răspunsul lung este printr-un accent reînnoit pe excelența în predare în ceea ce privește formarea, evaluarea și stimulentele.

„Este o mișcare mare. Toată lumea este nervoasă”, a spus Clark. „Dar ceea ce am descoperit este că oamenii sunt de fapt dornici de acest tip de ajutor pentru predarea lor.”

SET-urile – o piesă din puzzle – vor continua să ofere „feedback important pentru a ajuta facultatea să își ajusteze practicile de predare, dar nu vor fi folosite direct ca măsură în evaluarea performanțelor lor”, a spus Clark. Instrumentul de evaluare al universității a fost, de asemenea, revizuit recent, cu contribuția facultății, pentru a elimina întrebările predispuse la prejudecăți și pentru a include mai multe solicitări privind experiența de învățare.

Întrebări umbrelă, cum ar fi „Cum v-ați evalua profesorul?” și „Cum ați evalua acest curs?”. — pe care Clark le-a numit întrebări de „concurs de popularitate” — sunt acum eliminate. Au fost introduse întrebări privind proiectarea cursului, impactul cursului și practicile de instruire, incluzive și de evaluare. Sarcinile au avut sens? Simt studenții că au învățat ceva?

Studenții sunt, de asemenea, întrebați acum despre ceea ce au adus la un curs. Câte ore au petrecut pe teme de curs în afara orelor de curs? De câte ori au contactat profesorul? Ce strategii de studiu au folosit?

În timp ce astfel de întrebări îi ajută pe profesori să evalueze modul în care studenții lor învață, a spus Clark, ele le semnalează studenților că „învățarea ta în acest curs depinde atât de mult de contribuția ta, cât și de munca profesorului tău”. Există, de asemenea, noi îndrumări cu privire la păstrarea comentariilor narative – care sunt frecvent subiective și în afara subiectului – pentru proiectarea cursului și practicile de instruire.

Cu toate acestea, SET-urile rămân importante la USC. Se așteaptă ca membrii facultății să explice modul în care au folosit feedback-ul studenților pentru a îmbunătăți instruirea în declarațiile lor de reflecție a predării, care continuă să facă parte din procesul de titularizare și promovare, de exemplu. Dar datele de evaluare nu vor mai fi folosite în aceste decizii privind personalul.

Școlile și colegiile pot, de asemenea, să folosească evaluările pentru a aduna date agregate privind implicarea studenților și percepțiile asupra curriculumului, sau inițiativele USC privind diversitatea și incluziunea, a spus Clark. De asemenea, le pot folosi pentru a identifica membrii facultății care fac „o treabă remarcabilă în ceea ce privește implicarea studenților, cadre didactice care ar putea avea nevoie de sprijin în acest domeniu al predării lor sau comportamente problematice în clasă care necesită investigații suplimentare”.

Din nou, însă, SET-urile în sine nu vor fi folosite ca măsură directă în evaluările de performanță.

Mai mult decât un număr

În timp ce unele instituții au recunoscut prejudecățile inerente SET-urilor, multe se agață de ele ca instrument principal de evaluare a predării pentru că sunt ușoare – aproape irezistibil. Adică, durează câteva minute să te uiți la evaluările studenților profesorilor pe o scară de 1-5, să zicem, și să-i etichetezi ca fiind profesori puternici sau slabi. Este nevoie de ore pentru a le vizita sălile de clasă și a le citi programele de studiu pentru a obține o imagine mai nuanțată și, în cele din urmă, mai precisă.

Și totuși, această abordare mai cuprinzătoare, care necesită mai mult timp, este ceea ce profesorii și experții în pedagogie cer de ani de zile, în toată lumea academică. Un sondaj realizat în 2015 de către Asociația Americană a Profesorilor Universitari în rândul a 9.000 de membri ai facultăților, de exemplu, a constatat că 90 la sută dintre respondenți au dorit ca instituțiile lor să evalueze predarea cu aceeași seriozitate ca și cercetarea și bursa.

Sondajul a oferit o perspectivă suplimentară asupra validității îndoielnice a SET-urilor: două treimi dintre respondenți au declarat că aceste evaluări creează presiune pentru a fi calificați ușor, o calitate pe care studenții o recompensează, iar mulți au raportat rate scăzute de feedback.

Răspunzând altor studii și mărturii ale facultăților, răspunsurile la sondajul AAUP au sugerat că SET-urile au un impact deosebit de mare asupra profesorilor care predau în afara sistemului de titularizare, în sensul că evaluările ridicate ale studenților pot însemna un contract reînnoit – sau nu.

Comitetul AAUP care a condus studiul din 2015 a susținut că membrii facultăților din cadrul departamentelor și colegiilor – nu administratorii – ar trebui să își dezvolte propriile evaluări holistice ale predării. De asemenea, a îndemnat „președinții, decanii, prodecanii și instituțiile să pună capăt practicii de a permite ca clasamentele numerice din evaluările studenților să servească drept singurul sau principalul indicator al calității predării sau să fie interpretate ca exprimând calitatea performanței profesionale a membrului facultății.”

Comitetele facultăților de la USC au lucrat, de asemenea, pentru a aborda excelența în predare în ultimii cinci ani, recomandând ca universitatea să investească mai mult în predare, să adopte stimulente pentru o instruire puternică și să se îndrepte spre un model de evaluare de către colegi.

Planul de evaluare a predării de la USC reflectă unele dintre aceste recomandări – precum și un nou accent pe excelența în predare.

„Trebuie să ne reînnoim atenția asupra importanței predării și a mentoratului, punând în aplicare sistemele necesare pentru a instrui, evalua și recompensa predarea excepțională”, au declarat Quick, prorectorul, și Elizabeth Graddy, prorectorul adjunct, într-un memo din martie către facultate. „Pe scurt, haideți să facem din USC marea universitate de cercetare care așteaptă, susține și apreciază cu adevărat predarea și mentoratul.”

Clark, la Centrul pentru Excelență în Predare din campus, ajută USC să pună banii acolo unde îi are în gură. Ea a spus că noul său model de evaluare colegială implică definirea excelenței în predare și dezvoltarea de cursuri de formare pentru cadrele didactice, de la studenții absolvenți care vor deveni profesori până la profesorii titulari.

Evaluarea colegială în schimb

Evaluarea colegială se va baza pe observarea în clasă și pe revizuirea materialelor de curs, a proiectării și a temelor. Evaluatorii colegiali vor lua în considerare, de asemenea, declarațiile de reflecție didactică ale profesorilor și practicile lor incluzive.

Recompensele pentru predarea de înaltă calitate vor include subvenții și concedii pentru dezvoltarea predării și accentuarea performanței didactice în evaluările de merit, promovare și titularizare, a spus Clark. Cel mai semnificativ, până în prezent, universitatea a introdus numiri continue pentru profesorii calificați care predau intensiv și care nu sunt titularizați.

Trisha Tucker, profesor asistent de scriere și președinte al Consiliului Facultății Dornsife College of Letters, Arts and Sciences din cadrul USC, a declarat că diferiți profesori au avut reacții diferite la „schimbarea de cultură”. Dar ea a spus că a aplaudat capacitatea instituției de a rezista „stenogramei ușoare” a evaluărilor profesorilor în favoarea a ceva mai semnificativ – deși mai dificil. (USC a precizat, de asemenea, că așteptările privind cercetarea și serviciile nu se vor schimba.)

„Este nevoie de muncă pentru a face această evaluare inter pares”, a spus ea. „Dar predarea este importantă și este nevoie de mult timp și resurse pentru a face ca acest lucru să fie mai mult decât niște cuvinte goale.”

Pentru că scrierea este un proces bazat pe feedback, Tucker a spus că programul ei pune deja accentul pe pedagogie și pe evaluarea inter pares. Dar profesorii din alte programe vor trebui să se adapteze, a spus ea.

„Pentru multe facultăți care nu au fost instruite în acest mod sau angajate pe baza acestor așteptări, poate produce o oarecare anxietate”, a spus ea. Așadar, o măsură importantă a succesului acestei noi abordări este modul în care USC sprijină persoanele care „inițial nu reușesc”.

Clark a spus că centrul de predare oferă un model de evaluare inter pares pe care programele individuale îl vor adapta la propriile nevoi pe parcursul anului viitor. Acest tip de implicare a facultății în modelarea evaluării inter pares ar trebui să facă un proces mai puțin „amenințător” decât reprezentativ pentru o „investiție în succesul fiecăruia”, a spus ea.

Între timp, predarea profesorilor va fi evaluată în primul rând pe baza propriilor reflecții didactice. Și, deși centrul evită să folosească cuvinte precum „obligatoriu” în ceea ce privește formarea, acesta oferă un Institut pentru noii profesori, deschis tuturor instructorilor, timp de 90 de minute lunar, la prânz, timp de opt luni. Printre exemplele de subiecte se numără învățarea activă, maximizarea motivației studenților și practici de notare eficiente și eficace.

Nu doar USC

Philip B. Stark, decan asociat al Diviziei de Științe Matematice și Fizice și profesor de statistică la Universitatea California din Berkeley, care a studiat SET și a susținut că evaluările sunt părtinitoare împotriva instructorilor de sex feminin în atât de multe feluri încât ajustarea lor în funcție de această părtinire este imposibilă, a calificat vestea de la USC drept „grozavă”.

„Tratarea satisfacției și a implicării studenților ca ceea ce sunt – și cred că acestea contează – în loc să pretindem că evaluările studenților pot măsura eficiența predării este un pas uriaș înainte”, a spus el. „Cred, de asemenea, că folosirea feedback-ului studenților pentru a informa predarea, dar nu pentru a evalua predarea, este un progres important.”

Stark a subliniat că și Universitatea din Oregon este pe punctul de a omorî SET-urile tradiționale și de a adopta un sistem de îmbunătățire continuă și de evaluare a predării bazat pe feedback nenumeric. În cadrul acestui sistem, evaluările studenților ar face în continuare parte din deciziile de promovare, dar nu ar reduce instructorii la numere.

Elemente ale programului au fost deja pilotate. Senatul facultății din Oregon urmează să voteze săptămâna aceasta programul în ansamblul său, urmând să fie adoptat în toamnă. Sistemul propus include un sondaj de evaluare a experienței studenților la jumătatea semestrului, un sondaj anonim pe internet pentru a colecta feedback-ul non-anumeric al cursului, care va fi furnizat doar instructorului, împreună cu un sondaj de evaluare a experienței studenților la sfârșitul semestrului. Un sondaj de reflecție a instructorului la sfârșitul semestrului ar fi, de asemenea, utilizat pentru îmbunătățirea cursului și evaluarea predării. Sunt propuse, de asemenea, cadre de evaluare de către colegi și de evaluare a predării, personalizabile pentru unitățile academice.

„Începând cu toamna anului 2018, comitetele de personal al facultăților, șefii și administratorii vor înceta să mai folosească ratingurile numerice din evaluările cursurilor studenților în evaluările de titularizare și promovare, evaluările de merit și alte probleme de personal”, se arată în propunerea Senatului facultății din Oregon. „În cazul în care unitățile sau comitetele persistă în utilizarea acestor evaluări numerice, o declarație privind natura problematică a acestor evaluări și o explicație a motivului pentru care acestea sunt utilizate în ciuda acestor probleme va fi inclusă în materialele de evaluare.”

Moțiunea are deja sprijin administrativ, cu Jayanth R. Banavar, prodecan, solicitând participanților la pilot pe site-ul său web, spunând: „Deși feedback-ul studenților poate fi un instrument important pentru îmbunătățirea continuă a predării și învățării, există dovezi substanțiale revizuite de colegi că evaluările cursurilor de către studenți pot fi părtinitoare, în special împotriva femeilor și a facultăților de culoare, și că evaluările numerice se corelează slab cu eficiența predării și cu rezultatele învățării.”

Mai mult decât simpla revizuire a instrumentelor de evaluare problematice, se spune în pagină, Oregon „caută să dezvolte un nou sistem holistic de evaluare a predării care să ajute comunitatea din campus să descrie, să dezvolte, să recunoască și să recompenseze excelența în predare”. Scopul este de a „crește echitatea și transparența în evaluarea predării pentru merit, reînnoirea contractului, promovare și titularizare, oferind în același timp instrumente pentru îmbunătățirea continuă a cursurilor”.”

Craig Vasey, președinte al catedrei de clasici, filozofie și religie de la Universitatea Mary Washington și președinte al Comitetului pentru predare, cercetare și publicații al AAUP, a declarat că „cel mai pernicios element” al evaluărilor cantitative ale studenților este că rezultatele „sunt traduse în clasamente, care apoi capătă o viață proprie și nu îmbunătățesc cu adevărat calitatea educației.”

Revizuirea planurilor de învățământ și observarea clasei de către colegi sunt ambele „mijloace mai utile de evaluare”, a spus el. „Și cred că întrebându-i pe studenți cât de implicați au fost în clasă – și mai ales dacă întreabă și de ce – obține „o contribuție mai bună din partea lor decât chestionarul standard.”

Ken Ryalls, președintele The IDEA Center for learning analytics și editor al SETs, a declarat pentru Inside Higher Ed la începutul acestui an că nu toate evaluările sunt create la fel.

„Sfatul nostru: Găsiți un SET bun, bine conceput și cu puține prejudecăți; folosiți datele cu atenție, urmărind modelele în timp, ajustând orice prejudecată dovedită și ignorând datele irelevante; și folosiți mai multe surse de date, cum ar fi evaluările colegilor, evaluările administrative, artefactele de curs și autoevaluările, împreună cu perspectiva studenților din SET-uri”, a spus el prin e-mail.

.