Onderzoek wordt op een rigoureuze manier beoordeeld, door deskundige peers. Maar onderwijs wordt vaak alleen of hoofdzakelijk beoordeeld door pedagogische niet-deskundigen: studenten. Er is ook toenemend bewijs van vooringenomenheid in de studentenbeoordelingen van het onderwijs, of SET’s – tegen vrouwelijke en minderheidsdocenten in het bijzonder. En de beoordelingen van docenten zijn niet noodzakelijkerwijs gecorreleerd met leerresultaten.

Dit alles was genoeg voor de University of Southern California om dit voorjaar SET’s af te schaffen bij beslissingen over aanstelling en promotie. Studenten zullen nog steeds hun professoren beoordelen, met enkele aanpassingen – inclusief een nieuwe focus op de betrokkenheid van de studenten zelf bij een cursus. Maar die beoordelingen zullen niet worden gebruikt bij personeelsbeslissingen waar veel op het spel staat.

De veranderingen vonden eerder plaats dan de universiteit verwachtte. Maar studie na recente studie die suggereert dat SET’s faculteitsleden van bepaalde geslachten en achtergronden bevoordelen (namelijk blanke mannen) en anderen benadelen, was genoeg voor Michael Quick, provost, om het met onmiddellijke ingang te beëindigen.

‘Ik ben er klaar mee’

“Hij zei gewoon: ‘Ik ben er klaar mee. Ik kan niet blijven toestaan dat een substantieel deel van de faculteit onderworpen is aan dit soort vooroordelen,” zei Ginger Clark, assistent vice-provoost voor academische en facultaire zaken en directeur van het Center for Excellence in Teaching van de USC. “We waren al bezig met het ontwikkelen van een peer-review model van evaluatie, maar we hadden niet verwacht dat we de pleister er zo snel af zouden trekken.”

Hoewel Quick op de campus werd geprezen voor zijn beslissing, is de volgende, voor de hand liggende vraag hoe het onderwijs in de toekomst zal worden beoordeeld. Het lange antwoord is door een hernieuwde nadruk op onderwijsexcellentie in termen van opleiding, evaluatie en stimulansen.

“Het is een grote stap. Iedereen is nerveus,” zei Clark. “Maar wat we hebben ontdekt is dat mensen eigenlijk hongerig zijn naar dit soort hulp bij hun onderwijs.”

SETs — één stukje van de puzzel — zullen “belangrijke feedback blijven geven om faculteiten te helpen hun onderwijspraktijken aan te passen, maar zullen niet direct worden gebruikt als een maatstaf in hun prestatiebeoordeling,” zei Clark. Het evaluatie-instrument van de universiteit werd onlangs ook herzien, met inbreng van de faculteit, om bias-gevoelige vragen te elimineren en meer vragen over de leerervaring op te nemen.

Overwarmende vragen zoals, “Hoe zou u uw professor beoordelen?” en “Hoe zou u deze cursus beoordelen?” – door Clark “populariteitswedstrijd” vragen genoemd – zijn nu uit. In plaats daarvan komen er vragen over cursusontwerp, impact van de cursus en instructie-, inclusie- en beoordelingspraktijken. Waren de opdrachten zinvol? Hebben de studenten het gevoel dat ze iets geleerd hebben?

Studenten wordt nu ook gevraagd naar wat zij hebben bijgedragen aan een cursus. Hoeveel uren hebben ze besteed aan cursuswerk buiten de lessen om? Hoe vaak hebben ze contact opgenomen met de professor? Welke studiestrategieën hebben ze gebruikt?

Hoewel dergelijke vragen professoren helpen te peilen hoe hun studenten leren, zei Clark, geven ze ook een signaal aan studenten dat “jouw leren in deze klas evenveel afhangt van jouw inbreng als van het werk van je professor.” Er is ook nieuwe begeleiding over het houden van verhalende opmerkingen – die vaak subjectief en off-topic zijn – tot cursusontwerp en instructiepraktijken.

Toch blijven SET’s belangrijk bij USC. Van faculteitsleden wordt verwacht dat zij uitleggen hoe zij feedback van studenten hebben gebruikt om hun lessen te verbeteren in hun onderwijsreflectieverklaringen, die bijvoorbeeld deel blijven uitmaken van het benoemings- en bevorderingsproces. Maar evaluatiegegevens zullen niet langer worden gebruikt bij deze personeelsbeslissingen.

Scholen en hogescholen kunnen evaluaties ook gebruiken om geaggregeerde gegevens te verzamelen over de betrokkenheid van studenten en percepties over het curriculum, of de initiatieven van USC op het gebied van diversiteit en inclusie, zei Clark. Ze kunnen ze ook gebruiken om faculteitsleden te identificeren die “uitstekend werk leveren bij het betrekken van studenten, faculteit die misschien wat ondersteuning nodig heeft op dat gebied van hun onderwijs, of problematisch gedrag in de klas dat verder onderzoek vereist.”

Opnieuw zullen SET’s zelf echter niet worden gebruikt als een directe maatstaf in prestatiebeoordelingen.

Meer dan een getal

Hoewel sommige instellingen de vooroordelen hebben erkend die inherent zijn aan SET’s, klampen veel instellingen zich eraan vast als een primair instrument voor onderwijsevaluatie omdat ze gemakkelijk zijn – bijna onweerstaanbaar. Dat wil zeggen, het kost een paar minuten om te kijken naar de studentbeoordelingen van professoren op, laten we zeggen, een schaal van 1-5, en hen sterke of zwakke docenten te noemen. Het kost uren om hun klaslokalen te bezoeken en hun syllabi door te lezen om een genuanceerder, en uiteindelijk nauwkeuriger, beeld te krijgen.

Toch is die meer tijdrovende, uitgebreide aanpak waar professoren en pedagogische experts al jaren om vragen, in de hele academische wereld. Uit een enquête van 2015 onder 9.000 faculteitsleden door de American Association of University Professors bleek bijvoorbeeld dat 90 procent van de respondenten wilde dat hun instellingen het lesgeven met dezelfde ernst zouden evalueren als onderzoek en wetenschap.

De enquête gaf extra inzicht in de twijfelachtige geldigheid van SET’s: tweederde van de respondenten zei dat deze evaluaties druk creëren om gemakkelijke beoordelaars te zijn, een kwaliteit die studenten belonen, en velen meldden lage feedbackpercentages.

Echo van andere studies en faculteitsaccounts, suggereerden de reacties op de AAUP-enquête dat SET’s een buitenproportionele impact hebben op professoren die lesgeven buiten de tenure track, in die zin dat hoge studentenbeoordelingen een vernieuwd contract kunnen betekenen — of niet.

De AAUP-commissie die de studie van 2015 leidde, stelde dat faculteitsleden binnen afdelingen en colleges — niet beheerders — hun eigen, holistische onderwijsevaluaties zouden moeten ontwikkelen. Het drong er ook bij “voorzitters, decanen, provoosts en instellingen op aan om een einde te maken aan de praktijk van het toestaan van numerieke ranglijsten uit studentenevaluaties om te dienen als de enige of de primaire indicator van onderwijskwaliteit, of om te worden geïnterpreteerd als een uitdrukking van de kwaliteit van de werkprestaties van het faculteitslid.”

Faculteitscommissies bij USC hebben de afgelopen vijf jaar ook gewerkt aan het aanpakken van onderwijsexcellentie, met de aanbeveling dat de universiteit meer in onderwijs investeert, stimulansen voor sterke instructie aanneemt en in de richting van een peer-model van beoordeling gaat.

Het onderwijsevaluatieplan van USC weerspiegelt enkele van die aanbevelingen – evenals een nieuwe nadruk op onderwijsexcellentie.

“We moeten ons opnieuw richten op het belang van onderwijs en mentorschap, door de systemen in te voeren die nodig zijn om uitzonderlijk onderwijs op te leiden, te beoordelen en te belonen,” zeiden Quick, de provost, en Elizabeth Graddy, vice-provost, in een memo van maart aan de faculteit. “Kortom, laten we van USC de grote onderzoeksuniversiteit maken die onderwijs en mentorschap verwacht, ondersteunt en echt waardeert.”

Clark, van het campus Center for Excellence in Teaching, helpt USC om de daad bij het woord te voegen. Ze zei dat haar nieuwe model van collegiale toetsing het definiëren van onderwijskwaliteit inhoudt en het ontwikkelen van training voor de faculteit, van afgestudeerde studenten die hoogleraar worden tot volledige hoogleraren.

Peer Review Instead

Peer review zal worden gebaseerd op observatie in de klas en beoordeling van cursusmateriaal, ontwerp en opdrachten. Collegiale beoordelaars zullen ook rekening houden met de reflectieverklaringen van professoren en hun inclusieve praktijken.

Beloningen voor kwalitatief hoogstaand onderwijs omvatten beurzen en verlof voor onderwijsontwikkeling en het benadrukken van onderwijsprestaties bij merit-, promotie- en aanstellingsbeoordelingen, aldus Clark. Het belangrijkste tot nu toe is dat de universiteit doorlopende aanstellingen heeft ingevoerd voor kwalificerende onderwijsintensieve professoren buiten de tenure track.

Trisha Tucker, een assistent-professor in schrijven en voorzitter van de USC’s Dornsife College of Letters, Arts and Sciences Faculty Council, zei dat verschillende professoren verschillende reacties hebben gehad op de “cultuurverschuiving”. Maar ze zei dat ze het vermogen van de instelling toejuichte om de “gemakkelijke stenografie” van docentbeoordelingen te weerstaan ten gunste van iets zinvollers – zij het moeilijker. (USC heeft ook duidelijk gemaakt dat de verwachtingen op het gebied van onderzoek en dienstverlening niet zullen veranderen.)

“Het vergt wel werk om deze peer review te doen,” zei ze. “Maar lesgeven is belangrijk en het kost veel tijd en middelen om dat meer dan alleen lege woorden te laten zijn.”

Omdat schrijven een feedback-gedreven proces is, zei Tucker dat haar programma al de nadruk legt op pedagogie en peer review. Maar professoren in sommige andere programma’s zullen zich moeten aanpassen, zei ze.

“Voor de vele faculteiten die niet op deze manier zijn opgeleid of zijn aangenomen op basis van deze verwachtingen, kan het enige angst teweegbrengen,” zei ze. Dus een belangrijke maatstaf voor het succes van deze nieuwe aanpak is hoe USC mensen steunt die “aanvankelijk tekortschieten.”

Clark zei dat het onderwijscentrum een model voor peer review biedt dat individuele programma’s in het komende jaar aan hun eigen behoeften zullen aanpassen. Dat soort betrokkenheid van de faculteit bij het vormgeven van peer review moet zorgen voor een proces dat minder “bedreigend” is dan representatief voor een “investering in elkaars succes”, zei ze.

In de tussentijd zal het onderwijs van professoren voornamelijk worden beoordeeld op hun eigen onderwijsreflecties. En hoewel het centrum het gebruik van woorden als “verplicht” met betrekking tot training vermijdt, biedt het een New Faculty Institute aan, open voor alle docenten, voor 90 minuten maandelijks tijdens de lunch gedurende acht maanden. Voorbeelden van onderwerpen zijn actief leren, het maximaliseren van de motivatie van studenten en effectieve, efficiënte beoordelingspraktijken.

Niet alleen USC

Philip B. Stark, universitair hoofddocent van de afdeling wis- en natuurwetenschappen en hoogleraar statistiek aan de universiteit van Californië in Berkeley, die SET’s heeft bestudeerd en heeft betoogd dat evaluaties op zoveel manieren bevooroordeeld zijn ten opzichte van vrouwelijke docenten dat aanpassing voor die vooringenomenheid onmogelijk is, noemde het USC-nieuws “geweldig”.

“Het behandelen van studenttevredenheid en betrokkenheid als wat ze zijn — en ik denk dat ze ertoe doen — in plaats van te doen alsof studentenevaluaties de effectiviteit van het lesgeven kunnen meten, is een enorme stap voorwaarts,” zei hij. “Ik denk ook dat het gebruik van feedback van studenten om het onderwijs te informeren, maar niet om het onderwijs te beoordelen, een belangrijke vooruitgang is.”

Stark wees erop dat de Universiteit van Oregon ook op het punt staat de traditionele SET’s te doden en een systeem voor voortdurende verbetering en evaluatie van het onderwijs in te voeren, gebaseerd op niet-numerieke feedback. In het systeem zouden studentenevaluaties nog steeds deel uitmaken van bevorderingsbeslissingen, maar ze zouden docenten niet reduceren tot cijfers.

Elementen van het programma zijn al uitgeprobeerd. De faculteitssenaat van Oregon stemt deze week over het programma in zijn geheel, dat in de herfst moet worden aangenomen. Het voorgestelde systeem omvat een tussentijdse enquête over de ervaringen van studenten, een anonieme web-enquête om niet-numerieke feedback te verzamelen die alleen aan de docent wordt gegeven, en een enquête aan het eind van de cursus over de ervaringen van studenten. Een enquête over de reflectie van de docent aan het einde van de cursus zou ook worden gebruikt voor verbetering van de cursus en voor onderwijsevaluatie. Peer review en onderwijsevaluatiekaders, aanpasbaar aan academische eenheden, worden ook voorgesteld.

“Vanaf de herfst van 2018 zullen facultaire personeelscommissies, hoofden en beheerders stoppen met het gebruik van numerieke ratings van studentcursusevaluaties in tenure en promotiebeoordelingen, verdienstebeoordelingen en andere personeelszaken,” leest het voorstel van de faculteitssenaat van Oregon. “Als eenheden of commissies volharden in het gebruik van deze numerieke beoordelingen, zal een verklaring met betrekking tot de problematische aard van deze beoordelingen en een verklaring voor waarom ze worden gebruikt ondanks deze problemen worden opgenomen in het evaluatiemateriaal.”

De motie heeft al bestuurlijke steun, met Jayanth R. Banavar, provoost, die op zijn website om pilotdeelnemers vraagt: “Hoewel feedback van studenten een belangrijk hulpmiddel kan zijn voor voortdurende verbetering van lesgeven en leren, is er substantieel peer-reviewed bewijs dat evaluaties van studentencursussen bevooroordeeld kunnen zijn, vooral tegen vrouwen en docenten van kleur, en dat numerieke beoordelingen slecht correleren met de effectiviteit van het onderwijs en de leerresultaten.”

Meer dan alleen het herzien van problematische evaluatie-instrumenten, zegt de pagina, Oregon “streeft ernaar om een holistisch nieuw onderwijsevaluatiesysteem te ontwikkelen dat de campusgemeenschap helpt bij het beschrijven, ontwikkelen, erkennen en belonen van onderwijsexcellentie.” Het doel is om “de gelijkheid en transparantie in de onderwijsevaluatie te vergroten voor verdienste, contractverlenging, promotie en aanstelling, en tegelijkertijd instrumenten te bieden voor voortdurende cursusverbetering.”

Craig Vasey, voorzitter van klassiekers, filosofie en religie aan de Universiteit van Mary Washington en voorzitter van het AAUP-comité voor onderwijs, onderzoek en publicaties, zei dat het “meest verderfelijke element” van kwantitatieve studentenevaluaties is dat de resultaten “worden vertaald in ranglijsten, die dan een eigen leven gaan leiden en niet echt de kwaliteit van het onderwijs verbeteren.”

Bekijken van syllabi en observatie van de klas door collega’s zijn beide meer “nuttige middelen om te evalueren,” zei hij. “En ik denk dat het vragen aan studenten hoe betrokken ze waren bij de les – en vooral als ze ook vragen waarom – “betere input van hen krijgt dan de standaardvragenlijst.”

Ken Ryalls, voorzitter van The IDEA Center for learning analytics en een uitgever van SET’s, vertelde Inside Higher Ed eerder dit jaar dat niet alle evaluaties gelijk zijn gemaakt.

“Ons advies: Zoek een goede SET die goed is ontworpen en weinig vooringenomen is; gebruik de gegevens zorgvuldig, kijk naar patronen in de tijd, pas aan voor bewezen vooringenomenheid en negeer irrelevante gegevens; en gebruik meerdere gegevensbronnen, zoals peer-evaluaties, administratieve evaluaties, cursusartefacten en zelfevaluaties, samen met het studentenperspectief uit SET’s,” zei hij via e-mail.