Forskning granskas på ett rigoröst sätt, av sakkunniga kollegor. Men undervisningen granskas ofta endast eller mestadels av pedagogiska icke-experter: studenter. Det finns också allt fler bevis för att studenternas utvärderingar av undervisningen (SET) är fördomsfulla – särskilt mot kvinnliga lärare och lärare som tillhör minoriteter. Och lärarvärderingar är inte nödvändigtvis korrelerade med inlärningsresultat.

Allt detta var tillräckligt för att University of Southern California i våras avskaffade SETs i beslut om anställning och befordran. Studenterna kommer fortfarande att utvärdera sina professorer, med vissa justeringar – inklusive ett nytt fokus på studenternas eget engagemang i en kurs. Men dessa bedömningar kommer inte att användas i personalbeslut med höga insatser.

Förändringarna skedde tidigare än vad universitetet förväntade sig. Men den ena studien efter den andra som visar att SETs gynnar lärare av visst kön och med viss bakgrund (nämligen vita män) och missgynnar andra var tillräckligt för att Michael Quick, provost, skulle säga upp det, med omedelbar verkan.

”Jag är klar”

”Han sa bara: ’Jag är klar. Jag kan inte fortsätta att tillåta att en betydande del av fakulteten utsätts för den här typen av fördomar”, säger Ginger Clark, biträdande vicerektor för akademiska och fakultetsrelaterade frågor och chef för USC:s Center for Excellence in Teaching. ”Vi hade redan börjat utveckla en utvärderingsmodell med expertgranskning, men vi hade inte räknat med att dra av plåstret så här snabbt.”

Men även om Quick hyllades på campus för sitt beslut är nästa uppenbara fråga hur undervisningen kommer att bedömas framöver. Det långa svaret är att man kommer att lägga förnyad tonvikt på undervisning i form av utbildning, utvärdering och incitament.

”Det är ett stort steg. Alla är nervösa”, sade Clark. ”Men vad vi har upptäckt är att folk faktiskt är hungriga efter den här typen av hjälp med sin undervisning.”

SETs – en pusselbit – kommer att fortsätta att ge ”viktig återkoppling för att hjälpa fakulteten att justera sina undervisningsrutiner, men kommer inte att användas direkt som ett mått i deras prestationsbedömning”, sade Clark. Universitetets utvärderingsinstrument reviderades också nyligen, med bidrag från fakulteten, för att eliminera fördomsfulla frågor och inkludera fler frågor om inlärningsupplevelsen.

Umbrellafrågor som ”Hur skulle du bedöma din professor?” och ”Hur skulle du bedöma den här kursen?”. — som Clark kallade ”popularitetstävlingsfrågor” – är nu borta. Nu finns frågor om kursutformning, kursens inverkan och undervisningsmetoder, inkluderande metoder och bedömningsmetoder. Var uppgifterna meningsfulla? Känner eleverna att de har lärt sig något?

Studenterna tillfrågas nu också om vad de tillförde kursen. Hur många timmar ägnade de åt kursarbete utanför undervisningen? Hur många gånger kontaktade de professorn? Vilka studiestrategier använde de sig av?

Som Clark sa hjälper professorerna genom sådana frågor att bedöma hur deras studenter lär sig, signalerar de också till studenterna att ”din inlärning i den här klassen beror lika mycket på din insats som på din professors arbete”. Det finns också ny vägledning om att hålla narrativa kommentarer – som ofta är subjektiva och utanför ämnet – till kursutformning och undervisningsmetoder.

Sedan dess förblir SETs viktiga vid USC. Fakultetsmedlemmar förväntas förklara hur de har använt studenternas feedback för att förbättra undervisningen i sina reflektioner om undervisningen, som till exempel fortsätter att vara en del av processen för anställning och befordran. Men utvärderingsdata kommer inte längre att användas i dessa personalbeslut.

Skolor och högskolor kan också använda utvärderingar för att samla in samlade uppgifter om studenternas engagemang och uppfattningar om läroplanen, eller USC:s initiativ för mångfald och inkludering, sade Clark. De kan också använda dem för att identifiera fakultetsmedlemmar som gör ”ett enastående arbete med att engagera studenterna, fakultetsmedlemmar som kan behöva lite stöd på det området i sin undervisning, eller problematiska beteenden i klassrummet som kräver ytterligare undersökningar”.

Också SETs själva kommer dock inte att användas som ett direkt mått i prestationsbedömningar.

Mer än en siffra

Men även om vissa institutioner har erkänt de fördomar som är inneboende i SET:s, är det många som håller fast vid dem som ett primärt verktyg för utvärdering av undervisningen eftersom de är lätta – nästan oemotståndligt lätta. Det tar några minuter att titta på professorns studentbetyg på till exempel en skala 1-5 och sätta en etikett på dem som starka eller svaga lärare. Det tar timmar att besöka deras klassrum och läsa igenom deras kursplaner för att få en mer nyanserad och i slutändan mer korrekt bild.

Men denna mer tidskrävande och heltäckande metod är vad professorer och pedagogiska experter har bett om i flera år inom akademin. I en undersökning som American Association of University Professors genomförde 2015 bland 9 000 fakultetsmedlemmar framkom till exempel att 90 procent av de tillfrågade ville att deras institutioner skulle utvärdera undervisningen med samma allvar som forskning och stipendier.

Undersökningen gav ytterligare en inblick i SET:s tvivelaktiga giltighet: två tredjedelar av de tillfrågade sade att dessa utvärderingar skapar press på att vara lätta betygsgivare, en kvalitet som studenterna belönar, och många rapporterade om låg grad av återkoppling.

Som ett eko av andra studier och fakultetsberättelser, föreslog svaren på AAUP:s enkät att SET:s har en överdriven inverkan på professorer som undervisar utan att vara fast anställda, eftersom höga studentbetyg kan betyda att kontraktet förnyas – eller inte.

AAAUP:s kommitté som ledde studien från 2015 hävdade att fakultetsmedlemmar inom avdelningar och högskolor – och inte administratörer – bör utveckla sina egna, holistiska undervisningsutvärderingar. Den uppmanade också ”ordföranden, dekanerna, provosterna och institutionerna att upphöra med att låta numeriska rankningar från studentutvärderingar fungera som den enda eller primära indikatorn på undervisningskvalitet, eller att tolkas som ett uttryck för kvaliteten på fakultetsmedlemmens arbetsprestationer”.”

Fakultetskommittéer vid USC har också arbetat för att ta itu med undervisningskompetens under de senaste fem åren och rekommenderat att universitetet ska investera mer i undervisning, anta incitament för stark undervisning och övergå till en kollegial granskningsmodell.

USC:s plan för utvärdering av undervisningen återspeglar en del av dessa rekommendationer – liksom en ny betoning på undervisningskompetens.

”Vi måste förnya vårt fokus på vikten av undervisning och mentorskap och införa de system som krävs för att utbilda, bedöma och belöna exceptionell undervisning”, sade Quick, provost, och Elizabeth Graddy, vicerektor, i ett memo till fakulteten i mars. ”Kort sagt, låt oss göra USC till det stora forskningsuniversitet som förväntar sig, stöder och verkligen värdesätter undervisning och mentorskap.”

Clark, vid campus Center for Excellence in Teaching, hjälper USC att omsätta sina pengar i praktiken. Hon sade att dess nya modell för kollegial utvärdering innebär att man definierar undervisningsexcellens och utvecklar utbildning för fakulteten, från doktorander som ska bli professorer till fullvärdiga professorer.

Peer review istället

Peer review kommer att baseras på klassrumsobservation och granskning av kursmaterial, utformning och uppgifter. Kollegiala utvärderare kommer också att ta hänsyn till professorns reflektionsutlåtanden om undervisningen och deras inkluderande metoder.

Belöningar för högkvalitativ undervisning kommer att omfatta stipendier och ledigheter för utveckling av undervisningen och betoning av undervisningen vid bedömningar av meriter, befordran och tillsvidareanställning, sade Clark. Det mest betydelsefulla hittills är att universitetet har infört fortlöpande anställningar för att kvalificera undervisningsintensiva professorer som inte är anställda.

Trisha Tucker, biträdande professor i skrivande och ordförande för USC:s Dornsife College of Letters, Arts and Sciences Faculty Council, sade att olika professorer har haft olika reaktioner på ”kulturskiftet”. Men hon sa att hon applåderade institutionens förmåga att motstå den ”enkla förkortningen” av lärarbetyg till förmån för något mer meningsfullt – även om det är svårare. (USC har också klargjort att förväntningarna på forskning och tjänster inte kommer att förändras.)

”Det krävs arbete för att göra denna kollegiala granskning”, sade hon. ”Men undervisning är viktigt och det krävs mycket tid och resurser för att göra det till mer än bara tomma ord.”

Då skrivande är en återkopplingsdriven process sa Tucker att hennes program redan betonar pedagogik och kollegial granskning. Men professorer i vissa andra program kommer att behöva anpassa sig, sade hon.

”För de många lärare som inte har utbildats på detta sätt eller anställts utifrån dessa förväntningar kan det skapa en viss oro”, sade hon. Så ett viktigt mått på hur detta nya tillvägagångssätt kommer att lyckas är hur USC stöder personer som ”till en början inte klarar sig”.

Clark sade att undervisningscentret erbjuder en modell för kollegial granskning som enskilda program kommer att anpassa till sina egna behov under nästa år. Den typen av fakultetsmedverkan i utformningen av den kollegiala granskningen bör leda till en process som är mindre ”hotfull” än representativ för en ”investering i varandras framgång”, sade hon.

Under tiden kommer professorernas undervisning främst att bedömas utifrån deras egna undervisningsreflektioner. Och även om centret undviker att använda ord som ”obligatorisk” när det gäller utbildning, erbjuder det ett New Faculty Institute, som är öppet för alla lärare, under 90 minuter varje månad under lunch i åtta månader. Exempel på ämnen är aktivt lärande, maximering av studenternas motivation och effektiva betygsmetoder.

Inte bara USC

Philip B. Stark, biträdande dekan vid avdelningen för matematiska och fysikaliska vetenskaper och professor i statistik vid Kaliforniens universitet i Berkeley, som har studerat SET:s och hävdat att utvärderingarna är snedvridna mot kvinnliga instruktörer på så många olika sätt att det är omöjligt att justera dem för denna snedvridning, kallade USC-nyheterna för ”fantastiskt bra”.

”Att behandla studenternas tillfredsställelse och engagemang som vad de är – och jag tror att de spelar roll – i stället för att låtsas att studentutvärderingar kan mäta undervisningens effektivitet är ett stort steg framåt”, sade han. ”Jag tror också att det är ett viktigt framsteg att använda studenternas feedback för att informera undervisningen men inte för att bedöma undervisningen.”

Stark påpekade att University of Oregon också är på väg att avskaffa de traditionella SET:erna och införa ett system för kontinuerlig förbättring och utvärdering av undervisningen som bygger på icke-numerisk feedback. Enligt systemet skulle studentutvärderingar fortfarande vara en del av besluten om befordran, men de skulle inte reducera lärarna till siffror.

Delar av programmet har redan testats. Oregons fakultetssenat ska den här veckan rösta om programmet i sin helhet, som ska antas i höst. Det föreslagna systemet omfattar en enkät om studenternas erfarenheter i mitten av terminen, en anonym webbaserad enkät för att samla in icke-numerisk kursfeedback som endast ska lämnas till läraren, tillsammans med en enkät om studenternas erfarenheter i slutet av terminen. En enkät om lärarens reflektion i slutet av terminen skulle också användas för att förbättra kursen och utvärdera undervisningen. Det föreslås också ramar för kamratgranskning och utvärdering av undervisning som kan anpassas till akademiska enheter.

”Från och med hösten 2018 kommer fakultetens personalkommittéer, chefer och administratörer att sluta använda numeriska betyg från studenternas kursutvärderingar i samband med anställnings- och befordringsgranskningar, meriteringsgranskningar och andra personalärenden”, står det i förslaget från Oregon’s fakultetssenat. ”Om enheter eller kommittéer fortsätter att använda dessa numeriska betyg kommer ett uttalande om den problematiska karaktären hos dessa betyg och en förklaring till varför de används trots dessa problem att ingå i utvärderingsmaterialet.”

Motionen har redan administrativt stöd, med Jayanth R. Banavar, provost, som uppmanar pilotdeltagare på sin webbplats och säger: ”Även om studenternas återkoppling kan vara ett viktigt verktyg för att kontinuerligt förbättra undervisningen och lärandet finns det omfattande peer-reviewed bevis för att studenternas kursutvärderingar kan vara partiska, särskilt mot kvinnor och färgade lärare, och att numeriska betyg dåligt korrelerar med undervisningseffektivitet och läranderesultat.”

Mer än att bara se över problematiska utvärderingsinstrument, står det på sidan att Oregon ”strävar efter att utveckla ett holistiskt nytt utvärderingssystem för undervisning som hjälper campusgemenskapen att beskriva, utveckla, erkänna och belöna utmärkt undervisning”. Målet är att ”öka rättvisan och öppenheten i undervisningsutvärderingen för meritering, kontraktsförnyelse, befordran och tillsvidareanställning samtidigt som man tillhandahåller verktyg för kontinuerlig kursförbättring”.”

Craig Vasey, ordförande för klassiker, filosofi och religion vid University of Mary Washington och ordförande för AAUP:s kommitté för undervisning, forskning och publikationer, sade att det ”mest fördärvliga elementet” i kvantitativa studentutvärderingar är att resultaten ”översätts till rankningar, som sedan får ett eget liv och som egentligen inte förbättrar utbildningens kvalitet.”

Granskning av kursplaner och klassrumsobservation av kamrater är båda mer ”användbara sätt att utvärdera”, sade han. ”Och jag tror att om man frågar studenterna hur engagerade de var i klassen – och särskilt om de också frågar varför – får man ”bättre input från dem än standardformuläret.”

Ken Ryalls, ordförande för IDEA Center for learning analytics och utgivare av SETs, berättade tidigare i år för Inside Higher Ed att alla utvärderingar inte är lika bra.

”Vårt råd: Använd data noggrant, titta efter mönster över tid, justera för bevisad bias och ignorera irrelevanta data, och använd flera datakällor, t.ex. kollegiala utvärderingar, administrativa utvärderingar, kursartefakter och självutvärderingar, tillsammans med studentperspektivet från SETs”, sade han via e-post.