A kutatásokat szigorúan, szakértő kollégák vizsgálják. A tanítást azonban gyakran csak vagy többnyire pedagógiai nem szakértők: a hallgatók értékelik. Egyre több bizonyíték van arra is, hogy a tanítás hallgatói értékelései (SET) elfogultak, különösen a női és kisebbségi oktatókkal szemben. És a tanári értékelések nem feltétlenül korrelálnak a tanulási eredményekkel.

Mindez elég volt ahhoz, hogy a Dél-Kaliforniai Egyetem idén tavasszal eltörölje a SET-eket a kinevezési és előléptetési döntésekben. A hallgatók továbbra is értékelni fogják professzoraikat, némi módosítással – többek között a hallgatóknak a kurzuson való részvételére helyezik a hangsúlyt. De ezeket az értékeléseket nem fogják felhasználni a nagy jelentőségű személyzeti döntésekben.

A változások korábban történtek, mint azt az egyetem várta. De az újabb és újabb tanulmányok, amelyek arra utalnak, hogy a SET bizonyos nemű és hátterű oktatók (nevezetesen a fehér férfiak) előnyben részesülnek, míg mások hátrányban, elég volt Michael Quicknek, a provosztusnak, hogy azonnali hatállyal felmondjon.

“Végeztem”

“Egyszerűen azt mondta: “Végeztem. Nem engedhetem tovább, hogy a kar jelentős része ilyen előítéleteknek legyen kitéve” – mondta Ginger Clark, a tudományos és kari ügyekért felelős provosztushelyettes és a USC Kiválósági Oktatási Központjának igazgatója. “Már korábban is dolgoztunk egy szakértői értékelési modell kidolgozásán, de nem számítottunk arra, hogy ilyen gyorsan le kell húzni a ragtapaszt”.

Míg Quicket dicsérték az egyetemen a döntéséért, a következő, nyilvánvaló kérdés az, hogy a jövőben hogyan fogják értékelni a tanítást. A hosszú válasz az, hogy a képzés, az értékelés és az ösztönzők tekintetében a tanítási kiválóság újbóli hangsúlyozása révén.

“Ez egy nagy lépés. Mindenki ideges” – mondta Clark. “

A SET-ek – a kirakós játék egyik darabja – továbbra is “fontos visszajelzést fognak adni, hogy segítsenek a tanároknak a tanítási gyakorlatuk kiigazításában, de nem fogják közvetlenül a teljesítményértékelésük mércéjeként használni őket” – mondta Clark. Az egyetem értékelési eszközét is átdolgozták a közelmúltban a tantestület közreműködésével, hogy kiküszöböljék az elfogultságra hajlamos kérdéseket, és több, a tanulási tapasztalatokra vonatkozó kérdőívet tartalmazzanak.

Az olyan kérdések, mint például a “Hogyan értékelné a professzorát?” és a “Hogyan értékelné ezt a kurzust?”, megszűntek. — amelyeket Clark “népszerűségi versenykérdéseknek” nevezett — már nem szerepelnek. Bekerültek a kurzus tervezésével, a kurzus hatásával, valamint az oktatási, inkluzív és értékelési gyakorlatokkal kapcsolatos kérdések. Volt értelme a feladatoknak? Úgy érzik a hallgatók, hogy tanultak valamit?

A hallgatókat mostantól arról is megkérdezik, hogy mit hoztak a kurzusba. Hány órát töltöttek tanórán kívül a tanfolyami munkával? Hányszor vették fel a kapcsolatot a professzorral? Milyen tanulási stratégiákat használtak?

Míg az ilyen kérdések segítenek a professzoroknak felmérni, hogyan tanulnak a diákjaik, mondta Clark, azt is jelzik a diákoknak, hogy “a tanulásod ezen az órán legalább annyira függ a te hozzájárulásodtól, mint a professzor munkájától”. Új útmutatás is született arról, hogy a narratív megjegyzéseket – amelyek gyakran szubjektívek és témán kívüliek – a kurzusok tervezésénél és az oktatási gyakorlatoknál kell tartani.

Mégis, a SET-ek továbbra is fontosak maradnak az USC-nél. Az oktatóknak el kell magyarázniuk, hogyan használták fel a hallgatói visszajelzéseket az oktatás javítására a tanítással kapcsolatos reflexiós nyilatkozataikban, amelyek például továbbra is a kinevezési és előléptetési eljárás részét képezik. Az értékelési adatokat azonban már nem fogják felhasználni ezekben a személyzeti döntésekben.

Az iskolák és a kollégiumok arra is használhatják az értékeléseket, hogy összesített adatokat gyűjtsenek a hallgatók elkötelezettségéről és a tantervvel kapcsolatos véleményekről, vagy a USC sokszínűségi és befogadási kezdeményezéseiről, mondta Clark. Arra is használhatják őket, hogy azonosítsák azokat az oktatókat, akik “kiemelkedő munkát végeznek a diákok bevonásában, azokat a tanárokat, akiknek támogatásra lehet szükségük a tanítás ezen területén, vagy problémás viselkedéseket az osztályteremben, amelyek további vizsgálatot igényelnek”.

Az SET-eket azonban önmagukban nem fogják közvetlen mérceként használni a teljesítményértékelésben.

Több mint egy szám

Míg néhány intézmény elismerte a SET-ekben rejlő torzításokat, sokan ragaszkodnak hozzájuk mint elsődleges tanításértékelési eszközhöz, mert könnyű – szinte ellenállhatatlanul könnyű. Vagyis néhány perc alatt meg lehet nézni a professzorok hallgatói értékeléseit, mondjuk egy 1-5-ös skálán, és meg lehet őket bélyegezni erős vagy gyenge tanároknak. Órákba telik meglátogatni az osztálytermeiket és átolvasni a tanterveiket, hogy árnyaltabb és végső soron pontosabb képet kapjunk.

Mégis ez az időigényesebb, átfogó megközelítés az, amit a professzorok és a pedagógiai szakértők évek óta kérnek az akadémiai világban. Az Amerikai Egyetemi Professzorok Szövetsége által 2015-ben 9000 oktató körében végzett felmérés például azt találta, hogy a válaszadók 90 százaléka szeretné, ha intézménye ugyanolyan komolyan értékelné a tanítást, mint a kutatást és a tudományosságot.

A felmérés további betekintést nyújtott a SET-ek megkérdőjelezhető érvényességébe: a válaszadók kétharmada szerint ezek az értékelések nyomást gyakorolnak arra, hogy könnyű osztályzók legyenek, amit a hallgatók jutalmaznak, és sokan számoltak be a visszajelzések alacsony arányáról.

Az AAUP felmérésére adott válaszok – más tanulmányokat és oktatói beszámolókat megismételve – azt sugallták, hogy a SET-ek túlságosan nagy hatást gyakorolnak a tanszékeken kívüli oktatókra, mivel a magas hallgatói értékelések a szerződés meghosszabbítását jelenthetik — vagy nem.

A 2015-ös tanulmányt vezető AAUP bizottság szerint a tanszékeken és főiskolákon belüli oktatóknak — és nem az adminisztrátoroknak — saját, holisztikus tanítási értékeléseket kellene kidolgozniuk. Azt is sürgette, hogy “a tanszékek, dékánok, provosztok és intézmények vessenek véget annak a gyakorlatnak, hogy a hallgatói értékelésekből származó numerikus rangsorok a tanítás minőségének egyetlen vagy elsődleges mutatójaként szolgáljanak, vagy úgy értelmezzék őket, mint amelyek az oktatói munka minőségét fejezik ki.”

A USC kari bizottságai az elmúlt öt évben szintén a tanítási kiválósággal foglalkoztak, és azt javasolták, hogy az egyetem fektessen többet az oktatásba, fogadjon el ösztönzőket az erős oktatásért, és térjen át a szakértői értékelési modellre.”

A USC tanítási értékelési terve tükrözi ezen ajánlások egy részét – valamint a tanítási kiválóság új hangsúlyozását.

“Meg kell újítanunk a tanítás és a mentorálás fontosságára való összpontosítást, bevezetve a kivételes tanítás képzéséhez, értékeléséhez és jutalmazásához szükséges rendszereket” – írta Quick, a provosztus és Elizabeth Graddy, a provosztushelyettes a karnak küldött márciusi feljegyzésében. “Röviden, tegyük az USC-t azzá a nagyszerű kutatóegyetemmé, amely elvárja, támogatja és valóban értékeli a tanítást és a mentorálást.”

Clark, az egyetemi Tanítási Kiválósági Központban segít az USC-nek, hogy a pénzét a szája elé tegye. Elmondta, hogy a szakértői értékelés új modellje magában foglalja a tanítási kiválóság meghatározását és az oktatók képzésének kidolgozását, a professzorrá váló végzős hallgatóktól a teljes jogú professzorokig.”

Peer Review helyett

A szakértői értékelés az osztálytermi megfigyelésen és a tananyag, a tervezés és a feladatok áttekintésén fog alapulni. A szakértői értékelők figyelembe veszik majd a professzorok tanítással kapcsolatos reflexiós nyilatkozatait és befogadó gyakorlatukat is.

A magas színvonalú tanításért járó jutalmak közé tartoznak majd a tanítás fejlesztését szolgáló ösztöndíjak és szabadságok, valamint a tanítási teljesítmény hangsúlyozása az érdemi, előléptetési és kinevezési felülvizsgálatok során, mondta Clark. A legjelentősebb, hogy eddig az egyetem bevezette a folyamatos kinevezéseket a minősített, tanításigényes professzorok számára a tenure track-en kívül.

Trisha Tucker, az írás segédprofesszora és a USC Dornsife College of Letters, Arts and Sciences Faculty Council elnöke elmondta, hogy a különböző professzorok különbözőképpen reagáltak a “kultúraváltásra”. De azt mondta, hogy üdvözölte az intézmény azon képességét, hogy ellenállt a tanári minősítések “könnyű rövidségének”, és valami értelmesebbet – bár nehezebbet – választott. (Az USC azt is világossá tette, hogy a kutatási és szolgáltatási elvárások nem fognak változni.)

“A szakértői értékelés elvégzése munkát igényel” – mondta. “De a tanítás fontos, és sok időt és erőforrást igényel, hogy ez több legyen, mint üres szavak.”

Mivel az írás egy visszajelzésvezérelt folyamat, Tucker szerint a programja már most is hangsúlyt fektet a pedagógiára és a szakértői értékelésre. De néhány más program professzorainak is alkalmazkodniuk kell majd, mondta.

“Sok olyan oktató számára, akiket nem ilyen módon képeztek ki, vagy nem ilyen elvárások alapján vettek fel, ez némi szorongást okozhat” – mondta. Az új megközelítés sikerének fontos mércéje tehát az, hogy az USC hogyan támogatja azokat, akik “kezdetben alulmaradnak”.

Clark szerint az oktatóközpont egy olyan modellt kínál a szakértői értékelésre, amelyet az egyes programok a következő egy évben a saját igényeikhez fognak igazítani. Ez a fajta kari részvétel a szakértői értékelés kialakításában olyan folyamatot kell, hogy eredményezzen, amely kevésbé “fenyegető”, mint inkább az “egymás sikerébe való befektetés” képviselője, mondta.

Az átmeneti időszakban a professzorok tanítását elsősorban saját tanítási reflexióik alapján fogják értékelni. És bár a központ kerüli az olyan szavak használatát, mint a “kötelező” a képzéssel kapcsolatban, nyolc hónapon keresztül havonta 90 perces, ebédidőben tartott, minden oktató számára nyitott Új Karok Intézetét kínálja. A témák között szerepel az aktív tanulás, a hallgatói motiváció maximalizálása és a hatékony, eredményes osztályozási gyakorlat.

Not Just USC

Philip B. Stark, a matematikai és fizikai tudományok részlegének dékánhelyettese és a berkeley-i Kaliforniai Egyetem statisztika professzora, aki tanulmányozta a SET-eket, és azt állította, hogy az értékelések olyan sokféle módon torzítanak a női oktatókkal szemben, hogy az ilyen torzítások kiigazítása lehetetlen, “fantasztikusnak” nevezte a USC hírét.

“Hatalmas előrelépés, ha a hallgatók elégedettségét és elkötelezettségét úgy kezeljük, mint ami – és szerintem számít – ahelyett, hogy úgy teszünk, mintha a hallgatói értékelésekkel mérni lehetne az oktatás hatékonyságát” – mondta. “Azt is fontos előrelépésnek tartom, hogy a hallgatói visszajelzéseket a tanítás tájékoztatására, de nem a tanítás értékelésére használjuk.”

Stark rámutatott, hogy az Oregoni Egyetem is a hagyományos SET-ek megszüntetésének küszöbén áll, és egy nem számszerű visszajelzéseken alapuló, a tanítás folyamatos javítását és értékelését szolgáló rendszert vezet be. A rendszer szerint a hallgatói értékelések továbbra is részét képeznék az előléptetési döntéseknek, de nem redukálnák az oktatókat számokra.

A program egyes elemeit már kipróbálták. Az oregoni kar szenátusa a héten szavaz a program egészéről, amelyet ősszel fogadnak el. A javasolt rendszer magában foglal egy félidős hallgatói tapasztalatfelmérést, egy anonim webes felmérést a nem számszerű, csak az oktatónak szánt kurzus visszajelzéseinek összegyűjtésére, valamint egy félév végi hallgatói tapasztalatfelmérést. A félév végi oktatói reflexiós felmérés szintén a kurzus fejlesztésére és a tanítás értékelésére szolgálna. Az akadémiai egységekre testreszabható szakértői értékelési és tanításértékelési kereteket is javasolnak.

“2018 őszétől a kari személyzeti bizottságok, vezetők és adminisztrátorok nem használják tovább a hallgatói kurzusértékelésekből származó numerikus értékeléseket a kinevezés és előléptetés, az érdemjegyek felülvizsgálata és más személyzeti ügyek során” – olvasható az oregoni kari szenátus javaslatában. “Ha az egységek vagy bizottságok továbbra is használják ezeket a numerikus értékeléseket, akkor az értékelő anyagokhoz csatolni kell egy nyilatkozatot ezen értékelések problémás jellegéről és egy magyarázatot arra, hogy miért használják ezeket a problémák ellenére.”

A javaslat már adminisztratív támogatást is kapott, Jayanth R. Banavar, provost, aki a kísérleti projektben résztvevőket kérte fel a honlapján, mondván: “Bár a hallgatói visszajelzések fontos eszközei lehetnek a tanítás és a tanulás folyamatos fejlesztésének, jelentős szakértői értékeléssel alátámasztott bizonyítékok vannak arra, hogy a hallgatói kurzusértékelések elfogultak lehetnek, különösen a nőkkel és a színes bőrű oktatókkal szemben, és hogy a numerikus értékelések rosszul korrelálnak a tanítás hatékonyságával és a tanulási eredményekkel”.

A lap szerint Oregon “a problémás értékelési eszközök egyszerű felülvizsgálata helyett egy holisztikus új tanításértékelési rendszer kidolgozására törekszik, amely segíti az egyetemi közösséget a tanítási kiválóság leírásában, fejlesztésében, elismerésében és jutalmazásában”. A cél az, hogy “növeljék a méltányosságot és az átláthatóságot a tanítás értékelésében az érdemek, a szerződés megújítása, az előléptetés és a kinevezés szempontjából, miközben egyidejűleg eszközöket biztosítanak a folyamatos tananyagfejlesztéshez.”

Craig Vasey, a Mary Washington Egyetem klasszikus, filozófiai és vallási tanszékének vezetője és az AAUP Oktatási, Kutatási és Publikációs Bizottságának elnöke szerint a mennyiségi hallgatói értékelések “legártalmasabb eleme” az, hogy az eredmények “rangsorokba kerülnek, amelyek aztán önálló életre kelnek, és nem igazán javítják az oktatás minőségét.”

A tananyag áttekintése és a kollégák általi tantermi megfigyelés egyaránt “hasznosabb eszköze az értékelésnek” – mondta. “És úgy gondolom, ha megkérdezzük a diákokat, mennyire voltak elkötelezettek az órán – és különösen, ha azt is megkérdezik, miért -, akkor “jobb inputot kapunk tőlük, mint a szokásos kérdőívekkel.”

Ken Ryalls, az IDEA Center for learning analytics elnöke és a SET-ek egyik kiadója az Inside Higher Ednek az év elején elmondta, hogy nem minden értékelés egyenlő.

“A mi tanácsunk: Keressen egy jó SET-et, amely jól megtervezett és kevés torzítást tartalmaz; használja az adatokat körültekintően, figyelve az időbeli mintázatokat, korrigálva a bizonyított torzításokat, és figyelmen kívül hagyva az irreleváns adatokat; és használjon több adatforrást, például a társak értékeléseit, az adminisztratív értékeléseket, a tananyagokat és az önértékeléseket, valamint a SET-ek hallgatói nézőpontját” – mondta e-mailben.