Výzkum je hodnocen přísným způsobem, odbornými kolegy. Výuka je však často hodnocena pouze nebo převážně pedagogickými neodborníky: studenty. Přibývá také důkazů o neobjektivitě studentských hodnocení výuky neboli SET – zejména vůči ženám a menšinovým vyučujícím. A hodnocení učitelů nemusí nutně souviset s výsledky výuky.

To vše stačilo Jihokalifornské univerzitě k tomu, aby letos na jaře zrušila SET při rozhodování o jmenování do funkce a povýšení. Studenti budou své profesory hodnotit i nadále, ovšem s určitými úpravami – včetně nového zaměření na vlastní zapojení studentů do kurzu. Tato hodnocení se však nebudou používat při rozhodování o personálních otázkách s vysokou mírou rizika.

Změny proběhly dříve, než univerzita očekávala. Ale studie po nedávné studii naznačující, že SET zvýhodňuje členy fakulty určitého pohlaví a původu (jmenovitě bílé muže) a znevýhodňuje ostatní, stačila k tomu, aby ji Michael Quick, prorektor, s okamžitou platností zrušil.

„Končím“

„Prostě řekl: ‚Končím. Nemohu nadále připustit, aby podstatná část fakulty byla vystavena tomuto druhu zaujatosti,“ řekla Ginger Clarková, zástupkyně prorektora pro akademické a fakultní záležitosti a ředitelka Centra pro vynikající výuku USC. „Už jsme se zabývali vývojem modelu vzájemného hodnocení, ale nečekali jsme, že náplast strhneme tak rychle.“

Ačkoli byl Quick za své rozhodnutí na akademické půdě chválen, další zřejmou otázkou je, jak bude výuka hodnocena v budoucnu. Dlouhá odpověď zní: prostřednictvím obnoveného důrazu na vynikající výuku z hlediska školení, hodnocení a pobídek.

„Je to velký krok. Všichni jsou nervózní,“ řekl Clark. „Ale zjistili jsme, že lidé po takové pomoci s výukou skutečně touží.“

SETy – jedna část skládačky – budou i nadále poskytovat „důležitou zpětnou vazbu, která pomůže fakultám upravit jejich výukové postupy, ale nebudou se používat přímo jako měřítko při hodnocení jejich výkonu,“ řekl Clark. Univerzitní hodnotící nástroj byl také nedávno za přispění fakulty přepracován, aby se odstranily otázky náchylné k předpojatosti a aby obsahoval více podnětů týkajících se zkušeností s výukou.

Vyřazeny byly otázky typu „Jak byste ohodnotil/a svého profesora?“ a „Jak byste ohodnotil/a tento kurz?“. — které Clark označil za otázky „soutěže popularity“, jsou nyní vyřazeny. Nově jsou zařazeny otázky týkající se designu kurzu, dopadu kurzu a výukových, inkluzivních a hodnotících postupů. Měly úkoly smysl? Mají studenti pocit, že se něco naučili?

Studenti jsou nyní dotazováni také na to, co jim kurz přinesl. Kolik hodin strávili prací na kurzu mimo vyučování? Kolikrát kontaktovali profesora? Jaké studijní strategie používali?

Podle Clarka sice takové otázky pomáhají profesorům posoudit, jak se jejich studenti učí, ale zároveň studentům signalizují, že „vaše učení v této třídě závisí stejně tak na vašem vkladu jako na práci vašeho profesora“. Existují také nové pokyny týkající se udržování narativních komentářů – které jsou často subjektivní a mimo téma – na úrovni návrhu kurzu a výukových postupů.

Přesto zůstávají SET na USC důležité. Od členů fakulty se očekává, že vysvětlí, jak využili zpětnou vazbu od studentů ke zlepšení výuky, například ve svých výpovědích o reflexi výuky, které jsou i nadále součástí procesu jmenování do funkce a povýšení. Údaje z hodnocení však již nebudou při těchto personálních rozhodnutích využívány.

Školy a vysoké školy mohou hodnocení využívat také ke shromažďování souhrnných údajů o zapojení studentů a jejich vnímání učebních osnov nebo o iniciativách USC v oblasti rozmanitosti a inkluze, uvedl Clark. Mohou je také využít k identifikaci členů fakulty, kteří „odvádějí vynikající práci při zapojování studentů, fakulty, která může potřebovat určitou podporu v této oblasti své výuky, nebo problematického chování ve třídě, které vyžaduje další šetření“.

Samotné SET však nebudou používány jako přímé měřítko při hodnocení výkonu.

Více než číslo

Ačkoli některé instituce uznaly zkreslení, které je SET vlastní, mnohé na nich lpí jako na primárním nástroji hodnocení výuky, protože je to snadné – téměř neodolatelné. To znamená, že stačí pár minut, abyste se podívali na hodnocení profesorů studenty například na stupnici 1-5 a označili je za silné nebo slabé učitele. Navštívit jejich učebny a pročíst si jejich sylaby, abychom získali diferencovanější a v konečném důsledku přesnější obrázek, zabere hodiny.

Tento časově náročnější a komplexnější přístup však profesoři a pedagogičtí odborníci požadují napříč akademickou obcí už léta. Například průzkum Americké asociace univerzitních profesorů (American Association of University Professors) z roku 2015 mezi 9 000 členy fakulty ukázal, že 90 % respondentů si přeje, aby jejich instituce hodnotily výuku se stejnou vážností jako výzkum a vědu.

Průzkum poskytl další vhled do pochybné validity SET: dvě třetiny respondentů uvedly, že tato hodnocení vytvářejí tlak na snadné známkování, což je vlastnost, kterou studenti odměňují, a mnozí z nich uvedli nízkou míru zpětné vazby.

V souladu s dalšími studiemi a výpověďmi vyučujících odpovědi v průzkumu AAUP naznačují, že SET mají nadměrný vliv na profesory, kteří vyučují mimo dobu trvání pracovního poměru, v tom smyslu, že vysoké hodnocení studenty může znamenat prodloužení smlouvy – nebo také ne.

Komise AAUP, která vedla studii z roku 2015, tvrdila, že členové fakulty v rámci kateder a vysokých škol – nikoliv administrátoři – by měli vypracovat vlastní, holistické hodnocení výuky. Vyzvala také „katedry, děkany, prorektory a instituce, aby ukončili praxi, kdy číselné hodnocení z hodnocení studentů slouží jako jediný nebo hlavní ukazatel kvality výuky nebo je vykládáno jako vyjádření kvality pracovního výkonu člena fakulty.“

Fakultní výbory na USC se v posledních pěti letech rovněž zabývaly excelencí výuky a doporučily univerzitě, aby více investovala do výuky, přijala pobídky pro kvalitní výuku a přešla na model vzájemného hodnocení.

Plán hodnocení výuky na USC odráží některá z těchto doporučení – stejně jako nový důraz na excelenci výuky.

„Musíme obnovit náš důraz na význam výuky a mentorství a zavést systémy nezbytné pro školení, hodnocení a odměňování výjimečné výuky,“ uvedli v březnovém memorandu prorektor Quick a prorektorka Elizabeth Graddyová. „Stručně řečeno, udělejme z USC velkou výzkumnou univerzitu, která očekává, podporuje a skutečně oceňuje výuku a mentoring.“

Clark v kampusovém Centru pro excelenci ve výuce pomáhá USC vložit peníze tam, kde jsou. Řekla, že její nový model vzájemného hodnocení zahrnuje definici vynikající výuky a přípravu školení pro vyučující, od postgraduálních studentů, kteří se stanou profesory, až po řádné profesory.

Vzájemné hodnocení místo toho

Vzájemné hodnocení bude založeno na pozorování učebny a přezkoumání materiálů, návrhu a úkolů kurzu. Vzájemní hodnotitelé budou rovněž přihlížet k prohlášením profesorů o reflexi výuky a k jejich inkluzivním postupům.

Odměny za kvalitní výuku budou zahrnovat granty a dovolené na rozvoj výuky a zdůraznění výukových výsledků při hodnocení zásluh, povýšení a funkčního období, uvedl Clark. Nejvýznamnější je, že univerzita zatím zavedla pokračující jmenování pro kvalifikované profesory, kteří se věnují výuce a nejsou ve funkčním období.

Trisha Tuckerová, odborná asistentka pro psaní a předsedkyně fakultní rady Dornsife College of Letters, Arts and Sciences na USC, uvedla, že různí profesoři reagovali na „změnu kultury“ různě. Řekla však, že chválí schopnost instituce odolat „snadné zkratce“ hodnocení učitelů ve prospěch něčeho smysluplnějšího – i když obtížnějšího. (USC také dala jasně najevo, že očekávání v oblasti výzkumu a služeb se nezmění.)

„Provádět toto vzájemné hodnocení vyžaduje práci,“ řekla. „Ale výuka je důležitá a vyžaduje spoustu času a prostředků, aby to nebyla jen prázdná slova.“

Jelikož psaní je proces založený na zpětné vazbě, Tuckerová uvedla, že její program již klade důraz na pedagogiku a vzájemné hodnocení. Profesoři v některých jiných programech se však podle ní budou muset přizpůsobit.

„U mnoha vyučujících, kteří nebyli takto vyškoleni nebo nebyli přijati na základě těchto očekávání, to může vyvolat určité obavy,“ řekla. Důležitým měřítkem úspěchu tohoto nového přístupu je tedy to, jak USC podporuje lidi, kteří „zpočátku neuspějí“.

Clark uvedl, že výukové centrum nabízí model vzájemného hodnocení, který si jednotlivé programy během příštího roku přizpůsobí svým vlastním potřebám. Tento druh zapojení fakulty do utváření vzájemného hodnocení by měl přispět k tomu, aby proces nebyl ani tak „hrozivý“, jako spíše reprezentující „investici do úspěchu druhého“, řekla.

V mezidobí bude výuka profesorů hodnocena především na základě jejich vlastních pedagogických reflexí. A přestože se centrum vyhýbá používání slov jako „povinné“, pokud jde o školení, nabízí Institut pro nové vyučující, který je otevřen všem vyučujícím a trvá 90 minut měsíčně během oběda po dobu osmi měsíců. Mezi ukázková témata patří aktivní učení, maximalizace motivace studentů a efektivní a účinné postupy při známkování.

Nejen USC

Philip B. Stark, proděkan Oddělení matematických a fyzikálních věd a profesor statistiky na Kalifornské univerzitě v Berkeley, který studoval SET a tvrdil, že hodnocení je v mnoha ohledech zaujaté vůči vyučujícím ženám, takže jeho úprava o tuto zaujatost je nemožná, označil novinku USC za „úžasnou“.

„Brát spokojenost a zapojení studentů jako to, čím jsou – a já si myslím, že na nich záleží -, namísto předstírání, že studentské hodnocení může měřit efektivitu výuky, je obrovský krok vpřed,“ řekl. „Také si myslím, že používání zpětné vazby od studentů k informování o výuce, ale ne k jejímu hodnocení, je důležitý pokrok.“

Stark poukázal na to, že Oregonská univerzita je také na pokraji zrušení tradičních SET a přijetí systému průběžného zlepšování a hodnocení výuky založeného na jiné než číselné zpětné vazbě. V rámci tohoto systému by hodnocení studentů bylo stále součástí rozhodování o povýšení, ale neredukovalo by instruktory na čísla.

Prvky tohoto programu již byly pilotovány. Fakultní senát v Oregonu má tento týden hlasovat o programu jako celku, který má být přijat na podzim. Navrhovaný systém zahrnuje průzkum zkušeností studentů v polovině semestru, anonymní webový průzkum pro sběr nenumerické zpětné vazby ke kurzu, který bude poskytnut pouze vyučujícímu, spolu s průzkumem zkušeností studentů na konci semestru. Průzkum reflexe instruktora na konci semestru by se rovněž používal pro zlepšení kurzu a hodnocení výuky. Navrhují se také rámce pro vzájemné hodnocení a hodnocení výuky, které by bylo možné přizpůsobit akademickým jednotkám.

„Od podzimu 2018 přestanou personální komise, vedoucí pracovníci a administrátoři fakulty používat číselná hodnocení z hodnocení studentských kurzů při hodnocení funkčního období a povýšení, hodnocení zásluh a v dalších personálních záležitostech,“ uvádí se v návrhu fakultního senátu v Oregonu. „Pokud jednotky nebo výbory budou na používání těchto číselných hodnocení trvat, bude k hodnotícím materiálům přiloženo prohlášení o problematičnosti těchto hodnocení a vysvětlení, proč jsou i přes tyto problémy používána.“

Návrh již má administrativní podporu, přičemž Jayanth R. Banavar, prorektor, na svých webových stránkách vyzývá účastníky pilotního projektu a uvádí: „Ačkoli zpětná vazba od studentů může být důležitým nástrojem pro neustálé zlepšování výuky a učení, existují značné recenzované důkazy o tom, že studentská hodnocení kurzů mohou být neobjektivní, zejména vůči ženám a barevným vyučujícím, a že číselná hodnocení špatně korelují s efektivitou výuky a výsledky učení.“

Na stránce se píše, že Oregon „více než o pouhou revizi problematických hodnotících nástrojů usiluje o vytvoření nového holistického systému hodnocení výuky, který pomůže akademické obci popsat, rozvíjet, ocenit a odměnit vynikající výuku“. Cílem je „zvýšit spravedlnost a transparentnost hodnocení výuky pro účely zásluh, obnovení smlouvy, povýšení a funkčního období a zároveň poskytnout nástroje pro neustálé zlepšování kurzů.“

Craig Vasey, vedoucí katedry klasiky, filozofie a náboženství na University of Mary Washington a předseda Výboru AAUP pro výuku, výzkum a publikace, uvedl, že „nejškodlivějším prvkem“ kvantitativního hodnocení studentů je to, že výsledky „se promítají do žebříčků, které pak žijí vlastním životem a ve skutečnosti nezlepšují kvalitu výuky.“

Podle něj jsou „užitečnějšími prostředky hodnocení“ prohlížení sylabů a pozorování třídy kolegy. „A myslím, že když se studentů zeptáte, jak byli do výuky zapojeni – a zvláště když se také zeptáte proč – získáte od nich „lepší vstupní informace než standardní dotazník.“

Ken Ryalls, prezident The IDEA Center for learning analytics a vydavatel SET, řekl začátkem tohoto roku časopisu Inside Higher Ed, že ne všechna hodnocení jsou stejná.

„Naše rada: Najděte si dobrou SET, která je dobře navržená a málo zkreslená; pečlivě používejte data, sledujte vzorce v čase, upravte je o případné prokázané zkreslení a ignorujte irelevantní data; a používejte více zdrojů dat, jako jsou vzájemná hodnocení, administrativní hodnocení, artefakty z kurzů a sebehodnocení, spolu s pohledem studentů ze SET,“ uvedl prostřednictvím e-mailu.