Badania naukowe są recenzowane w rygorystyczny sposób, przez ekspertów. Jednak nauczanie jest często recenzowane tylko lub głównie przez pedagogicznych nie-ekspertów: studentów. Istnieje również coraz więcej dowodów na stronniczość w studenckich ocenach nauczania, czyli SET-ach – w szczególności przeciwko kobietom i instruktorom z mniejszości. A oceny nauczycieli niekoniecznie są skorelowane z wynikami nauczania.

Wszystko to wystarczyło, by Uniwersytet Południowej Kalifornii pozbył się SET-ów w decyzjach dotyczących kadencji i promocji tej wiosny. Studenci nadal będą oceniać swoich profesorów, z pewnymi zmianami – w tym z nowym naciskiem na zaangażowanie studentów w kurs. Ale te oceny nie będą wykorzystywane w wysokich stawek decyzji kadrowych.

Zmiany miały miejsce wcześniej niż uniwersytet oczekiwał. Ale badania po ostatnich badaniach sugerujących, że SETs przewagę członków wydziału niektórych płci i tła (mianowicie białych mężczyzn) i niekorzystne innych wystarczyło do Michael Quick, prowokator, aby zadzwonić to quits, skuteczne natychmiast.

’I’m Done’

„On po prostu powiedział, 'I’m done. Nie mogę dalej pozwalać na to, aby znaczna część wydziału podlegała tego rodzaju uprzedzeniom” – powiedziała Ginger Clark, asystentka wiceprezydenta ds. akademickich i wydziałowych oraz dyrektor Centrum Doskonałości Nauczania USC. „Byliśmy już w procesie rozwoju modelu wzajemnej oceny, ale nie spodziewaliśmy się, że tak szybko ściągniemy bandaż”.

Podczas gdy Quick był chwalony na kampusie za swoją decyzję, następnym, oczywistym pytaniem jest to, jak nauczanie będzie oceniane w przyszłości. Długa odpowiedź jest poprzez odnowiony nacisk na doskonałość nauczania w zakresie szkolenia, oceny i incentives.

„To duży ruch. Wszyscy są zdenerwowani,” powiedział Clark. „Ale odkryliśmy, że ludzie są głodni tego rodzaju pomocy w nauczaniu.”

SETs — jeden element układanki — będzie nadal dostarczać „ważne informacje zwrotne, aby pomóc wydziałowi dostosować swoje praktyki nauczania, ale nie będzie używany bezpośrednio jako środek w ich ocenie wydajności”, powiedział Clark. Instrument oceny uniwersytetu również został ostatnio zmieniony, przy udziale wydziału, w celu wyeliminowania pytań podatnych na uprzedzenia i uwzględnienia większej ilości podpowiedzi dotyczących doświadczeń związanych z nauką.

Pytania parasolowe takie jak, „Jak oceniłbyś swojego profesora?” i „Jak oceniłbyś ten kurs?” — które Clark nazwał pytaniami „konkursu popularności” — są teraz wycofane. Pojawiają się pytania dotyczące projektu kursu, wpływu kursu oraz praktyk instruktażowych, integracyjnych i oceniających. Czy zadania miały sens? Czy studenci czują, że czegoś się nauczyli?

Studenci są również teraz pytani o to, co wnieśli do kursu. Ile godzin spędzili na pracy nad kursem poza zajęciami? Ile razy kontaktowali się z profesorem? Jakich strategii nauki używali?

Still, SETs pozostają ważne w USC. Oczekuje się, że członkowie wydziału wyjaśnią, w jaki sposób wykorzystali informacje zwrotne od studentów do poprawy instrukcji w swoich oświadczeniach dotyczących refleksji nad nauczaniem, które nadal są częścią procesu awansu i kadencji, na przykład. Ale dane dotyczące oceny nie będą już wykorzystywane w tych decyzjach personalnych.

Szkoły i uczelnie mogą również korzystać z ocen, aby zebrać dane zbiorcze na temat zaangażowania studentów i postrzegania programu nauczania, lub USC różnorodności i inicjatyw włączenia, Clark powiedział. Mogą również użyć ich do identyfikacji członków wydziału, którzy wykonują „wybitną pracę w angażowaniu studentów, wydziałów, które mogą potrzebować wsparcia w tym obszarze ich nauczania, lub problematycznych zachowań w klasie, które wymagają dalszego dochodzenia.”

Again, jednakże, SETs same w sobie nie będą używane jako bezpośredni środek w ocenach wydajności.

Więcej niż liczba

Podczas gdy niektóre instytucje uznały stronniczość SET-ów, wiele z nich trzyma się ich jako podstawowego narzędzia oceny nauczania, ponieważ są łatwe – prawie nieodparcie. Oznacza to, że wystarczy kilka minut, by spojrzeć na oceny studentów wystawione przez profesorów w skali 1-5 i określić ich jako dobrych lub słabych nauczycieli. Potrzeba godzin, aby odwiedzić ich sale lekcyjne i przeczytać ich programy nauczania, aby uzyskać bardziej zniuansowany, a ostatecznie bardziej dokładny obraz.

Ale to bardziej czasochłonne, kompleksowe podejście jest tym, o co profesorowie i eksperci pedagogiczni prosili, w całym środowisku akademickim, od lat. Badanie z 2015 roku 9000 członków wydziału przez American Association of University Professors, na przykład, wykazało, że 90 procent respondentów chciało, aby ich instytucje oceniały nauczanie z taką samą powagą jak badania i stypendia.

Echo innych badań i relacji wydziałów, odpowiedzi na ankietę AAUP sugerują, że SET mają ogromny wpływ na profesorów uczących poza ścieżką kadencji, w tym, że wysokie oceny studentów mogą oznaczać odnowiony kontrakt — lub nie.

Komisja AAUP prowadząca badanie z 2015 roku argumentowała, że członkowie wydziałów w ramach wydziałów i kolegiów — nie administratorzy — powinni opracować własne, holistyczne oceny nauczania. Wezwała również „przewodniczących, dziekanów, proboszczów i instytucje do zakończenia praktyki pozwalającej na to, aby rankingi numeryczne z ocen studenckich służyły jako jedyny lub główny wskaźnik jakości nauczania, lub aby były interpretowane jako wyrażające jakość wyników pracy członka wydziału.”

Komisje wydziałowe w USC również pracowały nad doskonałością nauczania przez ostatnie pięć lat, zalecając, aby uniwersytet inwestował więcej w nauczanie, przyjmował zachęty dla silnych instrukcji i przechodził w kierunku modelu rówieśniczego przeglądu.

Plan oceny nauczania USC odzwierciedla niektóre z tych zaleceń — jak również nowy nacisk na doskonałość nauczania.

„Musimy ponownie skupić się na znaczeniu nauczania i mentoringu, wprowadzając w życie systemy niezbędne do szkolenia, oceny i nagradzania wyjątkowego nauczania”, Quick, prowokator, i Elizabeth Graddy, wiceprowokator, powiedzieli w notatce z marca do wydziału. „Krótko mówiąc, uczyńmy USC wielkim uniwersytetem badawczym, który oczekuje, wspiera i naprawdę ceni nauczanie i mentoring.”

Clark, w kampusie Center for Excellence in Teaching, pomaga USC umieścić swoje pieniądze tam, gdzie są jego usta. Powiedziała, że jej nowy model oceny wzajemnej obejmuje definiowanie doskonałości nauczania i rozwijanie szkoleń dla wydziału, od absolwentów, którzy staną się profesorami do profesorów zwyczajnych.

Peer Review Instead

Peer Review będzie opierać się na obserwacji klasy i przeglądzie materiałów kursowych, projektu i zadań. Oceniający będą również brać pod uwagę oświadczenia profesorów o refleksji nad nauczaniem i ich praktyki integracyjne.

Trisha Tucker, asystent profesora pisania i prezes USC’s Dornsife College of Letters, Arts and Sciences Faculty Council, powiedział, że różni profesorowie mieli różne reakcje na „zmianę kultury”. Ale powiedziała, że pochwaliła zdolność instytucji do oparcia się „łatwemu skrótowi” ocen nauczycieli na rzecz czegoś bardziej znaczącego – choć trudniejszego. (USC również jasno określił, że badania i oczekiwania dotyczące usług nie ulegną zmianie.)

„To wymaga pracy, aby zrobić to peer review,” powiedziała. „Ale nauczanie jest ważne i zajmuje dużo czasu i zasobów, aby uczynić to czymś więcej niż tylko pustymi słowami.”

Jako że pisanie jest procesem opartym na informacji zwrotnej, Tucker powiedział, że jej program już podkreśla pedagogikę i wzajemną ocenę. Ale profesorowie w niektórych innych programach będą musieli się dostosować, powiedziała.

„Dla wielu wykładowców, którzy nie zostali przeszkoleni w ten sposób lub zatrudnieni w oparciu o te oczekiwania, może to wywołać pewien niepokój”, powiedziała. Więc ważną miarą sukcesu tego nowego podejścia jest to, jak USC wspiera ludzi, którzy „początkowo nie spełniają oczekiwań”.

Clark powiedział, że centrum nauczania oferuje model wzajemnej oceny, że poszczególne programy będą dostosowywać się do własnych potrzeb w ciągu następnego roku. Ten rodzaj zaangażowania wydziału w kształtowanie wzajemnej oceny powinien sprawić, że proces ten jest mniej „groźny” niż reprezentatywny dla „inwestycji w sukces każdego z nich”, powiedziała.

W okresie przejściowym, nauczanie profesorów będzie oceniane głównie na podstawie ich własnych refleksji dydaktycznych. I chociaż centrum unika używania słów takich jak „obowiązkowe” w odniesieniu do szkolenia, oferuje New Faculty Institute, otwarty dla wszystkich instruktorów, przez 90 minut miesięcznie podczas lunchu przez osiem miesięcy. Przykładowe tematy obejmują aktywne uczenie się, maksymalizację motywacji studentów i skuteczne, efektywne praktyki oceniania.

Nie tylko USC

Philip B. Stark, dziekan Wydziału Nauk Matematycznych i Fizycznych i profesor statystyki na Uniwersytecie Kalifornijskim w Berkeley, który badał SET i twierdził, że oceny są stronnicze wobec kobiet instruktorów na tak wiele sposobów, że dostosowanie ich do tej stronniczości jest niemożliwe, nazwał wiadomości USC „wspaniałymi”.

„Traktowanie satysfakcji i zaangażowania studentów jako tego, czym są — i naprawdę uważam, że mają znaczenie — zamiast udawania, że oceny studenckie mogą mierzyć efektywność nauczania jest ogromnym krokiem naprzód,” powiedział. „Myślę również, że używanie informacji zwrotnych od studentów do informowania o nauczaniu, ale nie do oceny nauczania, jest ważnym postępem.”

Stark zwrócił uwagę, że Uniwersytet Oregonu również jest na skraju zabicia tradycyjnych SET-ów i przyjęcia Systemu Ciągłego Doskonalenia i Oceny Nauczania opartego na nie-numerycznych informacjach zwrotnych. W ramach tego systemu, oceny studentów nadal będą częścią decyzji o awansie, ale nie będą redukować instruktorów do liczb.

Elementy programu już zostały pilotowane. Senat wydziału Oregonu ma w tym tygodniu głosować nad programem jako całością, który ma zostać przyjęty jesienią. Proponowany system obejmuje śródsemestralną ankietę doświadczeń studentów, anonimową ankietę internetową do zbierania nie-numerycznych informacji zwrotnych o kursie, która ma być dostarczona tylko instruktorowi, wraz z ankietą doświadczeń studentów na koniec semestru. Ankieta refleksji instruktora na koniec semestru również będzie wykorzystywana do doskonalenia kursu i oceny nauczania. Peer review i ramy oceny nauczania, dostosowywane do jednostek akademickich, są również proponowane.

„Od jesieni 2018 r., Wydziałowe komisje personalne, szefowie i administratorzy przestaną używać liczbowych ocen z ocen kursów studenckich w ocenach kadencji i promocji, przeglądach zasług i innych sprawach kadrowych” – czytamy w propozycji Senatu Wydziału Oregonu. „Jeśli jednostki lub komisje upierają się przy używaniu tych ocen numerycznych, oświadczenie dotyczące problematycznej natury tych ocen i wyjaśnienie, dlaczego są one używane pomimo tych problemów, zostanie dołączone do materiałów oceniających.”

Wniosek ma już wsparcie administracyjne, z Jayanth R. Banavar, proboszcz, zachęcając uczestników pilotażowych na swojej stronie internetowej, mówiąc: „Podczas gdy informacje zwrotne od studentów mogą być ważnym narzędziem do ciągłego doskonalenia nauczania i uczenia się, istnieją istotne recenzowane dowody, że oceny kursów studenckich mogą być stronnicze, szczególnie wobec kobiet i wydziałów koloru, i że oceny numeryczne słabo korelują z efektywnością nauczania i wynikami nauczania.”

Więcej niż tylko rewizja problematycznych instrumentów oceny, strona mówi, Oregon „dąży do opracowania holistycznego nowego systemu oceny nauczania, który pomaga społeczności kampusu opisać, rozwijać, rozpoznawać i nagradzać doskonałość nauczania.” Celem jest „zwiększenie sprawiedliwości i przejrzystości w ocenie nauczania dla zasług, odnowienia umowy, promocji i kadencji, jednocześnie zapewniając narzędzia do ciągłego doskonalenia kursu.”

Craig Vasey, przewodniczący klasyki, filozofii i religii na Uniwersytecie Mary Washington i przewodniczący Komitetu AAUP ds. Nauczania, Badań i Publikacji, powiedział, że „najbardziej szkodliwym elementem” ilościowych ocen studenckich jest to, że wyniki „przekładają się na rankingi, które następnie nabierają własnego życia i tak naprawdę nie poprawiają jakości edukacji.”

Przegląd sylabusów i obserwacja klasy przez rówieśników są zarówno bardziej „użytecznymi środkami oceny”, powiedział. „I myślę, że pytanie studentów o to, jak bardzo byli zaangażowani w zajęcia — a zwłaszcza jeśli pytają również dlaczego — dostaje „lepszy wkład od nich niż standardowy kwestionariusz.”

Ken Ryalls, prezes The IDEA Center for learning analytics i wydawca SETs, powiedział Inside Higher Ed wcześniej w tym roku, że nie wszystkie oceny są stworzone równe.

„Nasza rada: Znajdź dobry SET, który jest dobrze zaprojektowany i ma niską stronniczość; używaj danych ostrożnie, obserwując wzorce w czasie, dostosowując się do wszelkich udowodnionych stronniczości i ignorując nieistotne dane; i używaj wielu źródeł danych, takich jak oceny rówieśników, oceny administracyjne, artefakty kursu i samooceny, wraz z perspektywą studenta z SET”, powiedział przez e-mail.

.