Forschung wird von Fachleuten rigoros überprüft. Doch die Lehre wird oft nur oder hauptsächlich von pädagogischen Laien bewertet: von Studenten. Es gibt auch immer mehr Beweise für eine Voreingenommenheit bei der Bewertung der Lehre durch Studenten (SETs) – insbesondere gegenüber weiblichen Lehrkräften und Angehörigen von Minderheiten. Und die Bewertungen der Lehrkräfte korrelieren nicht unbedingt mit den Lernergebnissen.

All das hat die University of Southern California veranlasst, in diesem Frühjahr die SETs bei Entscheidungen über die Festanstellung und Beförderung abzuschaffen. Die Studenten werden ihre Professoren weiterhin bewerten, allerdings mit einigen Anpassungen – unter anderem mit einem neuen Schwerpunkt auf dem eigenen Engagement der Studenten in einem Kurs. Diese Bewertungen werden jedoch nicht für wichtige Personalentscheidungen herangezogen.

Die Änderungen erfolgten früher als von der Universität erwartet. Aber eine Studie nach der anderen, die darauf hindeutet, dass SETs Fakultätsmitglieder bestimmten Geschlechts und bestimmter Herkunft (nämlich weiße Männer) begünstigen und andere benachteiligen, reichte Michael Quick, dem Rektor, aus, um sie mit sofortiger Wirkung zu beenden.

‚Ich bin fertig‘

„Er sagte einfach: ‚Ich bin fertig. Ich kann nicht länger zulassen, dass ein wesentlicher Teil des Lehrkörpers dieser Art von Voreingenommenheit ausgesetzt ist“, sagte Ginger Clark, stellvertretende Vize-Professorin für akademische und Fakultätsangelegenheiten und Leiterin des USC Center for Excellence in Teaching. „Wir waren bereits dabei, ein Peer-Review-Modell für die Bewertung zu entwickeln, aber wir hatten nicht erwartet, dass wir das Pflaster so schnell abziehen können.“

Während Quick auf dem Campus für seine Entscheidung gelobt wurde, stellt sich die nächste, offensichtliche Frage, wie die Lehre in Zukunft bewertet werden soll. Die lange Antwort lautet: durch eine erneute Betonung der Exzellenz der Lehre in Bezug auf Ausbildung, Bewertung und Anreize.

„Es ist ein großer Schritt. Alle sind nervös“, sagte Clark. „

SETs – ein Teil des Puzzles – werden weiterhin „wichtiges Feedback liefern, um den Lehrkräften bei der Anpassung ihrer Lehrmethoden zu helfen, aber sie werden nicht direkt als Maßstab für ihre Leistungsbeurteilung verwendet“, so Clark. Auch das Evaluierungsinstrument der Universität wurde kürzlich unter Mitwirkung des Lehrkörpers überarbeitet, um voreingenommene Fragen zu streichen und mehr Fragen zur Lernerfahrung zu stellen.

Fragen wie „Wie würden Sie Ihren Professor bewerten?“ und „Wie würden Sie diesen Kurs bewerten?“ — die Clark als „Beliebtheitswettbewerb“-Fragen bezeichnete, sind jetzt out. Neu hinzugekommen sind Fragen zur Kursgestaltung, zu den Auswirkungen des Kurses und zu den Lehr-, Integrations- und Bewertungspraktiken. Waren die Aufgabenstellungen sinnvoll? Haben die Studierenden das Gefühl, dass sie etwas gelernt haben?

Die Studierenden werden jetzt auch gefragt, was sie in einen Kurs eingebracht haben. Wie viele Stunden haben sie außerhalb des Unterrichts für die Kursarbeit aufgewendet? Wie oft haben sie den Professor kontaktiert? Welche Lernstrategien haben sie angewandt?

Diese Fragen helfen den Professoren zwar dabei, das Lernverhalten ihrer Studenten einzuschätzen, so Clark, sie signalisieren den Studenten aber auch, dass „Ihr Lernerfolg in diesem Kurs sowohl von Ihrem Beitrag als auch von der Arbeit Ihres Professors abhängt“. Es gibt auch neue Richtlinien, die besagen, dass Kommentare – die häufig subjektiv und themenfremd sind – sich auf die Kursgestaltung und die Unterrichtspraktiken beschränken sollen.

Dennoch bleiben SETs an der USC wichtig. Von den Fakultätsmitgliedern wird erwartet, dass sie in ihren Lehrberichten erklären, wie sie die Rückmeldungen der Studierenden zur Verbesserung des Unterrichts genutzt haben, was z. B. weiterhin Teil des Anstellungs- und Beförderungsverfahrens ist. Die Bewertungsdaten werden jedoch nicht mehr für diese Personalentscheidungen herangezogen.

Schulen und Colleges können Evaluierungen auch nutzen, um aggregierte Daten über das Engagement der Studierenden und ihre Wahrnehmung des Lehrplans oder die Initiativen der USC zur Förderung von Vielfalt und Integration zu sammeln, so Clark. Sie können sie auch nutzen, um Fakultätsmitglieder zu identifizieren, die „hervorragende Arbeit bei der Einbindung von Studenten leisten, Fakultätsmitglieder, die in diesem Bereich ihrer Lehre Unterstützung benötigen, oder problematische Verhaltensweisen im Klassenzimmer, die weitere Untersuchungen erfordern.“

Allerdings werden die SETs selbst nicht als direkte Maßnahme bei der Leistungsbewertung verwendet.

Mehr als eine Zahl

Während einige Institutionen die den SETs innewohnende Voreingenommenheit erkannt haben, halten viele an ihnen als primärem Instrument zur Lehrbeurteilung fest, weil sie einfach sind – fast unwiderstehlich einfach. Es dauert nur ein paar Minuten, sich die Bewertungen der Professoren auf einer Skala von 1 bis 5 anzusehen und sie als starke oder schwache Lehrer einzustufen. Es dauert Stunden, ihre Klassenzimmer zu besuchen und ihre Lehrpläne durchzulesen, um sich ein differenzierteres und letztlich genaueres Bild zu machen.

Doch genau diese zeitaufwändigere, umfassendere Herangehensweise ist es, die Professoren und pädagogische Experten seit Jahren in der gesamten akademischen Welt gefordert haben. Eine 2015 durchgeführte Umfrage der American Association of University Professors unter 9.000 Fakultätsmitgliedern ergab beispielsweise, dass 90 Prozent der Befragten wünschten, dass ihre Institutionen die Lehre mit der gleichen Ernsthaftigkeit bewerten wie Forschung und Wissenschaft.

Die Umfrage gab zusätzliche Einblicke in die fragwürdige Validität von SETs: Zwei Drittel der Befragten sagten, dass diese Bewertungen Druck erzeugen, einfach zu benoten, eine Qualität, die Studenten belohnen, und viele berichteten über niedrige Rückmeldungsraten.

Die Antworten auf die AAUP-Umfrage, die andere Studien und Berichte von Lehrkräften widerspiegeln, deuten darauf hin, dass SETs einen übergroßen Einfluss auf Professoren haben, die außerhalb des Tenure-Tracks unterrichten, da hohe studentische Bewertungen eine Vertragsverlängerung bedeuten können – oder auch nicht.

Der AAUP-Ausschuss, der die Studie von 2015 leitete, argumentierte, dass Fakultätsmitglieder innerhalb von Abteilungen und Colleges – und nicht die Verwaltung – ihre eigenen, ganzheitlichen Lehrbewertungen entwickeln sollten. Er forderte außerdem „Lehrstühle, Dekane, Pröpste und Institutionen auf, nicht länger zuzulassen, dass numerische Rankings aus studentischen Bewertungen als einziger oder primärer Indikator für die Qualität der Lehre dienen oder als Ausdruck der Qualität der Arbeitsleistung des Fakultätsmitglieds interpretiert werden.“

Die Fakultätsausschüsse der USC haben sich in den letzten fünf Jahren ebenfalls mit der Qualität der Lehre befasst und empfohlen, dass die Universität mehr in die Lehre investiert, Anreize für eine gute Lehre schafft und zu einem Peer-Modell für die Bewertung übergeht.

Der Plan zur Bewertung der Lehre an der USC spiegelt einige dieser Empfehlungen wider – ebenso wie die neue Betonung der Qualität der Lehre.

„Wir müssen uns erneut auf die Bedeutung von Lehre und Mentorenschaft konzentrieren und die notwendigen Systeme einrichten, um außergewöhnliche Lehre auszubilden, zu bewerten und zu belohnen“, sagten Quick, der Prorektor, und Elizabeth Graddy, die stellvertretende Prorektorin, im März in einem Memo an die Fakultät. „Kurz gesagt, lassen Sie uns die USC zu einer großen Forschungsuniversität machen, die Lehre und Mentoring erwartet, unterstützt und wirklich wertschätzt.“

Clark vom Campus Center for Excellence in Teaching hilft der USC, ihren Worten Taten folgen zu lassen. Sie sagte, das neue Modell der Peer-Evaluierung umfasse die Definition von Spitzenleistungen in der Lehre und die Entwicklung von Schulungen für die Lehrkräfte, von Studenten, die später Professoren werden, bis hin zu ordentlichen Professoren.

Peer Review Instead

Die Peer Review wird auf der Beobachtung des Unterrichts und der Überprüfung von Kursmaterialien, Design und Aufgaben basieren. Die Peer-Evaluatoren werden auch die Aussagen der Professoren über ihre Lehre und ihre integrativen Praktiken berücksichtigen.

Belohnungen für eine hohe Qualität der Lehre werden Zuschüsse und Freistellungen für die Entwicklung der Lehre und die Betonung der Lehrleistung bei Leistungs-, Beförderungs- und Feststellungsprüfungen sein, sagte Clark. Am wichtigsten ist, dass die Universität bisher fortlaufende Ernennungen für qualifizierte, lehrintensive Professoren eingeführt hat, die keine Festanstellung haben.

Trisha Tucker, Assistenzprofessorin für Schriftstellerei und Präsidentin des Fakultätsrats des Dornsife College of Letters, Arts and Sciences der USC, sagte, dass die verschiedenen Professoren unterschiedlich auf den „Kulturwandel“ reagiert haben. Sie lobte jedoch die Fähigkeit der Institution, sich der „einfachen Kurzschrift“ von Lehrerbewertungen zu widersetzen und stattdessen etwas Sinnvolleres – wenn auch Schwierigeres – anzustreben. (Die USC hat auch klargestellt, dass sich die Erwartungen an Forschung und Dienstleistung nicht ändern werden.)

„Diese Peer-Review ist mit Arbeit verbunden“, sagte sie. „Aber die Lehre ist wichtig, und es braucht viel Zeit und Ressourcen, um sie zu mehr als nur leeren Worten zu machen.“

Da das Schreiben ein Feedback-gesteuerter Prozess ist, betont Tucker, dass ihr Programm bereits auf Pädagogik und Peer Review setzt. Aber Professoren in anderen Studiengängen werden sich darauf einstellen müssen, sagte sie.

„Für die vielen Dozenten, die nicht auf diese Weise ausgebildet oder aufgrund dieser Erwartungen eingestellt wurden, kann das eine gewisse Unruhe erzeugen“, sagte sie. Ein wichtiger Gradmesser für den Erfolg dieses neuen Konzepts ist daher, wie die USC diejenigen unterstützt, die „anfangs zu kurz kommen.“

Clark sagte, das Teaching Center biete ein Modell für die Peer Review, das die einzelnen Studiengänge im Laufe des nächsten Jahres an ihre eigenen Bedürfnisse anpassen werden. Diese Art der Beteiligung der Lehrkräfte an der Gestaltung der Peer Review sollte zu einem Prozess führen, der weniger „bedrohlich“ als vielmehr repräsentativ für eine „Investition in den Erfolg der anderen“ ist, sagte sie.

In der Zwischenzeit wird die Lehre der Professoren in erster Linie anhand ihrer eigenen Lehrreflexionen bewertet. Das Zentrum vermeidet zwar Worte wie „verpflichtend“, wenn es um die Ausbildung geht, bietet aber acht Monate lang monatlich ein 90-minütiges Seminar für neue Dozenten an, das allen Dozenten offen steht. Zu den Beispielthemen gehören aktives Lernen, Maximierung der Schülermotivation und effektive, effiziente Benotungspraktiken.

Nicht nur an der USC

Philip B. Stark, stellvertretender Dekan der Abteilung für mathematische und physikalische Wissenschaften und Professor für Statistik an der Universität von Kalifornien in Berkeley, der die SETs untersucht und argumentiert hat, dass Bewertungen in so vielerlei Hinsicht gegen weibliche Lehrkräfte voreingenommen sind, dass es unmöglich ist, sie um diese Voreingenommenheit zu bereinigen, nannte die USC-Nachrichten „großartig“.

„Die Zufriedenheit und das Engagement der Studierenden als das zu behandeln, was sie sind – und ich glaube, dass sie wichtig sind – anstatt so zu tun, als ob studentische Bewertungen die Effektivität der Lehre messen könnten, ist ein großer Schritt nach vorn“, sagte er. „

Stark wies darauf hin, dass die Universität von Oregon ebenfalls kurz davor steht, die traditionellen SETs abzuschaffen und ein System zur kontinuierlichen Verbesserung und Bewertung der Lehre einzuführen, das auf nicht-numerischem Feedback basiert. Im Rahmen dieses Systems würden die Bewertungen der Studierenden weiterhin in die Beförderungsentscheidungen einfließen, aber die Lehrkräfte würden nicht auf Zahlen reduziert.

Elemente des Programms wurden bereits erprobt. Der Fakultätssenat von Oregon wird diese Woche über das gesamte Programm abstimmen, das im Herbst verabschiedet werden soll. Das vorgeschlagene System umfasst eine Umfrage zur Halbzeit der Vorlesungszeit, eine anonyme webbasierte Umfrage zur Erfassung von nicht numerischem Kursfeedback, das nur dem Dozenten zur Verfügung gestellt wird, sowie eine Umfrage zum Ende der Vorlesungszeit. Eine Umfrage zur Reflexion der Lehrkraft am Ende des Semesters würde ebenfalls zur Verbesserung des Kurses und zur Evaluierung der Lehre verwendet werden. Es werden auch Peer-Review- und Lehrevaluierungsrahmen vorgeschlagen, die an die akademischen Einheiten angepasst werden können.

„Ab Herbst 2018 werden Personalausschüsse, Leiter und Verwalter von Fakultäten keine numerischen Bewertungen von studentischen Lehrveranstaltungsevaluierungen mehr für Verbeamtungen und Beförderungen, Leistungsbeurteilungen und andere Personalangelegenheiten verwenden“, heißt es im Vorschlag des Fakultätssenats von Oregon. „Wenn Einheiten oder Ausschüsse weiterhin diese numerischen Bewertungen verwenden, wird eine Erklärung über die problematische Natur dieser Bewertungen und eine Erklärung, warum sie trotz dieser Probleme verwendet werden, den Bewertungsunterlagen beigefügt. Banavar, Provost, wirbt auf seiner Website für die Teilnahme an dem Pilotprojekt: „Obwohl das Feedback der Studierenden ein wichtiges Instrument für die kontinuierliche Verbesserung der Lehre und des Lernens sein kann, gibt es umfangreiche, von Fachkollegen überprüfte Belege dafür, dass studentische Kursbewertungen voreingenommen sein können, insbesondere gegenüber Frauen und farbigen Lehrkräften, und dass numerische Bewertungen schlecht mit der Effektivität der Lehre und den Lernergebnissen korrelieren.“

Oregon will nicht nur problematische Bewertungsinstrumente überarbeiten, sondern „ein ganzheitliches neues System zur Bewertung der Lehre entwickeln, das der Campus-Gemeinschaft hilft, herausragende Leistungen in der Lehre zu beschreiben, zu entwickeln, anzuerkennen und zu belohnen“, heißt es auf der Seite. Ziel ist es, „die Gerechtigkeit und Transparenz bei der Bewertung der Lehre im Hinblick auf Verdienste, Vertragsverlängerung, Beförderung und Festanstellung zu erhöhen und gleichzeitig Instrumente für die kontinuierliche Verbesserung der Lehrveranstaltungen bereitzustellen.“

Craig Vasey, Inhaber des Lehrstuhls für Klassische Philologie, Philosophie und Religion an der University of Mary Washington und Vorsitzender des AAUP-Ausschusses für Lehre, Forschung und Publikationen, sagte, das „schädlichste Element“ quantitativer studentischer Evaluierungen sei, dass die Ergebnisse „in Rankings übersetzt werden, die dann ein Eigenleben entwickeln und die Qualität der Lehre nicht wirklich verbessern“

Die Überprüfung von Lehrplänen und die Beobachtung des Unterrichts durch Kollegen seien beide „nützlichere Mittel zur Bewertung“, sagte er. „Und ich denke, wenn man die Studenten fragt, wie engagiert sie in der Klasse waren – und vor allem, wenn sie auch fragen, warum – erhält man von ihnen einen besseren Input als mit dem Standardfragebogen.“

Ken Ryalls, Präsident des IDEA Center for learning analytics und Herausgeber von SETs, erklärte Anfang des Jahres gegenüber Inside Higher Ed, dass nicht alle Bewertungen gleich sind.

„Unser Rat: Finden Sie ein gutes SET, das gut konzipiert und wenig verzerrt ist; verwenden Sie die Daten sorgfältig, achten Sie auf Muster im Laufe der Zeit, bereinigen Sie nachgewiesene Verzerrungen und ignorieren Sie irrelevante Daten; und verwenden Sie mehrere Datenquellen, wie z. B. Peer-Evaluierungen, administrative Evaluierungen, Kursartefakte und Selbstevaluierungen, zusammen mit der studentischen Perspektive aus SETs“, sagte er per E-Mail.