Pesquisa é revisada de forma rigorosa, por pares especialistas. No entanto, o ensino é frequentemente revisto apenas ou principalmente por não-peritos pedagógicos: estudantes. Há também evidências crescentes de preconceitos nas avaliações dos estudantes sobre o ensino, ou SETs — contra instrutores do sexo feminino e de minorias em particular. E as avaliações dos professores não estão necessariamente correlacionadas com os resultados da aprendizagem.

Tudo isso foi suficiente para a Universidade do Sul da Califórnia acabar com os SETs nas decisões de posse e promoção nesta primavera. Os alunos ainda avaliarão seus professores, com alguns ajustes — incluindo um novo foco no envolvimento dos próprios alunos em um curso. Mas essas avaliações não serão usadas em decisões de pessoal de alto risco.

As mudanças aconteceram mais cedo do que a universidade esperava. Mas estudo após estudo recente sugerindo que os SETs aproveitam membros do corpo docente de certos gêneros e origens (nomeadamente homens brancos) e prejudicam outros foi suficiente para que Michael Quick, reitor, chamasse isso de desistência, com efeito imediato.

‘Estou Feito’

“Ele acabou de dizer: ‘Estou acabado. Não posso continuar a permitir que uma parte substancial do corpo docente esteja sujeita a este tipo de preconceito”, disse Ginger Clark, vice-reitora-assistente para assuntos acadêmicos e docentes e diretora do Centro de Excelência em Ensino da USC. “Já tínhamos estado no processo de desenvolvimento de um modelo de avaliação por pares, mas não esperávamos tirar o Band-Aid tão rapidamente”.

Embora o Quick tenha sido elogiado no campus por sua decisão, a próxima questão óbvia é como o ensino será avaliado no futuro. A resposta longa é através de uma ênfase renovada na excelência do ensino em termos de treinamento, avaliação e incentivos.

“É uma grande jogada”. Todo mundo está nervoso”, disse Clark. “Mas o que descobrimos é que as pessoas estão realmente famintas por este tipo de ajuda no ensino”

SETs — uma peça do quebra-cabeças — continuará a fornecer “feedback importante para ajudar os professores a ajustar suas práticas de ensino, mas não será usado diretamente como uma medida na sua revisão de desempenho”, disse Clark. O instrumento de avaliação da universidade também foi revisto recentemente, com a contribuição do corpo docente, para eliminar questões tendenciosas e incluir mais avisos sobre a experiência de aprendizagem.

Perguntas gerais como, “Como você classificaria seu professor?” e “Como você classificaria este curso?”. — que o Clark chamou de “concurso de popularidade” – agora estão fora. Dentro estão as perguntas sobre design do curso, impacto do curso e práticas instrucionais, inclusivas e de avaliação. Será que as tarefas fizeram sentido? Os alunos sentem que aprenderam alguma coisa?

Os alunos agora também são questionados sobre o que eles trouxeram para um curso. Quantas horas eles gastaram em trabalhos fora da sala de aula? Quantas vezes eles contataram o professor? Que estratégias de estudo eles usaram?

Embora essas perguntas ajudem os professores a avaliar como seus alunos aprendem, disse Clark, eles também sinalizam aos alunos que “sua aprendizagem nesta classe depende tanto da sua contribuição quanto do trabalho de seu professor”. Há também novas orientações sobre como manter comentários narrativos — que são frequentemente subjetivos e fora de tópico — para o desenho de cursos e práticas de instrução.

Pouco, os SETs continuam importantes na USC. Espera-se que os membros do corpo docente expliquem como utilizaram o feedback dos alunos para melhorar a instrução nas suas declarações de reflexão pedagógica, que continuam a fazer parte do processo de posse e promoção, por exemplo. Mas os dados de avaliação não serão mais utilizados nessas decisões de pessoal.

As escolas e faculdades também podem usar avaliações para coletar dados agregados sobre o envolvimento e as percepções dos alunos sobre o currículo, ou sobre as iniciativas de diversidade e inclusão da USC, disse Clark. Eles também podem usá-las para identificar membros do corpo docente que fazem “um trabalho excelente no engajamento dos alunos, professores que podem precisar de algum apoio nessa área de ensino, ou comportamentos problemáticos na sala de aula que exijam investigação adicional”.

Again, however, SETs themselves will not be used as a direct measure in performance evaluations.

Mais que um número

Embora algumas instituições tenham reconhecido os preconceitos inerentes aos SETs, muitas se agarram a eles como uma ferramenta primária de avaliação de ensino porque eles são fáceis — quase irresistivelmente. Isto é, leva alguns minutos para olhar as notas dos professores em, digamos, uma escala de 1-5, e rotulá-los como professores fortes ou fracos. Leva horas para visitar suas salas de aula e ler sobre seu currículo para obter uma imagem mais matizada e, em última análise, mais precisa.

Já que uma abordagem mais abrangente e demorada é o que os professores e especialistas pedagógicos vêm pedindo, em toda a academia, há anos. Uma pesquisa de 2015 com 9.000 professores da Associação Americana de Professores Universitários, por exemplo, constatou que 90% dos entrevistados queriam que suas instituições avaliassem o ensino com a mesma seriedade que a pesquisa e a bolsa de estudos.

A pesquisa deu mais informações sobre a validade questionável dos SETs: dois terços dos respondentes disseram que essas avaliações criam pressão para serem graduadores fáceis, uma recompensa para estudantes de qualidade, e muitos relataram baixas taxas de feedback.

Escolhendo outros estudos e contas do corpo docente, as respostas à pesquisa da AAUP sugeriram que os SETs têm um impacto maior sobre os professores que ensinam fora do horário de aulas, na medida em que altas classificações dos estudantes podem significar um contrato renovado – ou não.

O comitê da AAUP que lidera o estudo de 2015 argumentou que os membros do corpo docente dentro dos departamentos e faculdades – e não os administradores – deveriam desenvolver suas próprias avaliações holísticas de ensino. Também exortou “presidentes, decanos, provadores e instituições a porem fim à prática de permitir que as classificações numéricas das avaliações dos estudantes sirvam como o único ou principal indicador da qualidade do ensino, ou que sejam interpretadas como expressão da qualidade do desempenho profissional do membro do corpo docente”.”

As comissões de professores da USC também têm trabalhado para abordar a excelência no ensino nos últimos cinco anos, recomendando que a universidade invista mais no ensino, adote incentivos para uma forte instrução e caminhe em direção a um modelo de revisão por pares.

O plano de avaliação de ensino da USC reflete algumas dessas recomendações — assim como uma nova ênfase na excelência no ensino.

“Devemos renovar nosso foco sobre a importância do ensino e do mentorado, colocando em prática os sistemas necessários para treinar, avaliar e recompensar o ensino excepcional”, Quick, o reitor, e Elizabeth Graddy, vice-reitor, disseram em um memorando de março ao corpo docente. Em resumo, vamos fazer da USC a grande universidade de pesquisa que espera, apoia e verdadeiramente valoriza o ensino e a mentoração”,

Clark, no Centro de Excelência em Ensino do campus, está ajudando a USC a colocar o seu dinheiro onde está a sua boca”. Ela disse que seu novo modelo de avaliação por pares envolve definir a excelência de ensino e desenvolver o treinamento para o corpo docente, desde estudantes de pós-graduação que se tornarão professores até professores titulares.

Peer Review Instead

Peer review will be based on classroom observation and review of course materials, design and assignments. Os avaliadores também considerarão as declarações de reflexão pedagógica dos professores e suas práticas inclusivas.

Prêmios para ensino de alta qualidade incluirão bolsas e licenças para o desenvolvimento do ensino e enfatizarão o desempenho do ensino em revisões de mérito, promoção e posse, disse Clark. O mais significativo, até agora, a universidade introduziu nomeações contínuas para professores qualificados de ensino intensivo fora dos limites da posse.

Trisha Tucker, professora assistente de redação e presidente do Conselho da Faculdade de Letras, Artes e Ciências Dornsife da USC, disse que diferentes professores tiveram reações diferentes à “mudança cultural”. Mas ela disse que aplaudiu a capacidade da instituição de resistir à “estenografia fácil” das classificações dos professores em favor de algo mais significativo – embora mais difícil. (A USC também deixou claro que as expectativas de pesquisa e serviço não mudarão.)

“É preciso trabalhar para fazer essa revisão pelos pares”, disse ela. “Mas o ensino é importante e leva muito tempo e recursos para fazer isso mais do que apenas palavras vazias”

Como a escrita é um processo orientado por feedback, Tucker disse que seu programa já enfatiza a pedagogia e a revisão por pares. Mas os professores de alguns outros programas terão que se ajustar, disse ela.

“Para os muitos professores que não foram treinados dessa maneira ou contratados com base nessas expectativas, isso pode produzir alguma ansiedade”, disse ela. Portanto, uma medida importante do sucesso desta nova abordagem é como a USC apoia as pessoas que “inicialmente ficam aquém das expectativas”.

Clark disse que o centro de ensino oferece um modelo para revisão por pares que os programas individuais se ajustarão às suas próprias necessidades ao longo do próximo ano. Esse tipo de envolvimento do corpo docente na formação da revisão pelos pares deve fazer com que o processo seja menos “ameaçador” do que representa um “investimento no sucesso uns dos outros”, disse ela.

Nesse ínterim, o ensino dos professores será avaliado principalmente com base nas suas próprias reflexões de ensino. E enquanto o centro evita o uso de palavras como “obrigatórias” com relação ao treinamento, está oferecendo um Instituto da Nova Faculdade, aberto a todos os instrutores, por 90 minutos mensais, durante oito meses, durante o almoço. Exemplos de tópicos incluem aprendizado ativo, maximizando a motivação dos alunos e práticas de avaliação eficazes e eficientes.

Não apenas USC

Philip B. Stark, reitor associado da Divisão de Ciências Matemáticas e Físicas e professor de estatística da Universidade da Califórnia em Berkeley que estudou SETs e argumentou que as avaliações são tendenciosas contra as instrutoras de tantas maneiras que é impossível ajustá-las para esse viés, chamado de “fantástico” o noticiário da USC.

“Tratar a satisfação e o engajamento dos estudantes como aquilo que são — e eu acho que são importantes — em vez de fingir que as avaliações dos estudantes podem medir a eficácia do ensino é um enorme passo em frente”, disse ele. “Também acho que usar o feedback dos estudantes para informar o ensino, mas não para avaliar o ensino, é um progresso importante”, disse ele. “Eu também acho que usar o feedback dos estudantes para informar o ensino, mas não para avaliar o ensino, é um progresso importante”, disse ele. Sob o sistema, as avaliações dos alunos ainda fariam parte das decisões de promoção, mas não reduziriam os instrutores a números.

Elementos do programa já foram pilotados. O Senado da Faculdade do Oregon deverá votar no programa como um todo esta semana, para ser adotado no outono. O sistema proposto inclui uma pesquisa de experiência dos estudantes de meio-termo, uma pesquisa anônima baseada na web para coletar feedback não numérico do curso a ser fornecido apenas ao instrutor, juntamente com uma pesquisa de experiência dos estudantes de fim de-termo. Uma pesquisa de reflexão do instrutor de fim de período também seria usada para melhoria do curso e avaliação do ensino. A partir do outono de 2018, os comitês de pessoal docente, diretores e administradores deixarão de usar as avaliações numéricas dos cursos dos estudantes em revisões de posse e promoção, revisões de mérito e outros assuntos de pessoal”, diz a proposta do Senado da Faculdade do Oregon. “Se as unidades ou comitês persistirem no uso dessas avaliações numéricas, uma declaração sobre a natureza problemática dessas avaliações e uma explicação para o porquê de estarem sendo usadas apesar desses problemas serão incluídas nos materiais de avaliação”

A moção já tem apoio administrativo, com Jayanth R. Banavar, diretor, solicitando participantes piloto em seu site, dizendo: “Embora o feedback dos alunos possa ser uma ferramenta importante para a melhoria contínua do ensino e aprendizado, há evidências substanciais de que as avaliações dos cursos dos alunos podem ser tendenciosas, particularmente contra as mulheres e o corpo docente de cor, e que as avaliações numéricas não estão correlacionadas com a eficácia do ensino e os resultados do aprendizado”.

Mais do que simplesmente rever instrumentos de avaliação problemática, a página diz, Oregon “procura desenvolver um novo sistema holístico de avaliação de ensino que ajude a comunidade do campus a descrever, desenvolver, reconhecer e recompensar a excelência do ensino”. O objetivo é “aumentar a equidade e a transparência na avaliação do ensino por mérito, renovação de contratos, promoção e posse, ao mesmo tempo em que fornece ferramentas para a melhoria contínua do curso”.”

Craig Vasey, presidente de clássicos, filosofia e religião da Universidade de Mary Washington e presidente do Comitê de Ensino, Pesquisa e Publicações da AAUP, disse que o “elemento mais pernicioso” das avaliações quantitativas dos estudantes é que os resultados “são traduzidos em rankings, que depois assumem uma vida própria e não melhoram realmente a qualidade da educação”

Revisão do currículo e observação em sala de aula pelos colegas são ambos meios mais “úteis de avaliação”, disse ele. “E eu acho que perguntar aos alunos o quão engajados eles estavam na classe – e especialmente se eles também perguntam por quê – recebe “melhor contribuição deles do que o questionário padrão”

Ken Ryalls, presidente do The IDEA Center for learning analytics e um editor de SETs, disse ao Inside Higher Ed no início deste ano que nem todas as avaliações são criadas iguais.

“O nosso conselho: Encontre um bom SET que seja bem projetado e com baixo viés; use os dados cuidadosamente, observando padrões ao longo do tempo, ajustando-se a qualquer viés comprovado e ignorando dados irrelevantes; e use múltiplas fontes de dados, tais como avaliações de pares, avaliações administrativas, artefatos do curso e auto-avaliações, juntamente com a perspectiva do estudante de SETs”, disse ele via e-mail.

>