La asignación de másters, la evaluación de las oposiciones a juez, la concesión de la libertad a prisioneros, cualquier puntuación de capacidades y otros baremos cuantificables sometidos a la mente humana no son en absoluto ajenos a aspectos que escapan de la objetividad. El cansancio de un evaluador al sobrepasar un determinado número de examinados puede ser determinante para la nota final de las últimas pruebas corregidas, por tanto, el orden en el que un profesor empiece a corregir, poco o mucho, importa.
Miembros de un tribunal que, más consciente o inconscientemente, prevén que aprobarán unos 7 candidatos y suspenderán 3 es otro ejemplo de cómo las evaluaciones no se ciñen más al 100% al mérito de la persona que pasa la prueba. Los mecanismos de cómo la fatiga y los prejuicios afectan a las evaluaciones ya se habían estudiado. Pero un equipo investigadores desde Catalunya, Suiza y Estados Unidos se propuso adentrarse aún más en las evaluaciones secuenciadas, en busca de otros fenómenos subyacentes que pueden influir en la nota final. Y lo han encontrado.
– y han llegado a él con la siguiente explicación: puntuar con un cinco responde a un acto bondadoso, de generosidad. Y, una vez el examinador ejerce este acto de generosidad, se siente más legitimado para suspender el examinado posterior. “La generosidad se define como la de dar a un candidato la nota más baja posible para avanzar en el proceso de contratación”, puntualizan los investigadores. En su estudio se proponen algunas explicaciones para esta erosión de la generosidad. “Una podría ser la aversión a la culpa: los evaluadores tenderían a ser generosos y aprobarían candidatos dudosos para evitar el sentimiento de culpa; ahora bien, una vez aprobados varios candidatos con un 5, disminuiría este sentimiento de culpa y cada vez juzgarían con más dureza”, razonan.
Las probabilidades de aprobar de un candidato disminuyen un 7,7% por cada persona examinada previamente ese mismo día que haya obtenido una puntuación de 5
Para llegar a su conclusión -y hallazgo pionero-, analizaron más de 10.000 evaluaciones hechas a candidatos a ocupar un lugar fijo de docente en la educación primaria y secundaria en Catalunya. El objetivo inicial era estudiar cómo afecta en la decisión de los comités evaluadores el hecho de que un candidato ocupe una posición determinada en la lista de personas examinadas. En el estudio de la distribución de notas se constata por norma general que suele haber pocos manantiales y pocos ceros, y es entre el 6 y el 4 donde está la clave de su hipótesis. Que aparezca un 5 redondo, en evaluaciones donde los decimales tienen su papel, ya lleva a los investigadores a identificar este redondeo con la generosidad del profesor que evalúa, miembro del tribunal.
En el artículo, los investigadores exponen su hipótesis así: “En los procesos de contratación, los candidatos a menudo son juzgados uno tras otro. Este procedimiento secuencial afecta el resultado del proceso. Aquí introducimos el efecto generosidad-erosión, que afirma que los evaluadores podrían ser más duros en su evaluación de los candidatos tras clasificar generosamente los candidatos anteriores”.
Según este estudio, pues, en una evaluación secuenciada, a las 9h es más probable que te aprueben, porque a las 14h es más probable que haya habido ya algún acto de generosidad. Es decir, que la gente que aprueba justito hace que después se sea más estricto con los demás.
Una vez establecido este parámetro, la investigación muestra que las probabilidades de aprobar de un candidato disminuyen un 7,7% por cada persona examinada previamente ese mismo día que haya obtenido una puntuación de 5,00.
Nueva contribución
El efecto contraste también se conoce como sesgo de evaluación; es decir, una muy buena puntuación antes de la corrección de mi examen es probable que afecte no levantando tanto mi nota. “Nuestra contribución es que identificamos un nuevo mecanismo, un nuevo efecto sobre una evaluación secuenciada, y no sólo que el orden afecte, que eso ya se sabía, sino otra razón de por qué afecta. Y hemos visto que la erosión de la generosidad acaba siendo más importante que el orden y el cansancio, el contraste o la expectativa del jurado”, explica el investigador de la Facultad de Economía y Empresa de la UB, Jordi Teixidó, participando en la investigación y coautor del artículo que se deriva, que se ha publicado en la revista Science Advances.
Pero, ante la evidencia descubierta en este estudio, ¿cómo pueden modificarse las correcciones si quieren alejarse de distorsiones de este tipo? Teixidó apunta que “o bien puede pasar que todo siga igual, o que se intente corregir”. Algunas posibles ideas para hacerlo serían, por ejemplo, no corregir exámenes enteros sino ejercicios, agrupando las notas de todas las primeras preguntas juntas, todas las segundas… El sesgo puede estar igualmente, pero no tanto porque se reparte entre más.
Otra propuesta sería que no se tomara la nota de los cinco evaluadores, suponiendo que sean cinco en un tribunal, sino coger sólo tres de manera aleatoria. Y aún otra posibilidad sería que los examinados pasaran por otro tribunal para obtener segundas opiniones, pero sería impensable por el coste, y tampoco se podría descartar de nuevo el sesgo. Y, como este sesgo encontrado nace de la repetición, de tener una secuencia, “si valores 5, en vez de 10, haciendo la secuencia más corta, tienes menos sesgo, pero necesitas más gente para evaluar”. En cualquier caso, tal como dice el profesor e investigador Jordi Teixidó, “al margen de las maneras de evitarlo, el primer paso para corregir el sesgo es saber que existe”.
Además de Jordi Teixidó, en el estudio han participado la investigadora de la UB Tania Fernández, así como Marc-Lluís Vives (Universidad de Brown) y Miquel Serra-Burriel (Universidad de Zurich). En total, tres economistas y un psicólogo social que en su búsqueda han utilizado herramientas de la teoría de juegos, propia de las ciencias sociales, para interpretar los resultados de su análisis. El proceso de selección de los maestros tenía características adecuadas para el estudio, dado que el orden de las personas que se examinan es aleatorio y que la decisión se toma, no de forma individual, sino entre los miembros de un comité, como es cada vez más habitual en los procesos de selección.
