Abstracto

Sobre la fiabilidad de los resultados de las pruebas PISA

Shlomo Yitzhaki

El conocimiento es una variable oculta, por lo que necesitamos un test para clasificar a los sujetos según su nivel de conocimiento. Un test es una batería de preguntas de distintos niveles de dificultad. Los resultados del test constituyen una variable ordinal, ya que no se puede medir el conocimiento cuantitativamente, como se haría con la altura o el peso. Un test puede simplemente clasificar a los sujetos según su nivel de conocimiento. Es una práctica común clasificar el éxito de los sistemas educativos en varios países según la puntuación media obtenida por los estudiantes que se presentan a una determinada prueba internacional. Un ejemplo de ello es la prueba PISA, en la que Israel ocupa el puesto 29 de los 33 países de la OCDE. El promedio es un procedimiento válido para una variable cuantitativa, pero no para una variable ordinal, cuyos elementos sólo pueden clasificarse. Dado que una variable ordinal puede clasificarse pero no promediarse, algunas de las clasificaciones basadas en promedios no son fiables, porque se podría haber ideado una prueba alternativa con preguntas de un grado de dificultad diferente que habría alterado la clasificación de las puntuaciones medias. En este artículo se formulan las condiciones teóricas para la constitución de una prueba alternativa que altere la clasificación de las puntuaciones medias y se procede a un examen empírico de estos casos en relación con todas las comparaciones posibles entre Israel y otros países de la OCDE. Los resultados muestran que existen pruebas alternativas que alterarían la clasificación de las puntuaciones medias de Israel en relación con la mitad de los estados miembros de la OCDE. Esto significa que en exactamente la mitad de las comparaciones entre los países de la OCDE e Israel existe una prueba alternativa que alteraría la clasificación. Otro hallazgo indica que cuanto mayor sea la brecha entre las puntuaciones medias, menos probable es encontrar una prueba alternativa que altere la clasificación de las puntuaciones medias. La conclusión a la que se llega es que se debe conceder menos importancia a la diferencia entre las puntuaciones medias y la diferencia entre las puntuaciones medias.