Lo que oculta el informe Pisa
¿Sabía usted que PISA no hace las mismas preguntas en todos los países? ¿Y que, además, no tienen el mismo nivel de dificultad? Le contamos lo que esconde la fiebre mundial de los test educativos. Por Carlos Manuel Sánchez
Pisa se ha convertido en un mastodonte y su influencia es cada vez mayor. La prueba diseñada por la Organización para la Cooperación y el Desarrollo Económico (OCDE) ha evolucionado. El informe PISA ha pasado de ser una herramienta para diagnosticar debilidades y fortalezas de los sistemas educativos nacionales a convertirse en una liga de países. En apariencia, con las mejores intenciones. Pero detrás de ese prurito por sacar mejores notas que el vecino se esconde algo que tiene poco que ver con la enseñanza. un negocio multimillonario.
Las claves de un gran negocio
La obsesión con los exámenes es un nuevo nicho de mercado. Y quien lo ha visto claramente es la editorial británica Pearson, una multinacional con filiales en todo el mundo, dueña además de Financial Times y The Economist y que facturó más de 6000 millones de euros en 2013. Pearson logró el contrato para los exámenes de PISA 2015, que pagaban los ministerios de Educación, y la exclusiva para la creación de la plataforma digital que los sustentará. Pearson utiliza PISA y otras pruebas similares como cabeza de puente para, según sus críticos, manejar los hilos de la educación mundial. Pearson no solo redacta los exámenes, también los corrige y aportará las herramientas informáticas a los ministerios de Educación para analizar el rendimiento casi en tiempo real, como si fuera una Bolsa de Valores, donde los que cotizan no son empresas, sino colegios y, en último término, nuestros hijos.
¿Es positivo o negativo? Es bueno, argumentan unos, porque así no se nos escapa ningún talento. Pearson sostiene que su objetivo es revolucionar el concepto de ‘educación’ en el mundo, personalizarla y reducir costes. Es malo, sostienen otros, porque las escuelas van a pasar más tiempo examinando que enseñando. Así lo considera el académico canadiense Donald Gutstein en un informe para los profesores de la Columbia Británica (Canadá). Pearson consigue el grueso de sus ingresos de textos digitales, herramientas de enseñanza virtual, exámenes on-line Y sigue una serie de estrategias para crecer aprovechando la transición de lo físico a lo digital. Es un plan ambicioso para comercializar sus productos y servicios. Si tienen éxito, convertirán a los estudiantes en simples clientes.
¿Pero cómo hemos llegado a esto?
Hagamos historia. La primera edición de PISA fue en el año 2000 y por su carácter trianual solo se han celebrado cuatro hasta la fecha. Los resultados de la quinta se darán a conocer el año que viene. Participan 71 países, seis más que en la última (2012). PISA ha desbancado a otras pruebas internacionales como TIMMS o PIRL. Más de medio millón de alumnos de 15 años se someten a los test, que en un principio se limitaban a ciencias, matemáticas y lectura, pero que van incorporando nuevos ámbitos, como los problemas de la vida cotidiana. PISA genera un informe muy exhaustivo, con multitud de análisis. Lo de comparar a los países participantes era una estadística más, unas tablas orientativas medio escondidas en un bosque de lenguaje burocrático.
Pero la tentación de hacer una liga es culpa nuestra, de los periodistas, que nos encantan esas competiciones porque se prestan a titulares redondos, del tipo España fracasa otra vez (la media de la OCDE sería la arbitraria línea entre el aprobado y el suspenso), Finlandia se cae del podio , Los asiáticos golean Periodismo deportivo más que educativo. Y también es culpa de los políticos, que sacan pecho si la cosa ha ido bien (cuando en realidad sería mérito de la Administración anterior), o justifican una reforma educativa a su gusto si las cosas van mal. ¿Pero podemos fiarnos de PISA? ¿Sus resultados son objetivos?
¿Son fiables los datos de PISA?
Las críticas hacia PISA arrecian desde el último informe (2012). ¿Sabía usted que no son las mismas preguntas para todos los países? ¿Y que ni siquiera tienen el mismo nivel de dificultad? No solo eso, en ediciones anteriores hubo pruebas que algunos países se saltaron, como las de comprensión lectora. Y lo que hizo PISA fue realizar una estimación ‘plausible’, es decir, una proyección de lo que podían haber puntuado esos alumnos, como hacen a veces las eléctricas con el recibo de la luz, que nos cobran por lo que suponen que podemos haber gastado y no por el consumo real.Además, las diferencias económicas (a mayor nivel adquisitivo, mejor nota), sociales (a mayor emigración, peor nota) influyen. Pero también las diferencias de mentalidad de los niños en la gestión del tiempo. Son exámenes contra reloj. Según comprobó Joachim Wuttke, un profesor alemán de Ingeniería Informática, los nórdicos y centroeuropeos dan un vistazo general, contestan primero a lo que saben y no tienen apreturas; los mediterráneos van pregunta a pregunta y luego no les da tiempo.
Batiburrillo de datos
¿Cómo homogeneizar todo este batiburrillo de datos para confeccionar la dichosa liga mundial? PISA echa mano de un complejo sistema matemático llamado ‘método de evaluación de Rasch’, por cierto muy discutido por algunos matemáticos, que consideran que contiene errores. Además, un estadístico danés, Svend Kreiner, profesor emérito de la Universidad de Copenhague y discípulo del propio George Rasch, el creador del método, ya advirtió que encima PISA no lo estaba usando bien, básicamente porque no se deberían equiparar los resultados si las preguntas no tienen el mismo grado de dificultad.
PISA se defiende de los críticos
Los responsables de PISA han recibido acusaciones de oscurantismo en el tratamiento de los datos. Se defendieron con un informe de 419 páginas. No obstante, el director de PISA, Andreas Schleicher, reconoció que para ellos la comparativa entre países no era lo más importante y que podían existir discrepancias en la clasificación, dependiendo de cómo se anal los datos. Pero es que las diferencias pueden ser tremendas, como demostró Kreiner. Aplicando el método de Rasch y con variaciones mínimas a la hora de privilegiar los parámetros, Canadá ocuparía el segundo puesto o el 22. ; Japón el octavo o el 40; y el Reino Unido, cualquiera entre el 14 y el 30.
A las críticas sobre la fiabilidad de PISA, muy fuertes en el Reino Unido, donde llevan varios años de reformas por sus resultados mediocres, los Estados Unidos, Australia, Alemania y otros países, hay que sumar ahora las suspicacias. ¿Quién se beneficia de este pique entre países? ¿Por qué los asiáticos arrasan? ¿Es mejor su modelo basado en la repetición, la memorización y la obediencia cuando muchos surcoreanos, que son los mejores del mundo, luego se estrellan cuando van a una universidad estadounidense? Además, hay muchas dudas sobre la ‘limpieza’ de China-Shanghái. ¿Hacen trampas? ¿Estamos ante una adulteración de la competición, como pasaba en el deporte con la antigua RDA?
La obsesión se convierte en negocio
En este río revuelto, alguien ha sido más listo. Pearson. Una estrategia que diseñó su anterior CEO, Marjorie Scardino. Y que sigue el actual, John Fallon. Hagamos las preguntas. Diseñemos las plataformas digitales para hacer los exámenes. Redactemos los textos para que los niños estudien y saquen buenas notas en esos exámenes. Convenzamos a los políticos para que nos los compren. Pearson dispone de think tanks y expertos a sueldo. Al fin y al cabo, es la mayor editorial educativa del mundo.Y el catálogo de nuevos productos puede ser inagotable. ¿Por qué no poner al alcance de las escuelas los test que hacen los países punteros? El prestigio que supondría para un colegio poder decir. somos mejores en matemáticas que los coreanos Dicho y hecho, empiezan a probarlo en los Estados Unidos. ¿Y por qué limitarse a estudiantes de quince años? Por qué no sacar pruebas para que los adultos puedan compararse con sus hijos
Aunque la casa matriz de Pearson está en Londres, la estrategia empezó en los Estados Unidos. Pearson consiguió en 2011 un contrato de cinco años para los exámenes oficiales de las escuelas públicas de Nueva York por 32 millones de dólares. Hubo una protesta insólita en Nueva York. Padres, alumnos y profesores de decenas de centros, todos de acuerdo por una vez, se quejaban de la cantidad de exámenes, que algunos califican de epidemia. Niños de Primaria sometidos a pruebas de tres horas. Muchos se preguntan por qué una empresa privada y con ánimo de lucro tiene tanta influencia en el sistema público. Pearson también logró el contrato para los exámenes de PISA 2015 a un módico precio: al parecer, sobre 1,3 millones de euros. Esa plataforma marca un hito, según Andreas Schleicher, el jefe de PISA. La prueba de 2015 tiene el potencial para comenzar una nueva era en los exámenes internacionales. Tenemos que hacer un uso mucho más inteligente de la tecnología. Al fin y al cabo, las destrezas digitales son las que se pedirán en el futuro a los niños.
‘El big data’, llevado a la educación
El negocio puede ser redondo. Va en la línea de la plataforma digital de Bloomberg, pero aplicado a la educación. Datos continuos que fluyen. Escuelas que suben y escuelas que bajan. Países que cotizan en rojo y en verde. No olvidemos que la galaxia Pearson es uno de los grupos mediáticos más influyentes. En un arranque de sinceridad y advirtiendo que forma parte de Pearson, The Economist señala que la industria de los exámenes internacionales está creciendo, aunque sacar conclusiones de ellos es más difícil.
Para Diane Ravitch, profesora de Educación de la Universidad de Nueva York, estamos ante la irrupción de big data [grandes datos] en las escuelas. ¿Es una manera de ayudar a estudiantes y profesores? Puede. Pero también es una fórmula empresarial para desarrollar apps, vender datos de estudiantes y hacer dinero, denuncia. De hecho, el capital riesgo ya se ha fijado en este mercado y está entrando a manos llenas en compañías digitales de creación y evaluación de exámenes, como Renaissance Learning Inc., con participación de Google Capital y en la que la firma especulativa Hellman and Friedman inyectó en marzo 1100 millones de dólares. Al contado. Son exámenes donde todo está tabulado. Los cuestionarios son tipo test. No hay lugar para salirse del guion. ¿Dónde queda la creatividad? ¿Y la imaginación? Según Ravitch, estamos perdiendo la habilidad de pensar diferente y premiando el conformismo .
¿Qué pasa en…
… Finlandia? Incluso cuando eran los mejor clasificados, eran escépticos con PISA. De hecho, los estudiantes no hacen exámenes externos hasta los 18 años. La estandarización de los exámenes mata la creatividad , dice el experto Pasi Sahlberg.
… Shanghái? La revista Time, a la vista de los resultados obtenidos por los chinos, que arrasaron en los test, se pregunta si hicieron trampas en el último PISA. Y también si los profesores preparan a los alumnos específicamente para superar con éxito esta prueba.
… Reino Unido? En el país son muy críticos con todo lo que tiene que ver con PISA. El diario The Guardian, además, ha arremetido contra la creciente influencia de Pearson en la reforma de la educación pública, que considera una privatización encubierta.
Dos visiones enfrentadas
La visionaria Marjorie Scardino
Es la empresaria más influyente del Reino Unido. Ocupó la presidencia de Pearson hasta el año pasado y fue la primera en vislumbrar que el futuro de la educación está en el uso de las tabletas. Diseñó una estrategia para monetizar los exámenes valiéndose de plataformas digitales. No es extraño que Twitter la haya fichado. Pearson, su excompañía, ha conseguido el contrato para PISA 2015.
El académico enfadado Svend Kreiner
Estadístico danés que señaló fallos en el modelo de evaluación de PISA. Las comparaciones no tienen sentido porque PISA no utiliza preguntas del mismo nivel para cada país, ni hay un solo ítem que sea igual para todos los participantes . Su discusión académica con los responsables de la OCDE ha sido tan enconada que la Universidad de Copenhague, donde enseña, ha creado un simposio en su honor. Otros muchos académicos lo apoyan. Por su parte, el coordinador de PISA reconoce que las comparaciones internacionales no son fáciles y nunca son perfectas, pero cualquiera que eche un vistazo serio a las cifras y los datos de PISA reconocerá que es una herramienta robusta y que genera confianza.
¿Qué pasa en…
… EE.UU.? El fiscal de Nueva York investigó a la multinacional Pearson por la sospechosa confluencia entre los estudios que publican las fundaciones sin ánimo de lucro de su órbita y los intereses de la compañía. Finalmente, pagó una multa de 7,5 millones de dólares.
… La India? Quedó antepenúltima de entre todos los países analizados en 2009. Las autoridades decidieron que una y no más y se desligó de PISA. Pero no ha marcado tendencia; cada vez son más los países que firman. Empezaron 32 en el año 2000 y en 2015 serán 71.
… España? Como en el Reino Unido y Australia, los mediocres resultados se usan por los gobiernos de turno como justificación para hacer reformas de las leyes educativas. A nivel práctico, eso se nota en un aumento de evaluaciones externas en los cambios de ciclo.
