19 de junio de 2013

De rankings y prestigios en la Ciencia.

El prestigio, ejemplo de intento de cuantificación de una variable cualitativa.
Bastante a menudo escucho (o leo) a gente acudir a clasificaciones y rankings mundiales de universidades, basados en publicaciones de artículos, para apoyar sus razonamientos, como por ejemplo, afirmar que ciertas universidades no tienen suficiente prestigio porque no tienen suficientes publicaciones. Como muestra empírica de su pobreza formativa. Dicho esto, ya no se puede discutir, pues se da por supuesto que este es un criterio, el de las publicaciones científicas, incuestionable y el tema quedaría zanjado.

Sin embargo, no estoy de acuerdo ya que en el ámbito de la lógica y la racionalidad, solamente se puede dar por verdadera una conclusión obtenida en base a las premisas cuando sea la única posibilidad siempre que las premisas sean ciertas. Para rebatir o poner en duda el razonamiento anterior me valdré de los mismos instrumentos que utilizan quienes defienden tales afirmaciones, ya que en caso contrario podrían acusarme de de falta de rigor y empirismo, o lo que es peor para ellos, de subjetividad.

¿Son los rankings un sistema justo libre de sesgos?
Allá por los años ochenta del pasado siglo, este sistema ya tenía sus problemas, y ante tales sospechas un grupo de investigadores (en seguida doy sus datos) quisieron poner a prueba mediante métodos científicos si estas publicaciones se basaban en el rigor y sistematización que se les supone a editores dedicados a decidir qué es riguroso y qué no. Osea, los jueces que dirigen el cotarro de la "Ciencia". Vamos, lo que hacía antes la Santa Inquisición en el cristianismo, que decidía qué creencias eran herejes, no ajustándose a sus propias interpretaciones de las sagradas escrituras, con consecuencias mucho más graves en este último caso.

El estudio al que me refiero es el siguiente: "Peer-review practices of psychological journals: The fate of published articles, submitted again". Publicado en la revista "Behavioral and Brain Sciences" en 1982. Sus autores son Douglas P. Peters, del Departamento de Psicología de la Universiad de Dakota del Norte y  Stephen J. Ceci, del Departamento de Desarrollo Humano y Estudios de la Familia, Universidad de Cornell.
(Estos datos los facilito por si alguien quiere profundizar y consultar el estudio original, no para dar más credibilidad, esta se debería obtener por los datos y el rigor del estudio, que cada cual lo lea, razone al respecto y decida acerca de esto).

La hipótesis de la que partían para su estudio era que la decisión de publicar o no un artículo, estaba altamente influenciada por el nombre del autor y el "prestigio" del organismo al que pertenecía (efecto halo). Si esto era así, un mismo artículo firmado por autores desconocidos que trabajasen en universidades "extrañas", serían rechazados a pesar del interés del contenido.
Los materiales que emplearon en el experimento fueron una selección de 12 artículos publicados anteriormente en "prestigiosas" revistas de Psicología, escritos por diez de los más prestigiosos autores de los departamentos de psicología de las más prestigiosas universidades de Estados Unidos (Harvard, Prinstong, y otras prestigiosísimas instituciones).

¿Es más probable que te publiquen un artículo si perteneces a la prestigiosa Universidad de Oxford?
Una vez hecha semejante selección de grandes éxitos se dedicaron a cambiar los nombres de los autores y sus lugares de trabajo, por instituciones con nombres falsos del estilo "Centro Tri-Valley para el Potencial Humano". A continuación revisaron cuidadosamente los contenidos modificando aquellas partes que pudieran dar una pista de su verdadero autor (por ejemplo, si se citaba a si mismo, pues ponían una cita al original), pero sin cambiar el contenido y por tanto el valor de su aportación científica.
Una vez terminados los cebos, digo variables independientes, se dedicaron a enviarlos a las mismas revistas que ya los habían publicado. Repito, las mismas, no otras con diferente criterio. Los resultados obtenidos, son los siguientes:
  • Tres de las doce se percataron de que ya habían publicado el artículo (el 25%).
  • Ocho fueron rechazados (66,6%), afirmando que el artículo no reunía las condiciones mínimas para su publicación. Estamos hablando de la opinión de 16 expertos asesores y 8 prestigiosos editores, que habían publicado y admitido la misma versión con diferentes nombres.
  • Solo uno (8,3 %) fue admitido para publicarlo, sin darse cuenta de que ya había sido publicado con otro nombre, esto es, que era un plagio.
Un panorama desolador. Con implicaciones gravísimas, ya que si de lo que se trata es de hacer avanzar la ciencia, malamente se hará desechando trabajos, que espero que fueran válidos, por sesgos y prejuicios, que la propia ciencia (la Psicología) hace tiempo que ha detectado.
Algún cientificista acérrimo podría argumentar que la Psicología se trata de un campo poco exacto y con margen para la subjetividad, pero los mismos resultados o parecidos se obtuvieron en el campo de la Física (ciencia exacta muy empírica y prestigiosa), basada en una revisión de 619 artículos publicados en revistas de Física. (Sutherland, 1997: 46).

Estos son los hechos, cualquier explicación o interpretación dejará mal parado al sistema de rankins "objetivos" para decidir quien tiene prestigio. Si los artículos que fueron aceptados no tenían valor incialmente y fueron publicados por el "renombre" de sus autores o entidades a las que pertenecían, mal. Si por el contrario, tenían verdadero interés o valor científico, pero no se admitieron en la segunda ocasión por su autoría; pues mal también. Aunque parezca un chiste, no lo es. Se trata de un tema muy serio, ya que implica que aquellas instituciones con "poco prestigio", estarían condenadas a publicar menos de un 10% de su producción publicable. Lo cual repercutiría en sus ingresos y subvenciones. Que a su vez repercute en los científicos dispuestos a trabajar en ellas, lo cual reduce sus posibilidades de lograr más publicaciones, etc...

Al tratarse de un estudio con cierto tiempo a sus espaldas y que ha sido difundido en el ámbito científico cabe preguntarse, ¿se han solucionado estos problemas tras estos análisis? Me temo que no, pero los datos más modernos los dejo para otro artículo, ya me estoy alargando (como siempre).

Una última reflexión, totalmente subjetiva y gratuita: por favor, bajemos a la ciencia y a los científicos de su pedestal (o altar) y pongámonos todos los que amamos el conocimiento a trabajar de verdad, no por prestigio, ni por subvenciones, sino porque los humanos, como especie obtenemos placer en la búsqueda del conocimiento y con esa necesidad hemos llegado hasta aquí, contra viento, marea y credos... No cometamos los mismo errores que cometieron otras instituciones antes, como las religiones (todas), las ideologías políticas (todas), y no tanto, o al menos eso me gusta creer, los movimientos filosóficos. Ya he avisado de que es subjetiva y gratuita. ;)

No hay comentarios:

Publicar un comentario