Mostreu-me les dades (DdB, 16/04/08)

Cap al final de la dècada dels 50, el lingüista Eugene Garfield va inventar un índex per ajudar a la selecció de les revistes científiques. Diuen les males llengües que el problema a resoldre consistia a determinar quines eren les revistes científiques més interessants per ser comprades per les biblioteques amb els sempre migrats recursos destinats als efectes, però sembla que l’invent s’ha d’enquadrar més en context de la bibliometria, conjunt de mètodes i tècniques per a l’estudi i mesures de texts i informació. L’índex de Garfield, a qui posteriorment es va unir en la tasca del seu desenvolupament un bioquímic, Irving Sher, és conegut amb el nom de factor d’impacte; també servia inicialment per a l’anàlisi de les relacions entre revistes acadèmiques a través de les cites que apareixen en els articles publicats en elles. A partir d’aquest índex, Garfield va crear una empresa coneguda amb el nom d’ISI, Institute for Scientific Information, que ara forma part de Thomson Scientific, la qual comercialitza aquests factors d’impacte, amb un notable èxit, atès que han esdevingut una eina essencial en l’avaluació de la qualitat de la producció científica. Ja és sabut, avui, per fer currículum com a investigador, no n’hi ha prou a publicar a revistes de prestigi, amb acurats processos de revisió entre iguals, cal, a més, que aquestes revistes tinguin un alt factor d’impacte, d’acord amb els rànquings que calcula i ven Thomson Scientific. No deixa de ser una paradoxa el fet que, encara avui, la producció científica sigui avaluada a partir només de les publicacions en paper dels resultats de la mateixa i que, per afegitó, els índexs que s’hi fan servir siguin propietat d’una empresa privada. De fet, des que es va començar a popularitzar l’ús d’aquests índexs per avaluar la qualitat de la recerca, amb aplicacions individuals a l’avaluació dels candidats a places universitàries i de recerca, no van faltar tot un grapat de veus que avisaven de les perversions del sistema amb articles -publicats a revistes científiques- amb títols no gens dubtosos com «per què no s’ha d’emprar el factor d’impacte per avaluar la recerca» i fineses semblants.

La que sembla ser la darrera d’aquestes crítiques -certament demolidora- ha vingut de la mà de tres editors de revistes científiques -de prestigi- que han publicat un editorial en una d’elles amb el títol «Show me the data», que és el que he agafat avui per a aquest escrit. L’article comença per on s’ha de començar, reivindicant la integritat i la transparència de les dades emprades en la recerca científica i a partir d’aquí relaten, amb pèls i senyals, les vicissituds per les quals han passat per tal de comprovar justament això, la integritat i la transparència de les dades emprades per Thomson per calcular els factors d’impacte. Expliquen que cap revista seriosa no publica els resultats de cap recerca sense que els autors posin a l’abast les dades que recolzen les seves troballes i, en conseqüència, van demanar -i pagar- a Thomson les dades per fer les comprovacions escaients. Com que els comptes no sortien, van reclamar a Thomson i van obtenir com a resposta que aquelles no eren exactament les dades que feien servir i que n’enviaven de noves, amb les quals els comptes tampoc no van acabar de sortir. Tot plegat els ha donat peu per analitzar altres deficiències, diguem-ne, curioses de l’índex d’impacte, entre les quals no ocupa un lloc menor el fet que els articles sobre cèl·lules mare del coreà Woo Suk Hwang tinguin un alt índex d’impacte encara avui, tot i que hagin estat llargament rebatuts per la manipulació de les dades en les quals es basaven. Òbviament, l’editorial ha generat un cert rebombori a la xarxa amb respostes i acusacions creuades per part de Thomson i dels autors de l’editorial. És important remarcar el fet que, tot l’opinió en contra del mateix Garfield, els factors d’impacte tenen efectes sobre el sou dels investigadors i professors universitaris, per la qual cosa no seria gens sobrer que el seu càlcul, a més de ser íntegre i transparent, ho semblés.

Tanmateix, encara que tímidament, els autors esmenten que ja comença a haver-hi altres índexs més transparents per a mesurar la qualitat a partir de l’aparició de bases de dades més públiques sobre cites, a través de bases de dades de publicacions mèdiques o Google Scholar. En qualsevol cas, sí que sembla necessari tirar endavant amb les propostes de la Declaració de Berlín, signada per moltes universitats i centres de recerca, en la qual s’insta a emprar la xarxa com a mitjà de difusió dels resultats de la recerca científica, assegurant els mecanismes de qualitat i de reconeixement. En aquest sentit, l’actitud de Gregori Perelman, el matemàtic rus que ha resolt un dels problemes matemàtics del mil·lenni, de publicar els seus resultats només a la xarxa, hauria d’ajudar a progressar en la direcció escaient.
(La imatge està pillada del web original de l’article)