05. januar 2007

Uorden i rangorden

Forskere skal hele tiden bevise deres værd, og vurderingen af deres forskning har stor betydning for deres ansættelser og bevillinger. Men hvem er dygtige forskere, og hvordan vurderer man det? Det har forskere fra Niels Bohr Institutet og DTU undersøgt, og de kommer frem til, at de metoder til kvalitetsmåling, man anvender i dag, ikke giver megen mening.

Professor Andrew D. Jackson og professor Benny E. Lautrup fra Niels Bohr Institutet har sammen med ph.d.-studerende Sune Lehmann fra DTU udviklet en ny analysemetode til at vurdere de gængse kvalitetsmålemetoder. Deres resultater er offentliggjort i det seneste nummer af det ansete videnskabelige magasin Nature, hvor der endda er henvisning til artiklen fra forsiden. Den skal nok skabe røre i internationale forskerkredse, for den sår alvorlig tvivl om værdien af måden at måle forskningen på.

Verden over vurderer man ofte forskere på, hvor mange publikationer, de skriver, og det bliver generelt anset for en god kvalifikation at publicere mange videnskabelige artikler. Det mest almindelige er at kigge på antallet af artikler - uanset, hvor de er publiceret.

”Men det at publicere mange artikler siger kun noget om, hvor flittig, man er til at skrive – intet andet. Det siger intet om, hvorvidt forskningen er af høj kvalitet”, siger Andrew Jackson. Han mener, at når antallet af publikationer er blevet et succeskriterium, er det fordi det er så bekvemt. Det er nemt, og det kan foregå rent administrativt. Men tællemetoden mangler en faglig vurdering, mener han.

Alfabetisk rangorden
De tre forskere satte sig for at undersøge, om en anden indikator kunne sige lige så meget – eller lidt om forskernes ’dygtighed’ som antallet af publikationer. ”Det skulle være noget helt udueligt for at vise perspektivet”, fortæller Andrew Jackson.

De valgte at rangordne folk alfabetisk efter deres forbogstaver – ikke forbogstaverne i deres efternavne, for der kunne være visse familier med mange akademikere, og der kunne være kulturer med særligt benyttede bogstaver, som f.eks. W,Y og Z på kinesisk.

Så de valgte de tre første bogstaver i forfatternes fornavne, og udregnede en vurdering efter alfabetisk orden. Undersøgelsen omfattede 5.000 forfattere på verdensplan, og resultatet var en bemærkelsesværdig rangorden. 

”Vores undersøgelse viser, at man lige så godt kunne belønne folk efter deres forbogstaver som efter hvor mange artikler, de skriver. Der er nærmest ingen forskel”, siger Andrew Jackson.

Prestige rangorden
Flere steder i verden – også herhjemme, ser man dog ikke kun på, hvor mange artikler en forsker publicerer, men også hvor, det vil sige, at artikler, der har været bragt i højprestige videnskabelige magasiner som f.eks. Science og Nature vægtes højere end andre. Det siger noget om forskningens kvalitet. Samtidig ser man på, hvor meget en artikel bliver citeret i efterfølgende videnskabelige artikler. Det siger noget om forskningens betydning.

”Men sagen er”, siger Andrew Jackson, ”at citeringerne er meget ulige fordelt. Halvdelen af alle artikler får kun 2 procent af citeringerne. Fire procent af artiklerne får 50 procent af alle citeringer. Det vil sige, at det er under 10 procent af alle de artikler, der bliver skrevet, der har nogen betydning”.

Man kan udregne et såkaldt Hirsch index, som en forsker siges at have. Hvis f.eks 20 af hans publikationer har 20 eller flere citeringer, mens resten har færre, er Hirsch-tallet 20. ”Men problemet er”, forklarer Benny Lautrup, ”at Hirsch-tallet ikke er særligt stabilt, og det er ikke ret godt til at skelne mellem forskeres videnskabelige kvalitet”.

Hvad så?
Men hvad så, må man spørge de tre videnskabsfolk, der provokerer den ganske videnskabelige verden. Hvordan skal man så vurdere forskningen? Ja, for det første har deres undersøgelse vist, at i stedet for Hirsch-tallet, er det faktisk mere stabilt med et simpelt gennemsnitstal for antallet af citationer delt med antallet af publikationer.

Desuden arbejder de på en ny vurdering, hvor en forsker også vurderes ud fra sine medforfattere, altså hvem, men arbejder sammen med, for det er sådan i enhver faglig sammenhæng, at alene dét at være ’på hold’ med bestemte personer er ensbetydende med stor dygtighed. Til sidst vil de advare mod at gå for automatiseret til værks, for forskellige forskningsfelter har vidt forskellige arbejdsmønstre og kan ikke sammenlignes.

Ref: 
Measures for measures
S. Lehmann, A. D. Jackson, and B. E. Lautrup
Nature 444, 1003-4 (Dec. 21, 2006)