I en artikkel i Rødt! 02/14 framholdt Kjelsberg vitenskapen som den beste måten å komme fram til sannheten på.
– Det betyr ikke at vitenskapen slik den praktiseres i dag, ikke har svakheter. Problemet er at alle andre metoder for erkjennelse har både de problemene vitenskapen i dag har, samt en hel rekke andre i tillegg.
Artikkelen handler om noen av utfordringene vitenskapen står overfor i dag.
Ronny Kjelsberg er høgskolelektor ved Avdeling for Teknologi ved Høgskolen i Sør-Trøndelag, og underviser bl.a. i vitenskapelig metode. Han er fylkestingsrepresentant for Rødt i Sør-Trøndelag.
Litt forenklet vil jeg dele det opp i tre trusler mot vitenskapen: En trussel mot selve forskningsresultatene, en trussel mot formidlingen av forskningen og en trussel mot kvalitetssikringen av forskningen.
Manipulering av forskningsresultater
Det er mange måter selve forskningsresultatene kan bli manipulert på. En ting er poenget som ble påpekt av fysikeren Richard Feynman – at selv en liten og ubevisst bias hos den eller de som utfører forskningen, kan få stor betydning for sluttresultatet. En stringent vitenskapelig metode er utviklet for å forhindre slike effekter, men er det bare i selve forskningen forutinntatthet og agendaer kan påvirke?
En utfordring for vitenskapen er veksten i oppdragsforskning. Det finnes flere eksempler på hvordan oppdragsgivere helt bevisst forsøker å påvirke forskningsresultatene. Et norsk eksempel er hvordan Arbeidsdepartementet i 2010 forsøkte å manipulere SINTEF til å endre konklusjonene i en forskningsrapport.1 I dette tilfellet varslet forskeren om det hun syntes var et overtramp. Det vi ikke kjenner til, er hvor mange tilfeller vi har hvor forskeren føyer seg, hvor påvirkningen er mer subtil, eller rett og slett hvor forskeren bevisst eller ubevisst har oppdragsgiveren i bakhodet i det forskningen utføres, og rapporten/konklusjonene formuleres. På samme måte som en personlig bias gjennom mange små påvirkninger kan gi en betydelig skjevhet når man skal gjøre en overordnet statistisk analyse av forskningen på et felt, kan oppdragsgiveren åpenbart gjøre det samme.
En kvantitativ studie fra 2010 på forskningsresultater innenfor medisin, viste at av industrifinansierte studier viste 85 % effekt av medisinen som ble testet, mens offentlig finansierte studier gav positivt resultat på bare 50 % – av de samme medisinene.2 Det er åpenbart at oppdragsforskning er et problem for vitenskapen i dag.
Like viktig for forskningen og hva som framstår som den vitenskapelige konsensusen på et felt, som selve forskningsresultatene, er hva som publiseres. En såkalt «publication bias» er veldokumentert. Både fra tidsskriftenes side og fra forskernes side vil man være villig til å legge litt mer arbeid i å få publisert «spennende» forskningsresultater og forskningsresultater som bekrefter en teori man ønsker å framsette, enn man vil med forskningsresultater som er mer «kjedelige», eller som ikke bekrefter teorien din. Enkeltstudier gir ofte relativt lite informasjon (et statistisk avvik kan f.eks. være årsaken til resultatet). Man er derfor avhengig av metastudier, eller systematiske reviewartikler som gjennomgår alle forskning på et felt for å skaffe seg noenlude sikker kunnskap. Når ikke alle forskning publiseres, vil derimot resultatet av disse gjennomgangene kunne bli svært skjevt.
Den britiske legen Ben Goldacre har i boken Bad Pharma sett på dette innen medisinen, og konklusjonene er dramatiske. La oss se på et av eksemplene han trekker fram:
I 2008 besluttet en gruppe forskere for å sjekke publiseringen av alle forsøk som var blitt rapportert til US Food and Drug Administration (FDA) for alle antidepressiva som kom på markedet mellom 1987 og 2004. Forskerne fant syttifire studier totalt, som representerer 12 500 pasienter. Trettiåtte av disse studiene hadde positive resultater, og fant at den nye medisinen virker, trettiseks var negative. I virkelig-heten var altså studiene som viste effekt og ikke, jevnt fordelt.
Deretter lette forskerne etter disse studiene i den publiserte vitenskapelige litteraturen, det materialet som er tilgjengelig for leger og pasienter. Dette ga et helt annet bilde. Trettisju av de positive studiene – alle unntatt én – ble offentliggjort i sin helhet, ofte med mye fanfare. Forsøkene med negative resultater hadde derimot en helt annen skjebne: bare tre ble publisert. Tjueto ble aldri publisert, mens elleve som hadde negative resultater i FDA-sammenheng, ble publisert som positive. Her ser vi altså en kombinasjon av manipulering av forsk-ningsresultatene (statistisk «knaing» av data for å få fram et annet resultat enn det rent vitenskapelige), og en manipulering av publiseringen gjennom å systematisk unnlate å publisere negative forsøk.
En påvirkning av innholdet i det enkelte forskningsresultat vil selvsagt være en manipulering av forskningen, men likeledes vil en bevisst eller ubevisst manipulering av hva som publiseres eller ikke i fagfellevurderte tidsskrifter, være en manipulering av hva som er den samlede forskningsstatusen på et felt, og det vil i sin tur manipulere grunndataene og dermed resultatene av metastudier og review-artikler som oppsummerer og konkluderer på statusen av forskningen på et felt. Dette er særlig alvorlig fordi det er disse studiene som ofte brukes som grunnlag for avgjørelser, både på hvile legemidler som godkjennes, og på politiske vedtak.
Nå kan det jo være at den sterkt kommersielt drevne legemiddelvitenskapen er en av «verstingene», men det er ingen grunn til å tro at mekanismer som dukker opp i medisinsk forskning, ikke også opptrer i andre deler av vitenskapen.
Manipulering av forskningsformidlingen
Det har alltid vært et fokus på å publisere i vitenskapen («publish or perish»). Dette har derimot blitt kraftig forsterket etter at stadig flere vitenskapelige miljø er blitt omfattet av ulike typer av målstyringsregimer. Når forskningsmiljøer eller til og med enkeltforskere blir belønnet på bakgrunn av antall publiserte forskningsartikler, vil man naturligvis få publisert stadig flere artikler. Spørsmålet er om mengden artikler er et godt mål for mengden forskning, eller mengden utviklet kunnskap.
Såkalte «minste publiserbare enhet»-artikler er blitt en stående vits blant akademikere. Når man har et forskningsresultat klart, er ikke lenger det første spørsmålet «Hvordan kan vi presentere dette på en faglig sett best mulig måte?», men heller «Hvor mange ulike artikler kan vi klare å dele dette opp i?»
Goldacre har også sett på problement med rett og slett for mange artikler. «Det finnes titusenvis av vitenskapelige tidsskrifter, og millioner av akademiske medisinske avhandlinger, og mer produseres hver dag,» skriver Goldacre.
Alper m.fl. har i forskningsartikkelen «How much effort is needed to keep up with the literature relevant for primary care?», forsøkt å finne ut hvor mye tid en allmennlege må bruke dersom han eller hun skal holde seg oppdatert på all forskning som er relevant for feltet sitt. Forskerne samlet inn hver relevant akademisk artikkel publisert i løpet av en enkelt måned. Resultatet var kanskje ikke overraskende. Selv om man bare bruker noen få minutter på hver enkelt artikkel, beregnet de at det ville ta en lege seks hundre timer å skumme gjennom alle. Det utgjør omtrent 29 timer hver ukedag.
Man har altså laget et system hvor måten forskningsresultater presenteres på, gjør at de blir utilgjengelige for de som burde kunne nyttiggjøre seg dem. I en god forsk-ningsformidling ville et forskningsresultat blitt publisert som en artikkel, og ikke f.eks. tre.
Måten de fagfellevurderte vitenskapelige tidsskriftene opererer på, er også problematisk. Mange er eid av store private forlag som mottar artikler helt gratis (om man ikke må betale for publiseringen i tillegg). Arbeidskraften med fagfellevurdering er normalt også gratis. Det er en ære i akademia å være fagfelle i et tungt tidsskrift. Samtidig er abonnementene som akademiske institusjoner må betale for disse tidsskriftene, svært dyre. Det har gjort dem til en pengemaskin for forlagene, samtidig som tilgangen til kunnskapen som finnes i tidsskriftene, vil være svært kostbar og dermed begrenset. Dette blir dermed også en uheldig manipulering av forskningsformidlingen, siden svært mye potensielt viktig kunnskap stenges inne bak høye betalingsmurer.
Svak kvalitetssikring
Et svar på utfordringene med de dyre og lukkede tidsskriftene har vært såkalt «open access»-publisering. Her betaler institusjonene tidsskriftene for at publikasjonene kan legges ut åpent for alle. I utgangspunktet høres jo det ut som en god ide, men selv om man her er sikret åpen publisering, er det ikke gitt at økonomien i systemet ikke også her kan forvrenge forskningsresultatene.
I oktober 2013 avslørte nemlig John Bohannon og Science at fagfellevurderingen i store deler av open acess-journalene var svært svak, eller kanskje rettere ikke-eksisterende.4 I løpet av de 10 foregående månedene hadde Bohannon under et fiktivt pseudonym ved en fiktiv institusjon, sendt en artikkel med åpenbare og grunnleggende vitenskapelige feil til 304 open access-journaler. I følge Bohannon skulle
any reviewer with more than a high-school knowledge of chemistry and the ability to understand a basic data plot […] have spotted the paper’s short-comings immediately».
Artikkelen ble antatt i 157 tidsskrifter, og forkastet av 98. I disse tidsskriftene er altså reell fagfellevurdering unntaket. Regelen er at hva som helst publiseres. Bohannon er ikke i tvil om årsaken:
From humble and idealistic beginnings a decade ago, open-access scientific journals have mushroomed into a global industry, driven by author publication fees rather than traditional subscriptions.
Men hvordan er fagfellevurderingen i de tradisjonelle abonnementstidsskriftene? Den er selvsagt svært variabel, avhengig av tidsskriftets rennomme, men en del forskere frykter at det ikke nødvendigvis er noe bedre der. Bjørn Samset og Henrik Svendsen kommenterer Bohannons eksperiment i en kronikk, og skriver:5
Flere forskere og universitetsledere […] har imidlertid påpekt at Bohannons prosjekt egentlig ikke hadde noe med open access å gjøre. […] Det er fullt mulig at de etablerte tidsskriftene ville ha gjort lignende tabber.
Dette ble bekreftet da Nature 24. februar 2014 avslørte at over 120 forskningsartikler som overhodet ikke var skrevet av et menneske, men genererte via at dataprogram og fullstendig innholdsløse, var sluppet gjennom nåløyet som peer-review er ment å være, hos de anerkjente vitenskapelige utgiverne Springer og IEEE.6
I tillegg kritiserer Samset og Svendsen de store tidsskriftene for å publisere artikler i større grad basert på nyhetsverdi enn på vitenskapelig kvalitet, siden dette gir mange siteringer, og dermed en kunstig høyere «ranking» i akademiske telle- og målesystemer. Slike New Public Management-systemer fungerer altså dårlig. Mennesker og menneskelige systemer har det med å tilpasse seg de strukturene de blir underlagt, og tillit og faglig integritet kan fort bli skadelidende.
Det er også åpenbart en fare for at slikt gratisarbeid som fagfellevurdering innebærer, kan bli nedprioritert i en travel arbeids-hverdag hvor målstyringssystemer skaper stadig økende press på å produsere nettopp de indikatorene som måles. Det svekker kvaliteten på forskningen like mye som om forskeren selv slurver.
Hvordan kan vitenskapen gjøres bedre?
I denne artikkelen har jeg pekt på noen grunnleggende problemer vitenskapen i dag har, både med utførelsen av forskning, publiseringen av forskning og kvalitetssikringen av forskning. Disse må utbedres. Noen forslag:
a) Alle offentlig ansatte forskere får publiseringsplikt. Andre aktører som stiftelser etc. kan også pålegge sine forskere dette, men alle slike aktører må ha strenge retningslinjer som sikrer forskningens frihet og uavhengighet og hindrer påvirkning fra utenforstående (oppdragsgiver, politiske interesser etc.) på forskningsresultatene og presentasjonen av dem. For enkle studier med liten nyhetsverdi som kanskje kan være vanskelig å få publisert i dagens kanaler, kan det opprettes en forenklet publiseringskanal gjennom f.eks. en fagfellevurdert «database» som disse resultatene kan legges inn i. Kun forskning fra institusjoner med publiseringsplikt tas inn i metastudier og systematiske review-artikler.
b) Tidsskriftene/den fagfellevurderte publiseringen må frigjøres fra kommersielle aktører. F.eks. kan universiteter samarbeide om å opprette vitenskapelige tidsskrifter som har som formål ikke å tjene penger til en utgiver, men å holde et høyt vitenskapelig nivå, samt å tilgjengeliggjøre forskning for allmennheten.
c) Fagfellevurdering må inn som en del av stillingsbrøken til de vitenskapelige ansatte som har disse oppgavene, slik at det ikke blir en nedprioritert «ekstraoppgave».
Med disse strukturelle endringene kan vi være på vei til å rette opp de lignende feilene i det vitenskapelige systemet for kvalitetssikring av forskning, som vi i stor grad allerede har korrigert for i oppsettet av den enkelte studie.
Noter:
- SINTEF kunne ikke avdekke at det norske sykefraværet var spesielt stort sammenlignet med andre land. Den konklusjonen var oppdragsgiveren – Arbeidsdepartementet – mindre fornøyd med. Se f.eks. oppslag i Aftenposten 14. november http://www.aftenposten.no/nyheter/iriks/article3904189.ece
- Bourgeois FT, Murthy S, Mandl KD. Outcome Reporting Among Drug Trials Registered in ClinicalTrials.gov. Annals of Internal Medicine. 2010;153(3):158–66, sitert i Ben Goldacre, Bad Pharma How Drug Companies Mislead Doctors and Harm Patients, Fourth Estate, kapittel 1.
- Ben Goldacre, Bad Pharma How Drug Companies Mislead Doctors and Harm Patients, Fourth Estate, Dette eksemplet er hentet fra kapittel 1, Missing Data.
- John Bohannon, Who’s Afraid of Peer Review? http://www.sciencemag.org/content/342/6154/60.full
- Bjørn H. Samset, Henrik H. Svensen: Forskning viser: Alt og ingenting, Morgenbladet 17/1 2014, http://morgenbladet.no/ideer/2014/forskning_viser_alt_og_ingenting#.Uue8CrQ1imw
- http://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763