Hon dödar forskarfusket

Handelsprofessorn Anna Dreber Almenberg ställdes saker på sin spets en vanlig arbetsdag för sex år sedan. Hon satt på en bar på campus Harvard tillsammans sin man Johan Almenberg, nationalekonom, och beräkningsbiologen Thomas Pfeiffer från Tyskland. Något i magen kändes inte rätt. Hon tvivlade på sin egen studie och misstänkte ett så kallat falskt positivt resultat. Hur bra var egentligen hennes instinkter?

Pfeiffer berättade om en artikel från 1995 som handlade om att forskare borde få satsa på hur väl deras egna och and-ras resultat håller, på samma sätt som fotbollsbetting eller aktiehandel. Teorin kallas för »wisdom of the crowds« – en marknad är mer pålitlig än en ensam vetare. Idén etsade sig fast och blev det kontinuerliga samtalsämnet i den ombyggda gamla kyrkan som de bodde i, varvat med poker och risk på kvällarna.

Fem år senare läste Anna Dreber Almenberg en intervju med den kända psykologen Brian Nosek. Han berättade om ett stort projekt där hundratals psykologiexperiment ska göras om – forskarspråk replikera – i syfte att se om de håller. Hon mejlade och frågade om hon, Almenberg och Pfeiffer fick vara med, samt lägga till en sidomarknad för nämnda vadslagning. Till sin stora förvåning fick hon jakande svar.

Överraskningarna skulle bli många fler. Trots att hon anade att en del rön var fuffens så hade hon aldrig kunnat föreställa sig storskaligheten. Över 250 forskare var med för att göra om hundratals studier. År 2015 publicerades deras resultat. Genomslagskraften var enorm. Bland annat har Nobelpristagaren Daniel Kahneman, författaren till bestsellern »Tänka snabbt och långsamt«, plötsligt fått se stora delar av sin referenslitteratur bli omkullkastad. Den stora replikeringskrisen var kommen och Kahneman uppmanade sina kollegor till sans.

Våren 2018 skrev Anna Dreber Almenberg, tillsammans med parhästen Magnus Johannesson, en artikel i Ekonomisk debatt med titeln »Vilka forskningsresultat går att lita på?«. Artikeln summerade bland annat det omfattande replikeringsprojektet där stora delar av den psykologiska forskningen går i kras. Hon varnade också för att det finns anledning att vara orolig för tillförlitligheten i nationalekonomin, liksom för cancerforskningen, med ansvariga som är alldeles för optimistiska.

Mothuggen har inte låtit vänta på sig. Replikeringsprojektet har kallats för stasi och de anklagas för att leka domare. På frågan vilken kritik som biter hårdast tystnar hon för första gången.

– Majoriteten av forskare som inte är inblandade i projekten verkar anse att saker är bra som det är, säger Anna Dreber Almenberg. Inställningen är: arför ändra ett fungerande system? Men vi borde alla vara oroliga och förbättra oss.

Kanske behöver budskapet hamras in för att nå den tänkta målgruppen. I oktober 2018 lade Anna Dreber Almenberg tillsammans med kollegor fram ytterligare bevis: endast 60 procent av all psykologisk forskning som publicerats i tidskrifterna Nature och Science, mellan 2010 och 2014, går att reproducera. Bland de rön som saknade stöd hittas den omtalade »Googleeffekten«, som bland annat går ut på att människor minns saker sämre om de vet att datorn kommer att spara informationen. En annan metod (som frälste mig när jag studerade) var att skriva ner alla farhågor på ett blankt papper före tentan. Det skulle, enligt forskning, leda till bättre resultat.

– En förkrossande majoritet av forskningen inom statsvetenskap, psykologi och även delar av medicin är problematisk, säger Dreber Almenberg, som dock inte tror att majoriteten fuskar. Det handlar i stället om att forskare tar sig vissa valfriheter som metoden tillåter utan att inse att det kan leda till problematiska resultat. I grund och botten handlar det om incitament. En akademiker blir bedömd, befordrad och beundrad utifrån antalet publicerade artiklar. All forskning handlar om att hitta statistiskt signifikanta resultat, för vissa till vilket pris som helst.

En metod som gör det lätt att hitta stöd kallas för p-hackande; där forskare trixar sig fram tills resultatet nått den magiska gränsen statistisk signifikans vid 0,05 – det så kallade p-värdet. En annan felkälla kallas »forking« där forskaren låter resultaten bestämma hur analysen ska vara, inte tvärtom. Vetenskapsfilosofen Karl Popper skulle vrida sig i sin grav om han såg hur forskare beter sig, menar Anna Dreber Almenberg.

Att en forskares metoder kan generera tveksamma resultat är något som akademin varit medveten om och varnat för ett tag. Det finns flera vägar framåt, tror Anna Dreber Almenberg. Psykologerna, den grupp som synats hårdast, har redan börjat med bland annat förregistrerade analysplaner. Det går ut på att forskarna låser sina hypoteser och metoder innan själva analysen startat. Ett annat förslag från Dreber Almenberg, som anses vara kontroversiellt, är att sänka gränsen för vad som är ett statistiskt signifikant resultat, det så kallade p-värdet.

– En sänkt gräns gör det svårare att hitta statistiska resultat och kräver ett större urval. Men jag är inte fundamentalist. Det handlar i slutänden om pengar – och forskarens avsikter. Forskare verkar mer intresserade av att »hitta något« än att det ska vara tillförlitligt Om det inte går att öka urvalet så kan man presentera resultat för den gamla gränsen, men markerad som »förslag på bevis«.

Den egna artikeln, den som Anna Dreber Almenberg misstänkte gav ett falskt positivt resultat, beskrev hur variationen i två olika dopaminreceptorgener (kopplade till processer i centrala nervsystemet) korrelerade med ekonomiskt risktagande hos 100 män, utifrån dna-prov. Men trovärdiga slutsatser skulle behöva uppemot 100 000 individer. På sin sajt skriver hon att resultatet är meningslöst och avråder kollegor från att citera artikeln. Men all forskning måste inte kastas i soporna.

– Vi såg även att forskare är så pass bra på att gissa vilka studier som håller. Det finns något systematiskt i trovärdiga resultat.

Läs även tio kända psykologiska experiment som inte går att göra om här. 

Fakta | Hur hamnade jag här 

1981

Föds i Stockholm. 

2009

Disputerar i nationalekonomi vid Handelshögskolan i Stockholm. Publicerar samma år studien om dopaminrisk i gener som hon inte längre tror på.

2012 och 2015

Får barnen Tim och Paul med maken Johan Almenberg. 

2015

Publicerar med medförfattare replikationsprojekt på 100 psykologistudier, replikation av »power posing« (världens näst mest sedda TED-talk – resultaten visar sig inte hålla) och en studie om att forskare är relativt bra på att förutse vilka resultat som håller.

2016

Publicerar ett replikationsprojekt på 18 studier inom experimentell nationalekonomi där forskare också försöker förutse resultaten. Befordras samma år till professor och får även Johan Björkmans professur i nationalekonomi. Blir därmed Handels första kvinnliga professor i nationalekonomi vid 34 års ålder. 

2018

Publicerar replikationsprojekt på 21 studier publicerade i Nature och Science där forskare också försöker förutse resultaten.