Stukade spådomar

Det var inte kul för miljöpartisterna, den där söndagskvällen på Kägelbanan i Stockholm i september 2014. När alla siffror hade tickat in från landets valdistrikt stod det klart att 6,89 procent av väljarna lagt sin röst på partiet.

Det var visserligen bara en halv procentenhet lägre än fyra år tidigare. Men ändå ljusår från vad de alla hade hoppats på. Hela detta supervalår hade instituten mätt och mätt, och inte en enda gång hade någon presenterat en siffra som var lägre än det som blev valresultatet.

Roligare blev det  några kilometer bort, på sverigedemokraternas valvaka. Så sent som onsdagen före valet hade partiet förutspåtts att få 8,0 procent av Sentio. På valnatten fick partiet 12,86 procent.

Egentligen hade man redan på vårkanten kunnat gissa att landets opinionsmätare var ute och cyklade. Vid EU-valet den 25 maj förutsåg SVT:s stora vallokalsundersökning Valu att feministiskt initiativ skulle bli lika stora som sverigedemokraterna. När rösterna räknats var sverigedemokraterna nästan dubbelt så stora.

Så när SVT dagen efter presenterade hela undersökningen var det med viss urskuldan. Visst, medelavvikelsen var bara 1,04 procentenheter. Visst, förtidsröstandet hade börjat tidigare än vanligt. Visst, det låga valdeltagandet krävde avancerade vägningar och antaganden.

Men ändå. Det här var ju Valu. »Underbara Valu«, som tv-valexperten Sören Holmberg kallade undersökningen. Siffror att förkovra sig i under »aftonlampans sken«, som han också sa.

Det här krävde en ordentlig funderare.

Den svenska opinionsmätarkåren kan trösta sig med att de inte är ensamma. Politiker, journalister och statsvetare världen över har de senaste åren chockats av en rad spektakulära statistiska dikeskörningar.

Det började så smått i USA. Vid presidentvalet 2012 tog Barack Obama hem segern betydligt bekvämare än vad opinionsinstituten trodde. Den nationella segermarginalen blev tre procentenheter större än vad genomsnitten visade strax före valdagen. Det låter inte som mycket, men var historiskt dåligt gissat.

Vid senatsvalet två år senare gick felen i andra riktningen. Republikanerna tog hem senaten, som alla trodde, men med fyra procentenheter större marginal än förväntat.

Samma höst röstade skottarna om självständighet. Då gick det riktigt dåligt – och inte bara för självständighetsivrarna. Nejsidans förväntade seger på mellan två och tre procentenheter visade sig bli en seger med nästan 11 procentenheter.

I år har felen blivit så stora att två länder nu har regeringssammansättningar som var helt oväntade så sent som när vallokalerna stängde.

När israelerna gick till valurnorna i mars var institutens konsensus att Likud skulle kamma hem 22 av 123 mandat. I själva verket tog de hem 30 mandat. Inte ens vallokalsundersökningarna visade ett så bra resultat för premiärminister Benjamin Netanyahus parti – som nu gick fram med hela 12 mandat.     

När britterna för några veckor sedan valde sig ett nytt underhus var alla överens om att regeringsbildningen skulle bli svår efter valet – mycket svårare än vid förra valet, då de konservativa Tories fick gå i koalition med Liberaldemokraterna.

Regeringsbildningen blev allt annat än svår; premiärminister David Cameron skrapade ihop en egen majoritet.

För många blev det brittiska valet droppen. Någonting var riktigt åt helvete.

»Världen har ett opinionsmätningsproblem«, twittrade den amerikanska statistikgurun Nate Silver på valnatten.

Så vad är problemet? Det finns många svar på den frågan.

Det första handlar om specifika partier. Likud, Tories och sverigedemokraterna har kanske inte så mycket gemensamt, men i ett avseende är de väldigt lika. Många vågar eller vill inte uppge att de röstar på dem. Fenomenet kallas i Storbritannien »Shy Tory Factor« – blyga Tories-faktorn – och är känt sedan lång tid.

Det andra handlar om nationella valsystem. I länder med majoritetsval kan små rörelser i opinionen få stor effekt på mandatfördelningen.

Men de mer intressanta problemen är gemensamma för många av världens opinionsinstitut. I flera länder vill allt färre människor svara på enkäter. SCB:s stora partisympatiundersökning hade 2008 ett bortfall på 28 procent. I undersökningen som presenterades i onsdags var siffran 49,8 procent, trots att SCB i år har börjat samla in svar också via webbenkäter.

– Det är framför allt ett problem i västvärlden. I Brasilien säger till exempel mina kolleger att de inte upplever något stigande bortfall, säger Dan Hedlin, professor i statistik vid Stockholms universitet.

Den minskade svarsfrekvensen leder dels till att behovet av matematiska modeller och viktningar ökar, dels till att fler institut använder självrekryterade paneler på internet. Som i sin tur skapar nya felkällor.

– Om en nättidning lägger ut en enkät får man inte med människor som inte läser den tidningen. Bara det är ju en brist, säger Dan Hedlin.

Det var just så som en av de första stora opinionsundersökningarna tappade sin trovärdighet. Den amerikanska tidningen Literary Digest hade lyckats förutsäga resultatet i fyra presidentval på raken. Men inför valet 1936 hade ekonomin förvärrats och lite fattigare människor hade slutat prenumerera på tidningen. Dessutom hämtades adresser in från telefonkataloger och medlemskap i olika klubbar. Även de metoderna uteslöt människor längre ner på samhällsstegen. Det ledde till att resultatet visade att republikanen Alf Landon, och inte Franklin Roosevelt, skulle vinna valet.

Dan Hedlin ser också en fara i att organiserade grupper på internet kan bidra till att blåsa upp en fråga som inte har folkligt stöd.

– Jag har själv svarat på samma enkät två gånger en gång, bara för att testa. Jag undrar om de som betalar för studien vet om att det går att göra så.       

De ökade bortfallen och de ökade viktningarna kan också ha lett till ett minskande självförtroende, som i sin tur försämrar resultaten. I flera år har bedömare misstänkt att opinionsinstitut viktar om sina resultat för att inte hamna för långt från sina konkurrenter. Logiken skulle vara att det är lättare att ha fel när alla andra har fel.

Efter det brittiska parlamentsvalet erkände ett institut att de påverkats av flockmentaliteten. Damian Lyons Lowe, vd på Survation, skrev en bloggpost där han presenterade en undersökning de fått fram dagen före valet. Siffrorna låg nära det resultat som senare skulle bli slutresultatet, men företaget valde att inte publicera dem.

»Jag fegade ur«, skrev Damian Lyons Lowe. »Det kommer jag alltid att ångra.«

Frågan är hur det påverkar politiken när opinionsmätningarna blir sämre. Blir den politiska journalistiken mindre lik sportjournalistik när det inte längre går att avgöra vem som håller på att vinna tävlingen? Väljarna får väl ändå säga sitt så småningom?

En som inte håller med om det resonemanget är Nate Silver. När han förra året skrev om opinionsmätningens kris i ett inlägg på bloggen Fivethirtyeight tog han upp ett sällan nämnt skäl till varför tidningar och tv-stationer ska utföra opinionsmätningar. Utan dem finns ingen riktigt motvikt till de samtal som olika samhällseliter ägnar sig åt.

»Till och med en riktigt dålig opinionsundersökning kan vara en bättre spegling av folkets åsikter än ›vibrationerna‹ som en kolumnist i Georgetown eller på Manhattan känner.«

FAKTA | Mätkonst i kris

Fem skäl till att opinionsundersökningarna är svajiga.

1. Lägre svarsfrekvens

I flera länder blir det svårare att nå folk. Och allt färre väljer att svara på enkäter.

2. Folk ljuger

I Storbritannien kallas det »Shy Tory Factor«, i USA heter det »Bradleyeffekten« – men det är samma fenomen. Folk vågar inte säga vad de röstar på av sociala skäl.

3. Ändrad demografi

Opinionsundersökningar bygger till viss del på ett antagande om att lika människor röstar lika. I länder där befolkningssammansättningen ändras kraftigt mellan val ställer det till problem.

4. Nya metoder

Självrekryterande paneler på internet kan fungera lika bra som rundringningar på telefon. Men riskerna ökar, och ur ett perspektiv är det en tillbakagång till opinionskonstens tidigare dagar, då tidningar lät sina läsare berätta vad de tänkte rösta på.

5. Flockmentalitet

I USA har fristående statistiker länge misstänkt att opinionsinstituten gör om sina resultat för att inte avvika för mycket från sina konkurrenter. Det finns även starka bevis för att två institut helt fabricerade sina siffror. När oberoendet minskar kan ett valresultat se säkrare ut än det egentligen är.