Som man frågar får man svar

»Braksuccé för Sabunis nya linje«, skrev Aftonbladets Lena Mellin efter senaste väljarundersökningen från Demoskop där L ökade en procentenhet. Den negativa trenden hade vänts efter beskedet i regeringsfrågan och beslutet på partirådet, kunde man förstå.

Men i Novus och Sifos mätningar låg L still – eller minskade. I Ipsos mätning, som genomfördes före partirådet, ökade man svagt.

Journalister älskar siffror och mätningar. Vi tar dem till intäkt för att utse vinnare och förlorare bland partierna. Mätningarna ger mediebilden av partiledare på uppgång eller nedgång.

– I och med att många stödröstar blir de väldigt viktiga. Då blir information om opinionsläget viktigt. På det hela taget ger undersökningarna en ganska bra bild av opinionsläget. Men det finns en osäkerhet i dem, säger Richard Öhrvall, doktor i statsvetenskap vid Linköpings universitet, som i många år arbetade med Statistiska centralbyråns (SCB) partisympatiundersökningar.

Viktor Tullgren kallar sig civilingenjör med statistiskt intresse. Han har sedan 2012 sammanställt mätningarna som görs på pollofpolls.se.

– De viktas på antalet tillfrågade, med färre svarande viktas de ner. Är de tillfrågade inte slumpmässigt urvalda viktas de också ner. Och vi har koll på systematiska avvikelser, till exempel har SCB oftare hög­re siffror för S, säger han.

– Demoskop har jag blivit fundersam över efter sammanslagningen med Inizio. Gamla Demoskop körde klassiska undersökningar baserat på slumpvis urval. Inför senaste valet lade man till en mindre grupp rekryterad på nätet. Nu är det helt baserat på självrekryterat, man har inte kvar någon slumprekryterad grupp.

I januarimätningen ligger Demoskop 4,7 procentenheter under genomsnittet hos de tre andra på ett enda parti – S?

– Då är de antingen ute och seglar, eller så har de rätt och alla andra fel. Om ett företag avviker väldigt mycket blir jag skeptisk. Det tyder på fel i metoden. Sentio och YouGov, som rekryterar paneler på nätet, var till exempel tidigare kända för att ge högre siffror på SD, säger Viktor Tullgren.

Då pratade man om »skämsfaktorn«, att väljare inte ville erkänna stöd för SD om de blev uppringda.

– Men efter 2018 ser vi inte någon underskattning av SD.

– De självrekryterade undersökningarna är asbilliga att göra. Att ringa är dyrt. Men även de kan ge fel underlag. Som när SCB lade ut telefonintervjuerna i arbetsmarknadsundersökningen på ett externt företag som visade sig manipulera resultaten, säger Viktor Tullgren.

Karin Nelsson på Demoskop tillbakavisar kritiken:

»Genom samgåendet mellan Demoskop och Inizio uppkom en unik möjlighet att utvärdera och vidareutveckla vår metod. Den resulterade i att vi gick över till att genomföra väljarbarometern helt webbaserat, helt enkelt för att telefon inte fungerar lika bra längre och det försämrade träffsäkerheten«, svarar hon på mejl (eftersom hon är sjuk i covid), och fortsätter:

»Diskussionen har hakat upp sig på samma enkla spår. Ständigt diskuteras urval som enda felkälla. Trots att både forskarna och SCB larmar om problem med bortfall och andra felkällor. Problem som vi med vår metod har en lösning på.«

Att Demoskop i januarimätningen skiljer 4,7 procentenheter för S jämfört med de övriga förklarar hon så här:

»Vår mätperiod är kortare än andra ­instituts, det gör att vi fångar upp förändringar snabbt. Under julhelgen var flera ministrar inklusive statsministern ute och julshoppade och MSB-chefen Dan ­Eliasson var på semesterresa till Kanarie­öarna. Vi såg i våra öppna svar att det fanns en omfattande kritik som drabbade S.«

»Med en kortare fältperiod [perioden för undersökningen] fångar vi upp tillfälliga uppgångar och nedgångar på ett annat sätt än traditionella lite långsammare metoder«, anser Karin Nelsson.

Viktor Tullgren, som driver pollofpolls.se, har själv politiska uppdrag för Socialdemokraterna i Örebro.

– Jag vet att S gör egna väljarmätningar i Stockholm, men partierna själva gör oftast undersökningar om väljarnas inställning i sakfrågor.

Han tycker att media alltför mycket uppmärksammar enskilda resultat som sticker ut i undersökningarna.

– När Reinfeldt var statsminister gjorde dåvarande Synovate en mätning i augusti 2011 som gav M 36 procent och placerade tre partier under spärren. Då skrev alla om M:s uppgång. Månaden efter hade de rättat till felet i undersökningen: M fick 31 procent och två av de tre klarade spärren. Då skrev man om M:s stora nedgång.

– Framför allt ifrågasätter man inte de »egna« mätningarna, när man samarbetar med ett undersökningsföretag.

Karin Nelsson på Demoskop ser inte risken med skeva urval av svarande i självrekryterade paneler:

»Vi har en väldigt gedigen rekrytering och en bra sammansättning av kön, åldrar, partisympati och region. Den håller oerhört hög standard och vi använder inga belöningar för att få folk att svara. Vi måste hela tiden göra bra undersökningar för att få folk att medverka. Panelen är prövad i sju år nu.«

»När vi pekade på Sverigedemokraternas tillväxt ifrågasattes mätmetoden, intill dess att faktum stod klart även för alla andra, att vi hade ett nytt parti som gjort entré«, svarar hon.

Man använder det som kallas kvoturval, en statistisk metod som används oberoende av källa.

»Det garanterar att vi når ett visst antal män och kvinnor i olika åldrar över hela landet, så att resultatet representerar riket. Vi har program för fraud detection, vilket innebär att vi skyddar panelen från att någon ska kunna ›ta över‹ panelen eller missbruka den.«

Vad är då råden till dem som tar del av mätningar som visar olika resultat? Ri­chard Öhrvall, med lång erfarenhet av väljarundersökningar, tipsar:

– Det klassiska är att inte stirra sig blind på en enskild mätning, utan se en sammantagen bild över tid och jämföra med andra mätningar. Och att ta i beaktande osäkerheten i urvalet. Bygger det på sannolikhetsurval och slumpmässiga urval eller något annat?

– Det går inte att sticka under stol med att bortfall i en undersökning är ett problem, men det går i viss mån att hantera genom att viktas rätt mot befolkningen. När det gäller webbpaneler så har de inte någon enhetlig metod för hur personer som ingår väljs ut och det är vanligen okänt hur det går till, säger han.

Sveriges Radio/Ekot publicerar varje månad en sammanvägning av mätningar i Svensk väljaropinion. Där ingår Novus, Kantar Sifo och Ipsos, men inte Demoskop. »Orsaken är att företaget bytt metod och nu bara delvis använder slumpmässigt urval«, skriver man.

Demoskop AB har funnits sedan 2019, då gamla Demoskop och Inizio gick samman i ett nytt bolag. Demoskop ägs till 68,4 procent av Auronus, där Moderaterna närstående Peje Emilsson är ensam ägare, och till resterande del av företagets medarbetare. Auronos äger också 53 procent av pr-koncernen Kreab Worldwide, där Emilsson är styrelseordförande och Carl Bildt vice ordförande.