Kan vi stole på meningsmålingene? | Bernt Aardal og Johannes Bergh
Meningsmålingene fungerer i hovedsak godt. Problemet ligger i måten de tolkes og brukes.
Meningsmålinger har fått et dårlig rykte.
Helbom for meningsmålingene ved det britiske parlamentsvalget i 2015 førte til at det ble nedsatt en egen granskningskommisjon. Likevel ble det en ny bom i forbindelse med Brexit-avstemningen i 2016.
Meningsmålernes spådom om at Hillary Clinton kom til å vinne presidentvalget i USA sist høst, var heller ikke en innertier (selv om hun faktisk fikk flest stemmer). Disse hendelsene gjør at stadig flere spør om vi kan stole på norske målinger. Vårt svar er at de i hovedsak fungerer godt, men at problemet heller ligger i måten disse tolkes og brukes.
I denne artikkelen ser vi først på norske meningsmålingers treffsikkerhet, dernest kritiserer vi medienes presentasjon av målingene, før vi til slutt advarer mot å feste for stor tillit til oppsiktsvekkende utslag.
Utslag gir nyheter
I disse dager opplever vi at meningsmålingene dominerer valgkampdekningen. Har du en ny måling, har du pr. definisjon en nyhet. Viser målingene store utslag, har du en enda større nyhet.
I Norge har vi gode erfaringer med meningsmålingenes treffsikkerhet, men det betyr ikke at alle målinger er like presise.
Før valget i 2013 varierte oppslutningen om FrP fra 21,9 prosent til 14,1 prosent. Samtidig var gjennomsnittet av målingene 16,8 prosent, svært nær valgresultatet på 16,3 prosent.
I gjennomsnitt (for alle partiene) var det et avvik på 0,5 prosentpoeng mellom de siste målingene og valgresultatet. TV2 og TNS Gallups valgdagsmåling, som ved flere valg har truffet godt, hadde et gjennomsnittlig avvik på 0,6 prosentpoeng.
Med andre ord treffer norske meningsmålinger i snitt rimelig godt, selv om det kan være betydelig variasjon mellom dem.
Harald Stanghelle: Slutt å stole på meningsmålingene!
Slutt å stole på journalistene om meningsmålinger! Roar Hind og Ole Fredrik Ugland
Ingen skjevhet
I diskusjoner om meningsmålinger hører man noen ganger påstander om at partier gjør det bedre på målinger enn i valg, eller at partier gjør det bedre ved valg enn i meningsmålinger. Sistnevnte kan være en trøst for partiledere som opplever dårlige målinger. De kan ha en oppfatning om at «våre velgere møter opp når det er valg, de svarer ikke på meningsmålinger».
Slike forskjeller mellom meningsmålinger og valgresultat finnes det mange eksempler på, men i våre data som dekker gjennomsnittet av meningsmålinger fra 1989 og frem til i dag, er det ikke mulig å påvise et statistisk signifikant mønster for noen av partiene. Det ser altså ikke ut til å være en systematisk skjevhet over tid i norske målinger.
Endrer partivalg rett før valg
For øvrig skyldes avvik mellom målinger rett før valget og valgresultatet ikke nødvendigvis feil i målingene, men kan bety at velgerne bestemmer seg sent eller at de skifter mening i siste liten. I Valgundersøkelsen i 2013 fant vi at nesten 200 000 velgere bestemte seg på selve valgdagen. Ved tidligere valg har enda flere bestemt seg sent. Vi vet også at om lag 40 prosent av velgerne har endret partivalg i løpet av valgkampen.
Men er alt såre vel? Fortsatt opplever vi at målingene spriker. Der noen målinger viser at et parti har gått tilbake, viser en annen måling at partiet har gått frem. Når mediene bruker «sin» måling (dvs. den de selv har betalt for) som eneste sannhetsvitne, kan forvirringen bli stor.
Viktige feilmarginer
Undersøkelser der man intervjuer et utvalg av befolkningen er aldri helt sikre. Men gitt at alle retningslinjer er fulgt, kan vi tallfeste usikkerheten. Det er det feilmarginen viser til. Men det mange glemmer når man sammenligner to resultater, er at det er feilmarginer for begge resultatene. Man bør derfor beregne feilmarginen for endringene fra forrige måling for alle partier. Eventuelt også hvis man sammenligner resultater fra ulike institutters målinger.
Den britiske granskningskommisjonen anbefalte sterkt at man foretok signifikansberegninger for forskjeller og endringer og ikke bare viste til feilmarginene for den siste målingen. Dette er et råd også norske medier bør merke seg.
Det å for eksempel vise til at «feilmarginen varierer mellom 0,7 og 3,7 prosent» (egentlig prosentpoeng) gir liten veiledning for den alminnelige velger. Når mediene i tillegg varsler «katastrofemåling» for ikke-signifikante resultater, blir forvirringen total. (Det finnes enkle hjelpemidler for slike beregninger).
Er det så farlig?
Men er det så farlig at målingene spriker? Ikke hvis medier, partier og velgere ser på gjennomsnitt og hovedtrender. Men for velgere som ønsker å bruke stemmen sin til å støtte partier som kan falle under sperregrensen, kan det føre til at de stemmer «feil». En overdreven opptatthet av tilfeldige opp- og nedturer kan dessuten skygge for det saklige innholdet i valgkampen.
Hvis vi skal se fremover, så har vi ingen garanti for at norske meningsmålinger vil være like treffsikre i fremtiden som de har vært til nå. Fallende og svært lav svarprosent i undersøkelsene gir mer usikre anslag. Svakheter i utvalgene er en av den britiske granskningskommisjonens hovedforklaringer på hvorfor målingene bommet i 2015.
Kan Trump takke seg selv for gale meningsmålinger? | Ottar Hellevik
USA og Storbritannia
De skjevhetene som kommisjonen fant i Storbritannia er svært lik de utvalgsskjevhetene vi finner i norske målinger; for eksempel at personer uten høyere utdanning er underrepresentert. Hvis de gruppene som er underrepresentert i meningsmålingene begynner å stemme på en helt annen måte enn befolkningen for øvrig, vil meningsmålingene ikke treffe særlig godt på valgresultatet. Det var til dels det som skjedde i USA og Storbritannia i 2016.
Den økte oppmerksomheten om sprikende målinger kan paradoksalt nok være en fordel, i og med at man da ikke tillegger enkeltmålinger for stor vekt. En gjennomgang av forskning på meningsmålingenes påvirkningskraft, som ble gjort for noen år siden, ga ikke noe entydig svar på i hvilken grad velgerne blir påvirket. Uansett er det vanskelig å skille målingenes betydning fra andre forhold som gjør seg gjeldende i en valgkamp.
Et råd til journalister
Til slutt er det grunn til å nevne at selv om endringer ligger utenfor feilmarginen for vedkommende måling, kan det likevel forekomme tilfeldige utslag. La oss derfor gi et råd som nok bryter med journalistiske instinkter: Meningsmålinger som viser et bilde som går på tvers av rådende trender og som ikke kan gis en overbevisende forklaring, bør behandles med særskilt varsomhet.
