«Fake fake news» og statistikk | Simen Gaure
Uken som gikk bød på muligheter for å gjennomgå litt elementær statistikk i forbindelse med meningsmålinger.
I Uviten skriver Nina Kristiansen, Atle Fretheim, Marit Simonsen og Simen Gaure hver uke om det de mener er dårlig forskning, flau formidling, kunnskapsløse politiske forslag og ren fusk.
I forrige uke, etter Knut Arild Hareides støtte til en Ap-regjering, ble det en del bølger rundt en meningsmåling utført av Respons Analyse for VG. VG presenterte undersøkelsen med at et flertall av KrF-velgerne vil at partiet skal danne regjering med Ap og Sp.
Gunnar Stavrum i Nettavisen mente på sin side at undersøkelsen er «fake news», og at flertallet er «tatt ut av luften» og har «ingen faglig dekning». Stavrum fremhever at det kun var 48 KrF-velgere med i undersøkelsen og mener at det ikke er et tilfeldig utvalg. Han avslutter med at VGs oppslag er «babbel» og at man ut ifra dette ikke kan vite noe om KrF-velgerne.
Tilfeldig utvalg
Det kan være mange feilkilder i utvalgsundersøkelser, men la oss først se på Stavrums innvendinger. Av et tilfeldig utvalg på 1000 personer har altså 48 svart at de vil stemme KrF. Av disse har 36 svart at de støtter en Ap-regjering. Stavrum mener at det ikke er et tilfeldig utvalg av KrF-velgere ved forrige valg.
Det stemmer selvfølgelig, det er et tilfeldig utvalg av dem som sier de vil stemme KrF ved neste valg, etter Hareides utspill. Det er jo også det VG sier, det var hensikten med målingen.
Rundt omkring på sosiale medier sto selvutnevnte eksperter frem og mente at 48 var altfor få til å si noe om flertallet i KrF. Da vil jeg gjerne invitere leserne til å slå mynt og kron 48 ganger og se om de får 36 eller flere kron. Jeg har truet regneverket mitt til å gjøre det en million ganger og fikk det til 335 ganger, eller en sannsynlighet på 0,03 prosent.
Kan vi stole på meningsmålingene? | Bernt Aardal og Johannes Bergh
Hvis jeg isteden gjør eksperimentet en gang og regner ut at sannsynligheten er tilstrekkelig liten for å få så mange kron, konkluderer jeg med at mynten har en tendens til å bli kron oftere enn mynt. Eller, oversatt til meningsmålingen, KrF-velgere som støtter Ap er i flertall.
Dette er hva Respons Analyse har gjort, helt standard statistisk metode. Som med all sannsynlighetsregning får man ikke helt sikre svar, hvis alle leserne slår mynt og kron 48 ganger vil en del måtte konkludere at mynten er ubalansert. Slik er statistikkfaget, det gjelder alle meningsmålinger.
Mye som kan gå galt
Det er selvfølgelig en mengde andre ting som kan gå galt i meningsmålinger, for eksempel kan det tenkes at KrF-velgere som støtter Ap har en større tilbøyelighet til å ha telefon, ta telefonen, svare på spørsmål, eller innrømme at de vil stemme KrF. Det kan gi skjevheter, men slike problemer er felles for alle meningsmålinger, ikke noe spesielt for denne.
Jan Arild Snoen: Mediene bruker meningsmålinger feil
Et annet problem er selve spørsmålsstillingen. I TV2s måling mener 70 prosent av KrF-velgerne at KrF hører hjemme på høyresiden, men det er et annet spørsmål enn om man faktisk vil støtte en regjering utgått fra Høyre, muligens med FrP-støtte. I NRKs måling vil 51 prosent av KrF-velgerne ha Solberg som statsminister, kun 34 prosent Støre.
Det er enda en variant over det samme temaet, men ikke det samme spørsmålet, og følgelig ikke direkte sammenlignbart. Disse undersøkelsene har brukt den samme utvalgsmetoden, med like få svar. Ingen har så vidt jeg ser kalt det for «fake news».
I det store og det hele kan man regne med at profesjonelle meningsmålere har kontroll på hva de driver med, mens derimot tolkningene av resultatene i offentligheten kan være så ymse.
