Meningsmålinger gjør oss fartsblinde for fakta | Gunnar Stavrum
Et nyansert bilde gjør seg dårlig i en avistittel eller i politisk påvirkning.
For kort tid siden kunne NRK radio og en rekke av landets aviser fortelle oss at «nordmenn mener at fartsgrensene er høye nok». Grunnlaget var en meningsmåling fra Kantar for Trygg Trafikk, og på nettsidene hevder Trygg Trafikk at mer enn syv av ti mener fartsgrensene i Norge er riktige eller burde vært lavere.
Dessverre er dette grovt misvisende.
Riktignok svarer 64 prosent at fartsgrensene er riktige som de er. Men blant dem som har en avvikende mening, vil tre ganger flere (25 prosent) heve fartsgrensene enn de som mener at fartsgrensene bør senkes (8 prosent). En mer dekkende tittel ville altså vært at «nær 9 av 10 mener at fartsgrensene i Norge er riktige eller burde vært høyere».
Spørsmålet er om det å kalle noe for meningsmåling gjør oss fartsblinde. Glemmer vi vår kritiske sans for hvilke interesser som ligger bak å bestille og distribuere meningsmålinger for å fremstille noe som fakta?
Formidlingen reflekterer ikke virkeligheten
Etter å ha gjennomgått over 700 meningsmålinger som er utført for norske direktorater de siste fire årene, er inntrykket at vi dessverre ikke kan stole på at formidlingen av målinger reflekterer virkeligheten.
En metode som går igjen, er å sette en tolkningsramme («framing») på fenomener for å sette dem på dagsordenen, for i neste omgang å oppnå økt oppmerksomhet og større bevilgninger. Ofte overspilles funn gjennom spissing og forenkling, altså typiske eksempler på medietilpasning og opinionspåvirkning på tynt statistisk grunnlag.
Hva skal vi med Faktisk.no?
Offentleglova gir rett til innsyn ikke bare i publiserte målinger, men også bestilte, men upubliserte, målinger fra direktoratene. Det er viktig for å avdekke om målinger som gir et uønsket bilde, blir lagt i skuffen. Det ser ikke ut til å være utbredt.
Derimot er det stor variasjon i metode og en rekke brudd på ordinære, vitenskapelige tommelfingerregler for metodisk etterrettelighet og pålitelighet.
Uten unntak er den eldre befolkningen over 80 år systematisk utelatt, og blindsonen blir større etter hvert som man når pensjonsalderen.
Når noe fremstilles som folkets oppfatning, er det i mange tilfeller bare den del av befolkningen som har tilgang til internett og som har sagt seg villig til å svare på spørsmål i nettpaneler. Det er et univers som ofte ikke er større enn 50.000-60.000 mennesker.
Eksempelet spillavhengighet
Et ferskt og mye publisert funn er påstanden om at 55.000 nordmenn har alvorlige problemer med pengespill. Påstanden stammer fra en forskningsrapport for Lotteritilsynet og Kulturdepartementet, utført av Institutt for samfunnspsykologi ved Universitetet i Bergen.
Grunnlaget for påstanden er svar fra 126 respondenter i uttrekk på 30.000 personer fra Folkeregisteret, der to tredjedeler ikke ville svare på undersøkelsen. Funnet er problematisk av minst to åpenbare grunner:
- Hvordan har man forsikret seg om at frafallet ikke er selektivt (altså at det systematisk er folk med større eller mindre spilleproblemer som ikke har tatt seg bryet med å svare)?
- Og hvor sikkert er et funn basert på 126 svar når det skal generaliseres til befolkningen som helhet?
Svarprosenten var 32,7 prosent, og utvalget ble vektet på kjønn, alder og geografi. Siden man ikke vet noe mer om potensielle skjevheter i utvalget, er det ikke korrigert for dårlig representativitet i holdninger til spill eller i spilleadferd.
Selv om vi antar at frafallet på 73,3 prosent ikke er skjevt, så står vi fortsatt igjen med en presentasjon basert på kun 126 svar. Bare den statistiske usikkerheten gir et konfidensintervall (feilmargin) som sier at med 95 prosent sikkerhet er antallet problemspillere mellom 43.000 og 63.000 personer.
Det er altså en 1/20 mulighet for at det reelle tallet er under 43.000 eller over 63.000 personer. Men dette nyanserte bildet gjør seg dårlig i en avistittel eller i politisk påvirkning.
Bør meningsmålinger inneholde obligatoriske varefakta?
Tidligere SV-statsråd Bård Vegar Solhjell og statsviter Ketil Raknes skriver i boken Jakta på makta at det å etablere noe som en sannhet er et viktig premiss for politisk innflytelse, og at argumenter står sterkere med et godkjentstempel fra en uavhengig av tredjepart.
Det er et godt poeng som illustrerer skyggesiden av meningsmålingsdemokratiet. Meningsmålinger egner seg for å etablere noe som en sannhet fordi folk flest hverken har mulighet eller forutsetninger for å undersøke grunnlaget.
Mediene må holde kritisk distanse under koronakrisen
Gjennomgåelsen av direktoratenes meningsmålinger viser at de ikke bare brukes ut mot offentligheten for å påvirke politisk utenfra, men også i den interne kampen om ressurser og innflytelse i byråkratiet.
For offentligheten er journalister ofte førstelinjeforsvaret, og det er på tide å en reise en debatt om meningsmålinger bør inneholde noen obligatoriske varefakta fra en sjekkliste:
- Hvem har bestilt målingen og hvilke interesser har de av resultatet?
- Følger undersøkelsen anerkjente krav til utvalg og balanse i spørsmålsformulering?
- Tar gjengivelsen høyde for usikkerhet i utvalgsfeil og spørsmålsstilling?
Ikke mer demokrati, men verktøy for påvirkning
Innledningsvis ble Trygg Trafikks undersøkelse nevnt, men båtfolket ligger ikke så langt unna. Tidligere i år viste en undersøkelse fra Norstat for Frende Forsikring at 58 prosent av befolkningen vil senke promillegrensen for båt, ifølge en pressemelding fra forsikringsselskapet.
Hadde man tatt seg bryet med å sjekke spørsmålsstillingen, dukker det opp noen faglige innvendinger. Spørsmålet som ble stilt, var: «Promillegrensen for båt er fire ganger høyere enn for bil. Synes du promillegrensen for båt burde vært lavere?»
Dette er et skoleeksempel på et ledende spørsmål, men konklusjonen ble gjengitt ukritisk av mange medier. Sannsynligvis ville svarene vært annerledes hvis man kun spurte: «Synes du promillegrensen for båt burde være høyere, fortsette som i dag, eller lavere?»
Poenget er at en stor del av befolkningen kanskje ikke har kunnskap eller interesse av spørsmålet, og at de velger letteste vei ut. Faren er altså at man måler holdninger som ikke finnes, og fremstiller funnene som sikrere enn de er. Og da gir ikke meningsmålinger mer demokrati, men blir et verktøy for påvirkning.
Følg og delta i debattene hos Aftenposten meninger på Facebook og Twitter
