Krøll på forskningsformidlingen

Det er omtrent umulig for de som ikke er fageksperter å skille god og dårlig forskning fra hverandre.

Forskerne har selvsagt selv et ansvar for å gi en riktig fremstilling av sine resultater og eventuelle svakheter ved disse, men også media har en viktig rolle i å skille mellom god og dårlig forskning. Spesielt kommer ofte svakheter på forskningen først fram langt ned i teksten, mens jakten på fete overskrifter og ingresser kan gi et feilaktig bilde av forskningen.

Med eksempler fra økonomisk forskning, vil jeg vise noen klassiske utfordringer når samfunnsforskningen formidles og brukes av media. En løsning på problemet er at media, for eksempel redaktørene, mer aktivt bruker forskere og forskningsmiljøer som har vist internasjonal og nasjonal kvalitetsforskning over tid til å vurdere resultatene som skal formidles.

Hvis resultatene fra studien blir brukt som grunnlag for politiske beslutninger om budsjettene til sykehus, kan det gi feilaktige beslutninger.

Hvis man skal bruke overskrifter med bruk av ord som Y «fører til» X, Y har en «effekt» på X, Y «gir mindre» X, eller Y «gjør mer» X, så må forskerne ha brukt metoder som skiller ut direkte årsakssammenhenger. Et klassisk eksempel fra boken Mostly Harmless Econometrics illustrerer problemer som kan oppstå hvis en ser på effekter som ikke er kausale:

Vi er interessert i sammenhengen mellom sykehusinnleggelse og helse. Blir folk friskere av å være på sykehus, eller kan faktorer som nærhet til smitte og stress ha negativ innvirkning på helsen til sykehuspasientene?

Motivasjonen for å studere denne sammenhengen kan være å vurdere effektiviteten av bruken av skattepenger til sykehus. Hvis mange ikke blir friskere av å ligge på sykehus, kan vi kutte eller omprioritere budsjettene til sykehusene.

En tenkt studie som ser på sammenhengen mellom å ha vært innlagt på sykehus og folks helse, kan tilsynelatende gi svar på spørsmålet vårt. Studien finner at personer som har vært innlagt på sykehus, sammenlignet med befolkningen generelt, er sykere etter sykehusoppholdet enn personer som ikke har vært innlagt på sykehus, og man konkluderer med overskriften: Sykehusopphold gjør folk sykere. Men er det riktig konklusjon?

Problemet med denne enkle analysen er at den ikke tar høyde for at de som legges inn på sykehus allerede hadde svakere helse enn resten av befolkningen. Opphold på sykehus gjør ikke nødvendigvis de innlagt like friske som resten av befolkningen, men pasientene blir gjerne friskere av å være på sykehus enn de ville vært uten å være på sykehus.

Problemet er at studien ikke tar hensyn til at firmaer som har kvinnelige ledere, kan være annerledes enn firmaer med mannlige ledere.

Hvis resultatene fra studien blir brukt som grunnlag for politiske beslutninger om budsjettene til sykehus, kan det gi feilaktige beslutninger. Forskere har derfor et ansvar for å peke på disse problemene når forskningsresultater formidles.

Men media har også en viktig rolle i å skille mellom god og dårlig forskning. Selv om forskeren påpeker svakheter med forskningen, kan media være fristet til å kjøre overskrifter som: Sykere av å ligge på sykehus! Som illustrert over er dette direkte feil, og selv om dette kanskje påpekes langt nede i teksten, vil de fleste lesere kun huske overskriften.

Et eksempel i DN illustrerer et lignende problem. DN kjørte følgende overskrift på kronikken Flere kvinnelige ledere gir lavere lønnsomhet (DN 14.9.2019), og følgende ingress: «Høyere kvinneandel blant ledere øker sykefraværet. Det gir lavere lønnsomhet i bedriftene.» Her kjøres «kausalitetsordene» Y gir lavere/øker/gir lavere X, tre ganger på de første setningene.

Saken omhandler et viktig spørsmål som det er skrevet og forsket mye på – hva er konsekvensene av likestilling mellom menn og kvinner? Overskriften bygde på en studie som så på sammenhengen mellom kvinnelig ledere og sykefravær i bedriften. Problemet er at studien ikke tar hensyn til at firmaer som har kvinnelige ledere, kan være annerledes enn firmaer med mannlige ledere. Kanskje firmaer med kvinnelige ledere har en annen sammensetning av arbeidsstyrken.

En kjapp telefon på forhånd vil være mye mer effektiv tidsbruk.

Selv om man kan kontrollere for noe av dette (kjønnssammensetning, andel med barn, og lignende), er det for eksempel vanskelig å finne data som rapporterer underliggende helsestatus til arbeidsstyrken i firmaet, type arbeidsoppgaver, konflikter i firmaet, sykefraværet før den kvinnelige lederen ble ansatt, og så videre.

Listen kan lages uendelig lang, og alle disse faktorene kan gi høyere sykefravær uten at det har noe med den kvinnelige lederen å gjøre. Først lang nede i kronikken nevner forfatterne at resultatene kan drives av denne typen seleksjon. De aller fleste utenfor fagkretsen vil da ha falt av lasset for lengst og det som sitter igjen er overskriften.

Selv om de fleste individer ikke vil endre atferd på grunn av en overskrift, kan det over tid, hvis formidlingen blir massiv, føre til at firmaer vegrer seg for å ansette kvinnelige leder. Gitt at det er tvilsomt at kvinnelige ledere fører til økt sykefravær (i alle fall kan vi ikke slå dette fast gitt nåværende forskning), er dette ikke en ønskelig utvikling for samfunnet.

I dette eksemplet svarte samfunnsøkonomer ved NHH kritisk på kronikken gjennom flere innlegg i DN. Utfordringen med et system som bygger på at andre forskere skriver innlegg i avisene, er at det er veldig tidkrevende å rydde opp i etterkant.

Tilslutt merk at det er mange tilfeller hvor ikke-kausale sammenhenger kan være interessante å rapportere.

For å få en bedre formidling av forskningsresultater i media, kan redaktørene og journalistene bli flinkere til å være i forkant og kontakte andre miljøer som forsker på lignende problemstillinger. En kjapp telefon på forhånd vil være mye mer effektiv tidsbruk, og vil dermed også fange opp mange flere eksempler på formidling som blir feilaktig framstilt.

Tilslutt merk at det er mange tilfeller hvor ikke-kausale sammenhenger kan være interessante å rapportere. Et kort eksempel fra egen forskning: Vi fant at i gjennomsnitt bor par i Norge nærmere mannens foreldre enn kvinnens foreldre, spesielt hvis en eller begge i paret har lav utdanning.

Dette er interessant å formidle, men da må ikke jakten på gode overskrifter lage kausale påstander som ikke er undersøkt. En påstand som ikke har grunnlag i vår forskning, men som man fort kan lage overskrift av, er for eksempel at lav utdanning fører til at man bosetter seg nærmere mannens foreldre.

Det er mest sannsynlig mange andre forskjeller mellom de med lav og høy utdanning som er bestemmende for hvor man bosetter seg.