Att läsa vetenskapliga publikationer och nyheter hör till de mest inspirerande sidorna av mitt jobb. På första parkett får jag följa de nyaste vetenskapliga rönen och fundera på vad de betyder. För det mesta läser jag publikationer inom mitt eget forskningsområde, men när jag skriver vetenskapliga fackböcker eller gör vetenskaps-tv läser jag också publikationer inom andra områden.

Hur känner man igen en högklassig vetenskaplig artikel? Är allt som publiceras i en vetenskaplig tidskrift sant och kan man lita på vetenskapsnyheterna?

När man läser en vetenskaplig artikel har man hjälp av den återkommande strukturen, som vi bekantade oss med i kursens del 2. En artikel innehåller delarna inledning och teoretisk bakgrund, material, metoder och resultat samt diskussion. Alla dessa delar innehåller relevant information med tanke på tolkningen av forskningsresultaten.

Artikelns rubrik visar vad forskarna vill betona i sitt resultat. Sammandraget ger en snabb överblick av vad man gjort i sin undersökning och vilka de mest centrala slutsatserna var.

I inledningen finns det mycket information med tanke på hur man ska tolka och bedöma resultaten. Där berättas hur forskningen är knuten till tidigare forskning, varför den genomförts och vilken ny kunskap den skapat.

I slutet av inledningen finns ofta forskningsfrågorna sammanfattade. I det här skedet hoppar jag vanligtvis till slutet av artikeln där jag läser diskussionsdelen. Den berättar hur undersökningen har besvarat forskningsfrågorna.

I metoddelen beskrivs vilka som deltagit i undersökningen, undersökningens struktur och vilka mätmetoder som använts. Metoddelen borde vara så detaljerad att läsaren skulle kunna upprepa undersökningen. Den här delen kan för det mesta kännas svår för dem som inte är insatta i området, så man ska inte fastna här alltför länge.

Medan jag läser igenom metoddelen bedömer jag antalet deltagare i förhållande till andra motsvarande undersökningar. En alltför liten deltagargrupp är ett förargligt allmänt problem. Jag funderar också på om urvalssättet är korrekt. Om det till exempel berättas att deltagarna jobbade i forskningsgruppen frågar jag mig hur det kan påverka resultatet.

Om man gallrat bort deltagare, till exempel på grund av misslyckade mätningar, uppskattar jag antalet bortgallrade personer och varför det skett. Jag granskar också ålders- och könsfördelningen och funderar på om den är motiverad.

För forskningsmetodernas del gör jag en bedömning av om de är lämpliga för forskningsfrågorna och om de använts korrekt. Man måste också fästa uppmärksamhet vid experimentets struktur: har man till exempel beskrivit randomiseringen eller kontrollgruppen tydligt? Hur korrekt en forskningsmetod är har att göra med validitet alltså hur giltig forskningsmetoden är. Mäter metoden vad den borde mäta?

I resultatdelen uppmärksammar jag de statistiska analyserna: har man valt lämpliga analyssätt och har analysen utförts korrekt? Även om man inte känner till statistiska analyser så kan man ändå kolla upp fakta. Till att börja med borde det finnas något slags statistisk analys i en artikel. I en kvantitativ undersökning skvallrar bristen på statistisk analys om att det kan finnas brister i undersökningen. I en kvalitativ undersökning görs analysen vanligtvis på andra sätt och där behöver inte finnas någon statistisk testning.

Det är också en god idé att söka efter ordet ”significant”, alltså signifikant (betydelsefullt), som skvallrar om statistiskt signifikanta resultat. Om det däremot sägs i resultatdelen att resultatet är ”nästan signifikant” eller ”närmar sig signifikant” så kan det vara fråga om en feltolkning av det statistiska analysresultatet. Nyckelord som är tecken på att något inte står rätt till finns i denna blogg Still not significant.

I figurerna som hör till resultaten granskar jag vad som egentligen har visualiserats: handlar det om en känd metod för att beskriva material eller har forskarna skapat något eget sätt för att visualisera resultatet? I det senare fallet granskar jag visualiseringen särskilt noggrant och funderar på varför forskarna inte har använt sig av de typiska metoderna. Har man velat framhäva något speciellt drag i resultatet?

Ibland presenteras resultatet med förvrängd visualisering, men i vetenskapliga publikationer påträffar man ändå sällan så grova förvrängningar som i Wikipediaartikeln Misleading graph. Figurer som misslyckats på olika sätt behandlas också i uppgifterna som hör till kapitlet Visualisering av forskningsmaterialet.

I diskussionsdelarna presenterar forskarna sina egna tolkningar av resultatet. I början berättas i vilken mån man kunde besvara frågorna som ställdes i inledningen. Den här delen är intressant att jämföra med tolkningar som journalisterna presenterar i nyheterna. Man ska i synnerhet uppmärksamma hur starkt forskarna uttrycker sina resultat. Det händer ofta att ett resultat som i nyheterna presenteras med orden ”Forskarna har bevisat att…” i själva verket är mycket försiktigare uttryckt i ursprungsartikeln.

I diskussionsdelen är det också en god idé att söka upp forskarnas bedömning av hur forskningsresultaten placerar sig i förhållande till tidigare forskning. Hur överraskande är resultaten enligt dem och vad beror det på? Vad vet man bättre i dag? Borde man förkasta någon tidigare uppfattning?

Forskarna berättar också vanligtvis om sådana faktorer som försvagar resultatens allmängiltighet eller pålitlighet. Dessa ställen ska man leta upp eftersom de hjälper en förstå undersökningens svagheter.

Även om undersökningen har publicerats i en referentgranskad tidskrift stämmer resultaten nödvändigtvis inte. Det kan slinka in felaktiga artiklar i vetenskapliga publikationer. Vid sällsynta tillfällen handlar det om rent missbruk, såsom förfalskade resultat. Kända förfalskare är bland annat Andrew Wakefield, som påstod att det fanns en koppling mellan autism och kombinationsvaccinet MPR som ges åt småbarn (MPR = vaccin mot mässling, påssjuka, röda hund) och Diederik Stapel, som svarvade ihop och förvrängde forskningsresultat i åtminstone mer än 30 artiklar.

Det är också möjligt att artikeln innehåller fel som ingen upptäcker. Ibland kan resultat också uppstå av en slump. Ett enstaka resultat bevisar alltså inte nödvändigtvis något, utan det måste granskas under fortsatt forskning. Det är viktigt att diskutera hur ett överraskande resultat ter sig i förhållande till tidigare uppfattningar om fenomenet.

Om det uppdagas ett allvarligt fel i en artikel så dras publiceringen tillbaka. På engelska kallar man detta ”retraction”. Webbisdan Retraction Watch följer med artiklar som dragits tillbaka och ger en bra bild av problemen med vetenskapliga artiklar. Snabb information om eventuella problem med artiklar finns också på webbplatsen PubPeer, där det finns sakkunnig analys av artiklar.

När det gäller mycket avvikande resultat ska man vänta tills någon annan upprepar resultaten. Vetenskapsvärlden har under de senaste åren drabbats av en replikationskris eftersom forskarna inte kunnat upprepa tidigare resultat. Av den orsaken har man till exempel inom psykologin genomfört omfattande upprepningsundersökningar.

Det kan emellertid ta åratal innan en undersökning upprepas, så också omvälvande resultat borde tolkas som sådana.

Inte ens en erfaren forskare tycker alltid att det är lätt att tolka vetenskapliga resultat. Det krävs en hel del bakgrundsuppgifter och erfarenhet av hur man gör inom ifrågavarande område. Man ska ändå inte dra sig för att ta sig an en ursprungspublikation, eftersom det är mycket intressant att jämföra tolkningen av artiklarna med vetenskapsnyheter.

Nuförtiden publiceras det massvis med vetenskapsnyheter och det krävs lockande rubriker för att skilja sig ur mängden. Det leder till att journalisterna, de som skriver pressmeddelanden eller forskarna kanske överdriver resultaten en aning för att få större publicitet. Då får man fler läsare men samtidigt kan det leda till att det ursprungliga resultatet förvrängs.

När man jämför vetenskapsnyheter och ursprungsartiklar ska man fästa uppmärksamhet vid hur nyheterna får resultaten att låta omvälvande och säkra. I ursprungsartikeln framgår det oftast att forskarna är försiktigare i sina tolkningar av resultaten.

Det framkommer ofta att de där omvälvande och överraskande beskrivningarna är överdrivna när man i artikeln kan se att resultatet bygger på andra forskares tidigare arbete. Det finns oftast resultat som pekar i samma riktning och det nya resultatet bekräftar bara tidigare uppfattningar. Vetenskapen framskrider som en gemensam forskarverksamhet och enskilda resultat ska granskas som en del av den övriga forskningen på området.

Smithsonian Magazine skrev år 2014 att ”telepatisk kommunikation är inom räckhåll”. Resultatet överraskade, eftersom det saknas vetenskapliga bevis för att telepati skulle existera. Om man läser nyheten och den ursprungliga artikeln avslöjas det emellertid att kommunikationen inte är översinnlig utan sker via elektroencefalogram och magnetstimulering av hjärnan. I rubriken hade redaktören dragit till med en rapp term, som inte nämns i ursprungsforskningen.

Science Daily rapporterade år 2015 om en undersökning, som sade sig visa att det är tre gånger mer skadligt för miljön att äta sallad än att äta bacon. Nyheten fick stor spridning. Bland annat nyhetssidan SFGATE drogs med, liksom sidan Watts Up With That som fokuserar på miljönyheter och Maaseudun tulevaisuus.

I en noggrannare analys uppdagades att man i nyheten inte hade beaktat födoämnenas energitäthet. För att få i sig kalorier som motsvarar fyra skivor bacon måste man sätta i sig en stor plastkasse med salladsblad och det är naturligtvis inte förnuftigt eftersom en människa inte kan leva på endast sallad. Bland annat sidorna Truth or Drought och vegan.com skriver om vilseledande nyhetsrapportering. Nyheten härstammade från ett pressmeddelande där man lyfte fram jämförelsen mellan sallad och bacon som huvudnyhet.

Så skrev MTV news år 2015. I undersökningen pratades inte om sex, utan det konstaterades att hjärnans områden för belöning och välbehag aktiveras när man fattar köpbeslut. Upplevelser som ger människan välbehag och belöning kan uppnås på flera andra sätt. ”Att shoppa är lika trevligt som att samla frimärken” skulle emellertid inte ha varit en lika intresseväckande rubrik.

Det är en god idé att börja granska vetenskapsnyheter genom att jämföra olika nyhetskällor. Kolla till exempel de kända allmänna vetenskapliga tidskrifterna Natures och Sciences nyhetssidor. De bjuder oftast på högklassiga analyser.

När ett forskningsresultat får omfattande uppmärksamhet i pressen har en stor del av de engelskspråkiga nyheterna kopierats direkt ur ett pressmeddelande eller andra vetenskapliga nyheter. När man jämför nyheter är det bra att lägga tonvikt på de nyheter där man intervjuat experter på området, eftersom deras kommentarer gör det enklare att få grepp om hur det vetenskapliga samfundet ställer sig till resultatet.

Om alla nyheter ser likadana ut lönar det sig att söka på den ursprungliga artikelförfattarens namn och lägga till kritiska sökord såsom criticism, skeptical eller controversy. Då kanske du hittar en kritisk analys av resultaten. Till exempel på Twitter kan experter på området kommentera artiklar kortfattat. Då ska man också överväga om personen är expert på området och om kritiken är befogad.

Genom en systematisk nyhetsjämförelse kan man redan i viss mån tolka resultaten, men oftast är det bäst att läsa den ursprungliga artikeln. Även om den är svår att förstå och innehåller många facktermer kan man ändå jämföra den med slutsatserna i vetenskapsnyheterna.

Allt fler vetenskapliga texter publiceras så de är öppna för alla, men många ligger bakom betalmur. Då kan man kontakta artikelförfattaren och be att få ett exemplar av artikeln. Forskaren är glad om någon intresserar sig för hens publikation och för det mesta skickar hen artikeln snabbt. Till exempel i artikeln The McCollough World: Induction of orientation-contingent aftereffects with an altered-reality system finns det efter den första författarens namn en kuvertsymbol. Genom att klicka på kuvertet ser du författarens e-postadress.