Tieteellisten julkaisujen ja tiedeuutisten lukeminen on työni innostavimpia puolia. Saan seurata eturivissä tieteen uusimpia löytöjä ja pohtia niiden merkitystä. Useimmiten luen oman tutkimusalani julkaisuja, mutta kirjoittaessani tietokirjoja ja tehdessäni televisio-ohjelmia tieteestä luen myös muiden alojen julkaisuja.

Mistä tunnistaa laadukkaan tiedeartikkelin? Onko tieteellisessä lehdessä julkaistu aina totta ja voiko tiedeuutisointiin luottaa?

Tieteellisten artikkelien lukemista auttaa samankaltaisena toistuva rakenne, johon jo tutustuimme tämän kurssin osiossa 2. Artikkelissa on osat johdanto ja teoreettinen tausta, aineisto, menetelmät ja tulokset sekä pohdinta. Niissä kaikissa on tutkimustuloksen tulkinnan kannalta olennaista tietoa.

Artikkelin otsikko kertoo, mitä tutkijat haluavat tuloksessa korostaa. Tiivistelmästä saa nopean yleiskuvan siitä, mitä tutkimuksessa on tehty ja mitkä ovat keskeisimmät johtopäätökset.

Johdannossa on paljon tulosten tulkinnan ja arvioinnin kannalta olennaista tietoa. Siinä kerrotaan, kuinka tutkimus liittyy aikaisempaan tutkimukseen, miksi se on tehty ja mitä uutta tietoa se tuottaa.

Johdannon lopussa on usein tiivistys tutkimuskysymyksistä. Tässä vaiheessa hyppään yleensä hetkeksi artikkelin lopussa olevaan pohdintaosioon, josta kerrotaan, kuinka tutkimus vastasi tutkimuskysymyksiin.

Menetelmäosiossa kuvataan tutkimuksen osallistujat, tutkimuksen rakenne ja käytetyt mittausmenetelmät. Menetelmäosion pitäisi olla niin yksityiskohtainen, että lukija voi toistaa tutkimuksen. Osio on useimmiten alaa tuntemattomalle vaikeatajuinen, joten siihen ei kannata juuttua liian pitkäksi aikaa.

Menetelmiä lukiessani arvioin osallistujien lukumäärää suhteessa muihin vastaaviin tutkimuksiin. Liian pieni osallistujamäärä on harmillisen yleinen ongelma. Pohdin myös, onko otannan tapa oikea. Jos tutkimuksessa vaikkapa kerrotaan, että osallistujat olivat tutkimusryhmän työntekijöitä, mietin, kuinka se vaikuttaa tulokseen.

Jos osallistujia on karsittu pois esimerkiksi epäonnistuneiden mittausten vuoksi, arvioin karsittujen henkilöiden määrää ja karsiutumisen syitä. Tarkastelen myös ikä- ja sukupuolijakaumaa ja mietin, onko se perusteltu.

Tutkimusmenetelmien osalta arvioin, ovatko ne sopivia tutkimuskysymysten kannalta ja onko niitä käytetty oikein. Myös kokeen rakenteeseen on kiinnitettävä huomiota: onko esimerkiksi satunnaistaminen tai kontrolliryhmä kuvattu selkeästi. Tutkimusmenetelmän oikeellisuus liittyy validiteetin eli pätevyyden käsitteeseen eli pätevyyden käsitteeseen. Mittaako käytetty menetelmä sitä, mitä sen pitäisi mitata?

Tulososiossa kiinnitän huomiota tilastollisiin analyyseihin: ovatko valitut analyysin tavat mielekkäitä ja onko analyysi tehty oikein? Vaikka tilastolliset analyysit eivät olisi tuttuja, niistä voi silti tarkistaa asioita. Ensinnäkin artikkelista pitäisi löytyä jokin tilastoanalyysi. Määrällisessä tutkimuksessa tilastollisen analyysin puuttuminen viestii mahdollisista ongelmista. Laadullisessa tutkimuksessa analyysi tehdään yleensä muilla tavoilla ja tilastollista testausta ei ole.

Kannattaa myös etsiä sanaa ”significant” eli merkitsevä, joka viestii tilastollisesti merkitsevästä tuloksesta. Toisaalta, jos tulososiossa mainitaan, että tulos on ”lähes merkitsevä” tai ”lähestyy merkitsevää”, saattaa kyseessä olla tilastollisten analyysin tuloksen tulkitseminen väärin. Vaaran merkkeinä olevia avainsanoja löytyy blogijutusta Still not significant.

Tulokseen liittyvistä kuvaajista tarkistan, mitä oikeastaan on visualisoitu: onko kyseessä jokin tunnettu aineiston kuvaamisen menetelmä vai ovatko tutkijat keksineet jonkin oman tavan visualisoida tulos? Jälkimmäisessä tutkailen visualisointia erityisen tarkasti ja pohdin, miksi tutkijat eivät ole käyttäneet tyypillisiä menetelmiä. Onko tuloksen jotakin piirrettä haluttu erityisesti korostaa?

Joskus tuloksia esitetään vääristellyillä visualisaatioilla, mutta tieteellisissä julkaisuissa törmää harvoin niin karkeisiin vääristelyihin kuin Wikipedia-artikkelissa Misleading graph. Eri tavoin epäonnistuneita kuvaajia käsitellään myös luvun Tutkimusaineiston visualisoiminen tehtävässä.

Pohdintaosioissa tutkijat esittävät tuloksesta oman tulkintansa. Aluksi kerrotaan, missä määrin johdannossa esitettyihin kysymyksiin saatiin vastauksia. Tätä kohtaa on kiinnostavaa vertailla toimittajien uutisissa esittämiin tulkintoihin. Erityisesti kannattaa kiinnittää huomiota siihen, kuinka vahvasti tutkijat ilmaisevat tulokset. Usein tulos, joka on uutisoitu sanoilla ”Tutkijat ovat todistaneet, että…” osoittautuu alkuperäisartikkelissa paljon varovaisemmin ilmaistuksi.

Pohdintaosiosta kannattaa myös etsiä tutkijoiden arviota tutkimustulosten suhteesta aikaisempiin tutkimuksiin. Kuinka yllättäviä tulokset heidän mielestään ovat ja mikä tähän on syynä? Mitä tiedetään nyt tarkemmin? Pitääkö joitakin aikaisempia käsityksiä hylätä?

Tutkijat yleensä myös kuvailevat tekijöitä, jotka heikentävät tulosten yleistettävyyttä tai luotettavuutta. Näitä kohtia kannattaa etsiä, koska ne auttavat ymmärtämään tutkimuksen heikkouksia.

Vaikka tutkimus olisi julkaistu vertaisarvioidussa lehdessä, sen tulokset eivät välttämättä pidä paikkaansa. Tieteellisiin julkaisuihin voi lipsahtaa artikkeleita, joissa on virheitä. Joskus harvemmin nämä ovat suoranaisia väärinkäytöksiä, kuten väärennettyjä tuloksia. Tunnettuja väärentäjiä ovat esimerkiksi titleen huomio, että siirrytään vox.com-sivuston juttuun Andrew Wakefieldista Wakefield, joka väitti, että autismilla on yhteyttä pikkulapsille annettavaan MPR-yhdistelmärokotteeseen (MPR = tuhkarokko, sikotauti, vihurirokko -rokote), ja Diederik Stapel, joka tekaisi ja vääristeli tutkimustuloksia ainakin yli 30 artikkeliin.

On myös mahdollista, että artikkelissa on virhe, jota kukaan ei ole huomannut. Joskus tulos syntyy myös sattumalta. Yksittäinen tulos ei siis välttämättä todista mitään, vaan sitä pitää tarkastella osana tutkimuksen jatkumoa. On tärkeää pohtia, kuinka yllättävä tulos on verrattuna aikaisempiin käsityksiin ilmiöstä.

Jos artikkelissa havaitaan vakava virhe, sen julkaisu saatetaan perua. Englanniksi julkaisun perumisesta käytetään termiä "retraction", mikä viittaa takaisin vetämiseen. Takaisin vedettyjä julkaisuja seuraa verkkosivusto Retraction Watch, josta saa hyvän kuvan tieteellisten artikkelien ongelmista. Nopeaa tietoa artikkelin mahdollisista ongelmista löydät myös PubPeer-sivustolta, jossa on asiantuntevaa analyysiä artikkeleista.

Erityisen poikkeuksellisten tulosten yhteydessä kannattaa odottaa, että joku muu toistaa tulokset. Tiedemaailmaa on viime vuosina piinannut replikaatiokriisi, kun tutkijat eivät ole pystyneet toistamaan aiempia tuloksia. Tämän vuoksi esimerkiksi psykologiassa on tehty laajoja toistotutkimuksia.The American Statistician -lehden artikkeliin laajoista toistotutkimuksista.

Tutkimuksen toistamiseen voi kuitenkin mennä vuosia, joten mullistavaakin tulosta pitää tulkita sellaisenaan.

Tieteellisen tuloksen tulkinta ei ole kokeneellekaan tutkijalle aina helppo tehtävä, sillä se vaatii taustatietoja ja kokemusta kyseisen alan käytännöistä. Toisaalta tieteelliseen alkuperäisjulkaisuun tarttumista ei kannata liikaa arastella, koska artikkelien tulkintojen vertailu tiedeuutisiin on yleensä hyvin mielenkiintoista.

Tiedeuutisia julkaistaan nykyisin valtavia määriä, ja uutistulvasta erottuminen vaatii houkuttelevia otsikoita. Niinpä toimittaja, lehdistötiedotteen kirjoittaja tai tutkija saattaa liioitella tulosta suuremman julkisuuden toivossa. Näin saadaan enemmän lukijoita, mutta samalla alkuperäinen tulos saattaa vääristyä.

Tiedeuutista ja alkuperäisartikkelia vertaillessa huomiota kannattaa kiinnittää uutisista heijastuvaan varmuuteen ja mullistavuuden kuvailuun. Alkuperäisartikkelista paljastuu useimmiten, että tutkijat ovat tuloksen tulkinnassa varovaisempia.

Myös mullistavuus ja yllättävyys paljastuvat usein liioitteluksi, kun artikkelista selviää, että tulos perustuu vahvasti muiden tutkijoiden aikaisemmalle työlle. Usein saman suuntaisia tuloksia on jo olemassa ja uusi tulos vain vahvistaa aikaisempia käsityksiä. Tiede etenee tutkijayhteisön yhteistoimintana ja yksittäistä tulosta kannattaa tarkastella osana tutkimusalueen muita tutkimuksia.

Esimerkki 1. Telepatia on todistettu. Smithsonian Magazine uutisoi vuonna 2014, että "telepaattinen viestintä on käden ulottuvilla". Tulos on yllättävä, koska telepatian olemassaolosta ei ole tieteellisiä todisteita. Uutisen ja PLOS ONE -lehdessä julkaistun alkuperäisen artikkelin lukeminen kuitenkin paljastaa, että viestintä ei tapahdu yliaistillisesti vaan aivosähkökäyrän ja aivojen magneettistimulaation avulla. Toimittaja on keksinyt otsikkoon vetävän termin, jota alkuperäisessä tutkimuksessa ei mainita.

Esimerkki 2. Kasvissyönti on ympäristölle haitallista. Science Daily Science Daily raportoi vuonna 2015, että salaatin syöminen on ympäristölle kolme kertaa haitallisempaa kuin pekonin. Uutinen perustui Environment Systems and Decisions -lehdessä julkaistuun tutkimukseen. Siihen tarttuivat esimerkiksi SFGATE-uutissivusto, ilmastojuttuihin keskittynyt Watts Up With That -sivusto ja Maaseudun tulevaisuus.

Tarkemmassa analyysissä valkeni, että uutisessa ei huomioitu ruoka-aineiden energiatiheyttä. Saadakseen neljän pekoniviipaleen verran kaloreita olisi syötävä iso muovikassillinen salaatinlehtiä, missä ei tietenkään ole mitään järkeä, koska ihmiset eivät elä pelkillä salaatinlehdillä. Harhaanjohtavasta uutisoinnista kirjoittivat esimerkiksi Truth or Drought -sivusto - ja vegan.com-sivusto -sivustot. Uutinen oli lähtenyt liikkeelle lehdistötiedotteesta, joka nosti salaatti-pekoni-vertailun pääuutiseksi.

Esimerkki 3. Shoppailu on yhtä mukavaa kuin seksi - ellei jopa mukavampaa, otsikoi MTV news vuonna 2015, otsikoi MTV news vuonna 2015. Uutisjutun kirvoittaneessa Neuron-lehden artikkelissa ei puhuttu seksistä, vaan todettiin, että ostopäätöksien yhteydessä aivojen palkitsemiseen ja mielihyvään liittyvät alueet aktivoituvat. Palkitsevia ja mielihyvää tuottavia kokemuksia voi saada muillakin tavoilla. "Shoppailu on yhtä kivaa kuin postimerkkeily" ei kuitenkaan olisi ollut yhtä kiinnostava otsikointi.

Tiedeuutisen arviointi kannattaa aloittaa vertailemalla eri uutislähteitä. Tunnettujen yleistiedelehtien Naturen ja Sciencen uutissivut kannattaa tarkistaa, koska niiden analyysi on useimmiten laadukasta.

Kun tutkimustulos saa laajasti huomiota lehdistössä, suuri osa englanninkielisistä uutisista on kopioitu suoraan lehdistötiedotteesta tai toisista tiedeuutisista. Uutisia vertaillessa kannattaa painottaa niitä, joissa on haastateltu alan asiantuntijoita, koska heidän kommenttiensa avulla on helpompi hahmottaa tiedeyhteisön suhtautuminen tulokseen.

Jos kaikki uutiset ovat samanlaisia, kannattaa tehdä hakuja alkuperäisen tiedeartikkelin kirjoittajien nimellä ja liittää hakuun kriittiseen suhtautumiseen liittyviä sanoja (criticism, skeptical, controversy). Tällä tavalla saattaa löytää kriittisen analyysin tuloksesta. Esimerkiksi Twitterissä alan asiantuntijat saattavat kommentoida artikkelia hyvinkin nopeasti. Toisaalta kannattaa punnita, onko kirjoittaja juuri kyseisen alan asiantuntija ja onko kritiikki aiheellista.

Systemaattisen uutisvertailun perusteella tuloksia pystyy jo jossain määrin tulkitsemaan, mutta useimmiten kannattaa lukea myös alkuperäinen artikkeli. Vaikka se saattaa olla vaikeatajuinen ja paljon ammattitermejä sisältävä, sitä voi silti vertailla tiedeuutisten johtopäätöksiin.

Vaikka yhä useammat tieteelliset tekstit julkaistaan avoimesti, jäävät monet edelleen maksumuurin taakse. Tällöin julkaisun kirjoittajilta voi pyytää kopiota artikkelista. Tutkija on iloinen, jos joku on kiinnostunut hänen julkaisustaan, ja useimmiten artikkelin saa nopeasti. Esimerkiksi Vision Research -lehden artikkelissa The McCollough World: Induction of orientation-contingent aftereffects with an altered-reality system on ensimmäisen kirjoittajan nimen perässä pieni kirjekuoren merkki. Kirjekuorta klikkaamalla saa kirjoittajan sähköpostiosoitteen näkyviin.