Uusi tutkimus osoittaa, että eri tutkijat tekevät samoista aineistoista erilaisia johtopäätöksiä
Yli 300 tutkijasta koostuva ryhmä on julkaissut tutkimuksen, joka valottaa ekologisen ja evoluutiobiologisen tutkimuksen luotettavuutta. Kirjoittajaryhmää johtivat vastaava kirjoittaja Tim Parker (Whitman College, Yhdysvallat), Elliot Gould (University of Melbourne, Australia), Hannah Fraser (University of Melbourne, Australia) ja Shinchi Nakagawa (University of Alberta, Kanada). Tällä tutkimuksella voi olla vaikutusta laajemminkin tiedeyhteisöön, sillä se korostaa tarvetta puuttua tutkimustulosten analysointimenetelmien vaihteluun.
Tutkimukseen osallistuneet tutkijat jaettiin kolmeen eri ryhmään. Ryhmistä kaksi analysoi jommankumman annetun aineiston perusteella vastauksen esitettyyn tutkimuskysymykseen. Yksi aineisto oli sinitiaisten poikasista ja kysymys oli vaikuttaako sisarusten määrä poikasten kasvuun. Toisen aineiston perusteella vastattiin kysymykseen vaikuttaako ruohokasvien määrä eukalyptustaimien itämiseen. Kolmas ryhmä arvioi tehtyjä analyyseja ja niillä saatuja tuloksia. Minä olin mukana tässä arviointiryhmässä ja sain arvioitavakseni kymmenisen tutkijan analyysit ja heidän perustelunsa menetelmien valintaan.
Analyysejä tekeviä tutkijoita oli yhteensä 173 ja he saivat yhteensä 215 hyväksyttävää analyysitulosta (134 sinitiaisaineistolla ja 81 eukalyptusaineistolla). Tutkijat löysivät samoja aineistoja käyttäen hyvin erilaisia vastauksia ennalta määriteltyihin tutkimuskysymyksiin. Suurin osa sinitiaisaineistoa analysoivista tutkijoista sai tuloksen, että sisarusten suuri määrä hidastaa poikasen kasvua, mutta hajonta oli suurta ja osa sai myös täysin päinvastaisen tuloksen. Eukalyptusaineistoa analysoineet tutkijat saivat suurin osa tuloksen, että mitä enemmän ruohokasveja, sen huonommin eukalyptustaimet itivät, mutta tässäkin aineistossa saaduissa tuloksia oli laajaa vaihtelua. Huomasin itsekin, että tutkijat olivat sekä käyttäneet erilaisia tilastollisia menetelmiä että myös rajanneet analysoitua aineistoa hyvin eri tavoin. Tämä osoittaa tutkimuksenaikaisen päätöksenteon monimuotoisuuden ja valottaa samalla tieteellisten prosessien mahdollisia epäluotettavuuden ja vinoumien lähteitä. Tiedemaailmassa on jo aiemminkin havaittu, että tutkijoiden tekemät valinnat esim. tilastollisissa menetelmissä voivat johtaa erilaisiin johtopäätöksiin silloinkin, kun eri menetelmävaihtoehdot ovat kaikki järkeviä.
Tällaisen huomattavan vaihtelun mahdollisuus vaikuttaa merkittävästi siihen, miten tutkijat analysoivat aineistoja. Tästä tutkimuksesta julkaistussa artikkelissa kuvataan useita tilastollisia menetelmiä, joita tutkijat voisivat ottaa käyttöön huomioidakseen mahdollisen tulosten vaihtelun. Tutkijat voivat esimerkiksi tehdä useita erilaisia analyyseja samasta aineistosta arvioidakseen tulosten samankaltaisuutta eri tilastollisten mallien välillä. Nämä ovat vaihtoehdot voivat parantaa tieteellisen tutkimuksen luotettavuutta ja laajemmin tutkimuksen avoimuutta.
Tässä tutkimuksessa osoitettiin, että useiden erilaisten tilastomenetelmien käyttäminen voi vaikuttaa merkittävästi tilastollisiin tuloksiin ekologiassa ja evoluutiobiologiassa. Aiemmin tätä aihepiiriä tutkittu eniten yhteiskuntatieteissä, mutta nyt on selvää, että kyseessä on yleinen huolenaihe tiedemaailmassa.
Toivottavasti tämän artikkelin havainnot rohkaisevat tutkijoita, tutkimusorganisaatioita, rahoittajia ja tiedelehtiä tukemaan toimia, joilla pyritään parantamaan tutkimuksen täsmällisyyttä, mikä viime kädessä vahvistaa tieteellisen tiedon luotettavuutta.
Gould, E., Fraser, H.S., Parker, T.H. et al. Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology. BMC Biol 23, 35 (2025). https://doi.org/10.1186/s12915-024-02101-x (Open access)
Kirjoittaja on erityisesti lintuja tutkiva tohtori ekologian alalta.