Kymmenen vuotta ”toistettavuuskriisiä”

Tulosten toistettavuus on keskeinen edellytys tieteellisesti tuotetun tiedon luotettavuudelle. Se on päämäärä, jonka eteen kaikkien tiedeyhteisöjen pitää aktiivisesti työskennellä. Toistettavuuden asettaminen kyseenalaiseksi on osoittautunut hyvin herkäksi aiheeksi. Epäily tulosten luotettavuutta kohtaan koetaan helposti henkilökohtaiseksi loukkaukseksi, ja tehtyjen selvitysten mukaan tutkijat vain harvoin lisäävät julkaisuihinsa mainintaa epäonnistuneista toistoyrityksistä. Varotaan loukkaamasta kollegoita ja halutaan myös välttää tieteellisen prosessin kyseenalaistamista. Julkaistun tutkimusten luotettavuuteen kohdistuvat vähäisetkin epäilyt ovat mannaa niille, jotka etsivät oikeutusta populistipoliitikkojen väitteille ja salaliittoteorioille.

”Toistettavuuskriisi” on jo sanana vahva, mutta onko kyseessä aito kriisi? Biotieteiden alueella toistettavuus ”kriisiytyi” kymmenen vuotta sitten puolittain vahingossa kun vuonna 2012 Amgen-lääkejätin tutkimusjohtaja paljasti, että yrityksen syöpätutkijat olivat yrittäneet toistaa 53:ssa ”huippujulkaisussa” esitettyjä löydöksiä ja onnistuneet vain kuudessa tapauksessa.

Väite aiheutti kohun ja johti toimenpiteisiin. Jo seuraavana vuonna käynnistettiin yksityisen säätiön rahoittama projekti, jonka tarkoituksena oli toistaa 50:n syöpäbiologian alan julkaisun keskeiset koesarjat. Vuosina 2017–2020 eLife-lehti on julkaissut tulokset 17 julkaisun toistettavuudesta. Näistä 11 oli ollut kokonaan tai ainakin osittain toistettavista ja pari jäänyt epäselväksi. Neljässä tapauksessa toistaminen ei onnistunut, mutta tutkimukseen osallistumattomat laboratoriot ovat saattaneet toistaa tulokset ainakin parissa tapauksessa. Tilanne ei siis ainakaan syöpäbiologian alalla ole aivan niin huono kuin alun pitäen pelättiin.

Huoli tulosten toistettavuudesta elää silti. Vuonna 2016 Nature-lehden kyselyssä 52 prosenttia luonnontieteilijöistä oli sitä mieltä, että toistettavuuskriisi on merkittävä ongelma. Samassa kyselyssä yli 60 prosenttia tutkijoista ilmoitti, että he eivät olleet aina pystyneet toistamaan muiden julkaisemia tuloksia. Noin puolet tunnusti, etteivät yksittäistapauksissa edes omat tulokset olleet toistettavissa.

Merkittävimmäksi syyksi ongelmaan tutkijat arvelivat liian lujaa uskoa omaan hypoteesiin ja sen aiheuttamaa vahvistusharhaa ja tutkimusmallien ja julkaistavien tulosten valikointia. Toiseksi merkittävin syy oli kova julkaisupaine.

Erittäin ikävän lisän näihin pohdintoihin tuovat äskettäiset selvitykset, joiden mukaan ei-toistettaviin julkaisuihin viitataan moninkertaisesti enemmän kuin toistettaviin julkaisuihin. Ensin mainittuja ilmeisesti pidetään paljon mielenkiintoisempina.

Lienee turhaa pohtia, onko toistettavuus varsinaisessa kriisissä vai ei. Kaikille pitäisi olla selvää, että yksittäiset julkaisut ovat kuvastaneet enemmän sitä, mikä on ehkä mahdollista, kuin sitä, miten luonto todellisuudessa toimii.

Tieteellisen tutkimuksen luotettavuus perustuu siihen, että aikaa myöten ennustuskykyisiksi osoittautuvat teoriat vahvistuvat, ja koetulokset, joita ei pystytä toistamaan, jäävät unohduksiin. Tiede korjaa omat virheensä. Toistettavuus on kuitenkin niin tärkeä asia, että sitä on syytä vaalia ja edistää. Huoli toistettavuuden ongelmista ei koske pelkästään biotieteitä tai lääketiedettä vaan koko luonnontieteiden kenttää. Itse asiassa viime aikoina ehkä suurinta huomiota asiaan on kiinnitetty psykologiassa ja yhteiskuntatieteissä.

Ongelmien voittamiseksi on myös käynnistetty suuria hankkeita, joilla on pyritty yleisesti edistämään tieteen avoimuutta. Vaarana on, ettei tieteenalojen erilaisuutta ymmärretä ja että ”virkavaltaisista” toiminnoista tulee itsetarkoitus. Miten molekyylibiotieteissä olisi mahdollista edistää tulosten toistettavuutta? Tähän kysymykseen ei ole yksinkertaista vastausta. On kuitenkin helppo tunnistaa joitain tälle alalle tyypillisiä haasteita. Yksi keskeinen ongelma ovat tutkimuksessa käytettävien reagenssien, esimerkiksi vasta-aineiden, vaihteleva laatu. Joidenkin selvitysten mukaan jopa yli puolet kaupallisesti saatavista vasta-aineista ei tunnista oikeaa antigeeniä tai ei muuten toimi ilmoitetulla tavalla. Reagenssien toiminnan varmistaminen saattaa kuulostaa itsestään selvyydeltä, mutta on usein helpommin sanottu kuin tehty. Tässäkin asiassa kaivattaisiin entistä enemmän tutkijoiden välistä yhteistyötä.

Vähintään yhtä suuri haaste on tutkimusmenetelmien ja -mallien runsaus ja yleisesti hyväksyttyjen standardien ja kontrollien puute. Oma ryhmäni osallistui äskettäin kansainväliseen yhteistyöhön, jossa useissa eri maissa toimivat laboratoriot tekivät omilla solulinjoillaan ja reagensseillaan tietyt kolmiulotteisiin syöpäsoluviljelmiin liittyvät koesarjat. Tulokset osoittivat, että melko pienet erot koeolosuhteissa vaikuttavat hyvin paljon tuloksiin. Toisaalta, jos kaikki seuraavat tarkasti samaa protokollaa, ovat tuloksetkin yhteneviä.

Useilla tutkimusaloilla on käynnissä samantapaisia tutkijalähtöisiä aloitteita, joilla edistetään tutkimusmallien standardisointia. Yleisesti ottaen tällaiset tutkijoiden itse omat toiminnot saattavat edistää tulosten toistettavuutta ja metodien avoimuutta paljon paremmin kuin ministeriöiden toimenpiteet. Turkulaisen biotieteellisen tutkimuksen suuria vahvuuksia on erinomaisesti toimiva infrastruktuuri. Sen laitteet, tutkimusteknologiat ja tutkimusmallit ovat pitkälti yhteisessä käytössä. Tämä ratkaisu jo itsessään on tukenut metodien ja mallien standardisointia. Tutkijoiden on kuitenkin hyvä tiedostaa toistettavuuteen liittyvät haasteet. Menetelmien avoimuus ja yhteistoiminta protokollia laadittaessa palvelee paitsi yhteisön, myös jokaisen sen jäsenen omaa etua.