Miten arvioida avoimen tieteen edistymistä?
Avoin tiede ja tutkimus on monimuotoinen ja jatkuvasti kehittyvä teema, jossa Suomi on monella tavalla edelläkävijä. Sen puitteet ovat laajemmat kuin itse termi ehkä antaa ymmärtää, ja avoimuuteen kohdistuu paljon odotuksia tieteen ja sen tulosten tuomisesta kaikkien ulottuville. Ja kun jotain lähdetään määrittelemään,on tärkeää kysyä, miten sitä mitataan tai arvioidaan.
Opetus- ja kulttuuriministeriö (OKM) on seurannut vuosien varrella yliopistojen, valtion tutkimuslaitosten ja ammattikorkeakoulujen avoimen tieteen kypsyystasoa, lähinnä asteikolla 1-5. Myös tutkimusrahoittajien roolia avoimen tieteen ja tutkimuksen edistämisessä voidaan tarkastella erilaisten tekijöiden kautta.
Viimeisin ministeriön teettämä arviointi julkaistiin vuonna 2019, ja sen tulos oli toki Turun yliopistolle mairitteleva, eli olimme kärjessä korkeakoulujen moninaisessa joukossa. Kriteereinä oli avoimuuden rooli strategisessa ohjauksessa, avoimuuteen ohjaavien poliitikkojen ja periaatteiden olemassaolo, seuranta ja palvelut sekä osaamisen kehittäminen.
Tutkimusorganisaatiot aktiivisesti mukana seurannan kehittämisessä
Avoin tiede ja tutkimus etenee ja siksi myös seurantaa pitää kehittää aiempaa monipuolisemmaksi ja osallistavammaksi. Tieteellisten tulosten arviointi on oleellinen osa tutkijoiden tekemää laadunvalvontaa. Siten on luonnollista ajatella, että myös avoimen tieteen ja tutkimuksen tason ja edellytysten arvioinnin pohdinta sopii tutkimusta tekevien yhteisölle ja organisaatioille.
Tieteellisten seurain valtuuskunta TSV on OKM:n rahoituksen turvin koordinoinut avoimen tieteen kansallisten linjausten rakentamista, tukenaan laaja joukko eri alojen asiantuntijoita ja organisaatioiden edustajia. Tuloksia ja tietoa toiminnasta löytyy osoitteesta avointiede.fi. Myös seurantaa pohtimaan on perustettu oma työryhmä syksyllä 2020 ja olen itse toiminut tämän työryhmän puheenjohtajana.
Eri mittarit sopivat eri organisaatioihin
Avoimen tieteen ja tutkimuksen arviointi kohdistuu alati muuttuvaan kenttään, joten sen pitää olla joustava ja jatkuvasti kehittyvä toiminta. Ensimmäisessä vaiheessa työryhmä kartoitti avoimen tieteen kenttää, ja valintoja sävytti kysymys siitä, että onko tietyn aiheen seuranta mahdollista järkevällä tavalla. Hyvin nopeasti kävi myös ilmi, että eri organisaatioihin täytyy käyttää niihin parhaiten soveltuvia mittareita.
Seurannan keinoiksi valikoitui joukko määrällisiä ja laadullisia mittareita. Avoimesti saatavilla olevien tai rinnakkaistallennettujen julkaisujen kohdalla on helppo katsoa määriä, koska tietoa kerätään jo kansallisesti ja esimerkiksi yliopistojen rahoitusmalli motivoi yliopistoja tekemään työn huolella.
Dataan liittyvien metatietojen kenttä on puolestaan hajanainen ja tiedon näkyväksi tekemisen motivaatio on vasta kehittymässä. Tällöin seurannan tarkoitus on myös motivoida määrällistä ja laadullista kehitystä. Eli se perinteinen korkoa korolle -kuvio: tallentamiseen kannustaa ennen kaikkea tallentamisen määrän kasvu.
Tietokantojen tai vastaavien tiedonlähteiden puute ponnahtaa välittömästi esiin, kun ajattelemme toimintakulttuurin tai tarjottavien palvelujen arviointia. Riittävän kattavan ja monipuolisen arvioinnin toteuttamiseksi on välttämätöntä tehdä organisaatioille kysely, jolla tiedonkeruu toteutetaan. Tätä pilotoitiin kesällä 2021 kolmessa erilaisessa organisaatiossa, ja yliopistoja edusti Turun yliopisto.
Määrälliset ja laadulliset mittarit yhteen
Toimivaan seurantaan ja arviointiin kuuluu luontevana osana organisaation suoriutumisen sijoittaminen sopivaan asteikkoon. Tämän toteuttamiseksi laadittiin pisteytysjärjestelmä, joka kattaa kaikki valitut arvioinnin teemat ja yhdistää niin määrälliset kuin laadulliset mittarit – niin tietokantojen luvut kuin organisaatioille tehdyt kyselyt.
Työryhmä valitsi arvioitaviksi kokonaisuuksiksi neljä profiilia: julkaiseminen, aineistot ja infrastruktuurit, oppiminen sekä toimintakulttuuri. Näitä profiileja sitten leikkaa neljä indikaattorijoukkoa: ohjaavat dokumentit, yhteistyö, palvelut ja tuotokset. Nyt tämä luonnos seurantamalliksi on julkisesti nähtävänä ja kommentoitavana (avointiede.fi), ja aikaa on 1.11.2021 asti.
Siinä ohessa voi tutustua myös toisen työryhmän laatimaan luonnokseen avoimen julkaisemisen kokonaiskustannusten seurantakyselyksi. Merkittävä motivaatio avoimen julkaisemisen edistämiseen on saavutettavuuden ohella julkaisemisen kustannusten hallinta, mutta se onkin jo toinen tarina.
Seurannasta tietoa organisaatioiden toiminnan kehittämiseen
Kun päätetään tehdä seurantaa, on oleellista kysyä miksi. Työryhmän mielestä tarkoitus on tuottaa ennen kaikkea tietoa organisaatioille niiden oman toiminnan kehittämiseen. Toinen on jo mainitsemani tarve ohjata organisaatioita ja tutkijoita tuottamaan tietoa vielä kehittymässä oleviin tietovarantoihin, joista kansallisesti tärkein löytyy osoitteesta tiedejatutkimus.fi.
Keskeinen kysymys seurannan mallin valmistuttua on sen toteuttaminen. Ehdotuksena on toteuttaa organisaatioille kohdennetut kyselyt joka toinen vuosi. Suurin kysymys on kuitenkin resurssointi, ja tässäkin monien katse kääntyy opetus- ja kulttuuriministeriön suuntaan.
Avoimen tieteen ja tutkimuksen edistäminen liittää maamme myös laajempaan kansainväliseen ja etenkin eurooppalaiseen kehitykseen. Tässä meillä on paljon annettavaa mutta myös paljon opittavaa muilta.
Kirjoittaja on tutkimuksesta ja tutkimusedellytyksistä vastaava vararehtori ja fysiikan professori Turun yliopistossa.