Erika Lilja

Kotimainen historiatieteellinen Ennen ja nyt – verkkojournaali haluaa tarjota perinteiselle vertaisarvioinnille vaihtoehtoja. Nykyisenlainen toimituskunnan ulkopuolinen vertaisarviointi nousi laajamittaiseen käyttöön ja sen myötä määrittävään asemaan vain kuutisenkymmentä vuotta sitten. Lehden päätoimittaja katsoo, että vertaisarviointia on korkea aika tarkastella kriittisesti.

 

Ennen ja nyt – Historian tietosanomat on aloittamassa avointa, joukkoistetun vertaisarvioinnin kokeilua. Kotimainen tieteellinen lehti tarjoilee avoimen vertaisarvioinnin kokeilulla kaivattua ja tärkeää käytännön tason toteutukseen liittyvää tietoa ja kokemuksia muille kotimaisille kustantajille.

Historian alan Ennen ja nyt -aikakauskirja julkaisee referee-artikkeleita, katsausartikkeleita ja väitöslektioita sekä haastatteluja ja kirja-arvosteluja. Taustalla vaikuttaa neljä julkaisijatahoa: Agricola -Suomen humanistiverkko, Historiallinen Yhdistys ry, Suomen Historiallinen Seura ry ja Turun Historiallinen Yhdistys ry. Tähän kirjoitukseen on haastateltu lehden päätoimittajaa, FT Lauri Keskistä, ja toimituskunnan jäsentä, VTT Olli Kleemolaa, joka toteuttaa vertaisarviointikokeilun. Kokeilun rahoittaa Suomen tiedekustantajien liitto.

Uuden äärellä, avoimesti kokeillen

Perinteinen arviointiprosessi ei etenkään kansainvälisissä keskusteluissa näyttäydy enää tutkimuksen edistämisen kannalta ainoana ja optimaalisena mallina. Alle kuukausi sitten julkaistun avoimen vertaisarvioinnin selvityksen kirjoittajat kysyvätkin nyt, mitä kaikkea julkaisuprosessin avoimuus voisi tarkoittaa kotimaisella tiede- ja julkaisukentällä. Kysymykseen saadaan pian ainakin yksi esimerkki, kun Ennen ja nyt -lehti lähtee rohkeasti kokeilemaan täysin avointa vertaisarviointiprosessia kotimaisen keskustelun puuttumisesta ja avoimeen vertaisarviointiin liittyvistä haasteista huolimatta.

– Aiempi kokeilu puoliavoimen vertaisarvioinnin osalta osoittautui menestyksekkääksi. Nyt haluamme ottaa askeleen pidemmälle ja pilotoida avointa joukkoistettua vertaisarviointia, toteaa lehden päätoimittaja Keskinen.

Humanististen alojen ja yhteiskuntatieteiden tavoin lehdessä arviointi on perinteisesti noudattanut kaksoissokkoarvioinnin linjauksia eli sekä kirjoittajan että arvioitsijan identiteetti on salattu. Puoliavoin vertaisarviointi toteutettiin lehden aiemmassa kokeilussa siten, että kirjoittaja ja arvioitsija saivat tietää toistensa nimet. Arvioitsijoiden nimet myös julkaistiin artikkelin yhteydessä. Joukkoistetussa vertaisarvioinnissa avoimuus tarkoittaa paitsi identiteettien avoimuutta myös avoimia lausuntoja sekä avoimempaa osallistumista ja vuorovaikutusta.

Vanhakantaiseen arviointiprosessiin ja sen vinoumiin on Jytilän ja Laakson selvityksen mukaan haettu vaihtoehtoisia toimintatapoja avoimesta vertaisarvioinnista sen eri muodoissa. Vertaisarvioinnin puutteet tuottavat prosessiin muun muassa liiallista hitautta ja epäoikeudenmukaisuuden kokemuksia, johon monitieteisen tutkimuksen korostuminen tuo omat haasteensa. Usein saatetaan lisäksi unohtaa, että laadunvarmennus vertaisarvioinnissa koskee paitsi käsikirjoitusten laatua myös vertaisarviolausuntojen laatua. Vertaisarvioinnin läpinäkymättömyys mahdollistaa puolestaan vertaisarvioitsijoiden vastuuttomuuden. Tilannetta ei paranna prosessin kommunikaation puute. Monissa tutkimuksissa myös vertaisarviointiprosessin merkitys tieteellisen laadun takaajana on kyseenalaistettu ja samaan käsikirjoitukseen annetut lausunnot ovat usein prosessiin sisältyvän subjektiivisen selektiivisyyden vuoksi keskenään jopa ristiriitaisia. (Jytilä & Laakso 2019, 5–6.)

Vertaisarviointiprosessin kehittäminen on tavoitteena myös Ennen ja nyt -lehden kokeilussa. Parannusta haetaan perinteiden sijaan uusista avoimista käytännöistä.

Kriittisyys koskee myös tieteellisen julkaisemisen käytäntöjä

Ennen ja nyt -lehden kokeiluun on päätoimittajan mukaan useampi syy. Käytännössä menestyksekkääksi osoittautunut aiempi kokeilu on niistä vain yksi.

– Toinen, hieman korkealentoisempi tai jopa idealistinen syy on se, että mielestäni perinteiselle vertaisarvioinnille tulee tarjota vaihtoehtoja. Toimituskunnan ulkopuolista sokkovertaisarviointia on korkea aika tarkastella kriittisesti. Koska kriittisyys ja menetelmien kehittyminen ovat tieteen määrittäviä piirteitä, pitäisi niiden määrittää myös tieteellisen julkaisemisen käytäntöjä, avaa Keskinen kokeilun taustoja.

Kolmas syy liittyy tieteellisten käytäntöjen historiaan. Keskisen mukaan seminaaria, muodossa tai toisessa, voidaan pitää kaikkein vanhimpana kritiikin antamisen muotona tieteen kentällä. Seminaarissa tutkijat kohtaavat toisensa mahdollisimman tasaveroisessa asetelmassa tavoitteenaan kehittää yhdessä jotakin väittämää, menetelmää tai vaikka julkaisua.

– En väitä seminaarityyppistä työskentelyä parhaaksi sen pitkien perinteiden takia vaan sen takia, että se edellyttää toisen kohtaamista ja aidon dialogin syntyä. Kaksoissokkomenetelmä katkaisee tuon yhteyden ja mahdollistaa yksipuolisten lausuntojen esittämisen tarjoamatta kirjoittajalle tilaisuutta esittää omat argumenttinsa. Näin menetetään myös motivaatio yhdessä kehittämiselle.

Myös lehden toimituskunnan jäsenellä Olli Kleemolalla on omakohtaista kokemusta kaksoissokkomenetelmän heikkoudesta sekä kirjojen että tieteellisten journaalien osalta.

– Perinteisessä menetelmässähän lausunto saattaa jäädä pinnalliseksi, kun kirjoittajalla ja arvioitsijalla ei ole mahdollisuutta dialogiin. Toisaalta, kun arvioitsijoita on vain kaksi, heille kasautuu verrattain suuri työtaakka, koska huolellisen arvioinnin tekeminen vaatii perusteellista työtä ja jonkin verran aikaa. Kirjoittajan kannalta tilanne voi olla myös sikäli huono, että usein arvioitsijan asiantuntemus kohdistuu vain joihinkin osa-alueisiin, kertoo Kleemola.

Jytilä ja Laakso toteavat selvityksessään, että vertaisarviointijärjestelmää pidetään tieteellisen julkaisutoiminnan kulmakivenä ja että kaikkine puutteineenkin se on ainoa vallalla oleva julkaistavaksi tarkoitettujen tekstien esitarkastusjärjestelmä, joka on ollut keskeinen osa tieteellisen tiedon tuottamista ja julkaisemista jo useamman vuosisadan ajan. Vallitseva käytäntö on, että vertaisarviointiprosessi on täysin suljettu ja läpinäkymätön. Luonnontieteissä ei kuitenkaan humanististen alojen ja yhteiskuntatieteiden tavoin yleensä pyritä salaamaan kirjoittajan identiteettiä, joten eri tieteenaloilla arviointiprosessin lähtökohdat ovat hyvin erilaiset. Avoimessa vertaisarvioinnissa on puolestaan kyse monimutkaisesta ja monimuotoisesta ilmiöstä, jota luonnehtivat ja määrittävät maantieteellisten ja tieteenalakohtaisten perinteiden ja käytänteiden erot sekä julkaisemisen rahoituskuviot ja kaupalliset intressit. (Jytilä & Laakso 2019, 4, 6, 9–10.)

Tavoitteena dialogi ja laaja osallistuminen

Avoimen vertaisarvioinnin keinoin voidaan tavoitella tieteellisen kommunikaation ja julkaisukäytäntöjen parantamista. Myös Ennen ja nyt -lehti pyrkii paikkaamaan perinteisen vertaisarviointiprosessin heikkouksia ja tarjoamaan kirjoittajalle ja arvioitsijalle mahdollisuuden dialogiin.

– Avoimuus tarjoaa mahdollisuuden dialogiin, ja joukkoistaminen puolestaan vähentää yhtäältä arvioijan työtaakkaa ja toisaalta tarjoaa kirjoittajalle mahdollisuuden saada kaikista artikkelin osa-alueista saman tasoista palautetta useilta eri alojen asiantuntijoilta, Kleemola pohtii.

Myös Jytilän ja Laakson tekemän selvityksen mukaan monitieteisyys on tärkeä osa vertaisarviointiprosessia ja siihen liittyy omia haasteita. Toisaalta monitieteisiä tutkimuksia arvioi usein suurempi joukko vertaisarvioijia ja kirjoittaja voi kokea olevansa kohtuuttoman kriittisen tarkastelun kohteena. Toisaalta taas yksittäistä tieteenalaa edustavat arvioitsijat eivät välttämättä tavoita löydösten merkittävyyttä monitieteisyyden näkökulmasta. (Jytilä & Laakso 2019, 6.)

Ennen ja nyt -lehti on arvioinut ja keskustellut sisäisesti erilaisista avoimuuden mahdollisuuksista lehden toimittamisessa. Avoin vertaisarviointi voi tarkoittaa läpileikkaavaa muutosta tai avoimuus voi toteutua vain jossakin kohdassa prosessia. Lehti on omien intressiensä kautta päätynyt kokeilemaan kaikkein avointa mallia, jossa korostuu yhteisöllisyys, osallistuminen ja vuorovaikutus. Jollekin toiselle julkaisijalle voi sopia paremmin maltillisempi lausuntojen avaaminen tai avoimuus identiteettien suhteen.

Kokeilussa tullaan edelleen nimeämään käsikirjoitukselle kaksi arvioitsijaa, mutta samalla puretaan vertaisarviointiin sisältyvää hierarkiaa avaamalla arviointi myös kaikille muille. Jytilän ja Laakson (2019, 7) mukaan tieteellisten julkaisujen vertaisarvioitsijaan viitataan usein referee-lukijana, kun halutaan korostaa sitä, että kyseessä ei ole vertaisten välinen toiminta vaan toimintaan voi sisältyä hierarkiaa (referee =tuomita) ja asiantuntijaeliittejä.

Ennen ja nyt -lehti tavoittelee koko arviointiprosessin avoimuutta. Avoimuus on lehdelle arvo itsessään. Avoimen osallistumisen keinoin voidaan avata tieteentekoa laajemmalle lukijakunnalle paitsi menetelmien, kuten vertaisarviointi ja tieteellinen julkaisutoiminta, myös julkaisun sisällön osalta sekä tukea monitieteisyyttä. Lehti ei täten tyydy ainoastaan siihen, että prosessia avataan vertaisille. Mukaan halutaan ottaa elementtejä myös kansalaistieteestä (citizen science).

– Neljäs syy liittyy kansalaistieteeseen, eli siihen, että arviointiprosessi avataan ja siihen osallistumista tarjotaan myös kansalaisille. Tässä yhteydessä ”kansalaisilla” tarkoitetaan kaikkia muita henkilöitä paitsi niitä kahta vertaisarvioitsijaa, joita on virallisesti pyydetty arvioimaan artikkeli. Toivomme kommentteja artikkeliin ja vertaisarvioitsijoiden lausuntoihin paitsi muiden tieteenalojen edustajilta myös akateemisen maailman ulkopuolisilta henkilöiltä, kertoo päätoimittaja Keskinen.

Avoimuuden keinoin Ennen ja nyt -lehti voi samalla näyttää lukijoilleen, että lehden vertaisarviointiprosessi on perusteellinen ja läpinäkyvä ja lehti muun muassa siltä osin laadukas. Myös tutkimuksen sisällön laadun arviointi jälkikäteen muiden arviointien yhteydessä saattaa helpottua eikä yksittäisen julkaisun laatua näin tarvitsisi arvioida ainoastaan julkaisukanavan laatuun pohjaten.

Tutkijoiden vertaisarviointityö tulee tehdä näkyväksi

Yhtenä keskeisimmistä avoimuuden hyödyistä lehti näkee vertaisarviointijärjestelmän vaatiman tutkijan työn näkyväksi tekemisen. Päätoimittajan mukaan pohditusti ja rakentavalla otteella laaditut vertaisarviointilausunnot vievät tutkimusta eteenpäin samalla tavoin kuin tieteelliset artikkelitkin.

– Yhtenä pitkäaikaisena tavoitteena on nostaa vertaisarviointilausunnot tasaveroiseen asemaan muiden tieteellisten julkaisujen rinnalle. Niinpä niihin voisi jälkikäteen viitata ja ne voisi perustellusti lisätä arvioitsijan julkaisuluetteloon. Samalla lausuntojen julkaiseminen on ilmaiseksi tehtävän akateemisen työn näkyväksi tekemistä.

Vertaisarvioitsijan työ jää myös Jytilän ja Laakson mukaan usein näkymättömäksi, vaikka se laskettaisiinkin tieteelliseksi meriitiksi. Avoimella vertaisarvioinnilla yritetään ratkaista julkaisuprosessin läpinäkyvyyteen liittyviä ongelmia ja parantaa koko vertaisarviointiprosessin laatua. Erilaisten vinoutumien väheneminen ja toimijoiden lisääntynyt vastuullisuus voivat johtaa entistä rakentavampiin lausuntoihin, joista myös arvioitsijat saavat tunnustusta. Keskeisessä roolissa sekä suljetussa että erilaisissa avoimuutta tavoittelevissa malleissa ovat aina vapaaehtoiset vertaisarvioitsijat ja heidän motivaationsa käyttää aikaansa toimintaan, joka ei tällä hetkellä näkyvästi meritoi. (Jytilä & Laakso 2019, 5, 8, 11).

Ikonen (2018) on ehdottanut yhdeksi ratkaisuksi sekä vertaisarvioinnin että toimitustyön palkitsemista artikkelien tapaan. Ikosen mukaan toimitustyö ja vertaisarviointi on rinnastettava artikkelien kirjoittamiseen ja huomioitava myös yliopistojen rahoitusmallissa. Samalla ratkaistaisiin yksi open access -julkaisemisen ongelma, kun toimitustyö rinnastetaan artikkelin kirjoittamiseen.

Yhtenä yksittäisen tiedekunnan tason esimerkkinä palkitsemisjärjestelmästä, jossa otetaan huomioon toimitustyö ja vertaisarviointi, voidaan nostaa esiin Turun yliopiston kauppakorkeakoulun tieteellisen toiminnan arviointi (nk. tutkimuspisteytys). Vuosittaisessa yksilötason arvioinnissa otetaan huomioon sekä tieteellinen toimitustyö sen eri muodoissa (päätoimittaja, vieraileva toimittaja, toimituskunnan jäsen) että erilaiset tieteelliseen toimintaan kytkeytyvät arviointitehtävät (julkaisun arviointitehtävät ja muut esimerkiksi rahoitushakemusten ja rekrytointien arviointitehtävät ja asiantuntijalausunnot), joskaan tehtäviä ei suoraan arvoteta samalle tasolle julkaisujen kanssa.

Toimitustyön ja vertaisarvioinnin huomioiminen osana akateemista meritoitumista on osa laajempaa kansallista ja kansainvälistä keskustelua, joka koskee samalla tutkijan vastuullista arviointia, tutkimuksen vaikuttavuutta ja tieteen avoimuutta. Tässä tärkeässä työssä on pidettävä kuitenkin huolta siitä, että mallia ei oteta suoritusmittaamisesta – yksilötason tuotoksia painottaviin arviointeihin on ylipäänsä syytä suhtautua kriittisesti ja varoen (ks. Kallio 2016; Kallio et al. 2018).

Käytännössä toimitustyön ja vertaisarvioinnin huomioiminen nykyistä paremmin tarkoittaa tiedonkeruun, tietojärjestelmien ja alakohtaisten arviointikehysten luomista alhaalta-ylöspäin sekä riittävien taloudellisten ja osaajaresurssien osoittamista kehitystyöhön.

Luvassa myös haasteita – päätoimittaja toivoo ymmärrystä ja kokeilunhalua tiedeyhteisöltä

Ennen ja nyt -lehti on lähtenyt kokeilemaan avointa vertaisarviointia ennakkoluulottomasti mutta samalla vertaisarviointiprosessin muutokseen liittyvät haasteet hyvin tiedostaen.

Jytilän ja Laakson mukaan täysin avoin osallistuminen tarkoittaa sitä, että kuka tahansa voi arvioida julkaistavaksi tarjottua tekstiä. Parhaimmillaan voidaan keventää toimituskunnan taakkaa sopivien vertaisarvioitsijoiden löytämiseksi ja mahdollistaa useiden näkökulmien saaminen mukaan arviointiprosessiin, mutta toimittajan rooli ja vastuu voi myös kasvaa. Avoimuus saattaa pakottaa toimittajat vastuuseen päätöksistä, jotka koskevat paitsi vertaisarvioitsijoiden valintaa myös sitä, miten he tulkitsevat arvioita. (Jytilä & Laakso 2019, 5, 10.)

Samoja haasteita nostaa esiin myös päätoimittaja Keskinen.

– Prosessi vaatii tavallista enemmän toimittajilta. Jos artikkelikäsikirjoituksen yhteydessä käydään vilkasta keskustelua, lankeaa toimittajalle ikään kuin moderaattorin vastuu; hänen täytyy pitää keskustelu asiallisena ja ottaa kantaa siihen, mitkä kommenteista ovat sellaisia, että ne pitää perustellusti ottaa huomioon, kun käsikirjoituksesta muokataan varsinainen julkaistava artikkeli.

Myös arvioitsijoiden rekrytoinnin on arveltu vaikeutuvan, mikäli lausunto julkaistaan avoimesti itse artikkelin rinnalla ja avoimuuden nähdään Jytilän ja Laakson selvityksen mukaan vaikuttavan myös itse arvion sisältöön. Vertaisarvioitsija saattaa esimerkiksi vältellä kriittisimpiä näkemyksiään välttääkseen mahdollisia ristiriitatilanteita. (Jytilä & Laakso 2019, 30.)

Avoin vertaisarviointi tarkoittaa nykyisen järjestelmän uudelleen arviointia, johon tarvitaan kokeilunhalua tiedeyhteisöltä. Avoimen vertaisarvioinnin käsite itsessään on monitahoinen ja vaatii tarkennusta (Jytilä & Laakso 2019, 7), mutta yhteistä avoimen vertaisarvioinnin eri käytännöille lienee vertaisarvioinnin laadun parantamisen tavoite.

Ennen ja nyt -lehden päätoimittaja ja toimituskunta katsovat, että he voivat tehdä oman osansa toteuttamalla avoimen vertaisarvioinnin kokeiluhankkeen, jonka menestys riippuu tiedeyhteisön kyvystä lähteä mukaan kokeilemaan uudenlaisia vertaisarvioinnin käytäntöjä.

– Kaipaan tässä vaiheessa vain ymmärrystä ja kokeilunhalua tiedeyhteisöltä eli sitä, että aidosti avoimin mielin kokeillaan vaihtoehtoa perinteiselle vertaisarvioinnille. Tämähän vaatii ymmärrystä sekä kirjoittajilta että arvioitsijoilta, summaa Keskinen.

Varsinaista digitaalisiin alustaratkaisuihin liittyvää tukea kokeiluun tarvittiin vain vähän, kun Turun yliopiston avoimen tieteen asiantuntijat auttoivat etsimään tietyt vaatimukset täyttävän avoimen, joukkoistetun vertaisarvioinnin mahdollistavan digitaalisen alustan. Tieteellisten seurain valtuuskunnan avulla selvitettiin Open Journal Systems -julkaisujärjestelmän (OJS) ja journal.fi-julkaisalustan hyödyntämistä, mutta lopulta kokeilun pääasiallisista tavoitteista käsin päädyttiin ensin testaamaan idean vastaanottoa tiedeyhteisössä yliopiston asiantuntijoiden jo testaamalla wikialustalla. Tällä hetkellä lehteä julkaistaan WordPress-alustalla, mutta lähitulevaisuudessa lehti on siirtymässä Journal.fi-alustalle. Avoin joukkoistettu vertaisarviointi tullaan toteuttamaan Tieteen tietotekniikan keskuksen (CSC) Eduuni-alustalla.

Lisätietoja kokeiluhankkeesta: Ennen ja nyt -lehden päätoimittaja, FT Lauri Keskinen

Erika Lilja

Kirjoittaja toimii Turun yliopiston tutkimusedellytysten kehittämisasiantuntijana ja tekee väitöskirjaa avoimen tieteen ohjauksesta Euroopassa Tampereen yliopiston johtamiskorkeakoulussa.