Vertaisarviointi: Näkökulma sisältäpäin

Olen keskustellut monen yliopistotutkijan puolison kanssa, ja tutkimustyöhön liittyvä jatkuva arviointi nousee usein esiin. He näkevät läheltä sen, miten tutkija ottaa vastaan palautteen, varsinkin negatiivisen. Lähes poikkeuksetta puolisoiden palaute on ihailun ja kritiikin yhdistelmä: Miten te jaksatte elää niin kovassa maailmassa?  Arviointikulttuuri on tullut akateemiseen maailmaan jäädäkseen, ja me, jotka olemme täällä pysyneet, olemme oppineet elämään sen kanssa.

Olen saanut monenlaista palautetta viranhauissa, rahoitushauissa ja tieteellisissä lehdissä. Kuten tämän ikäiset yliopistoihmiset, olen myös arvioinut muita. Mutta melko vähän olen käynyt keskusteluja siitä, millaiset ovat ammattimaisen arvioinnin kriteerit, millainen on hyvä arvioitsija ja miten arviointeja tulisi tehdä.

Olen kuluneiden kolmen vuoden ajan ollut Suomen Akatemian yhteiskunnan ja kulttuurin tutkimuksen toimikunnan jäsen, ja sinä aikana paljonkin pohtinut arviointia. Kauden nyt lähestyessä loppuaan on aika aloittaa tilinpäätöksen tekeminen. Kuvaan tässä Akatemian päätöksentekoprosessia, sillä sitä ei edes tiedemaailmassa tunneta kovin hyvin. Toimikuntien arviointiprosessit ovat muuttumassa vuoden 2018 syyskuun haussa, ja avaan seuraavassa muutoksen päälinjoja ja pohdin hiukan sen vaikutuksia.

Michèle Lamont analysoi klassikkoteoksessaan How Professors Think: Inside the Curious World of Academic Judgement (2009) asiantuntija-arvioitsijoiden roolia Yhdysvaltojen keskeisillä tutkimusrahoittajilla.  Hänen tutkimuksensa perustui panelistien haastatteluihin ja havainnointiin.

Lamontin tutkimus tuo esiin hyvän panelistin ominaisuuksia, joista ensimmäiseksi kiinnitti huomiota valmius tehdä kovasti työtä usein tiiviissä ajanjaksossa. Lamontin mukaan panelistit olivat omistautuneita, mikä ahkeruuden lisäksi näkyi siinä, että he aidosti uskoivat arviointiprosessin johtavan parhaiden hakemusten valikoitumiseen rahoitettaviksi. Keskeiseksi hyvän panelistin ominaisuudeksi nousi kollegiaalisuus eli valmius antautua keskusteluun muiden panelistien kanssa hakemusten ansioista ja heikkouksista sekä kunnioitus toisten panelistien osaamista ja ammattitaitoa kohtaan. Tähän tarvitaan tiettyä laaja-alaisuutta ja vähintäänkin halukkuutta ymmärtää toisten tieteenalojen kriteereitä ja traditioita.

Ennen muuta vaaditaan kykyä vuoropuheluun ja vastakkaisten näkökohtien punnitsemiseen. Samalla kuitenkin tulisi pystyä pitämään kiinni oman tieteenalan laatuvaatimuksista ja ymmärtämään muiden tieteenalojen kriteerejä. Arviointi on kontekstuaalista ja suhteellista, eivätkä eri tieteenalojen arviointikriteerit voi olla yhdenmukaisia. Lamontin mukaan tieteidenvälisyys ja tutkimuksen monimuotoisuus olivat panelistien mielestä laatukriteerejä, eivätkä vaihtoehtoisia arviointikriteereitä.

Oma kokemukseni Akatemian toimikunnan jäsenenä vastaa pitkälti Lamontin havaintoja. Toimikunta käsittelee ja tekee rahoituspäätökset tutkimushankkeista sekä akatemiatutkijan ja tutkijatohtorin hakemuksista. Hakemuksia on vuosittain ollut lähes tuhat, ja hyväksymisprosentti on vaihdellut 9-14 välillä.

Toimikunta on siitä kiitollisessa asemassa, että kansainvälinen paneeli on arvioinut hakemukset, kun ne tulevat toimikunnan käsittelyyn. Silti toimikunnan työskentelyssä tuntuivat löytyvän kaikki Lamontin kuvaamat piirteet.

Kaudella 2016–2018 kansainväliset paneelit olivat vaihtelevan kokoisia. Ne olivat tieteenalapohjaisia, mutta siitä huolimatta kunkin paneelin arvioitavaksi tuli hakemuksia varsin laajalta skaalalta sekä tutkimuskohteen että käytettyjen menetelmien suhteen. Paneelit arvioivat hakemukset asteikolla 1-6. Toimikunta on tehnyt lopullisen päätöksen hakemusten keskinäisestä järjestyksestä eli siitä, kenelle rahoitus myönnetään.

Taso on kova. Edes arvosana kuusi ei ole taannut rahoitusta. Joskus jokin paneeli on voinut antaa useita kuutosia ja jokin toinen taas ei lainkaan. Toimikunnan tehtävä on ollut tasoittaa tilanne. Varsinainen karsinta on tehty arvosanan viisi kohdalla. Arvosanan viisi saaneet hakemukset ovat kaikki olleet erittäin korkeaa tasoa, ja niille olisi kernaasti suonut rahoituksen. Keskustelevassa prosessissa hakemusten ansiot ja heikkoudet tulivat perusteellisesti käsitellyiksi, ja myös paneelien lausuntoja arvioitiin huolellisesti. Rahoitettavat hakemukset löytyivät perusteellisten keskustelujen tuloksena siten, että toimikunnan jäsenet kokivat prosessin siivilöivän parhaat hakemukset rahoitukseen. Samoin kuin Lamontin haastattelemat panelistit, me toimikunnan jäseninä uskoimme prosessin oikeudenmukaisuuteen ja päädyimme pönkittämään järjestelmää.

Sen vuoksi on ehkä mielenkiintoista kiinnittää huomiota seikkoihin, joissa saattoi esiintyä systeemiin liittyviä eroavia näkemyksiä. Ei liene yllätys, että tieteenalakohtaiset erot nousivat välistä esiin. Toimikunnan kattamilla aloilla esiintyy varsin erilaista teoriapohjaa ja metodologiaa, joiden ymmärtäminen toisenlaisesta tutkimusperinteestä tulevalle saattoi olla haasteellista. Vuoropuhelun kautta tällaiset ongelmat ratkesivat. Toinen asenne-ero esiintyi suhtautumisessa kansainvälisten paneelien arviointiin. Osa toimikunnan jäsenistä halusi nojautua vahvasti paneelien arvioihin. Toiset taas korostivat toimikunnan omaan arviointia enemmän.

Tässä suhteessa tulevan toimikunnan työprosessit vuodesta 2019 eteenpäin tulevat olemaan erilaisia. Paneelien kokoonpanossa ei olla luopumassa tieteenalapohjaisuudesta, mutta paneelit pyritään saamaan saman kokoisiksi. Tästä seuraa, että pienet tieteenalat eivät välttämättä saa omaa paneelia. Lisäksi poikkitieteellisissä teemoissa voidaan kokeilla ilmiöpohjaista paneelia. Paneelit tulevat myös asettamaan hakemukset paremmuusjärjestykseen. Myös toimikunnan rooli muuttuu. Paneelien antamien arvioiden merkitys korostuu, ja niistä poikkeaminen tulee olemaan harvinaista tai ainakin vaatimaan erityisen hyviä perusteluita.

On vaikeaa ennakoida, mitä muutos tarkoittaa toimikunnan työn kannalta. Jos paneelien arviointeihin nojaudutaan entistä enemmän, toimikunnan työ voi helpottua. Tällöin toimikunnalle jäisi enemmän aikaa pohtia ja keskustella tiedepoliittisista linjauksista. Toimikunnat olivat kaudella 2016-2018 sivussa strategisen tutkimuksen, profilointien ja akatemiaprofessuurien hauista ja niiden rooli huippuyksikköhaussa oli vähäinen. Tämä ratkaisu on ollut toimikunnan jäsenten työmäärään nähden ymmärrettävä, mutta samalla toimikunta on ollut sivussa tärkeistä tiedepoliittisista linjauksista. Uusi menettely voi antaa lisää tilaa laajemmalle tiedepoliittiselle pohdinnalle.

Olen kuluneiden kolmen vuoden aikana nähnyt paljon erinomaisia hakemuksia, joita ei ole pystytty rahoittamaan. Mieleeni ovat monesti tulleet Uumajan yliopiston entisen rehtorin, Wallenbergin säätiöiden johtajan Göran Sandbergin sanat, että ”tärkeimmät tutkijalta vaadittavat ominaisuudet ovat kyky vuorovaikutukseen ja kyky kestää pettymyksiä”. Toivoisin, että tutkijanuralla ei tarvitsisi olla niin paljon pettymyksiä kuin nykyisin. Tarvitsemme enemmän tietoa ja keskustelua arviointiprosesseista ja siitä, miten tutkimusrahoitus kanavoidaan.

Johanna Niemi
Kirjoittaja on Suomen Akatemian Minna Canth -professori kaudella 2015–2019.