Olin roikkunut Research Executive Agency:n (REA) eli käytännössä Euroopan Komission hakemusarvioijatietokannassa vuodesta 2015 lähtien, päivittänyt kuuliaisesti profiiliani julkaisujen ja tieteellistä asiantuntijuuttani kuvaavien asiasanojen osalta, mutta toimeksiantoja ei tippunut. Olisin halunnut arvioida Marie Skłodowska-Curie Individual Fellowship -hakemuksia, koska tunsin rahoitusinstrumentin hyvin ja olin sitä itsekin kahteen kertaan hakenut – siinä kuitenkaan onnistumatta. Lisäksi halusin ensikäden kokemuksen siitä, mitä arvioinnissa vaihe vaiheelta tapahtuu. Lopulta keväällä 2019 minulta tiedusteltiin, olisinko käytettävissä syyskuussa päättyvässä IF-arvioinnissa. Oletan tämän johtuneen kahdesta seikasta: ensinnäkin määrittelin tieteellisen asiantuntijuuteni aiempaa laajemmin, ja toiseksi IF-hakemusten määrä on jatkuvasti kasvanut. Kyseiseen hakuun tulikin lopulta ennätysmäärä eli miltei 10 000 hakemusta, ja koska kullekin hakemukselle tarvitaan kolme arvioijaa, oli arvioijille ilmeisen kova kysyntä.
Työni arvioijana sijoittui pääasiassa lokakuuhun ja marraskuun alkuun, ja se alkoi perehdytysmateriaaleihin tutustumisella ja lyhyen, IF-arviointia käsittelevän verkkokurssin läpikäymisellä. Tätä ennen olin saanut seikkaperäisen ohjeistuksen paneelini vice-chair’lta, johon saatoin olla yhteydessä missä tahansa pulmatilanteessa. Ensimmäinen vaihe oli IER (Individual Evaluation Report) phase eli noin kolmen viikon ajanjakso, jonka aikana kukin arvioija kirjoittaa itsenäisesti arvion hänelle määrätyistä hakemuksista. Tämä oli ensikertalaiselle verrattain haastavaa; kunkin 27 alakriteerin osalta tulee määrittää, onko hakemus siltä osin heikko, vahva vai riittävä. Kommenttien sanoittamisessakin saa olla kieli keskellä suuta; ei saa esimerkiksi todeta jonkin asian puuttuvan, vaan pitää kirjoittaa, ettei sitä ”käsitellä riittävällä tarkkuudella”. Lisäksi jokainen kommentti tulee avata mahdollisimman yksityiskohtaisesti, mutta ei saa kuitenkaan esittää kehitysehdotuksia.
Tätä seuraa kolmen viikon mittainen Consensus report -vaihe, jossa raportööriksi valittu arvioija kokoaa yhteen oman ja kahden muun arvioijan kommentit, vetää keskustelua niiden yhteensovittamisesta ja päällekkäisyyksien poistamisesta sekä lopuksi ehdottaa hakemukselle pisteitä asteikolla 0-5. Keskustelua, jota myös vice-chair pääsi seuraamaan ja kommentoimaan, käytiin sähköisellä alustalla, ja koska kaikista päätöksistä vaadittiin konsensus, saattoi prosessi helposti keskeytyä yhden arvioijan unohtaessa ottaa kantaa. Tässä vaiheessa myös kävi selväksi, kuinka eri tavoin hakemuksia voi arvioida, ja toisaalta, kuinka paljon inhimilliset tekijät vaikuttavat arvioinnissa. Inhimillisillä tekijöillä viittaan esimerkiksi tilanteeseen, jossa kaksi kolmesta arvioijasta on yhtä mieltä, minkä jälkeen kolmatta pyydetään joko perustelemaan omaa kantaansa yksityiskohtaisemmin tai hyväksymään enemmistöpäätöksen. Laiskalle arvioijalle enemmistön tahtoon taipuminen on helpoin vaihtoehto, sillä silloin asiat etenevät jouhevasti – toisaalta ei ole kyse laiskuudesta, jos arvioija aidosti muuttaa mielipidettään. Toisinaan taas oli tulkittavissa, että vähemmistöön joutunut arvioija sisuuntui ja teki kaikkensa muuttaakseen kahden muun arvioijan mielen. Tämä, yhdistettynä tiukkoihin aikarajoihin ja vice-chair’n hoputteluun, oli omiaan johtamaan tilanteeseen, jossa päätökset tehdään kovan paineen alla. Kaikki yhdeksän hakemusta, joita itse olin arvioimassa, saivat kuitenkin konsensusraporttinsa ja pisteensä määräajan puitteissa.
Kolmannessa ja viimeisessä vaiheessa, johon minun ei enää edellytetty osallistuvan, vice-chair’t, chair’t ja paneelin koordinaattorit viimeistelevät arviot ja tarvittaessa lähettävät ne takaisin konsensus-vaiheeseen. Lopulta hakijat saavat pisteensä seuraavan vuoden helmikuun aikana.
Kaiken kaikkiaan kokemus oli arvokas ja tuki hyvin omaa työtäni. Samalla vahvistui käsitys siitä, että monipolvisesta tarkastusmenettelystä huolimatta aina kun ihmiset tekevät arvioita, on olemassa mahdollisuus arvioinnin vinoutumiseen. Tätä korostettiin myös perehdytysmateriaaleissa; kun arvioijat ovat asiasta tietoisia, voivat he huomioida sen paremmin työssään ja näin nostaa arvioittensa luotettavuutta.
Photo by Headway