{"id":1394,"date":"2018-11-30T03:57:16","date_gmt":"2018-11-30T01:57:16","guid":{"rendered":"https:\/\/blogit.utu.fi\/asla\/?p=1394"},"modified":"2018-11-30T03:57:16","modified_gmt":"2018-11-30T01:57:16","slug":"vertaisarviointi-nakokulma-sisaltapain","status":"publish","type":"post","link":"https:\/\/blogit.utu.fi\/asla\/2018\/11\/30\/vertaisarviointi-nakokulma-sisaltapain\/","title":{"rendered":"Vertaisarviointi: N\u00e4k\u00f6kulma sis\u00e4lt\u00e4p\u00e4in"},"content":{"rendered":"\n
Tweet<\/a><\/div>\n

Professori Johanna Niemen kirjoitus on julkaistu alunperin Turun yliopiston blogissa<\/a><\/span>.<\/p>\n

Olen keskustellut monen yliopistotutkijan puolison kanssa, ja tutkimusty\u00f6h\u00f6n liittyv\u00e4 jatkuva arviointi nousee usein esiin. He n\u00e4kev\u00e4t l\u00e4helt\u00e4 sen, miten tutkija ottaa vastaan palautteen, varsinkin negatiivisen. L\u00e4hes poikkeuksetta puolisoiden palaute on ihailun ja kritiikin yhdistelm\u00e4: Miten te jaksatte el\u00e4\u00e4 niin kovassa maailmassa?\u00a0 Arviointikulttuuri on tullut akateemiseen maailmaan j\u00e4\u00e4d\u00e4kseen, ja me, jotka olemme t\u00e4\u00e4ll\u00e4 pysyneet, olemme oppineet el\u00e4m\u00e4\u00e4n sen kanssa.<\/em><\/p>\n

Olen saanut monenlaista palautetta viranhauissa, rahoitushauissa ja tieteellisiss\u00e4 lehdiss\u00e4. Kuten t\u00e4m\u00e4n ik\u00e4iset yliopistoihmiset, olen my\u00f6s arvioinut muita. Mutta melko v\u00e4h\u00e4n olen k\u00e4ynyt keskusteluja siit\u00e4, millaiset ovat ammattimaisen arvioinnin kriteerit, millainen on hyv\u00e4 arvioitsija ja miten arviointeja tulisi tehd\u00e4.<\/p>\n

\"\"<\/p>\n

Kuva: Pixabay<\/span><\/p>\n

Olen kuluneiden kolmen vuoden ajan ollut Suomen Akatemian yhteiskunnan ja kulttuurin tutkimuksen toimikunnan j\u00e4sen, ja sin\u00e4 aikana paljonkin pohtinut arviointia. Kauden nyt l\u00e4hestyess\u00e4 loppuaan on aika aloittaa tilinp\u00e4\u00e4t\u00f6ksen tekeminen. Kuvaan t\u00e4ss\u00e4 Akatemian p\u00e4\u00e4t\u00f6ksentekoprosessia, sill\u00e4 sit\u00e4 ei edes tiedemaailmassa tunneta kovin hyvin. Toimikuntien arviointiprosessit ovat muuttumassa vuoden 2018 syyskuun haussa, ja avaan seuraavassa muutoksen p\u00e4\u00e4linjoja ja pohdin hiukan sen vaikutuksia.<\/p>\n

Mich\u00e8le Lamont<\/strong>\u00a0analysoi klassikkoteoksessaan\u00a0How Professors Think: Inside the Curious World of Academic Judgement<\/em>\u00a0(2009) asiantuntija-arvioitsijoiden roolia Yhdysvaltojen keskeisill\u00e4 tutkimusrahoittajilla. \u00a0H\u00e4nen tutkimuksensa perustui panelistien haastatteluihin ja havainnointiin.<\/p>\n

Lamontin tutkimus tuo esiin hyv\u00e4n panelistin ominaisuuksia, joista ensimm\u00e4iseksi kiinnitti huomiota valmius tehd\u00e4 kovasti ty\u00f6t\u00e4 usein tiiviiss\u00e4 ajanjaksossa. Lamontin mukaan panelistit olivat omistautuneita, mik\u00e4 ahkeruuden lis\u00e4ksi n\u00e4kyi siin\u00e4, ett\u00e4 he aidosti uskoivat arviointiprosessin johtavan parhaiden hakemusten valikoitumiseen rahoitettaviksi. Keskeiseksi hyv\u00e4n panelistin ominaisuudeksi nousi kollegiaalisuus eli valmius antautua keskusteluun muiden panelistien kanssa hakemusten ansioista ja heikkouksista sek\u00e4 kunnioitus toisten panelistien osaamista ja ammattitaitoa kohtaan. T\u00e4h\u00e4n tarvitaan tietty\u00e4 laaja-alaisuutta ja v\u00e4hint\u00e4\u00e4nkin halukkuutta ymm\u00e4rt\u00e4\u00e4 toisten tieteenalojen kriteereit\u00e4 ja traditioita.<\/p>\n

Ennen muuta vaaditaan kyky\u00e4 vuoropuheluun ja vastakkaisten n\u00e4k\u00f6kohtien punnitsemiseen. Samalla kuitenkin tulisi pysty\u00e4 pit\u00e4m\u00e4\u00e4n kiinni oman tieteenalan laatuvaatimuksista ja ymm\u00e4rt\u00e4m\u00e4\u00e4n muiden tieteenalojen kriteerej\u00e4. Arviointi on kontekstuaalista ja suhteellista, eiv\u00e4tk\u00e4 eri tieteenalojen arviointikriteerit voi olla yhdenmukaisia. Lamontin mukaan tieteidenv\u00e4lisyys ja tutkimuksen monimuotoisuus olivat panelistien mielest\u00e4 laatukriteerej\u00e4, eiv\u00e4tk\u00e4 vaihtoehtoisia arviointikriteereit\u00e4.<\/p>\n

Oma kokemukseni Akatemian toimikunnan j\u00e4senen\u00e4 vastaa pitk\u00e4lti Lamontin havaintoja. Toimikunta k\u00e4sittelee ja tekee rahoitusp\u00e4\u00e4t\u00f6kset tutkimushankkeista sek\u00e4 akatemiatutkijan ja tutkijatohtorin hakemuksista. Hakemuksia on vuosittain ollut l\u00e4hes tuhat, ja hyv\u00e4ksymisprosentti on vaihdellut 9-14 v\u00e4lill\u00e4.<\/p>\n

Toimikunta on siit\u00e4 kiitollisessa asemassa, ett\u00e4 kansainv\u00e4linen paneeli on arvioinut hakemukset, kun ne tulevat toimikunnan k\u00e4sittelyyn. Silti toimikunnan ty\u00f6skentelyss\u00e4 tuntuivat l\u00f6ytyv\u00e4n kaikki Lamontin kuvaamat piirteet.<\/p>\n

Kaudella 2016\u20132018 kansainv\u00e4liset paneelit olivat vaihtelevan kokoisia. Ne olivat tieteenalapohjaisia, mutta siit\u00e4 huolimatta kunkin paneelin arvioitavaksi tuli hakemuksia varsin laajalta skaalalta sek\u00e4 tutkimuskohteen ett\u00e4 k\u00e4ytettyjen menetelmien suhteen. Paneelit arvioivat hakemukset asteikolla 1-6. Toimikunta on tehnyt lopullisen p\u00e4\u00e4t\u00f6ksen hakemusten keskin\u00e4isest\u00e4 j\u00e4rjestyksest\u00e4 eli siit\u00e4, kenelle rahoitus my\u00f6nnet\u00e4\u00e4n.<\/p>\n

Taso on kova. Edes arvosana kuusi ei ole taannut rahoitusta. Joskus jokin paneeli on voinut antaa useita kuutosia ja jokin toinen taas ei lainkaan. Toimikunnan teht\u00e4v\u00e4 on ollut tasoittaa tilanne. Varsinainen karsinta on tehty arvosanan viisi kohdalla. Arvosanan viisi saaneet hakemukset ovat kaikki olleet eritt\u00e4in korkeaa tasoa, ja niille olisi kernaasti suonut rahoituksen. Keskustelevassa prosessissa hakemusten ansiot ja heikkoudet tulivat perusteellisesti k\u00e4sitellyiksi, ja my\u00f6s paneelien lausuntoja arvioitiin huolellisesti. Rahoitettavat hakemukset l\u00f6ytyiv\u00e4t perusteellisten keskustelujen tuloksena siten, ett\u00e4 toimikunnan j\u00e4senet kokivat prosessin siivil\u00f6iv\u00e4n parhaat hakemukset rahoitukseen. Samoin kuin Lamontin haastattelemat panelistit, me toimikunnan j\u00e4senin\u00e4 uskoimme prosessin oikeudenmukaisuuteen ja p\u00e4\u00e4dyimme p\u00f6nkitt\u00e4m\u00e4\u00e4n j\u00e4rjestelm\u00e4\u00e4.<\/p>\n

Sen vuoksi on ehk\u00e4 mielenkiintoista kiinnitt\u00e4\u00e4 huomiota seikkoihin, joissa saattoi esiinty\u00e4 systeemiin liittyvi\u00e4 eroavia n\u00e4kemyksi\u00e4. Ei liene yll\u00e4tys, ett\u00e4 tieteenalakohtaiset erot nousivat v\u00e4list\u00e4 esiin. Toimikunnan kattamilla aloilla esiintyy varsin erilaista teoriapohjaa ja metodologiaa, joiden ymm\u00e4rt\u00e4minen toisenlaisesta tutkimusperinteest\u00e4 tulevalle saattoi olla haasteellista. Vuoropuhelun kautta t\u00e4llaiset ongelmat ratkesivat. Toinen asenne-ero esiintyi suhtautumisessa kansainv\u00e4listen paneelien arviointiin. Osa toimikunnan j\u00e4senist\u00e4 halusi nojautua vahvasti paneelien arvioihin. Toiset taas korostivat toimikunnan omaan arviointia enemm\u00e4n.<\/p>\n

T\u00e4ss\u00e4 suhteessa tulevan toimikunnan ty\u00f6prosessit vuodesta 2019 eteenp\u00e4in tulevat olemaan erilaisia. Paneelien kokoonpanossa ei olla luopumassa tieteenalapohjaisuudesta, mutta paneelit pyrit\u00e4\u00e4n saamaan saman kokoisiksi. T\u00e4st\u00e4 seuraa, ett\u00e4 pienet tieteenalat eiv\u00e4t v\u00e4ltt\u00e4m\u00e4tt\u00e4 saa omaa paneelia. Lis\u00e4ksi poikkitieteellisiss\u00e4 teemoissa voidaan kokeilla ilmi\u00f6pohjaista paneelia. Paneelit tulevat my\u00f6s asettamaan hakemukset paremmuusj\u00e4rjestykseen. My\u00f6s toimikunnan rooli muuttuu. Paneelien antamien arvioiden merkitys korostuu, ja niist\u00e4 poikkeaminen tulee olemaan harvinaista tai ainakin vaatimaan erityisen hyvi\u00e4 perusteluita.<\/p>\n

On vaikeaa ennakoida, mit\u00e4 muutos tarkoittaa toimikunnan ty\u00f6n kannalta. Jos paneelien arviointeihin nojaudutaan entist\u00e4 enemm\u00e4n, toimikunnan ty\u00f6 voi helpottua. T\u00e4ll\u00f6in toimikunnalle j\u00e4isi enemm\u00e4n aikaa pohtia ja keskustella tiedepoliittisista linjauksista. Toimikunnat olivat kaudella 2016-2018 sivussa strategisen tutkimuksen, profilointien ja akatemiaprofessuurien hauista ja niiden rooli huippuyksikk\u00f6haussa oli v\u00e4h\u00e4inen. T\u00e4m\u00e4 ratkaisu on ollut toimikunnan j\u00e4senten ty\u00f6m\u00e4\u00e4r\u00e4\u00e4n n\u00e4hden ymm\u00e4rrett\u00e4v\u00e4, mutta samalla toimikunta on ollut sivussa t\u00e4rkeist\u00e4 tiedepoliittisista linjauksista. Uusi menettely voi antaa lis\u00e4\u00e4 tilaa laajemmalle tiedepoliittiselle pohdinnalle.<\/p>\n

Olen kuluneiden kolmen vuoden aikana n\u00e4hnyt paljon erinomaisia hakemuksia, joita ei ole pystytty rahoittamaan. Mieleeni ovat monesti tulleet Uumajan yliopiston entisen rehtorin, Wallenbergin s\u00e4\u00e4ti\u00f6iden johtajan\u00a0G\u00f6ran Sandbergin<\/strong>\u00a0sanat, ett\u00e4 \u201dt\u00e4rkeimm\u00e4t tutkijalta vaadittavat ominaisuudet ovat kyky vuorovaikutukseen ja kyky kest\u00e4\u00e4 pettymyksi\u00e4\u201d. Toivoisin, ett\u00e4 tutkijanuralla ei tarvitsisi olla niin paljon pettymyksi\u00e4 kuin nykyisin. Tarvitsemme enemm\u00e4n tietoa ja keskustelua arviointiprosesseista ja siit\u00e4, miten tutkimusrahoitus kanavoidaan.<\/p>\n

Johanna Niemi
\nKirjoittaja on Suomen Akatemian Minna Canth -professori kaudella 2015\u20132019<\/em><\/p>\n\n

Tweet<\/a><\/div>\n","protected":false},"excerpt":{"rendered":"

Professori Johanna Niemen kirjoitus on julkaistu alunperin Turun yliopiston blogissa. Olen keskustellut monen yliopistotutkijan puolison kanssa, ja tutkimusty\u00f6h\u00f6n liittyv\u00e4 jatkuva arviointi nousee usein esiin. He n\u00e4kev\u00e4t l\u00e4helt\u00e4 sen, miten tutkija ottaa vastaan palautteen, varsinkin negatiivisen. L\u00e4hes poikkeuksetta puolisoiden palaute on ihailun ja kritiikin yhdistelm\u00e4: Miten te jaksatte el\u00e4\u00e4 niin kovassa maailmassa?\u00a0 Arviointikulttuuri on tullut akateemiseen […]<\/p>\n","protected":false},"author":5059,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[122,119,125],"class_list":["post-1394","post","type-post","status-publish","format-standard","hentry","category-blogi-finnish","tag-arviointi","tag-tutkija","tag-vertaisarviointi","post-preview"],"_links":{"self":[{"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/posts\/1394","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/users\/5059"}],"replies":[{"embeddable":true,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/comments?post=1394"}],"version-history":[{"count":1,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/posts\/1394\/revisions"}],"predecessor-version":[{"id":1400,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/posts\/1394\/revisions\/1400"}],"wp:attachment":[{"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/media?parent=1394"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/categories?post=1394"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogit.utu.fi\/asla\/wp-json\/wp\/v2\/tags?post=1394"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}