The devil is in the details

Elämme mittaamisen aikaa. Uskomme, että mittaamalla toimintaa saadaan selville sen yksityiskohtia, joita viilaamalla voidaan parantaa toiminnan tehokkuutta tai lopputuloksen laatua. Tämä aiemmin lähinnä elinkeinoelämässä vallinnut käsitys on nyttemmin levinnyt laajalti yhteiskuntaan, yliopistolaitokseenkin.

Mittaamisessa on tietysti kyse arvoista: keitä mitataan, mitä mitataan, miksi mitataan? Mutta mittaaminen on myös taitolaji: miten mitataan? Ja kun jollakin toiminnan osa-alueella mittaamiseen ryhdytään, yleensä mittaamista lisätään ja tarkennetaan toistuvasti – kunnes loputtomaan säätämiseen lopulta väsytään, ja asioita ryhdytään tarkastelemaan ”uudella tavalla”, holistisesti. Yliopistopolitiikassa heiluri vaikuttaa paraikaa olevan liikkeessä lisääntyvän mittaamisen suuntaan, mutta ennustanpa, että liikesuunta jälleen muuttuu, vaikkei vielä aivan lähivuosina. Siksi on paikallaan pohtia mittaamisen vaikutusta tieteeseen ja korkeimpaan koulutukseen.

Luonnontieteellis-teknillisessä katsannossa mittaaminen on aina määrällistä; jos tai kun halutaan mitata myös toiminnan laatua, se pitää jotenkin määrällistää. Julkaisut ovat tieteellisen toiminnan keskeinen tuote, ja niiden määrä on helppo laskea. Julkaisujen laadun mittaaminen onkin sitten jo vaikeampaa. Tunnemme kaikki julkaisufoorumien luokituksen ongelmat ja luokituksen määrittelemiseen liittyvät edunvalvonnan intohimot. Mutta viittauksethan ovat lahjomaton kansainvälisen tiedeyhteisön arvostuksesta kertova julkaisun laadun mittari, vai ovatko?

Tieteenalat ovat keskenään varsin erilaisia monin tavoin, ja viittauskäytännöt ovat tästä hyvä esimerkki. Tietysti voidaan todeta – ja usein todetaankin – että tällaisia vertailuja ei koskaan pidä tehdä tieteenalojen välillä, vaan ainoastaan tieteenalojen sisällä. Ja koska vaihtelua esiintyy myös hyvin hienojakoisesti tutkimusaiheen mukaan, ei vertailua pidä tehdä myöskään yksilöiden kesken, vaan ainoastaan suurempien yksiköiden välillä. No, tiedämme kaikki, että jos vertaaminen on näennäisen helposti mahdollista, joku tekee sen kuitenkin.

Pelkkien yksittäisten julkaisujen, tutkijoiden tai tutkimusyksiköiden keräämien viittausten lukumäärien sijaan tarkastellaan usein suhteellisia indikaattoreita, kuten tutkimusyksikön kaikkien julkaisujen viittausten keskiarvoa, tai eniten viitattuun desiiliin kuuluvien julkaisujen osuutta koko tuotannosta. Kuulostaa hyvältä, eikö?

Keskiarvoon perustuvien indikaattorien perusominaisuus on, että keskiarvoa vähemmän viitatut julkaisut heikentävät mittarin arvoa. Aina ei ehkä tule ajatelleeksi, että tällöin mitattu tulos on parempi, jos tällainen ’huonompi’ julkaisu jätetään kokonaan tekemättä. Mutta silloin julkaisujen määrä laskee – ja jufo-pisteet sen myötä, mistä ministeriön rahoitusmalli puolestaan rankaisee. Suo siellä, vetelä täällä.

No, kukaanhan ei voi kirjoittaa pelkästään keskiarvoa parempia julkaisuja – vai voiko? Eihän nippuväitöskirjaankaan voi kirjoittaa ainoastaan sitä parasta osajulkaisua, kyllä siihen yleensä tarvitaan myös ne muutama muu, väistämättä hieman heikompi osajulkaisu.

Tästä päästäänkin toiseen keskeiseen kysymykseen: minkä perusjoukon tai populaation yli keskiarvo lasketaan? Tieteidenväliset erot ovat niin merkittäviä, että käytännössä aina pyritään vertaamaan mittaustuloksia vain saman tieteenalan sisällä.  Mutta mikä on sama tieteenala?

NordForsk julkaisi loppukesällä laajan bibliometrisen selvityksen pohjoismaisten yliopistojen tutkimuksesta (Comparing research at Nordic Higher Education Institutions using bibliometric indicators, Policy paper 4/2017, NordForsk). Selvityksessä on laskettu monenlaisia suhteellisia suureita. Esimerkiksi suhteessa eniten kansainvälisiä yhteisjulkaisuja Suomessa tekevät Lappeenrannan-Lahden teknillinen yliopisto LUT, Helsingin yliopisto, Turun yliopisto, Aalto-yliopisto ja Jyväskylän yliopisto, tässä järjestyksessä. Nämä yliopistot Suomessa ovat pohjoismaisen keskiarvon paremmalla puolella. Tällaisten suhteellisten mittausten kohdalla on hyvä huomata, että esimerkiksi LUTin julkaisuvolyymi on vain noin kymmenesosa HY:n volyymista ja neljäsosa TY:n volyymistä.

Varsinaisesti jännittäviksi mittaustulokset käyvät, kun tarkastellaan alakohtaisia suhteellisia indikaattoreita. Tieteenalojen käytäntöjen välisten erojen tasoittamiseksi viittausmittarit voidaan normalisoida siten, että yliopistojen yksiköitä vertaillaan kunkin tieteenalan sisällä. Erään NordForskin selvityksessä käytetyn mittarin (average citation rate) tulokset oman alani tietotekniikan (Computer and Information Sciences) kohdalla kiinnittivät huomiota, koska sijoittumisemme vertailussa oli vähemmän mairitteleva – no, itse asiassa olimme Pohjoismaiden huonoimpia! Kun pohjoismainen normalisoitu keskiarvo on yksi, Turun yliopisto sai tällä alalla mittaustuloksen 0,44. Ei paljon naurata.

Asia nauratti meitä tulevaisuuden teknologioiden laitoksella niin vähän, että halusimme ymmärtää paremmin, mistä yllättävässä tuloksessa on kyse. Aiempien selvitysten perusteella tiedämme, että tietotekniikan kohdalla Web of Science –tietokannan kattavuus on vain noin 30%, eli suurin osa alan tieteellisestä tuotoksesta ei ole tällaisissa analyyseissa mukana. Tässä suhteessa tekniikka on ”pehmeämpi” tieteenala kuin vaikkapa kauppatieteet, joiden WoS-kattavuus sentään lähenteleee 50%:ia. Joka tapauksessa esimerkiksi aiemmin Leidenin yliopiston tekemässä RAE-selvityksessä Turun yliopiston tietotekniikka oli globaalissa viittauskisassa keskitasoa (0,99) ja eniten siteerattujen julkaisujen osalta hieman keskitasoa parempi (Top-10% julkaisujen osuus 11%).

CSC:n ystävällisellä avustuksella saimme NordForskin selvityksen tehneeltä Ruotsin Vetenskapsrådetilta käsiimme alkuperäisdataa, johon pureutuminen paljasti mielenkiintoisia yksityiskohtia. Odotetusti konferenssijulkaisut puuttuivat tykkänään, koska WoS ei niitä tunne. Alalla on kuitenkin pitkä perinne konferenssijulkaisemisessa, eivätkä huolellisesti vertaisarvioidut konferenssipaperit ole välttämättä lainkaan tieteellisten aikakauslehtien artikkeleita heikompia. Professorikollegani juuri hiljattain ihmetteli, että hänen eniten siteerattu artikkelinsa on julkaistu jufo 0 –luokitellussa konferenssissa; konferenssissa, jossa maailman kaikki muutkin huippuryhmät säännöllisesti käyvät. Pitäisikö hänen lakata käymästä?

Odotetusti NordForskin mittaukseen oli tullut paitsi TT-laitoksen julkaisuja, myös useita artikkeleita, jotka oli kirjoitettu jossain muualla Turun yliopistossa. Osasimme odottaa, että Kauppakorkeakoulun tietojärjestelmätiede olisi edustettuna tässä luokituksessa, ja niin olikin. Varsinainen yllätys kuitenkin oli se, että vain 27 % julkaisuista oli tehty TT-laitoksella ja peräti 56% julkaisuista oli tehty matematiikan ja tilastotieteen laitoksella!

No, väliäkös sillä on, millä laitoksella tiede tehdään, kunhan se on hyvätasoista. Mutta piru piilee juuri mittauksen yksityiskohdissa. Turun yliopiston matematiikka on kansainvälisesti korkeatasoinen teoreettisen tietojenkäsittelytieteen tutkimusyksikkö, jonka julkaisut matematiikan alalla ovat hyvin viitattuja. Mutta matematiikan alan julkaisu- ja viittauskulttuuri poikkeavat merkittävästi tekniikan alan käytännöistä: tekniikan julkaisuissa käytetään viittauksia paljon enemmän kuin matematiikassa.

Matematiikan alan mukaisesti normalisoituina Turun yliopiston teoreettisen tietojenkäsittelytieteen julkaisut näyttäytyisivät luultavasti hyvin viitattuina, mutta tietotekniikaksi luokiteltuina nämä tarkasteltua otosta dominoivat matematiikan julkaisut romahduttavat normalisoidun viittausindeksin. NordForskin mittaus ei siis tee lainkaan oikeutta sen paremmin tietotekniikalle kuin matematiikallekaan. Tarkemmin sanoen, mittaustulos heijastaa sinänsä totuudellisesti Turun yliopiston tutkimuksen sisällöllistä suuntautumista, mutta ei kerro käytännössä mitään tieteenteon laadusta kummallakaan laitoksella – mistä tietysti alun perin oli kyse.

Mitä tästä harjoituksesta sitten jäi käteen? Siinä missä mittaus on taitolaji, mittariviidakossa navigointi on monitavoiteoptimointia, jossa kompromissien teko on välttämätöntä. Pyrittäessä tekemään vaikuttavaa tiedettä on syytä turvautua siihen kuuluisaan maalaisjärkeen ja pyrkiä julkaisemaan siellä, missä odottaa lukijoitten olevan. Jufo-luokitukset elävät vuosittain, ja niiden optimointi voi heikentää sitaatioindeksejä, ja päinvastoin.

Aloittelevan väitöskirjantekijän on hyvä verkostoitua ja harjoitella konferenssiesiintymistä sellaisilla foorumeilla, joille julkaisun saa läpi. Senioritutkijat voivat pyrkiä tekemään vaikuttavampaa, pitkäkestoisempaa ja riskialttiimpaa tutkimusta. Kun riittävän usein mitataan riittävän monella tavalla, voi vain toivoa, että hyvä tiede näyttäytyy lopulta sellaisena myös mittauksissa. Haluan uskoa, että on parempi pyrkiä tekemään hyvää tiedettä kuin saamaan hyviä mittaustuloksia.

Toivotan Turun yliopiston tutkijoille ja opettajille, opiskelijoille ja hallintoväelle rauhallista ja normalisoimatonta, mittaamattoman arvokasta Joulun aikaa!

Tapio Salakoski
Kirjoittaja on matemaattis-luonnontieteellisen tiedekunnan dekaani