Miten tiedettä ja tutkijoita tulisi mitata?

Arto MustajokiTutkijoita on iät ajat pistetty järjestykseen tavalla tai toisella. Yksi arvostuksen mittari on ollut ja on edelleen tutkijan saama asema professorina tai tutkimuslaitoksen johtajana. Julkaisuillakin on aina saanut sulkia hattuun erityisesti tiedeyhteisön sisällä. Muutama vuosikymmen sitten intuitiivisen tutkijoiden arvottamisen rinnalle hiipi vähitellen uusi elementti: alettiin laskea tutkijan saamien viittausten määriä. Ei ollut sattumaa, että tällaista numeerista mittaria alettiin käyttää ensimmäiseksi lääketieteen piirissä. Alalla syntyi varhain tieteellisten journaalien nokkimisjärjestys, josta tutkijat olivat hyvin tietoisia. Huippulehdissä julkaisevat tutkijat olivat alansa huippuja – hyvin selkeä määrittely pätevyydelle.

Sitaatioiden mittaamiseen tarvittiin luotettava tietolähde, jollainen oli silloin ja on edelleen yhdysvaltalainen Web of Science -tietokanta. Sen tieteenalakohtainen kattavuus oli aluksi kuitenkin varsin kapea. Eurooppalainen kustantamo Elsevier näki tässä markkinaraon ja rakensi tieteenalakirjoltaan ja julkaisutyypeiltään kattavamman Scopus-tietokannan. Vielä laajemmin eri tieteenaloja ja erilaisia julkaisuja edustaa Publish or Perish -tietokanta, jonka taustalla on Google Scholar -hakupalvelu. Tietokantojen avulla alettiin pian laatia myös lehtien paremmuuslistoja, jotka perustuvat niissä julkaistujen artikkeleiden saamien viittausten määrään. Huippulehdillä (kuten Cell ja The Lancet) keskimääräinen artikkelien saama viittausmäärä huitelee kymmenissä, mutta lääketieteessä ja lähialoilla on tuhansia lehtiä, joissa se on alle yhden.

Sitaatioiden määrään vetoaminen johti aluksi ylilyönteihin, kun ei tajuttu tai haluttu tajuta tieteenalojen julkaisukäytäntöjen eroja. Fysiikan alalla saadut sata viittausta vastaa noin kymmentä viittausta matematiikassa, kuten jo Olli Lounasmaa totesi kuuluissa luonnontieteen alan vertailussaan. Myös tieteenalojen sisällä on suuria eroja viittausten määrässä. Korva-, nenä- ja nielutautien huippututkijan on turha haaveilla saman kertaluokan sitaatiomääristä kuin lääketieteellisen genetiikan tutkijan. Kun Suomen Akatemian kulttuurin ja yhteiskunnan toimikunnassa päätettiin koemielessä laskea akatemiaprofessuurin hakijoiden saamat viittausmäärät, etukäteen oli jo selvää, että ne kuvastavat enemmän tieteenalan julkaisu- ja viittauskäytänteitä kuin yksittäisen tutkijan ansioita. Niin siinä sitten kävikin. Ylivoimaisesti eniten viittauksia oli psykologeilla. Selvästi vähiten taas, käytännössä vain muutama, oli papyrologi Jaakko Frösenillä – joka oli ainoa suomalainen tutkija erään yhdysvaltalaisen lehden laatimassa maailman sadan merkittävimmän tutkijan listassa.

Ei ole yllättävää, että viittausten määrään perustuva arviointi on herättänyt kaiken aikaa myös kritiikkiä tutkijoiden keskuudessa. Aluksi kun esittäjinä olivat humanistisen alan tutkijat, kritiikki jäi vaimeaksi taustahälyksi. Mutta kun Kari Raivio sivalsi samaan suuntaan, asia sai painavamman sävyn. Kirjassaan Näytön paikka: Tutkimustiedon käyttö ja väärinkäyttö hän tuo esille monia viittauksiin perustuvan arvioinnin ongelmakohtia. Yksi niistä on lehtien kyseenalaiset temput viittausten määrän lisäämiseksi.

Jos viittaukset ovat harhaanjohtava tieteen mittari, mikä olisi parempi? Tiedemaailman keskeinen väline tutkimuksen ja tutkijoiden tason määrittelyssä on vertaisarviointi, mikä perustuu kokeneiden kollegoiden antamiin asiantuntijalausuntoihin. Sitä käytetään, kun valitaan professoreita, annetaan painatuslupia väitöskirjoille ja päätetään, mitkä artikkelit ovat riittävän hyviä julkaistavaksi tieteellisessä lehdessä. Näin voitaisiin tehdä ja on tehtykin kokonaisten laitosten ja yliopistojen tutkimuksen arvioinnissa. Se on kuitenkin työläs metodi suoritettavaksi vuosittain. On myös huomattava, että arvioitsijat eivät voi arvioida yksittäisiä julkaisuja vaan tekevät arvionsa sillä perusteella, millä foorumilla parhaimmat julkaisut on julkaistu eli käyttävät mielessään olevaa tai muitten tekemää julkaisufoorumien arvoasteikkoa.

Tietynlainen välimuoto vertaisarvioinnin ja viittauspohjaisesta arvioinnin välillä on journaalien ja kustantajien ”käsipelillä” tapahtuva tasoluokittelu. Tällaisia lehtirankingejä on ollut käytössä muun muassa Australiassa ja Norjassa. Kun olin itse eurooppalaisen humanistisen lehtiluokittelun (ERIH) johtoryhmässä, pääsin seuraamaan tarkkailijana asiantuntijaryhmän työskentelyä musiikkitieteen alla. He pohtivat muun muassa sitä, pitääkö jokaiselta musiikkitieteen osa-alueelta, kuten etnomusikologia, kognitiivinen musiikkitiede ja musiikkikasvatus, olla ainakin yksi lehti kaikkein korkeimmassa kategoriassa. Toinen ehkä vielä kiinnostavampi kysymys oli: tuleeko säveltäjän ”suuruuden” vaikuttaa siihen, kuinka korkealle arvostetaan hänen tuotantoaan käsittelevä ykköslehti. Toisin sanoen: onko Bach-tutkimus lähtökohtaisesti merkittävämpää kuin Griegiin kohdistuva tutkimus.

Suomessa käytössä oleva Julkaisufoorumi perustuu tähän samaan ideaan: 23 tieteenalakohtaista paneelia määrittelee lehtien ja kustantajien tasoluokan. Jos tutkijan artikkeli julkaistaan alan huippulehdessä, hänen yliopistonsa laariin tipahtaa neljä pistettä. Jos taas lehti on alinta kastia, pisteitä saa vain yhden. Näin kertyvät pisteet lasketaan yhteen ja tällä perusteella yliopistojen kesken jaetaan kymmeniä miljoonia euroja vuosittain.

Jotta voisi ymmärtää rahanjakomallin ongelmat, on hyvä palauttaa mieleen, mitä oli tätä järjestelmää ennen. Aluksi tutkimuksen tason mittarina käytettiin tohtoreiden määrää. Tämän seurauksena niistä maksettiin selvästi ylihintaa kuluihin nähden, mikä luonnollisesti johti siihen, että kaikki yliopistot halusivat tuottaa mahdollisimman paljon tohtoreita. Seuraavassa vaiheessa rahoituksen perusteena oli julkaisujen määrä, mikä oli sellaisenaan oikeinsuuntainen kriteeri, mutta johtaa määrän ylivaltaan laadun kustannuksella. Lehdet ja kustantajat luokitteleva julkaisufoorumi oli merkittävä askel eteenpäin. Koko järjestelmää voidaan kuitenkin kritisoida siitä, että se johtaa artikkelitehtailuun eikä jätä tutkijoille aikaa kehitellä laajoja kunnianhimoisia tutkimusteemoja.

Kaikki yllä kuvattu liittyy tutkimuksen arviointiin tiedeyhteisön sisällä. Julkaiseminen arvostetussa lehdessä ja viittausten määrä kuvastavat tutkijan vaikuttavuutta omalla tieteenalallaan. Se ei kuitenkaan kerro mitään tutkijan työn vaikutuksesta yhteiskuntaan. Poliitikot haluaisivat nähdä tutkimuksella mahdollisimman paljon hyötyä yhteiskunnan näkökulmasta, kun kerran ovat osoittaneet verorahoja sen tukemiseen. Heidän on vaikea ymmärtää, että on mahdotonta tehdä sellaista korkeatasoista tutkimusta, josta yhteiskunta ei tavalla tai toisella hyötyisi. Tärkein vaikuttamisen kanava ovat opiskelijat, jotka vievät uusimman tutkimustiedon omille työpaikoilleen – ja mikä ehkä vielä tärkeämpää: huippututkijat ovat istuttaneet heihin innon ja kyvyn hyödyntää ja tarkastella kriittisesti uusinta alan tutkimusta.

Keskustelu yhteiskunnallisesta vaikuttavuudesta kääntyy usein väittelyksi julkaisukielestä. Jos olet Suomen historian tai kielen tutkija, uusien tieteellisten löydösten julkaiseminen suomen kielellä on perusteltua. Näin täyttyy julkaisemisen yksinkertainen säätö: julkaise sillä kielellä ja sellaisella foorumilla, mitä tiedeyhteisö lukee. Mutta jos tutkija kirjoittaa artikkelin Kantin kategorisesta imperatiivista ja julkaisee sen suomeksi, hän kirjoittaa vain tusinalle suomalaisia kollegoitaan.

Eikö suomeksi julkaisemisella sitten ole merkitystä? Sillä on suuri merkitys, mutta se on yhteiskunnallista vaikuttavuutta eikä tieteensisäistä. Yhteiskunnallinen merkitys ei ole kiinni vain kielestä vaan ylipäätänsä siitä, miten julkaisun kirjoittaja kykenee ottamaan huomioon kohdeyleisön. Suomeksi kirjottamista ja avointa julkaisemista perustellaan usein sillä, että näin päättäjillä on suora pääsy viimeisimmän tutkimustiedon äärelle. Se on kaunis, mutta täysin epärealistinen ajatus. Heillä ei ensinnäkään ole aikaa siihen ja toisekseen heille on ylivoimainen tehtävä ymmärtää tiedeyhteisölle kirjoitettuja tieteellisiä artikkeleita, vaikka ne olisi kirjoitettu suomeksi.

Lääketieteen alalla saatetaan ihmetellä keskustelua julkaisujen kielestä ja tieteellisen tiedon levittämisestä muualle kuin tutkijakunnan piiriin, koska tilanne on selkeä ja yksinkertainen: jos haluat kertoa uusista tutkimustuloksistasi tiedeyhteisölle, kirjoita englanniksi tieteen kirjoitusnormien mukaisesti, jos taas haluat valistaa lääkärikuntaa tai ottaa muuten kantaa terveydenhoidon kysymyksiin, kirjoita selkeällä suomen kielellä. Tilanne on lääketieteessä tässä suhteessa täysin ainutlaatuinen, koska Suomalainen lääkäriseura Duodecim tarjoaa erilaisia alustoja uuden tiedon levittämiseen. Pelko siitä, että englanniksi julkaiseminen rapauttaisi suomen kielen ilmaisuvoimaa tutkijoiden kirjottaessa vain englanniksi, on turha myös sen vuoksi, että Duodecim vaalii aktiivisesti suomen kieltä kehittämällä alan terminologiaa ja kannustamalla tutkijakuntaa selkeään kielenkäyttöön. Myös Lääkäriliitto julkaisee suomeksi Lääkärilehteä ja tarjoaa jäsenkunnalleen muita palvelua suomeksi.

Lääketieteen alalla on siis tarjolla erinomaiset kanavat tutkimustiedon siirtämiseksi yhteiskunnan käyttöön. Samalla on huolehdittava tällaisen työn statuksesta. Saavatko suomenkieliset artikkelit Duodecim- ja Lääkärilehdessä tai Terveyskirjastossa riittävästi arvostusta ministeriössä, tiedekunnassa sekä tutkijoiden keskuudessa. Onko se aito meriitti, kun tutkijan työtä arvioidaan. Vaikuttavuuden näkökulmasta lääkärien ammattitaitoa kohottava suomenkielinen artikkeli on merkittävämpi kuin keskinkertainen englanninkielinen tieteellinen artikkeli, josta ei hyödy kukaan, jos se ei vie alan tutkimusta eteenpäin eikä lisää kentällä toimivien lääkärien osaamista.

Arto Mustajoki
emeritusprofessori, tietokirjailija, podcast-isäntä (https://kommunikaationkompastuskivia.fi/)