Vastuullisen arvioinnin suositukset tutkijan arviointiin ja metriikan käyttöön

Vastuullinen tiede on saanut kevään aikana tuekseen kaksi kansallista suositusta. Sekä tutkijan vastuullisessa arvioinnissa että julkaisumetriikan vastuullisessa käytössä lähtökohtana on, että ne palvelevat ennen kaikkea tutkimusta ja tutkijoita. Tässä blogiartikkelissa esitellään suositukset ja nostetaan esiin 18. maaliskuuta järjestetyssä Etiikan päivän webinaarissa esiin nousseita kysymyksiä.

Vuosittain pidettävän Etiikan päivän ohjelman osiot kutistuivat koronan aiheuttamassa poikkeustilanteessa vastuullisen arvioinnin hyviä käytäntöjä esitteleväksi webinaariksi, joka pidettiin 18. maaliskuuta. Painokkaita esityksiä seurasi noin 150 kuulijaa.

Seminaarissa esiteltiin tutkijan ansioluettelomallin päivitetty versio ja vastuullisen tutkijanarvioinnin ohjeen viimeistelty versio. Nämä kaikki liittyvät kokonaisuuteen, jota kootaan Vastuullisen tieteen sateenvarjon alle.

Tutkijan arvioinnin palveltava tutkimusta ja tutkijoita

Tutkijan vastuullisessa arvioinnissa lähtökohtana on välttää käytäntöjä, jotka ohjaavat tutkimusta määrällisten mittaustapojen mukaan, ilman että näin valittu suunta palvelee tutkimusta ja tutkijoita.

Vastuullisen arvioinnin periaatteina ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus. Arvioinnissa voidaan tehdä erilaisia valintoja sen mukaan, miten ne soveltuvat arvioitavalle kohteelle.

Vastuullisen tutkijanarvioinnin suosituksessa määritellään hyvät käytännöt arviointiprosessin rakentamiselle, varsinaiselle arvioinnille, tutkijan tehtävien moninaisuuden huomioimiselle ja tutkijan osallistamiselle arvioinnissa Suositukseen sitoutuneiden tutkimusorganisaatioiden ja rahoittajien edellytetään luovan omat ohjeet suositusten toimeenpanemiseksi ja niiden toteutumisen seuraamiseksi.

Vastuullisen arvioinnin periaatteina ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus.

Vastuullisen metriikan yhdeksän kohtaa

Julkaisumetriikka on saanut oman kansallisen suosituksensa. Vaikka metriikan vastuullisesta käytöstä on kansainvälisiä linjauksia, Suomessa pyritään siihen, että suositukset ovat sovellettavissa Suomessa tehtävään julkaisujen arviointiin. Metriikkasuosituksia valmistelleeseen ryhmään osallistui useita jäseniä myös Helsingin yliopiston kirjaston metriikkaryhmästä.

Suositukset vastuulliseen julkaisumetriikan käyttöön sisältää yhdeksän kohtaa:

  1. Tieteellisen toiminnan arvioinnissa voidaan laadullisen asiantuntija-arvioinnin tukena käyttää määrällisiä indikaattoreita. Yksittäistä tutkijaa arvioitaessa pääasiallisena arviointimenetelmänä tulee käyttää asiantuntija-arviointia.
  2. Julkaisumetriikan tulee perustua arvioinnin kohteen kannalta relevanttiin dataan. Käytettävän datan tiedossa olevat rajoitteet tulee tuoda ilmi.
  3. Julkaisumetriikan tuottamiseen käytetyn datan, analyysimenetelmien ja tulosten suhteen on toimittava mahdollisimman avoimesti ja läpinäkyvästi. Arvioinnin kohteen tulee olla mahdollista tarkistaa analyysin pohjana käytetty data sekä analyysin tulokset mahdollisuuksien mukaan.
  4. Julkaisumetriikan käytössä otetaan huomioon tieteenalojen erot ja monitieteisyys.
  5. Arvioinnissa käytettävät julkaisumetriikan indikaattorit tulee valita niin, että niillä pystytään vastaamaan arvioinnin tavoitteisiin.
  6. Tulokset tulee raportoida arvioinnin kohteen, menetelmien ja datan kannalta relevantilla indikaattoriarvojen tarkkuudella. Soveltumattomat indikaattorit tulee jättää pois raportoinnista.
  7. Julkaisumetriikan tuottamisessa ja hyödyntämisessä tulee käyttää alan asiantuntemusta.
  8. Suositukseen sitoutuneen organisaation on huolehdittava julkaisumetriikan edellytysten ja asiantuntijuuden riittävästä resursoinnista. Organisaation tulee tarjota henkilökunnalleen koulutusta julkaisumetriikan vastuulliseen hyödyntämiseen.
  9. Suositukseen sitoutuneet organisaatiot määrittelevät vastuutahon omasta organisaatiostaan, johon ottaa yhteyttä, jos julkaisumetriikkaa käytetään vastuuttomasti.

Mitä jatkossa?

Kommenttipuheenvuorossaan Suomen Akatemian Aki Salo pohti, onko olemassa sellaisia indikaattoreita, joita voisi vastuullisesti käyttää laadullisen arvioinnin rinnalla. Nyt olemassa olevat suositukset (DORA, Leidenin manifesti, uusi kansallinen suositus, linkki Flamma-intranetiin) eivät ohjaa tähän. Tämän ja muiden soveltamiskysymysten jatkotyö tullaan tekemään yliopistojen tutkimuspalveluja edustavan Finn-ARMAn julkaisumetriikan verkostossa.

Webinaarin esityksistä on vielä mainittava erikseen Janne Pölösen esitys, jossa muistutettiin Julkaisufoorumiluokituksen 2019 julkaistuista soveltamisohjeista. Luokitusta ei ole tarkoitettu yksittäisten tutkijoiden arviointiin, eikä tiettyjä julkaisutasovaatimuksia tulisi vaatia esimerkiksi hakuohjeissa. Tästä huolimatta luokitusta on sovellettu sen tarkoituksen vastaisesti, joten muistutus on paikallaan.

Lue myös Henriikka Mustajoen yhteenveto seminaarista Avointiede.fi-sivulta.


Eva Isaksson (TUHAT, ORCID, @eisaksso) työskenteee Helsingin yliopiston kirjastossa tietoasiantuntijana, erikoisalanaan bibliometriikka.