Vastuullista metriikkaa

Kirjaston työ luo pohjan tutkimuksen arvioinnille

Helsingin yliopiston kirjasto on ollut mukana Helsingin yliopiston tutkimuksen arvioinneissa siitä alkaen kun julkaisumetriikkaa alettiin käyttää arvioinnin osana vuosina 2010–2012. Arviointeja tehdään noin kuuden vuoden sykleissä, viimeisin vuosina 2018–2019. Kirjaston rooli on julkaisumetriikassa korostunut, sillä samalla kun tutkimuksen arvioinnin vetäjät vaihtuvat, kirjasto tuo työhön jatkuvuutta.

TUHAT-tietokanta, jota Helsingin yliopiston kirjasto ylläpitää, otettiin käyttöön aiemman arvioinnin yhteydessä. TUHATista saatuja julkaisutietoja hyödynnettäessä oli huomattu, että tiedoissa oli paljon täydennettävää. Arviointikierrosten välillä kirjastossa tehtiin puhdas julkaisutoiminnan arviointi, jossa tietokantaan liittyviä prosesseja hiottiin ja TUHAT-julkaisudataa täydennettiin.

Kehitystyö kannatti. Uusimman arvioinnin lähtökohtana oli, että monen vuoden pitkäjänteisen työn tuloksena TUHATin tarjoama data oli riittävän hyvässä kunnossa. Ensi kertaa arviointityöhön lähdettiin ilman edeltävää tarkistus- ja täydennystyötä. Kirjaston TUHAT-tiimi ja tarkastajat ansaitsevat erityiset kiitokset tästä pitkäjänteisestä ja laadukkaasta työstä.

Arvioinnin keskiössä on ollut vastuullinen metriikka, joka on nostettu myös kansalliseksi kehityskohteeksi: Kaisa-talossa järjestettiin Tutkimuksen tuen ja hallinnon verkoston (TUHA) vastuullisen metriikan kick-off-tilaisuus elokuussa ja työ tutkijan vastuullista arviointia koskevaksi kansalliseksi suositukseksi aloitettiin syksyllä 2018 – Helsingin yliopiston kirjasto on tässä mukana (ks. myös Kohti vastuullista tutkimuskulttuuria).

Vastuullisen metriikan periaatteet on määritelty Leiden-manifestissa, jota kirjasto arviointiaineiston tuottamisessa noudatti.

Vastuullisessa metriikassa korostetaan tieteenalojen erojen huomioimista ja annetaan arvioitaville mahdollisuus tarkistaa itseään koskeva analyysi. Kirjasto suunnitteli arviointiyksiköiden tarpeiden mukaisia analyyseja yhteistyössä arviointitoimiston kanssa ja toteutti ne. Lisäksi kirjasto toimi asiantuntijana Web of Science -pohjaisissa analyyseissä,  jotka tilattiin pitkäaikaiselta yhteistyökumppanilta, Leidenin yliopiston CWTS-tutkimusinstituutilta. Kirjasto poimi tarvittavan datan, neuvotteli analyysien sisällöstä ja tarkasti valmiit raportit: sekä ryhmien sisäiseen käyttöön tarkoitetut itsearviointiraportit että laajemman, helmikuussa 2019 julkistetun CWTS-raportin.  Näihin tarkasteluihin otettiin mukaan vain ne tiedekunnat, joille Web of Science -analyysi soveltuu.

Tutkimuksen arvioinnissa tuotetut aineistot ja analyysit, joita kirjasto on ollut tuottamassa, julkaistaan vuoden 2019 aikana. Osa analyyseistä jää ainoastaan itsearviointiryhmien sisäiseen käyttöön.

CWTS-raportti julkistettiin helmikuussa. Kuvassa ovat Terhi Sandgren ja Riku Hakulinen Helsingin yliopiston kirjastosta ja Anna-Kaisa Hyrkkänen Aallosta. Myös Aalto teki tutkimuksen arvioinnissaan yhteistyötä CWTS:n kanssa.

Julkaisujen arviointityön prosesseihin ovat osallistuneet Helsingin yliopiston kirjaston metriikkaryhmän ja TUHAT-tiimin asiantuntijat. Yhteenvetona voidaan todeta, että kirjaston asema julkaisujen ja niiden arvioinnin asiantuntijana on uuden arvioinnin myötä edelleen vahvistunut.

Voit lukea lisää Tutkimuksen arvioinnin lähtökohdista Helsingin yliopiston intranetista.

Teksti ja kuva:
Eva Isaksson, tietoasiantuntija
Tilastot ja visualisointi:
Päivi Lammi, tietoasiantuntija