University of Helsinki
Tutkimuksen arviointi on alkanut Helsingin yliopistossa. Kirjaston bibliometriikkaverkoston jäseniä on tulossa mukaan analysoimaan 138 tutkimusryhmän aineistoja erityisesti niiden tieteenalojen osalta, jotka ovat vähän edustettuina Web of Science (WoS)–tietokannoissa. Näitä ovat useimmat humanistiset ja yhteiskuntatieteelliset alat sekä mm. tietojenkäsittelytiede ja maantiede. Näitä tutkimusryhmiä on 50-60.
Arvioinnissa tullaan käyttämään bibliometrisen analyysin aineistona TUHAT-tietokantaa. Kaikista tutkimusryhmistä tuotetaan tiedot julkaisujen määrästä vuosittain julkaisutyypin mukaan ja kielen mukaan. Lisäksi Leidenin yliopiston Centre for Science and Technology Studies analysoi kaikesta edellä mainitun 138 tutkimusryhmän WoS-tietokantoihin sisältyvästä aineistosta erilaisia indikaattoreita. Näitä ovat mm. viittausten määrä, viittausten keskiarvo julkaisua kohden, niiden julkaisujen osuus, joihin ei ole viitattu, julkaisujen kautta välittyvä tutkimusyhteistyö sekä tutkimusryhmän julkaisujen vaikuttavuus suhteessa kansainväliseen keskiarvoon ko. tieteenalalla.
Niiden alojen kohdalla, jotka jäävät tässä ulkopuolelle, käytetään erilaisia indikaattoreita. Mitkä ovat sopivia, oikeita tai parhaita indikaattoreita, siitä käydään kansainvälisestikin parhaillaan keskustelua. WoS-tietokantoihin sisältyvien lehtien arvioinnissa on käytetty impact factoria, joka kertoo siitä, miten usein WoS-tietokantoihin sisältyvä lehti on viitannut toisessa WoS-tietokantaan sisältyvässä lehdessä olevaan artikkeliin.
Humanistis-yhteiskuntatieteellisten alojen kohdalla on tarkasteltu sitä, missä julkaisuissa tutkimusryhmän jäsenet ovat julkaisseet ja miten niitä on arvioitu erilaisissa lehtien ranking-listoissa. Käytetyimpiä ovat Norjan NSD:n lista, Australian ARC:n lista sekä European Science Foundationin ERIH-lista . Nämä kaikki ovat nyt myös meidän käytettävissämme. Tieteellisten seurojen valtuuskunnan julkaisufoorumin suomalaisten panelistien arvioimat lehtilistat valmistuvat vasta kesän aikana, joten tässä arvioinnissa niitä ei vielä valitettavasti voida käyttää.
Joillakin aloilla – kuten tietojenkäsittelytieteessä – tieteellinen kommunikaatio tapahtuu pitkälti konferensseissa ja konferenssijulkaisuissa. Yhtenä auktoriteettina konferenssijulkaisujen arvioinnissa on käytetty konferensseja koskevia ranking-listoja, joista Australian ARC:n lista kattaa useita tieteenaloja.
Humanistisilla ja yhteiskuntatieteellisillä aloilla tutkimustuloksia julkaistaan myös sekä kirjoissa että kirja-artikkeleissa. Yhtenä indikaattorina siitä, miten laadukas jokin kirja on, on käytetty tieteellisten kustantajien ranking-listoja. Näistä Norjan lista löytyy TSV:n julkaisufoorumin sivuilta. Muita indikaattoreita ovat mm. kirjastotietokantojen analyysit: Löytyykö tutkimusryhmän kirjoittamaa kirjaa tieteellisistä kirjastoista? Jos kirja löytyy, niin kuinka monesta kirjastosta? Onko kirjaa lainattu? Yhtenä analyysin kohteena on käytetty WorldCat-tietokantaa. Suomenkielisen kirjan leviämisessä kotimaisiin tieteellisiin kirjastoihin voitaisiin käyttää myös Linda-tietokantaa.
Yksi mahdollinen tapa analysoida kirjojen herättämää kiinnostusta on käyttää WoS-tietokantaa ja lähteä tutkimaan kirjan ja tekijän nimen perusteella sitä, onko kirjaan viitattu jossain WoS-tietokantoihin sisältyvässä artikkelissa. Se vaatii tieteenalan ja tutkijoiden tuntemista ja on laadullinen lähestymistapa. Toinen tapa on tarkastella kirjaa siitä kirjoitettujen kirja-arvioiden kautta: onko esimerkiksi tunnetun Helsingin yliopiston tutkimusryhmässä työskentelevän humanistin kirjaa arvioitu jossain kansainvälisessä lehdessä?
Viimeksi mainitut tavat edellyttävät tieteenala-asiantuntijuutta sekä tutkimusryhmien ja niiden toiminnan tuntemista. Ne edellyttävät myös keskustelua ja vuorovaikutusta ryhmien kanssa vähän siihen tapaan, kuin Solmu-hankkeen tiimoilla on tehty.
Niiden tieteenalojen osalta, joiden julkaisuja ei löydy WoS-tietokannoista tai muista kansainvälisistä tietokannoista, ei vertailuja kansainväliseen tutkimuksen tasoon voi tehdä. Tällöin, mikäli mahdollista, voitaisiin tehdä vertailuja kansallisella tasolla, jos samankaltaisia, samaa aihepiiriä tutkivia ryhmiä olisi. Joskus kuitenkin Helsingin yliopisto saattaa olla ainoa paikka Suomessa tai maailmassa, jossa tätä tutkitaan. Silloin ei voi tehdä numeerisia vertailuja, vaan täytyy tehdä laadullista, kuvailevaa analyysia.
Yksi tapa, joka vaatii erityisosaamista ja sekä analyysivälineisiin perehtymistä että tieteenalojen tuntemusta, on verkostoanalyysien tekeminen. Voidaan tutkia, ketkä julkaisevat yhdessä artikkeleita. Voidaan myös tutkia julkaisuille annettujen sisällönkuvailujen avulla niitä teemoja, joista on kirjoitettu ja millaisen kartan ne muodostavat keskenään.
TUHATin ja WoS-tietokantojen lisäksi bibliometrisen tutkimuksen aineistona voidaan käyttää Scopusta ja Google Scholar’ia sekä eri tieteenalojen tietokantoja, kuten Sociological Abstracts’ia. Niissä on kuitenkin ongelmia. Kuten Leidenin yliopistossa pidetyssä seminaarissa todettiin, Scopus ei vielä ole bibliografisten tietojen osalta riittävän hyvä, eikä siten ole valmis bibliometrisen tutkimuksen aineistoksi. Google Scholar’in ongelma taas on se, että kukaan ei oikein tiedä, mistä ne kaikki julkaisut tulevat. Kuitenkin sillä on omat hyvät puolensa, kuten se, että näin Open Access –julkaisut tulevat näkyviksi.
Helsingin yliopiston kirjaston bibliometriikkaverkostosta on toistakymmentä tieteenala-asiantuntijaa ilmoittautunut analysoimaan humanistis-yhteiskuntatieteellisten alojen sekä tietojenkäsittelyopin ja maantieteen alojen julkaisutoimintaa. Kansainväliset kokemukset tällaisesta osin laadullisesta analyysistä ovat vielä melko vähäiset, joten olemme tekemässä jotain uutta, joka herättänee kiinnostusta laajemminkin.
Kirjoittaja
Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto