Tutkimuksen arviointi ja bibliometriikka keräsivät kuulijoita

Miltä näyttävät eri tieteenalojen julkaisemisen tavat? Millainen kuva Helsingin yliopiston tutkimuksesta saadaan bibliometrisilla analyyseilla? Miksi TUHAT-tutkimustietojärjestelmä on niin tärkeä?

Helsingin yliopiston kirjasto järjesti 7.9.2011 seminaarin ”Research Evaluation and Bibliometrics”. Seminaari liittyy yliopistossa parhaillaan tehtävään tutkimuksen ja jatkokoulutuksen kansainväliseen arviointiin. Seminaarin kieli oli englanti ja mukaan oli kutsuttu erityisesti kaikki arviointiin osallistuvien tutkijayhteisöjen vastuulliset johtajat (Principal  Investigators). Lisäksi paikalla oli kirjastoasiantuntijoita ja muita tutkimuksen arvioinnista kiinnostuneita.

Aamupäivän puheenjohtajana toimi kirjastonhoitaja Antti Virrankoski Kumpulan kampuskirjastosta. Päivän aluksi ylikirjastonhoitaja Kaisa Sinikara toivotti seminaarin osallistujat tervetulleiksi. Hän kertoi lyhyesti kirjaston roolista tutkimuksen arvioinnissa. Vararehtori Johanna Björkroth, joka on myös arvioinnin ohjausryhmän puheenjohtaja, kuvaili Helsingin yliopistossa tekeillä olevaa arviointia ja sen taustaa. Tämänkertaisen arvioinnin toteutus poikkeaa aikaisemmista.

Tutkijayhteisöt ovat voineet ilmoittautua arviointiin ja valita itse arviointikategorian, johon he kokevat kuuluvansa. Viisi kategoriaa ovat:

1. Osallistuvan yhteisön tutkimus edustaa omalla alallaan kansainvälistä huippua.

2. Osallistuvan yhteisön tutkimus on korkeatasoista, mutta nykyisellään yhteisö ei vielä ole saavuttanut vahvaa kansainvälistä tunnustusta tai selkeää läpimurtoa.

3. Osallistuvan yhteisön tutkimus poikkeaa tutkimuksen valtavirrasta, ja tutkimustradition ominaispiirteet tällä alalla tulee ottaa huomioon arvioinnissa.

4. Osallistuvan yhteisön tutkimus edustaa innovatiivista avausta.

5. Osallistuvan yhteisön tutkimuksella on erittäin merkittävä yhteiskunnallinen vaikuttavuus.

Lisäksi tutkijayhteisöt ovat voineet esittää muita toivomuksia arvioinnin suhteen. Arvioinnissa käytetään TUHAT–tutkimustietojärjestelmään tallennettuja julkaisutietoja ja muuta toimintaa koskevia tietoja. Ilmoittautuneita tutkijayhteisöjä oli 138.

Millaisia analyysejä tehtiin?

Seminaarin aamupäivän osiossa tarkasteltiin tutkimuksen arvioinnissa tehtyjä bibliometrisia analyysejä. Tutkija Ed Noyons Leidenin yliopiston tieteen ja teknologian tutkimuskeskuksesta (CWTS) kertoi tutkimuksen arvioinnista ja bibliometriikasta yleensä sekä erityisesti niistä analyyseistä, joita Leidenissä on Helsingin yliopistolle tehty ja mitä ne kuvaavat.

Analyysit tehtiin siten, että Leideniin lähetettiin tutkijayhteisöjen julkaisuja koskeva TUHATista tuotettu data, joka CWTS:ssä yhdistettiin Web of Science –tietokannassa oleviin tietoihin.  Leidenissä tehtiin seuraavat analyysit:

P             Number of publications

TCS         Total amount of citations received

MCS        Average number of citations received per paper (citation impact)

Pnc          Percentage of non-cited papers

MNCS     normalized citation impact

MNJS      average normalized impact of journals used

NPHCP10Contribution to top 10% most highly cited papers (actual compared to expected)

Int_cov    Internal coverage: average percentage of reference covered by the Web of Science (WoS)

Johtava tietoasiantuntija Maria Forsman Helsingin yliopiston kirjastosta kertoi, minkälaisia analyysejä tehtiin niille tieteenaloille ja tutkijayhteisöille, joiden julkaisutoiminnasta Leidenissä tehdyt analyysit eivät antaneet riittävää kuvaa. Näitä yhteisöjä oli 66, ja ne edustivat humanistisia tieteitä, yhteiskuntatieteitä ja tietojenkäsittelytiedettä. Analyysit tehtiin TUHATista tuotetusta aineistosta.

Kirjastossa tehtiin seuraavat analyysit:

1)      Tekijöiden määrä julkaisuissa vuosittain taulukkona; lisäksi piirakkakuviona tekijöiden määrä julkaisuissa koko ajanjaksolla 2005-2010.

2)      Julkaisujen kieli vuosittain; lisäksi piirakkakuviona julkaisukielet koko ajanjaksona 2005-2010.

3)      Lehdet, joissa artikkeleita on julkaistu, vuosittain; lisäksi lehtiä verrattiin Norjan, Australian ja ERIH:n “journal ranking” -listoihin ja laskettiin, kuinka monta tutkijayhteisön artikkelia on julkaistu rankkeeratuissa lehdissä.

4)      Kirjojen kustantajat vuosittain; kustantajia verrattiin Norjan “publisher ranking” -listaan, jossa kustantajat on ryhmitelty kahteen kategoriaan – johtava tieteellinen ja tieteellinen kustantaja. Tämän perusteella on laskettu, montako tutkimusryhmän monografiaa minkäkin tyyppinen kustantaja on julkaissut.

5)      Konferenssien ranking – erityisesti tietojenkäsittelytieteessä on haettu TUHATista tutkimusryhmän konferenssijulkaisut ja verrattu niitä Australian “conference ranking” -listaan.

Tutkimuksen arvioinnin tämänhetkisessä vaiheessa ei ollut mahdollista esittää minkään todellisen tutkijayhteisön julkaisuista tehtyjä analyysejä, joten sekä Noyonsin että Forsmanin TUHATin pohjalta tehdyt esimerkkianalyysit koskivat laajempia tieteenalakokonaisuuksia.

 

Esimerkkianalyysi.

Kirjaston rooli ja arvioinnin tulevaisuus

Iltapäivän aloitti assoc. prof. David Lawrence Linköpingin yliopiston kirjastosta kertomalla siitä, miten kirjasto on mukana tutkimuksen arvioinnissa ja bibliometristen analyysien tuottamisessa.

Bibliometriikka on tullut osaksi kirjaston tehtäviä vuonna 2007, ja nyt bibliometrisissa palveluissa on mukana 5 henkilöä, joista 2 päätoimista. LiU:ssa tehdään analyysejä sekä tutkimushallintoa varten että tutkijaryhmille ja laitoksille. Lisäksi kirjastossa neuvotaan tutkijoita tehtyjen analyysien tulkinnassa.

Lawrence korosti omassa esityksessään analyysissä käytettävän datan oikeellisuuden ja laadun merkitystä. Lisäksi hyvät yhteydet kirjaston ja yliopiston hallinnon välillä ovat tärkeät. Hän puhui myös julkaisustrategian tärkeydestä. Myös Linköpingin yliopiston kirjastossa käytetään sekä Web of Science -tietokannasta tehtyjä, että Norjan mallin mukaan laadittuja analyysejä.

Iltapäivän päätteeksi ohjelmassa oli paneelikeskustelu bibliometriikan tulevaisuudesta. Paneeliin osallistuivat Ed Noyonsin ja David Lawrencen lisäksi prof. Markku Kulmala (luonnontieteet), prof. Risto Saarinen (humanistiset ja yhteiskuntatieteet) sekä prof. Jussi Kangasharju (tietojenkäsittelytiede). Paneelin puheenjohtajana toimi kirjastonhoitaja Terhi Sandgren Terkosta.

Panelisteille oli annettu etukäteen pohdittavaksi kaksi kysymystä:

1)      Mitä seuraavassa arvioinnissa tulisi mielestäsi tehdä?

2)      Millaisia analyysejä tutkijayhteisö tarvitsisi arviointien välissä?

Ensimmäiseen kysymykseen David Lawrence totesi seuraavan arvioinnin toteutuksen riippuvan siitä, mikä yliopiston tavoitteena on. Yksi arviointimalli ei voi vastata kaikkiin kysymyksiin, vaan yliopiston täytyy ensi määritellä tavoitteensa ja edetä sitten arvioinnissa sen mukaisesti.

Risto Saarinen sanoi, että arvioinnissa nyt käytetyt keinot ovat riittämättömiä keskustakampuksen kannalta, koska kirjat ja toimitetuissa kirjoissa olevat artikkelit eivät päässeet oikeuksiinsa. Hän toivoi, että keskustakampus otettaisiin jatkossa paremmin huomioon ja arvioinnin välineitä kehitettäisiin tätä silmällä pitäen.

Tämän syksyn aikana julkistetaan Tieteellisten seurain valtuuskunnan (TSV) julkaisufoorumi, joka olisi hyvä ottaa seuraavissa arvioinneissa käyttöön.

Markku Kulmala totesi tämänhetkisen analyysin hyväksi lähtökohdaksi arvioinneille. ISI:n Web of Science–tietokannan olisi tärkeää olla ajan tasalla, jotta tietokannasta saadaan luotettavaa tietoa arviointien käyttöön.

Jussi Kangasharju toi esiin tieteenalojen erilaisuuden. Hän totesi, ettei ole hyvä yrittää tehdä analyysiä samalla kaavalla kaikille, vaan tulevaisuudessakin on tärkeä pitää mielessä eri alojen erilaiset tarpeet. Analyysit on räätälöitävä ottaen huomioon eri tieteenalojen erilaiset kulttuurit.

Maria Forsman totesi, että arvioinnin tiukan aikataulun vuoksi räätälöinnille ei nyt ollut tarpeeksi aikaa. Toiveena on, että jatkossa olisi mahdollista tehdä enemmän. TUHAT–tietokantaan ei ole nykyisellään tallennettu sellaisia tietoja, joiden pohjalta voitaisiin tehdä kansainvälisiä vertailuja tai tarkastella kansainvälistä yhteistyötä. Tuleva kansallinen julkaisurekisterijärjestelmä tulee antamaan mahdollisuuksia ainakin kansallisiin vertailuihin.

Ed Noyons korosti, että tärkeää arvioinnissa on olla selvillä ryhmän tavoitteista. Tässä arvioinnissa käytetyt viisi kategoriaa ovat hyvät ja tukevat tätä tavoitetta. Kaikki vaikutukset eivät näy yhdellä analyysillä, vaan arvioinnin pitäisi pystyä näyttämään erilaisten ryhmien kehittyminen kohti niiden erilaisia tavoitteita.

Toiseen kysymykseen Lawrence totesi, että arviointien välillä pitäisi osoittaa ryhmille, miltä niiden toiminta näyttää eri malleilla kuvattuna ja antaa ryhmien itsensä päätellä, olisiko niiden syytä tehdä jotain eri tavalla. Näin voidaan seurata ryhmän kehittymistä.

Saarinen esitti, että arviointien välilläkin voitaisiin hyötyä räätälöidyistä analyyseistä. Myös Kulmala sanoi, että arviointien välillä olisi hyvä saada tietoa ryhmän edistymisestä ja sen tutkimuksen näkyvyydestä. Kangasharju totesi, että julkaisustrategian tukeminen ja kehityksen seuraaminen arviointien välillä ryhmittäin tai laitoksittain olisi tärkeää.

David Lawrence kertoi Linköpingin yliopiston käytännöistä.

Keskustelua virisi

Näiden kysymysten lisäksi seminaarissa käytiin vilkasta keskustelua yleisön ja esiintyjien välillä. Yleisöpuheenvuorossa todettiin, että julkaisujen kirjoittajien määrä ja affiliaatioiden määrä kirjoittajaa kohti on nousussa ja kysyttiin, onko bibliometriikalla keinoja tunnistaa lukuisista kirjoittajista ne, jotka ovat olleet keskeisimmässä roolissa tietyn artikkelin kannalta.

Noyonsin mukaan ratkaisua siihen, miten yhden kirjoittajan osuus tietyssä julkaisussa saataisi nostettua esiin, ei toistaiseksi ole; asiaan on kiinnitetty kuitenkin huomiota. Tutkimuksen muutos ja halu näyttää hyvältä arvioinneissa vaikuttavat tutkijoiden julkaisukäyttäytymiseen.

Kulmala totesi, että voi olla hyödyllistä tarkastella tutkijan nimen esiintymistä ensimmäisenä, toisena tai viimeisenä kirjoittajana WoS-hakutuloksissa. Aakkosellinen tekijälistaus vaikeuttaa edelleen tietyn kirjoittajan osuuden määrittelyä. Saarinen toi esiin, että myös tekijöiden vähäinen määrä saattaa muodostua ongelmaksi arvioinnissa ja esimerkiksi kirjat eivät ole toistaiseksi saaneet ansaitsemaansa painoarvoa. Lawrence kertoi, että Linköpingissä oli kokeiltu ensimmäisen ja viimeisen kirjoittajan merkityksen korostamista, mutta tulokset eivät toistaiseksi vakuuttaneet.

Keskustelua herättivät myös bibliometristen analyysien rahoitus ja arviointiin ilmoittautuneiden ryhmien kokoonpanot. Kulmala ja Saarinen katsoivat analyysien rahoituksen olevan jokseenkin sopivalla tasolla, mutta toivoivat sen sijaan lisäpanostusta siihen, että tutkijoiden aikaa vapautuisi apurahahakemusten kirjoittamisesta tutkimuksen tekemiseen. Raivio totesi, että bibliometristen analyysien rahoituksesta käydään nyt keskustelua, joten asiaan kannattaisi kiinnittää huomiota.

Arviointiin ilmoittautuneiden tutkimusryhmien koostamisesta ja tämän vaikutuksista ryhmien julkaisuihin kysyttiin. Ed Noyons totesi, että ryhmän julkaisut voidaan koota siihen kuuluvien tutkijoiden julkaisuista korostaen joko ryhmän pitemmän ajan toimintaa tai sen tulevaa potentiaalia. Näistä kahdesta mallista voidaan valita toinen sen mukaan, mitä arvioinnissa halutaan mitata.

Johanna Björkroth kertoi, että nyt meneillään olevassa arvioinnissa ei käytetty tutkimusryhmien jäsenten vanhoja julkaisuja, jotka oli tehty Helsingin yliopiston ulkopuolella.

Bibliometriset analyysit ovat olleet tutkimuksen arvioinnin kansainvälisten paneelien käytössä, ja nämä paneelit ovat kokoontuneet syyskuussa täällä Helsingissä. Julkaisuja koskevat analyysit ovat vain osa siitä aineistosta, joiden perusteella tutkijayhteisön toimintaa arvioidaan. Paneelien palautekeskustelut on videoitu.

Teksti

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Liisa Ekebom
tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Kuvat

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Johanna Lahikainen
tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto