Lumipallolla kohti bibliometriikan keskiötä

Lumipallometriikkaa ja yliopistojen välistä vertailua

Menneen kesän aikana brittibibliometrikkojen keskusteluissa nousi usein esiin käsite ”Snowball Metrics” eli suoraan suomennettuna lumipallometriikka. Mitä se oikein on?

Lumipallometriikan tarkoituksena on – lainatakseni tri John Greeniä Cambridgen yliopistosta – ”tulla kansainväliseksi standardiksi, joka tekee mahdolliseksi sen, että tutkimusintensiiviset yliopistot ymmärtävät vahvuuksiaan ja heikkouksiaan niin, että ne voivat luoda tehokkaita strategioita ja seurata niiden toteutumista”. (Lähde: Snowball Methods Recipe Book)

Lumipallometriikkaa ovat kehitelleet kahdeksan brittiyliopistoa yhdessä Elsevierin kanssa:  University of Oxford, University College London, University of Cambridge, Imperial College London, University of Bristol, University of Leeds, Queen’s University Belfast sekä University of St. Andrews. Kirjastossammekin koekäytössä olleessa Scopus-tietokantaan perustuvassa SciVal -analyysiohjelmassa sovelletaan lumipallometriikkaa. Niiden menetelmien kohdalla, joissa sitä on käytetty, on lumihiutalelogo.

Snowball Metrics on ns. bottom-up -hanke. Brittiyliopistojen lisäksi mukaan on tullut muitakin tutkimusintensiivisiä yliopistoja mm. Yhdysvalloista, Australiasta ja Uudesta Seelannista. Tavoitteena on, että tulokset ovat niille itselleen hyödyllisiä toiminnan suunnittelussa ja arvioinnissa.  Taustalla on ollut turhautumista siihen, että on monenlaista metriikkaa ja tapaa arvioida tutkimuksen tuloksellisuutta ja vertailla yliopistoja keskenään. Olennaista on myös se, että tuloksiin eivät vaikuta ulkopuoliset organisaatiot, kuten rahoittajat, firmat tai tutkimustiedon myyjät.

Yliopistoissa pidetään tärkeinä sellaisia menetelmiä, jotka tekevät mahdolliseksi luotettavat vertailut samankaltaisten eli “omenien kesken”. Nämä metriikat eivät ole sitoutuneita mihinkään erityiseen datan tai välineiden tuottajaan. Tuloksena olevat benchmarkkaukset tutkimusintensiivisten yliopistojen välillä edellyttävät luotettavaa informaatiota, joka auttaa ymmärtämään tutkimuksen vahvuuksia ja myös sitä, mitä voitaisiin tehdä paremmin. Näin voidaan seurata strategian toteutumista ja valmistautua uuteen.

Projektin nimeä on inspiroinut lumipallo, joka on ensin pieni ja jonka koko kasvaa, kun sitä pyörittää – ihan samoin kuin lumipalloefektissä. Projektin suunnitelmissa oli aloittaa pienellä yliopistojen ryhmällä, jolloin olisi helpompaa päästä yhteisymmärrykseen siitä, mitä halutaan mitata ja vertailla, ja vasta sitten ottaa mukaan muita.

Lisää tietoa lumipallometriikasta

Onko yhteiskunnallinen vaikuttavuus nousemassa uudeksi tutkimuksen arvioinnin mittariksi?

Viime vuosina tutkimuksen arvioinnissa ja tutkimusrahoituksessa ovat painaneet arvostetuissa kansainvälisissä tieteellisissä lehdissä julkaistut vertaisarvioidut artikkelit. Tutkijat vertailevat keskenään h-indeksejään ja haravoivat oman alansa lehtiä, joissa Jufo-luokka olisi kolmonen.

Samaan aikaan keskustellaan sekä Suomessa että muualla maailmassa tieteen yhteiskunnallisen vaikuttavuuden merkityksestä, paikallisilla kielillä julkaisemisesta ja ylipäänsä kirjojen tekemisestä. Mitä arvostetaan? Kannattaako kirjoittaa tieteellisen tutkimuksen tuloksista yleistajuisesti suomen kielellä? Mistä saa rahaa? Millaiseen tutkimukseen saa rahaa? Arvioidaanko tutkimusta kunkin tieteenalan omista lähtökohdista ja julkaisukulttuurista käsin? Vai arvostetaanko niitä tieteitä enemmän, joissa julkaistaan englannin kielellä lehdissä, jotka pääsevät viittaustietokantoihin?

Alankomaissa tieteen yhteiskunnallinen vaikuttavuus on ensi vuodesta lähtien entistä tärkeämpi menestyksen mittari tutkimuksen arvioinnissa. Vähemmän merkitystä tullaan antamaan julkaisujen määrälle, kun taas enemmän huomiota kiinnitetään siihen, miten kunnianhimoisesti ja laadukkaasti tutkimusta on tehty. Siinä on kiteytettynä keskeiset asiat viime keväänä julkaistussa ohjelmassa Dutch Standard Evaluation Protocol.

Protokollan tavoitteena on taata, parantaa ja tehdä näkyvämmäksi tieteellisen tutkimuksen laatua ja merkitystä Alankomaiden yliopistoissa ja tutkimuslaitoksissa. Arvostettuja ovat tutkimuksen tieteellinen laatu, yhteiskunnallinen merkitys ja tutkimusryhmien toimintasuunnitelman toteutettavuus.  Protokollan taustalla ovat Alankomaiden yliopistot, tiedettä rahoittava NWO ja tiedeakatemia KNAW.

Teksti:

Maria Forsman
johtava tietoasiantuntija

Kuvat:

snowballmetrics.com
Snowball metrics

Leave a Reply

Your email address will not be published.