Lumipallolla kohti bibliometriikan keskiötä

Lumipallometriikkaa ja yliopistojen välistä vertailua

Menneen kesän aikana brittibibliometrikkojen keskusteluissa nousi usein esiin käsite ”Snowball Metrics” eli suoraan suomennettuna lumipallometriikka. Mitä se oikein on?

Lumipallometriikan tarkoituksena on – lainatakseni tri John Greeniä Cambridgen yliopistosta – ”tulla kansainväliseksi standardiksi, joka tekee mahdolliseksi sen, että tutkimusintensiiviset yliopistot ymmärtävät vahvuuksiaan ja heikkouksiaan niin, että ne voivat luoda tehokkaita strategioita ja seurata niiden toteutumista”. (Lähde: Snowball Methods Recipe Book)

Lumipallometriikkaa ovat kehitelleet kahdeksan brittiyliopistoa yhdessä Elsevierin kanssa:  University of Oxford, University College London, University of Cambridge, Imperial College London, University of Bristol, University of Leeds, Queen’s University Belfast sekä University of St. Andrews. Kirjastossammekin koekäytössä olleessa Scopus-tietokantaan perustuvassa SciVal -analyysiohjelmassa sovelletaan lumipallometriikkaa. Niiden menetelmien kohdalla, joissa sitä on käytetty, on lumihiutalelogo.

Snowball Metrics on ns. bottom-up -hanke. Brittiyliopistojen lisäksi mukaan on tullut muitakin tutkimusintensiivisiä yliopistoja mm. Yhdysvalloista, Australiasta ja Uudesta Seelannista. Tavoitteena on, että tulokset ovat niille itselleen hyödyllisiä toiminnan suunnittelussa ja arvioinnissa.  Taustalla on ollut turhautumista siihen, että on monenlaista metriikkaa ja tapaa arvioida tutkimuksen tuloksellisuutta ja vertailla yliopistoja keskenään. Olennaista on myös se, että tuloksiin eivät vaikuta ulkopuoliset organisaatiot, kuten rahoittajat, firmat tai tutkimustiedon myyjät.

Yliopistoissa pidetään tärkeinä sellaisia menetelmiä, jotka tekevät mahdolliseksi luotettavat vertailut samankaltaisten eli “omenien kesken”. Nämä metriikat eivät ole sitoutuneita mihinkään erityiseen datan tai välineiden tuottajaan. Tuloksena olevat benchmarkkaukset tutkimusintensiivisten yliopistojen välillä edellyttävät luotettavaa informaatiota, joka auttaa ymmärtämään tutkimuksen vahvuuksia ja myös sitä, mitä voitaisiin tehdä paremmin. Näin voidaan seurata strategian toteutumista ja valmistautua uuteen.

Projektin nimeä on inspiroinut lumipallo, joka on ensin pieni ja jonka koko kasvaa, kun sitä pyörittää – ihan samoin kuin lumipalloefektissä. Projektin suunnitelmissa oli aloittaa pienellä yliopistojen ryhmällä, jolloin olisi helpompaa päästä yhteisymmärrykseen siitä, mitä halutaan mitata ja vertailla, ja vasta sitten ottaa mukaan muita.

Lisää tietoa lumipallometriikasta

Onko yhteiskunnallinen vaikuttavuus nousemassa uudeksi tutkimuksen arvioinnin mittariksi?

Viime vuosina tutkimuksen arvioinnissa ja tutkimusrahoituksessa ovat painaneet arvostetuissa kansainvälisissä tieteellisissä lehdissä julkaistut vertaisarvioidut artikkelit. Tutkijat vertailevat keskenään h-indeksejään ja haravoivat oman alansa lehtiä, joissa Jufo-luokka olisi kolmonen.

Samaan aikaan keskustellaan sekä Suomessa että muualla maailmassa tieteen yhteiskunnallisen vaikuttavuuden merkityksestä, paikallisilla kielillä julkaisemisesta ja ylipäänsä kirjojen tekemisestä. Mitä arvostetaan? Kannattaako kirjoittaa tieteellisen tutkimuksen tuloksista yleistajuisesti suomen kielellä? Mistä saa rahaa? Millaiseen tutkimukseen saa rahaa? Arvioidaanko tutkimusta kunkin tieteenalan omista lähtökohdista ja julkaisukulttuurista käsin? Vai arvostetaanko niitä tieteitä enemmän, joissa julkaistaan englannin kielellä lehdissä, jotka pääsevät viittaustietokantoihin?

Alankomaissa tieteen yhteiskunnallinen vaikuttavuus on ensi vuodesta lähtien entistä tärkeämpi menestyksen mittari tutkimuksen arvioinnissa. Vähemmän merkitystä tullaan antamaan julkaisujen määrälle, kun taas enemmän huomiota kiinnitetään siihen, miten kunnianhimoisesti ja laadukkaasti tutkimusta on tehty. Siinä on kiteytettynä keskeiset asiat viime keväänä julkaistussa ohjelmassa Dutch Standard Evaluation Protocol.

Protokollan tavoitteena on taata, parantaa ja tehdä näkyvämmäksi tieteellisen tutkimuksen laatua ja merkitystä Alankomaiden yliopistoissa ja tutkimuslaitoksissa. Arvostettuja ovat tutkimuksen tieteellinen laatu, yhteiskunnallinen merkitys ja tutkimusryhmien toimintasuunnitelman toteutettavuus.  Protokollan taustalla ovat Alankomaiden yliopistot, tiedettä rahoittava NWO ja tiedeakatemia KNAW.

Teksti:

Maria Forsman
johtava tietoasiantuntija

Kuvat:

snowballmetrics.com
Snowball metrics

Bibliometriikkaa tutkimuksen tueksi

Helsingin yliopistolla on monissa yliopistorankingeissa erityinen vahvuus: tieteellinen julkaiseminen. Yliopistomme tutkijoihin lukeutuu todellisia huippuja, mutta muidenkin julkaisuilla on merkittävä osa menestyksessä. Julkaisutuotannon esittäessä yhä tärkeämpää osaa OKM:n rahoitusmallissa on kannattavaa panostaa julkaisutuotantoa ja viittauksia analysoivaan bibliometriikkaan.

Pitkäjänteistä työtä

Bibliometriikkaa on tehty monilla laitoksilla jo kauan, sillä valveutuneet tutkijat ja kirjastolaiset ovat vuosien mittaan seuranneet trendejä ja pohtineet missä voisimme parantaa – ei ainoastaan julkaisemisessa, vaan myös tutkijoille ja opiskelijoille tarjottavissa tiedonlähteissä. Mutta vasta 2010-luvulla bibliometrisiin menetelmiin on panostettu näkyvämmin.

Vuonna 2011 tehty Helsingin yliopiston tutkimuksen arviointi, joka käsitti vuodet 2005-2010, oli ensimmäinen arvioinneistamme jossa painotettiin bibliometriikkaa laajemmin.  Kirjasto oli prosessissa mukana hyvin keskeisesti. Paitsi että hoidimme TUHATiin talletettujen julkaisujen tarkistukset ja laadunvarmistuksen, kirjasto myös laati analyyseja niille lähinnä yhteiskuntatieteitä ja humanistisia tieteitä edustaville tieteenaloille, joille Leidenin yliopiston CWTS:ltä tilattu bibliometrinen analyysi ei soveltunut.  Saimme tästä ponnistuksesta ansaitut kiitokset.

Kampusten monimuotoiset käytännöt

Tutkimushallinnon johdolla tehtäviä arviointeja tulee eteen harvakseen, mutta bibliometriikkaa tehdään käytännössä jatkuvasti sekä tiedekunnille että yksittäisille tutkijoille. Eri kampuksilla on kuitenkin hiukan erilaiset käytännöt. Meilahdessa bibliometriikkaa on kehitetty pisimmälle. Siellä kirjastosta tilataan paljon virantäyttöihin ym. liittyviä analyyseja, joiden tekeminen sujuu tarkan rutiinin mukaan. Viikissäkin laitokset käyttävät bibliometriikkaa virantäytöissä, mutta analyyseja ei ole osattu pyytää kirjastolta. Kumpulassa kirjastolta toivotaan analyysien sijasta tietoa ja koulutusta bibliometriikkaan liittyen. Koulutuksia pidetään nykyään kaikilla kampuksilla ja niiden painotus vaihtelee paikallisten tarpeiden mukaan.  Keskustakampuksella bibliometriikkaa on viime aikoina vauhdittanut siellä käynnistetty markkinointi, jonka avulla on tavoitettu uusia kiinnostuneita asiakkaita. Bibliometristen palveluiden kysyntä on lisääntymässä, mutta markkinointia voisi olla enemmänkin.
Terkko on ansioitunut myös verkkopalveluiden tuottajana, kuten Suomen yliopistokirjastojen neuvoston 2013 tutkimuspalveluinnovaatiokilpailun kunniakirja osoittaa.  Terkon bibliometriikkasivuilta tutkija löytää ohjeita ja tietoja, altmetriikkaprosessilla kirjasto pyrkii aktiivisesti parantamaan hänen näkyvyyttään. Koko kirjaston tasolla tulossa on kaikille tutkijoille suunnattuja ohjeita osana kirjaston tuottamaa tutkijapalvelujen verkkopalvelukokonaisuutta.

Osaajia kouluttamassa

Bibliometrinen työ vaatii osaamista. Tutkimuksen arvioinnin yhteydessä saimme koulutusta sekä 2010 järjestetyltä valtakunnalliselta kurssilta että Leidenin yliopiston valmennuksesta.  Lisäksi kirjaston bibliometriikkatyötä johtaa Maria Forsman, ansioitunut bibliometriikan asiantuntija. Hänen johdollaan on syksyn 2013 ja kevään 2014 mittaan vedetty kirjastolaisille suunnattuja koulutustilaisuuksia ja koko yliopistoyhteisölle tarkoitettuja, bibliometriikan eri puolia esitteleviä alustuksia.

Mitä nämä koulutetut kirjastolaiset sitten jatkossa tekevät? Bibliometriikkaosaamista tarvitaan hyvin monimuotoisissa työtehtävissä. Asiakaspalveluun tulee kysymyksiä palveluista – jopa alansa maailmanlistan ykkönen saattaa tiedustella asiakaspalvelustamme, mikä eteen kun  Web of Science tai Scopus ei tänään toimikaan kotikoneelta.  Kokoelmien hankinnassa ja kehittämisessä tarvitaan perehtymistä aineiston käyttötapoihin ja viittausmääriin. Kirjaston asiantuntijoilta kysytään varsin kiperiä bibliometriikkaan liittyviä kysymyksiä. Julkaisuala elää ja muuttuu, joten sekä tutkimushallinnon, kirjaston että tutkijoiden on jatkuvasti omaksuttava uusia käsitteitä.

Välineitä meille ja muillekin

Olennainen osa bibliometriikan palvelukokonaisuutta ovat toimivat työkalut. Laajimmassa käytössä lienee Thomson & Reutersin Web of Science, jossa Science Citation Indexiä  on täydennetty  Book sekä Conference Proceedings Citation Index -lisäosilla.  Elsevierin Scopus on joillakin tieteenaloilla kattavampi, mikäli käyttäjää ei haittaa että sen viitetiedot ulottuvat vain 20 vuoden päähän. Lisäksi kirjasto on ollut mukana hankkimassa T&R:n InCites-analyysityökalua, jolla saadaan tulevaisuudessa tarkempaa ja ajantasaisempaa tietoa julkaisujen ja tutkimuksen vaikuttavuudesta.

Välineistämme ei pidä unohtaa TUHAT-tietokantaa. Kirjasto on julkaisutarkistusten ja Web of Sciencestä tehtyjen importointien lisäksi ottamassa vastuuta myös TUHATista löytyvien julkaisutietojen analysoinnista ja analyysien tuottamisesta yliopiston sisäiseen vuosiraporttiin. Tämä raportointityö käynnistyy keväällä 2014 heti kirjaston suorittamien TUHAT-tarkistusten valmistuttua.

Teksti:

Eva Isaksson
Kirjastonhoitaja
Helsingin yliopiston kirjasto

Kuva:

ip-science.thomsonreuters.com

Vuoden tieteentekijä 2013: johtava tietoasiantuntija Maria Forsman

Kiinnostus tutkimukseen ja tieteisiin sekä monipuolinen kirjasto-osaaminen ovat Maria Forsmanissa kasvaneet niin tiiviisti yhteen, että niitä ei voi erottaa toisistaan. Yhteiskuntatieteilijän vuosikymmenien mittaisen, vaihtelevan uran saavutukset ovat omalta osaltaan antamassa kirjastoille ja niiden palveluille uudenlaista merkitystä etenkin yliopistojen tutkimusinfrastruktuurin osana.

Maria ei ole tyytynyt etenemään turvallisella ja yllätyksettömällä taipaleella. Hänen omien sanojensa mukaan ennakkoluulottomuus ja uteliaisuus ovat saaneet tarttumaan rohkeasti uusiin asioihin ja vieneet myös oikeisiin paikkoihin oikeaan aikaan. Haastattelijana ehdotin syinä myös erinomaista ihmisten kanssa toimeen tulemista, sosiaalista mielenlaatua ja kykyä verkostoitua. Tähän Maria lisäsi: ”Eikä mikään ole iästä kiinni!”.

Marian kirjastoura alkoi jo nuorena sosiologian opiskelijana osa-aikatyössä Valtiotieteellisen tiedekunnan kirjaston tilapäisenä ylimääräisenä järjestelyapulaisena. Tällä hetkellä, Helsingin yliopiston kirjaston Keskustakampuksen kirjaston johtavana tietoasiantuntijana, hän on jälleen osa-aikatyössä ja keskittyy kirjaston tutkijapalvelujen kehittämiseen.

Vielä osittain suunnitteilla olevat tutkijapalvelut liittyvät bibliometriikkaan, tutkimusdataan ja avoimen julkaisemisen (Open Access) tukeen. Jo nyt avoin rinnakkaistallentaminen toteutuu Helsingin yliopiston TUHAT-tutkimustietojärjestelmän kautta Heldaan, yliopiston avoimeen julkaisuarkistoon.

TUHAT-järjestelmää hyödynnetään bibliometrisissä analyyseissä. Kirjaston tutkimusdataprojekti ja sen yhteydessä toteutettu ensimmäinen henkilöstön koulutusjakso tuottavat asiantuntijoita ja aikaa myöten myös palveluja yliopiston ja tutkijoiden käyttöön.

Bibliometriikasta

Maria on ansioitunut etenkin bibliometriikan asiantuntijana ja tutkijana. Bibliometriikalla tarkoitetaan tieteellisen julkaisutoiminnan mittaamista ja analysointia. Tämä tutkimusmenetelmä on Marian mukaan informaatiotutkimuksen ominta alaa. Menetelmän käyttämisessä tilastotieteen tuntemus auttaa, samoin oma koulutus sillä tieteenalalla, johon bibliometriikkaa sovelletaan.

Bibliometristen analyysien tuloksia on tulkittava ymmärtäen kohteena olevaa tieteenalaa. Vähintään on oltava käsitys tutkimuksen kohteena olevan tieteen luonteesta ja tieteenharjoittajien toiminnan ominaispiirteistä kyseisellä alalla. Esimerkiksi onko jollekin tieteenalalle ensisijaisen tärkeää käyttää verkosta löytyviä uusimpia tutkimustuloksia vai tarvitaanko merkittävässä määrin vanhoja, suurelta osin painettuja aineistoja? Tähän liittyy myös sen huomioon ottaminen, millä kielellä tutkimustuloksia eri tieteenaloilla julkaistaan.

Bibliometriikkaa voi hyödyntää kolmella tavalla: tieteen tutkimuksessa, tiedepolitiikkaan liittyen ja puhtaasti matemaattis-tilastollisesti. Tiedepoliittinen näkökulma on juuri se, missä Marian osuus viime aikoina on ollut vahva. Hän on tuonut esiin kirjastoissa työskentelevien asiantuntijoiden erityisosaamisen ja panoksen yliopistojen tutkimuksen arviointityössä. Helsingin yliopiston kirjastossa tehtiin bibliometrisiä analyysejä yliopiston vuonna 2011 tehtyä arviointia varten. Toiminta on näyttänyt esimerkkiä muille maamme yliopistoille. Kirjastojen asiantuntemusta tarvitaan yliopistojen tulostavoitteiden saavuttamisessa.

Kuten edeltä käy ilmi, kirjasto tarjoaa bibliometrisiä palveluja yliopiston tutkimushallinnolle. Kirjaston tutkija-asiakkaille ja muille bibliometristä tietoa ja osaamista etsiville järjestetään koulutuksia ja neuvontaa. Analyysejä tehdään myös tarpeen mukaan tilaustyönä, esimerkiksi akateemisten tehtävien täyttämisen yhteydessä.

Kirjastoalan kehityksestä

Vuoden tieteentekijäksi on kerran aikaisemmin, kymmenen vuotta sitten, valittu kirjastolainen: Turun kauppakorkeakoulussa vielä 2000-luvun alkuvuosina työskennellyt kirjastonhoitaja, informaatikko Marjatta Jokinen. Hän on  Acatiimi-lehden 9/2004 -numeron kolumnissaan esittänyt huolensa tieteellisten kirjastojen ja tietopalvelun arvostuksen puutteesta. Hän kirjoittaa myös: ”Nyt on ajankohtainen kysymys, mistä saadaan suurten ikäluokkien eläkkeelle siirtyessä hyvin koulutettuja, motivoituneita ammattilaisia tieteellisiin kirjastoihin.”

Keskustelussamme Maria totesi, että kymmenessä vuodessa on tapahtunut paljon ja eteenpäin on menty. Viime vuosina Marjatta Jokisenkin kaipaama arvostus on saavutettu. Tässä yhteydessä Maria viittasi juuri siihen toimintaan, miten yliopistot arvostavat kirjastojensa osaamista ja niiltä saamiaan palveluja arviointien yhteydessä. Vaativa kirjastotyö tunnustetaan.

Ajan muuttumisen huomaa siitä, että Jokinen painottaa kirjastoissa tehtyjen tiedonhakujen merkitystä: ”Tutkijat käyttävät aikaa ja vaivaa tietojen kaivamiseen tai uusimpien artikkeleiden etsimiseen, joka meidän kanssamme yhdessä sujuisi yhdessä hujauksessa.” Marian kanssa totesimme, että huikea tekninen kehitys on tuonut tiedonhaun välineet tutkijoiden itsensä ulottuville ja laadukas, vuosien varrella tehty informaatiolukutaidon koulutus on tehnyt tehtävänsä. Opiskelija- ja tutkijasukupolvet ovat jo ottaneet tiedonhaun ja -hallinnan välineet osaavasti haltuun.

Valtiotieteellisen tiedekunnan kirjastosta Kaisa-taloon

Marian työuran nelivuotiskausi Valtiotieteellisen tiedekunnan kirjastonjohtajana (joulukuusta 2005 vuoden 2010 loppuun) osui Helsingin yliopiston kirjastotoimen perinpohjaiseen muutosvaiheeseen. Tuona aikana käytiin neuvotteluja ja keskusteluja siitä, miten yliopiston hallinnollisesti hajallaan olleet kirjastopalvelut koottaisiin yhtenäisesti kehitettäviksi.  Yhteiskunnallinen, taloudellinen ja tekninen kehitys lisääntyvine e-aineistoineen ym. muutoksineen oli ollut nähtävissä jo pitkään. Myös tulossa oleva yliopistolain muutos oli tiedossa.  Yliopiston kirjastopalvelujen koordinointiyksikkö oli perustettu yliopiston hallintovirastoon jo vuonna 2002.

Kirjastopalvelujen rakenteellisen kehittämisen vaiheissa Maria ja valtiotieteellisen tiedekunnan kirjaston n. 20-jäseninen henkilökunta olivat vahvasti mukana. Vuoden 2010 alussa he siirtyivät osaksi Helsingin yliopiston kirjaston Keskustakampuksen kirjastoa ja kahden ja puolen vuoden kuluttua Kaisa-talon uusiin tiloihin yli sadan uuden työtoverin kanssa.

– Maria on alaisiaan tukeva ja puolustava esimies, kertoo johtava tietoasiantuntija Johanna Lahikainen Keskustakampuksen kirjastosta. Mariasta pidetään ja hänen harkittuja mielipiteitään arvostetaan.

– Maria on kärsivällinen ja diplomaattinen vaikeissakin keskusteluissa. Hänellä on laajasti kokemusta, näkemystä ja verkostoja kirjasto- ja tiedemaailmasta, mikä hyödyttää kirjastoa suuresti. Olen perinyt tänä syksynä Marialta esimiestehtäviä ja saanut häneltä mentorointia uuteen tehtävääni. Mentorina Maria näkee nopeasti mitä tekijöitä käsiteltävän aiheen taustalla on ja mentoroitava saa oivalluksen kokemuksia.

Huolta ja ilonaiheita

Kirjaston asiantuntijuuden arvostus on noussut ja tieto tarjolla olevista palveluista on entistä laajempaa. Yliopiston taloudellinen tilanne sen sijaan huolestuttaa Mariaa. Koska se on huono, kirjaston avoimia tehtäviä ei voida täyttää ja uusia työntekijöitä näin ollen vaikea saada esimerkiksi eläkkeelle siirtyneiden tilalle. Missä määrin ehditään pysyä kehityksessä mukana ja miten voimavarat saadaan riittämään? Miten pystytään paneutumaan eteen tuleviin haasteisiin ja miten kaikkien töiden tasapaino löytyy?

Ilahduttavaa Marian mielestä on, että omastakin kirjastosta niin monet haluavat oppia lisää ja ovat mukana uusissa palveluissa. Varsinaista opiskeluhalukkuuttakin on paljon. Kirjastolaisten joukosta löytyy myös eri tieteenalojen jatko-opintojen suorittajia.

Haastattelun lopuksi puhuimme Marian harrastuksista, joista tärkeimpänä hän mainitsi matkustelun. Ulkomaat tulivat tutuiksi jo uran varhaisvaiheissa, jolloin työnantaja mm. lähetti venäjän kielen taitoisen kirjastonhoitajan Moskovaan. Hän teki siellä myös lisensiaatintutkielmaansa Suomen Akatemian stipendillä.

Liikkeellä olo monenlaisissa muodoissaan miellyttää Mariaa. Parasta vapaa-ajan viettoa on uusiin paikkoihin tutustuminen, matkojen suunnittelu ja matkustaminen, usein omatoimisena reppureissaamisena. Viime kesänä hän kulki miehensä kanssa pari viikkoa junilla ja busseilla Liettuassa. Hyvää oloa tuottavaa on kaikenlainen luonnossa, metsissä ja vesillä liikkuminen. Kaunokirjallisuuden lukeminen ja kuvataiteen seuraaminen ovat Marialle vakituisia harrastuksia, viimeksi mainittu myös siksi, että hänen läheistensä joukossa on kuvataiteilijoita.

Suuri ilon aihe juuri tällä hetkellä on Vuoden tieteentekijä -tunnustuspalkinto. Siitä Maria totesi, että se on hieno arvostuksen- ja kunnianosoitus koko kirjastoalalle ja hänelle itselleen.

Palmun alla

Aloitin kirjoitukseni Maria Forsmanista luonnehtimalla häntä henkilönä, jossa tieteentekijää ja kirjastoammattilaisuutta ei voi erottaa toisistaan. Asiantuntijuuden eri puolet ovat vuosikymmenien aikana kutoutuneet yhteen, kehittyneet, muuttuneet ja kasvaneet merkittäväksi elämäntyöksi tieteellisen tutkimuksen ja tieteellisten kirjastojen piirissä.

Kun tulee Marian työhuoneeseen, huomio kiinnittyy elinvoimaiseen ja hyvin hoidettuun ihmisen korkuiseen palmuun. Maria kertoi sen olevan kahdeksan vuoden takainen lahja työtovereilta onnitteluksi tohtorintutkinnosta. Valtiotieteellisen tiedekunnan kirjastossa oli sen jälkeen pidetty monet kokoukset ja neuvonpidot palmun katveessa, jonka alla sanottiin syntyvän hyviä ajatuksia. Joskus palmun lehdenkärki hipaisi neuvottelupöydän ääressä istujaa niskaan tai olkapäähän, rohkaisevasti, voisi ajatella.

Mariassa näin samanlaista elämisen ja kasvamisen voimaa kuin hänen palmussaan. Hänen puheensa ja eleensä ovat samalla tavalla rauhalliset kuin puun herkkäpiirteiset lehväoksat.  Niiden takaa huoneen lasiseinä avautuu kirjaston asiakastilaan. Lehtevä kasvi saa työhuoneen ikkunoiden lisäksi sieltäkin valoa ja ajattelin, että työhuoneen käyttäjälle asiakkaat ovat paitsi henkisesti lähellä, myös fyysisesti läsnäolollaan tähdentämässä työn merkitystä. Sen eräänä tulevaisuudennäkymänä on yliopiston perustehtävän, tieteellisen tutkimuksen ja sen tuen, kirjastopalvelujen yhteen kasvaminen eläväksi ja yhteistyön osapuolia innostavaksi kokonaisuudeksi. Tätä kasvua Maria ja hänen palmunsa edustavat kauniilla tavalla.

Lämpimät onnittelut Marialle, Vuoden 2013 tieteentekijälle!

Kiitokset haastattelusta, palmu antoi jälleen ajatuksille ja vuorovaikutukselle siivet!

Maria Forsmanin kolme tuoretta kirjoitusta:

Kirjastot mukana tutkimuksen arvioinnissa. – Acatiimi 3/12

Bibliometric Analyses by the Helsinki University Library – HULib. – Julkaisussa: International Evaluation of Research and Doctoral Training at the University of Helsinki 2005-2010. Ed. by Seppo Saari & Antti Moilanen. S.261-288

Kohtaavatko kirjaston kokoelmat, palvelut ja tutkijoiden julkaisukulttuuri?

 

Tieteentekijöiden liitto on valinnut Vuoden tieteentekijän vuodesta 1997 lähtien.

Tieteentekijöiden liitto on yliopistojen ja tutkimuslaitosten opettajien, tutkijoiden, tietopalveluhenkilöstön ja muiden akateemisten asiantuntijoiden ammattijärjestö. Se kuuluu keskusjärjestö Akavaan.

Maria Forsman (s. 1950)

  • johtava tietoasiantuntija 2010-
  • valtiotieteen tohtori (informaatiotutkimus), Åbo Akademi 2005
  • yhteiskuntatieteiden lisensiaatti (kirjastotiede ja informatiikka), Tampereen yliopisto 1982
  • valtiotieteen maisteri (sosiologia), Helsingin yliopisto 1975
  • työskennellyt kirjasto- ja tietopalvelualalla tutkijana, opettajana ja käytännön kirjastotyössä vuodesta 1972 mm. Valtiotieteellisen tiedekunnan kirjastossa, Suomen Akatemiassa, Tampereen yliopistossa, Åbo Akademissa ja Helsingin yliopiston kirjastossa
  • useita artikkeleita tieteellisissä ja ammatillisissa lehdissä ja kirjoissa
  • esitelmiä ja opetustehtäviä mm. tieteellisiin kirjastoihin, bibliometriikkaan, tutkimuksen arviointiin, tiedepolitiikkaan ja tieteelliseen julkaisutoimintaan liittyen
  • vuosien varrella useita luottamustehtäviä mm. kirjastoalan järjestöissä
  • Eduskunnan kirjaston hallituksen jäsen (2007-), Suomen tieteellisen kirjastoseuran tutkijapalveluiden työryhmän puheenjohtaja (2010-), Suomen yliopistokirjastojen neuvoston tutkimuksen tuen ohjausryhmän jäsen (2011-)
  • väitöskirja “Development of Research Networks – the Case of Social Capital”
Teksti:

Eeva-Liisa Viitala
tiedottaja
Hallintopalvelut
Helsingin yliopiston kirjasto

Kuvat:

Helena Hiltunen ja Samu Kytöjoki

Hyötyä tutkijoille – uusia tietokantoja tiedonhakuun, tieteentutkimukseen ja tutkimuksen arviointiin

Helsingin yliopiston kirjasto hankki vuodenvaihteessa Web of Science (WoS) –tietokantojen kokonaisuuteen neljä uutta tietokantaa – Book Citation Index – Science (BCI-S) ja Book Citation Index  -Social Sciences & Humanities (BCI-SSH) sekä Conference Proceedings Citation Index – Science (CPCI-S)  ja Conference Proceedings Citation Index – Social Science & Humanities COCI-SSH).

Näistä CPCI –tietokannat olivat ensin käytössä tutkimuksen arviointivuoden ja BCI –tietokannat koekäytössä viime vuonna

Kyseisten tietokantojen hankintapäätösten takana oli tutkimuksiinkin perustuva tieto siitä, että tietyillä tieteenaloilla on muitakin, varsin keskeisiä julkaisukanavia kuin tieteelliset artikkelit vertaisarvioiduissa lehdissä. Humanistis-yhteiskuntatieteellisillä julkaistaan paljon artikkeleita tieteellisissä kokoomateoksissa ja erillisiä monografioitakin. Konferenssien proceedingsit ovat keskeisimpiä tietojenkäsittelytieteessä, ja ne ovat yleinen julkaisukanava myös monissa luonnontieteissä ja biotieteissä.

Mitä tietokantoihin on indeksoitu?

BCI-tietokannat sisältävät viite- ja viittaustietoa vuodesta 2005 ilmestyneistä tieteellisistä monografioista ja niiden artikkeleista, CPCI- tietokannat viite- ja viittaustietoa konferenssijulkaisuista vuodesta 1990 eteenpäin.

BCI –tietokantoihin indeksoiduista monografioista useat ovat englanninkielisiä, mutta joukossa on myös suomenkielisiä. Artikkelia koskevien tietojen yhteydessä on mainittu, kuinka monta kertaa kyseiseen artikkeliin on viitattu WoS-tietokannoissa, joissa olevista viittauksista viittausten määrä kertyy. Uusimpien, vuonna 2012 ilmestyneiden artikkelien kohdalla viittauksia ei välttämättä ole lainkaan.

Konferenssien proceedingseja julkaistaan sekä lehdissä että monografioina. Lehtijulkaiseminen on tyypillistä biotieteissä, kun taas esimerkiksi fysikaalisissa tieteissä tyypillinen julkaisumuoto on monografiasarja. CPCI-tietokantoihin on indeksoitu keskeisissä lehdissä ilmestyneet konferenssiartikkelit. Mukaan valittujen monografiasarjojen on yleensä oltava tunnettujen kustantajien vakiintuneita sarjoja. Yleensä biotieteissä ja luonnontieteissä edellytetään, että konferenssi on pidetty viimeisten neljän vuoden sisällä. Sen sijaan humanistisilla ja yhteiskuntatieteellisillä aloilla viitteet kertyvät pidemmältä aikaväliltä, eikä erillistä aikarajaa mukaan pääsyyn siksi ole.

Mitä hyötyä tieteelle ja tutkimukselle?

Tutkija voi nyt löytää WoS–tietokannoista hakemalla aiheen, tekijän, organisaation, tieteenalan tai muun tärkeäksi katsomansa perusteella aikakauslehtiartikkelien lisäksi myös kirjoja,  kirja-artikkeleja ja konferenssijulkaisuja, vaikkakaan ei kovin kattavasti. Erityisesti BCI:n mutta myös CPCI:n ajallinen kattavuus on melko paljon suppeampi kuin muiden WoS-tietokantojen, onhan Science Citation Indexissä viite- ja viittaustietoa aina vuodesta 1945:stä, Social Sciences Citation Indexissä  (SSCI)  vuodesta 1956 ja Arts & Humanities Citation (AHCI) Indexissä vuodesta 1975 lähtien.

WoS-tietokantojen viittaustietoja hyödynnetään myös tutkimuksen arvioinnissa ja tieteentutkimuksesssa. Humanististen ja yhteiskuntatieteiden osalta on jo vuosia harmiteltu sitä, että kirjoissa ja kirja-artikkeleissa olevia viittauksia ei näy missään. BCI–tietokannat tilannetta vain jossain määrin, koska niiden ajallinen ja kielialueittainen kattavuus siksikin suppea.

Maaliskuun alussa 2013 tehdyn tiedonhaun mukaan Book Citation Index (Science ja Social Sciences & Humanities) sisältää yhteensä 888 kirja-artikkeli- tai kirjaviitettä, joiden kirjoittajien taustaorganisaationa on Helsingin yliopisto. Science sisälsi 398 ja Social Sciences & Humanities  540 viitettä, joten 50 viitettä sisältyi molempiin tietokantoihin.

Book Citation Indexistä löytyy Helsingin yliopiston tutkijoiden julkaisuja niin yhteiskunta- ja humanististen tieteiden (SSH -keltainen) kuin luonnontieteiden (S – sininen) puolelta.

Helsingin yliopiston tutkijoiden saamat viitemäärät vuosittain Book Citation Indexin mukaan. Yhteiskunta- ja humanististen tieteiden (SSH – keltainen) viittauskäytäntö näkyy pienempinä lukuina luonnontieteisiin (S – sininen) verrattuna.

Eniten viittauksia oli kerännyt oikeustiede (100) ja kakkosena oli politiikan tutkimus (92). Kymmeniä osumia saivat myös mm. filosofia, kansainvälisten suhteiden tutkimus, biokemia ja molekyylibiologia, taloustiede, historia, sosiologia, kasvatustieteet, kielitiede ja naistutkimus.

Yksittäisistä julkaisuista eniten viittauksia oli saanut  katsausartikkeli ” Unifying and testing models of sexual selection” (2006) [http://dx.doi.org/10.1146/annurev.ecolsys.37.091305.110259], joka kuului kategorioihin  ”ecology” ja ”evolutionary biology”. Yhteiskunta- ja humanististen tieteiden julkaisuista eniten viitteitä oli kertynyt Yrjö Engeströmin kirja-artikkelille ” Putting Vygotsky to Work The Change Laboratory as an Application of Double Stimulation” (2007), jonka WoS-kategoria on “psychology, developmental”.

Tuoteperhe kasvaa

Myös konferenssijulkaisujen viittausten näkymättömyys on koettu ongelmaksi niillä tieteenaloilla, joilla konferenssijulkaiseminen on keskeistä. CPCI-tietokannat merkitsevät jonkinasteista parannusta tilanteeseen, mutta eivät ratkaise ongelmaa kuin osittain. Maailmassa järjestetään vuosittain kymmeniä tuhansia tieteellisiä konferensseja, mutta vain osa niistä indeksoidaan tietokantaan. Konferenssiartikkeleiden viitemäärät ovat yleensä pienemmät kuin vertaisarvioiduissa lehdissä julkaistuilla artikkeleilla.  Tiukkojen valintakriteerien vuoksi Helsingin yliopiston tutkijoiden konferenssiartikkelien kattavuus CPCI:ssä on vertaisarvioituja lehtiartikkeleita pienempi.

BCI- ja CPCI-tietokannat tuovat kuitenkin oman tärkeän lisänsä WoS-kokonaisuuteen sikäli, että kirjojen, kirja-artikkelien ja konferenssijulkaisujen viittaukset kerryttävät myös vertaisarvioitujen artikkelien viittausmääriä. Muitakin hyötyjä niistä voi olla. Helsingin yliopiston tutkijoiden artikkeleita voitaisiin ehkä ”kalastaa” TUHAT-tietojärjestelmään näistä tietokannoista, vaikka suora importointi ei onnistukaan. Näin joidenkin alojen tutkijoiden julkaisutietoja voitaisiin täydentää.

Thomson Reuters on tuomassa markkinoille uutta Data Citation Indexiä, johon indeksoidaan tutkimusdataa mm. Yhteiskuntatieteellisestä tietoarkistosta ja Biomedicumin Cancer Genome Mine. Jäämme odottamaan mielenkiinnolla dataviittausindeksiin tutustumista.

Teksti

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Eva Isaksson
kirjastonhoitaja
Kumpulan kampuskirjasto
Helsingin yliopiston kirjasto

Kuvat

Eva Isaksson

Bibliometriikan kaikkein lyhin oppimäärä kirjastolaisille

Julkaisuja ja niihin viittaamisia analysoimalla tulee esiin mielenkiintoisia asioita. Web of science -tietokannasta saamme muutamalla klikkauksella esiin tunnusluvun, joka paljastaa tutkijan merkityksen tiedemaailmalle. Esim. muuan viime aikoina paljon tapetilla ollut tutkija, kutsutaan häntä vaikkapa 7satatonniksi, saa luvukseen ykkösen…

Kun käytössä on ”koko maailman kaikki tieteelliset artikkelit” jalostettuina viitetietokantoina, pienen Suomen suurimmankin yliopiston tutkijat jäävät jalkoihin.  Tuloksena on itkua ja porua kun oman kampuksen arvostetuimmat tutkijat saavat näissä analyyseissä lukuja, jotka nippanappa yltävät aloittelevan lääketieteilijän tasolle. Mistä on kyse, ja kuinka näihin viitetietokantojen analyyseihin pitäisi suhtautua?

Tilastollisesta bibliografiasta kaiken mittaamiseen

Iloisella 1920-luvulla keksi muuan Hulme ruveta laskemaan julkaisumääriä maittain ja aiheittain, ja näin bibliometriikan esiaste ”tilastollinen bibliografia” oli syntynyt. Alan pioneeri A. Pritchard lanseerasi bibliometriikka-sanan artikkelissaan 1960-luvun lopulla, ja termi on säilynyt alan yläkäsitteenä, vaikka muitakin nimityksiä on harrastettu: scientometria, naukometria, infometria, webometria ja cybermetria. Uusin ja laajin bibliometriikan evoluutioista on ”altmetrics”, joka tutkii mitä julkaisu (tms.) saa aikaan sosiaalisessa mediassa. Joku muu taho saa laskea nettimaailman tykkäykset ja tökkäykset, me kirjastolaiset keskitymme viittaustietokantojen antamiin mahdollisuuksiin.

Entä nyt?

Vaikka bibliometriikkaa voidaan hyvällä syyllä pitää informaatiotutkimuksen ”ominpana” metodina, sitä ei juurikaan harrastettu kirjastoissa ennen kuin vasta tällä vuosituhannella. Nyt kun bibliometriikka on valjastettu tiedepolitiikan ja tutkimuksen arvioinnin välineeksi, meidän jokaisen kirjastossa työskentelevän olisi hyvä tietää siitä ainakin seuraavat asiat:

  • Bibliometriikka antaa välineitä, joilla voidaan vertailla kirjoittajia, tieteellisiä lehtiä, organisaatioita ja maita. Sen avulla voi tutkia myös tieteenalojen kehitystä. Bibliometriset analyysit ovat aina alakohtaisia. Eri alojen tuloksia ei pidä vertailla toisiinsa, vaan konteksti tulee aina ottaa huomioon.
  • Joillain tieteenaloilla bibliometriset välineet ovat kehittyneitä, toisilla niitä vasta kehitellään. Lue lisää tieteidenvälisistä eroista.
  • On tärkeää ottaa huomioon, että eri aloilla julkaistaan eri tavoilla: artikkeleita lehtiin tai kokoomateoksiin, esityksiä konferensseihin jne. Kirjavaltaista alaa ei voi arvioida samoin kriteerein kuin artikkelivaltaista. Joillain aloilla julkaistaan kansainvälisissä, toisissa enimmäkseen kotimaisissa julkaisuissa. Lue lisää arvioinnista kirjavaltaisilla aloilla.
  • Suuret kansainväliset viittaustietokannat Web of Science ja Scopus ovat luonnontiede- ja lääketiedepainotteisia eivätkä usein lainkaan toimi analyysivälineinä humanistisissa ja yhteiskuntatieteissä. Lue lisää humanististen ja yhteiskuntatieteiden arvioinnista.
  • Journal Citation Reports –tietokannan Impact factor kertoo lehden tasosta. Suomessa Tieteellisten seurain valtuuskunnan toteuttamassa Julkaisufoorumi-hankkeessa tieteelliset paneelit ovat luoneet ulkomaalaisia esikuvia seuraten laatuluokituksen tieteellisille lehdille, konferenssi- ja kirjasarjoille sekä tieteellisille kirjakustantajille.
  • Hirsch-indeksi = luku, joka kuvaa tutkijan julkaisujen määrää ja merkitystä (Nobel-taso on 30:sta ylöspäin). Kun tutkijan artikkelit asetetaan järjestykseen siteerausten lukumäärän mukaan, H-indeksi on sama kuin sen artikkelin järjestysnumero, jonka kohdalla siteerausten määrä ja järjestysnumero ovat mahdollisimman samat. Myös Hirsch-indeksin käyttö toimii vain joillain aloilla.
  • HY:n tutkijoiden julkaisut näkyvät parhaiten TUHAT-tietokannassa ja sen pohjalta voidaan tehdä viiteanalyyseja, jotka kertovat tutkijoidemme tuotteliaisuudesta ja koko yliopiston tutkimuksen tasosta.
  • Tutkijat ovat itse vastuussa siitä, että kaikki heidän julkaisunsa tulevat TUHAT:iin.

Lisää Verkkarin juttuja bibliometriikasta

Teksti

Leena Huovinen
Tietopalvelusihteeri
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Kuva

Helena Hiltunen

Pohjoismaiset bibliometriikkaseminaarit ja mistä Unioninkadulla puhuttiinkaan?

Bibliometriset palvelut ovat olennainen osa tieteellisten kirjastojen tutkimuksen tuen palveluita. Niiden kirjastolaisten lisäksi, jotka tarjoavat ja kehittävät tutkijapalveluita, tulisi kaikkien yliopistokirjaston asiakaspalvelussa työskentelevien tietää perusasiat bibliometriikasta.

Bibliometriikka on viime vuosina noussut kysytyksi osaamisalueeksi kirjastoissa koska julkaisuja koskevia kvantitatiivisia tietoja käytetään tutkimuksen arvioinnissa, lähivuosina yhä enemmän myös tutkimusrahoituksen jakamisessa. Paljonko koulutuksessamme on käsitelty bibliometriikkaa?  Yliopistojen informaatiotutkimuksen opinnoissahan bibliometriikasta on puhuttu, jossain tehty harjoituksiakin. Silti kaikki nykyiset kirjasto- ja informaatioalan asiantuntijat eivät ole opinnoissaan perehtyneet bibliometriikkaan, vaikka bibliometristen menetelmien sanotaan kuuluvan alamme ydinosaamiseen.

Kirjastomme oli tämänvuotisen pohjoismaisen bibliometriikka-workshopin ja yhdessä Nordforskin kanssa humanististen ja yhteiskuntatieteiden bibliometriikkaa tarkastelevan seminaarin järjestäjä. Molempien seminaarien pääpuhujaksi oli kutsuttu prof. Diana Hicks (Georgia Institute of Technology, USA). Hän on kansainvälisesti arvostettu erityisesti perinteisten arviointimallien kyseenalaistajana ja humanistis-yhteiskuntatieteellisten alojen bibliometriikan kehittäjänä.

Seminaarit pidettiin täpötäydessä Unioninkadun juhlahuoneistossa. Molemmat kokosivat toista sataa bibliometrikkoa, tiedepoliitikkoa ja kirjastoasiantuntijaa pohjoismaista ja muista Euroopan maista. Se tarjosi myös oman kirjastomme väelle oppimismahdollisuuden, jota moni käyttikin hyväkseen.

Ensin humanistiset ja yhteiskuntatieteet

“The Workshop on Bibliometrics for the Social Sciences and Humanities (SSH)” oli ensimmäinen pohjoismaissa järjestetty humanististen ja yhteiskuntatieteiden bibliometriikkaan pureutuva seminaari. Ajatuksena oli koota asiantuntijoita, joiden näkemyksiä voitaisiin ottaa huomioon, kun Nordforsk jatkaa eri tieteenalojen bibliometristen raporttien sarjaa luonnontieteistä SSH-tieteisiin.

Diana Hicks tarkasteli laajasti humanistis-yhteiskuntatieteellisten alojen julkaisemista ja tutkimuksen arviointia. Hänen esityksessään tulleita näkemyksiä tuli seminaarissa esiin eri tutkimusten kautta. Hän pohti julkaisemista eri tieteenaloilla ja tutkimuksen näkyväksi tulemisen vaihtelua julkaisukielen perustella. Tieteidenvälisyys ja uusien alojen tieteelliset lehdet putoavat usein pois ranking-listoilta. Taloustieteissä viittausverkostot ovat tiiviitä ja suppeita, kun taas sosiologiseen tutkimukseen viitataan monien alojen julkaisuissa.

Hicks korosti SSH-tieteiden kirjavaltaisuutta ja tutkimustulosten julkaisemista kirja-artikkeleina ja toimitetuissa kirjoissa. Tärkeä julkaisemisen muoto on ns. valistuskirjallisuus eli yhteiskunnallinen vaikuttaminen. Usein nämä julkaisut eivät ole ”tieteellisiä”, vaan enemmänkin tiedettä tunnetuksi tekeviä ja kansallisilla kielillä kirjoitettuja.

Björn Hammarfelt tarkasteli eri tapoja analysoida SSH-julkaisuja. Web of Science ja Scopus –tietokantojen rinnalle hän toi Google Scholarin, problematisoiden senkin kattavuutta.  Julkaisuja koskevia tietoja on tallennettu useisiin tietokantoihin (esim. TUHAT). Myös lainaustietokantoja on käytetty kirjojen vaikuttavuuden arvioinnissa olettaen, että paljon lainatut kirjat ovat paljon käytettyjä. Kirja-arviot tekevät kirjoja näkyviksi samalla tavoin kuin viittausindeksit lehtiartikkeleita. Julkaisuja on myös laskettu ja arvotettu julkaisukanavan perusteella. (Tätä käytimme Helsingin yliopiston tutkimuksen arvioinnissa, kun vertailimme lehtien saamia arvoja Norjan, Australian ja ERIHin luokituksissa.)

Hammarfelt esitti käsitteen ”altmetrics”, jolla tarkoitetaan sen mittaamista, miten jokin julkaisu saa huomiota sosiaalisessa mediassa ja yleensäkin verkossa, sekä mihin kaikkeen se linkittyy. Tästä olisi ollut kiinnostavaa kuulla enemmänkin, koska se on uusi avoimeen verkkojulkaisemiseen liittyvä lähestymistapa.

Leidenin yliopisto on meille tuttu Helsingin yliopiston tutkimuksen arvioinnin bibliometristen analyysien tekijänä. Sielläkin on pohdittu SSH-tieteiden bibliometrisia analyyseja. Esityksessään Thed van Leeuwen kollegoineen totesi, että yhteiskuntatieteissäkin bibliometrinen analyysi on mahdollista, mutta kun se tehdään kunnolla, se on työlästä, monimutkaista ja kallista.

Samoja näkökulmia nousi esiin monissa esityksissä. Kaikki yhteiskuntatieteet eivät ole samanlaisia: jotkut, kuten taloustiede ja psykologia, ovat julkaisukulttuuriltaan lähellä luonnontieteitä. Kirjoihin kohdistuvia viittauksia tarvittaisiin, ja siihen onkin jo Web of Science tarttunut perustamalla Book Citation Index –tietokannan. Humanistisissa ja yhteiskuntatieteissä tieteiden kesken syntyy uusia tutkimusalueita vakiintuneiden tieteenalojen rinnalle. Lisäksi on havaittavissa, että myös SSH-tieteenaloilla aikakauslehdissä julkaiseminen on siirtymässä niihin lehtiin, jotka sisältyvät Web of Scienceen. Scopuksen ilmaantuminen WoS:n kilpailijaksi on toisaalta lisännyt molemmissa tietokannoissa SSH-lehtien osuutta.

Monet SSH-tieteet ovat tutkimuskohteensa vuoksi kansallisia ja tutkimustuloksia julkaistaan kansallisilla kielillä. Tämä on kansainvälisen näkyvyyden kannalta ongelma jopa Saksassa, kuten Pei  Shan Chi osoitti.

Sitten bibliometriikkaa monesta näkökulmasta

Jos Nordforskin seminaarissa oli ollut tarjolla paljon viimeisteltyä tietoa tutkimuksen arvioinnista kiinnostuneille, niin heti sen päätyttyä lounaan jälkeen alkanut ”17th Nordic Workshop on Bibliometrics and Research Policy” keskittyi vahvasti bibliometriikkaan ja sen menetelmiin.

Tanskalainen Jesper Schneider kyseenalaisti tutkimuksen arvioinneissa ja vertailuissa käytettyjä lukuja. Harvat oikeasti tietävät, miten arviointien sijoituseroja tulisi tulkita, tai millaisia korrelaatioiden suuruusluokat oikeasti ovat. Monia tutkijoita varmasti mietityttää, ovatko ne suuria, kohtalaisia vai pieniä. Kirjastolla tulisi olla asiantuntemusta kertoa, paljonko on paljon.

Kuulijalle kirkastui, miten haastavaa bibliometriikka itse asiassa on, kun alustajat alkoivat vyöryttää kalvoillaan laskentakaavoja ja simulaatioita. Saksalainen Jan Schulz havainnollisti tekijän tunnistamisen vaikutusta.  On kätevintä tuottaa keinotekoisesti satunnaisia tekijäjoukkoja Monte Carlo -menetelmällä ja katsoa, miten eri muuttujat vaikuttavat tuloksiin.

Hollantilainen Marco van Veller tarjosi kirjaston kokoelmatyötä tekeville varsin mielenkiintoisen esityksen. Wageningin  yliopiston tutkijoiden julkaisut, viittaukset ja lehtien nimekekohtainen käyttö lataustilastojen perusteella oli analysoitu. Tarkoituksena oli muokata kirjaston tarjoama lehtivalikoima mahdollisimman kustannustehokkaasti tutkijoita palvelemaan.

Norjalaisilla on valtakunnallinen Cristin-tietokanta, josta löytyvät kaikki norjalaiset tutkimusjulkaisut 2011 lähtien. Tätä tietovarantoa hyödynnettiin miesten ja naisten julkaisutuotannon vertailemiseen. Naisten osuus jäi jonkin verran jälkeen miesten julkaisutuotteliaisuudesta kaikissa ikäryhmissä. Nuorten naisten julkaisutuotteliaisuuteen vaikutti perheen perustaminen – mitä vanhemmiksi lapset kasvoivat, sen enemmän äidit ehtivät kirjoittaa tutkimusjulkaisuja. Vanhemmissa ikäryhmissä tilastoja hallitsivat iäkkäät miesprofessorit, joiden tuotteliaisuus esti naisia nousemasta tasoihin miesten kanssa. Olisi kiinnostavaa nähdä samanlaisia tuloksia TUHAT-tietokannasta – onko tutkijoilla näkymättömiä haasteita, jotka saataisiin näkyviksi heidän julkaisujaan tarkastelemalla?

Bibliometriikka ei ole tärkeää vain tietoasiantuntijoille. Kuka tahansa voi kirjaston asiakaspalvelussa joutua vastaamaan kysymykseen, joka koskee vaikkapa jonkin lehden vaikuttavuuskerrointa tai sijoittumista julkaisufoorumiluokituksiin. Kirjastossa tullaankin järjestämään kaikille avoimia koulutuksia bibliometriikan tiimoilta.

 

Seminaarit pidettiin 10.-12.10.2012 ja kirjastossamme järjestelyihin osallistuivat Maria Forsman, Anna-Kaisa Hyrkkänen, Eva Isaksson, Mari Elisa Kuusniemi, Johanna Lahikainen, Sirkku Liukkonen ja Kati Tuunanen.

Teksti

Maria Forsman
Johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Eva Isaksson
Kirjastonhoitaja
Kumpulan kampuskirjasto
Helsingin yliopiston kirjasto

Kuva

Helena Hiltunen

Kaksi kansainvälistä bibliometriikka-seminaaria Helsingissä

11.-12.10. 2012 oli Helsingin yliopiston kirjaston vuoro emännöidä vuosittain järjestettävää Nordic Workshop on Bibliometrics and Research Policy -seminaaria. Se järjestettiin nyt 17. kertaa. Seminaarin yhteydessä pidettiin erityisesti yhteiskuntatieteiden ja humanististen tieteiden alan bibliometrisiä erityiskysymyksiä käsittelevä Nordforsk Workshop on Bibliometrics for the Social Sciences and Humanities (10.-11.10.).

Seminaareihin otti osaa yli 120 vierasta yli kymmenestä maasta: Pohjoismaista, Baltiasta ja Euroopasta. Ensimmäistä kertaa mukana oli myös islantilaisia. Osanottajat olivat bibliometriikasta kiinnostuneita ja sen parissa työskenteleviä tieteentutkijoita, kirjastolaisia ja skientometrikkoja sekä tiedehallinnon päätöksentekijöitä.

Seminaaripaikka, Unioninkadun juhlahuoneistot, oli ääriään myöten täynnä innokkaita osanottajia. Kysymyksiä ja keskusteltavaa riitti ja moni puhuja sai raikuvat aplodit. Juttua jatkettiin yhteisillä lounailla ja illallisilla.

Lue lisää seuraavasta Verkkarista.

 

Teksti

Johanna Lahikainen
Tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Kuva

Eva Isaksson
Kirjastonhoitaja
Kumpulan kampuskirjasto
Helsingin yliopiston kirjasto

Tutkimuksen arvioinnin raportti julkaistu – kiitoksia kirjastolle

Helsingin yliopiston tutkimus ja tohtorikoulutus arvioitiin kansainvälisesti vuosina 2010–2012. Arviointiin osallistui 136 tutkijayhteisöä ja noin 6000 tutkijaa (joista vastuullisia tutkijoita noin 1000), jotka olivat olleet vuosina 2005–2010 Helsingin yliopistossa. Raportin julkistamistilaisuus pidettiin 7.5.2012.

Tutkimuksen arviointi on toteutettu kaksi kertaa aiemmin (1999 ja 2005) ja se tehdään kuuden vuoden välein. Vuoden 2012 arviointi poikkesi aiemmista: osallistuminen oli vapaaehtoista ja siihen otettiin osaa tutkimusryhminä yli laitos- ja tiedekuntarajojen.

Paneelit käyttivät arvioinnissa hyväksi Leidenin yliopiston (CWTS) ja Helsingin yliopiston kirjaston tekemiä bibliometrisia analyyseja. Leidenin yliopisto toimitti niiden alojen analyysit, jotka voitiin tehdä Web of Science (WoS) –tietokannan avulla.

66 humanistis-yhteiskuntatieteellistä ryhmää oli kirjaston vastuulla. Kirjasto teki myös kokonaisanalyysit koko yliopiston tasolla. Analyyseissä käytettiin TUHAT-tietokantaa.

Keskustakampuksen kirjaston johtava tietoasiantuntija Maria Forsman oli mukana tutkimuksen arvioinnin ohjausryhmässä ja hän johti 13 hengen kirjastolaisen ryhmää, joka suoritti analyysit.

Tutkimuksen arvioinnin bibliometriset analyysit tässä mittakaavassa olivat kirjastolle uusi aluevaltaus. Kirjasto sai paljon kiitoksia hankkeesta erityisesti vararehtori Johanna Björkrothilta ja hankkeen projektipäällikkö Seppo Saarelta.

Entä miten kirjaston tulisi ottaa raportin tulokset huomioon jatkossa? Lue Maria Forsmanin artikkeli aiheesta.

Raportti

Rehtorin ja vararehtorin esitykset julkistamistilaisuudessa ja aiemmat arviointiraportit

Videotallenne julkistamistilaisuudesta

Kohtaavatko kirjaston kokoelmat, palvelut ja tutkijoiden julkaisukulttuuri?

 

 

Ennakkotieto: NordForsk Workshop on Bibliometrics for the Social Sciences and Humanities lokakuussa

NordForsk järjestää humanistis-yhteiskuntatieteellisten alojen bibliometriikkatyöpajan Helsingin yliopistossa 10.-11.10.2012. Työpaja pidetään Helsingin yliopiston kirjaston järjestämän The 17th Nordic Workshop on Bibliometrics and Research Policy -tilaisuuden yhteydessä (11.-12.10.2012).

Työpaja on jatkoa NordForskin aiemmalle Noria-net -bibliometriikkaprojektille, jossa todettiin tarve humanistis-yhteiskuntatieteellisten alojen bibliometriikan tarkasteluun ja edistämiseen. Työpajan tarkoituksena on kerätä yhteen asiasta kiinnostuneita tutkijoita, asiantuntijoita ja hallinnon ihmisiä.

Lisätietoja verkkosivuilla:

 

 

Tutkimuksen arviointi ja bibliometriikka keräsivät kuulijoita

Miltä näyttävät eri tieteenalojen julkaisemisen tavat? Millainen kuva Helsingin yliopiston tutkimuksesta saadaan bibliometrisilla analyyseilla? Miksi TUHAT-tutkimustietojärjestelmä on niin tärkeä?

Helsingin yliopiston kirjasto järjesti 7.9.2011 seminaarin ”Research Evaluation and Bibliometrics”. Seminaari liittyy yliopistossa parhaillaan tehtävään tutkimuksen ja jatkokoulutuksen kansainväliseen arviointiin. Seminaarin kieli oli englanti ja mukaan oli kutsuttu erityisesti kaikki arviointiin osallistuvien tutkijayhteisöjen vastuulliset johtajat (Principal  Investigators). Lisäksi paikalla oli kirjastoasiantuntijoita ja muita tutkimuksen arvioinnista kiinnostuneita.

Aamupäivän puheenjohtajana toimi kirjastonhoitaja Antti Virrankoski Kumpulan kampuskirjastosta. Päivän aluksi ylikirjastonhoitaja Kaisa Sinikara toivotti seminaarin osallistujat tervetulleiksi. Hän kertoi lyhyesti kirjaston roolista tutkimuksen arvioinnissa. Vararehtori Johanna Björkroth, joka on myös arvioinnin ohjausryhmän puheenjohtaja, kuvaili Helsingin yliopistossa tekeillä olevaa arviointia ja sen taustaa. Tämänkertaisen arvioinnin toteutus poikkeaa aikaisemmista.

Tutkijayhteisöt ovat voineet ilmoittautua arviointiin ja valita itse arviointikategorian, johon he kokevat kuuluvansa. Viisi kategoriaa ovat:

1. Osallistuvan yhteisön tutkimus edustaa omalla alallaan kansainvälistä huippua.

2. Osallistuvan yhteisön tutkimus on korkeatasoista, mutta nykyisellään yhteisö ei vielä ole saavuttanut vahvaa kansainvälistä tunnustusta tai selkeää läpimurtoa.

3. Osallistuvan yhteisön tutkimus poikkeaa tutkimuksen valtavirrasta, ja tutkimustradition ominaispiirteet tällä alalla tulee ottaa huomioon arvioinnissa.

4. Osallistuvan yhteisön tutkimus edustaa innovatiivista avausta.

5. Osallistuvan yhteisön tutkimuksella on erittäin merkittävä yhteiskunnallinen vaikuttavuus.

Lisäksi tutkijayhteisöt ovat voineet esittää muita toivomuksia arvioinnin suhteen. Arvioinnissa käytetään TUHAT–tutkimustietojärjestelmään tallennettuja julkaisutietoja ja muuta toimintaa koskevia tietoja. Ilmoittautuneita tutkijayhteisöjä oli 138.

Millaisia analyysejä tehtiin?

Seminaarin aamupäivän osiossa tarkasteltiin tutkimuksen arvioinnissa tehtyjä bibliometrisia analyysejä. Tutkija Ed Noyons Leidenin yliopiston tieteen ja teknologian tutkimuskeskuksesta (CWTS) kertoi tutkimuksen arvioinnista ja bibliometriikasta yleensä sekä erityisesti niistä analyyseistä, joita Leidenissä on Helsingin yliopistolle tehty ja mitä ne kuvaavat.

Analyysit tehtiin siten, että Leideniin lähetettiin tutkijayhteisöjen julkaisuja koskeva TUHATista tuotettu data, joka CWTS:ssä yhdistettiin Web of Science –tietokannassa oleviin tietoihin.  Leidenissä tehtiin seuraavat analyysit:

P             Number of publications

TCS         Total amount of citations received

MCS        Average number of citations received per paper (citation impact)

Pnc          Percentage of non-cited papers

MNCS     normalized citation impact

MNJS      average normalized impact of journals used

NPHCP10Contribution to top 10% most highly cited papers (actual compared to expected)

Int_cov    Internal coverage: average percentage of reference covered by the Web of Science (WoS)

Johtava tietoasiantuntija Maria Forsman Helsingin yliopiston kirjastosta kertoi, minkälaisia analyysejä tehtiin niille tieteenaloille ja tutkijayhteisöille, joiden julkaisutoiminnasta Leidenissä tehdyt analyysit eivät antaneet riittävää kuvaa. Näitä yhteisöjä oli 66, ja ne edustivat humanistisia tieteitä, yhteiskuntatieteitä ja tietojenkäsittelytiedettä. Analyysit tehtiin TUHATista tuotetusta aineistosta.

Kirjastossa tehtiin seuraavat analyysit:

1)      Tekijöiden määrä julkaisuissa vuosittain taulukkona; lisäksi piirakkakuviona tekijöiden määrä julkaisuissa koko ajanjaksolla 2005-2010.

2)      Julkaisujen kieli vuosittain; lisäksi piirakkakuviona julkaisukielet koko ajanjaksona 2005-2010.

3)      Lehdet, joissa artikkeleita on julkaistu, vuosittain; lisäksi lehtiä verrattiin Norjan, Australian ja ERIH:n “journal ranking” -listoihin ja laskettiin, kuinka monta tutkijayhteisön artikkelia on julkaistu rankkeeratuissa lehdissä.

4)      Kirjojen kustantajat vuosittain; kustantajia verrattiin Norjan “publisher ranking” -listaan, jossa kustantajat on ryhmitelty kahteen kategoriaan – johtava tieteellinen ja tieteellinen kustantaja. Tämän perusteella on laskettu, montako tutkimusryhmän monografiaa minkäkin tyyppinen kustantaja on julkaissut.

5)      Konferenssien ranking – erityisesti tietojenkäsittelytieteessä on haettu TUHATista tutkimusryhmän konferenssijulkaisut ja verrattu niitä Australian “conference ranking” -listaan.

Tutkimuksen arvioinnin tämänhetkisessä vaiheessa ei ollut mahdollista esittää minkään todellisen tutkijayhteisön julkaisuista tehtyjä analyysejä, joten sekä Noyonsin että Forsmanin TUHATin pohjalta tehdyt esimerkkianalyysit koskivat laajempia tieteenalakokonaisuuksia.

 

Esimerkkianalyysi.

Kirjaston rooli ja arvioinnin tulevaisuus

Iltapäivän aloitti assoc. prof. David Lawrence Linköpingin yliopiston kirjastosta kertomalla siitä, miten kirjasto on mukana tutkimuksen arvioinnissa ja bibliometristen analyysien tuottamisessa.

Bibliometriikka on tullut osaksi kirjaston tehtäviä vuonna 2007, ja nyt bibliometrisissa palveluissa on mukana 5 henkilöä, joista 2 päätoimista. LiU:ssa tehdään analyysejä sekä tutkimushallintoa varten että tutkijaryhmille ja laitoksille. Lisäksi kirjastossa neuvotaan tutkijoita tehtyjen analyysien tulkinnassa.

Lawrence korosti omassa esityksessään analyysissä käytettävän datan oikeellisuuden ja laadun merkitystä. Lisäksi hyvät yhteydet kirjaston ja yliopiston hallinnon välillä ovat tärkeät. Hän puhui myös julkaisustrategian tärkeydestä. Myös Linköpingin yliopiston kirjastossa käytetään sekä Web of Science -tietokannasta tehtyjä, että Norjan mallin mukaan laadittuja analyysejä.

Iltapäivän päätteeksi ohjelmassa oli paneelikeskustelu bibliometriikan tulevaisuudesta. Paneeliin osallistuivat Ed Noyonsin ja David Lawrencen lisäksi prof. Markku Kulmala (luonnontieteet), prof. Risto Saarinen (humanistiset ja yhteiskuntatieteet) sekä prof. Jussi Kangasharju (tietojenkäsittelytiede). Paneelin puheenjohtajana toimi kirjastonhoitaja Terhi Sandgren Terkosta.

Panelisteille oli annettu etukäteen pohdittavaksi kaksi kysymystä:

1)      Mitä seuraavassa arvioinnissa tulisi mielestäsi tehdä?

2)      Millaisia analyysejä tutkijayhteisö tarvitsisi arviointien välissä?

Ensimmäiseen kysymykseen David Lawrence totesi seuraavan arvioinnin toteutuksen riippuvan siitä, mikä yliopiston tavoitteena on. Yksi arviointimalli ei voi vastata kaikkiin kysymyksiin, vaan yliopiston täytyy ensi määritellä tavoitteensa ja edetä sitten arvioinnissa sen mukaisesti.

Risto Saarinen sanoi, että arvioinnissa nyt käytetyt keinot ovat riittämättömiä keskustakampuksen kannalta, koska kirjat ja toimitetuissa kirjoissa olevat artikkelit eivät päässeet oikeuksiinsa. Hän toivoi, että keskustakampus otettaisiin jatkossa paremmin huomioon ja arvioinnin välineitä kehitettäisiin tätä silmällä pitäen.

Tämän syksyn aikana julkistetaan Tieteellisten seurain valtuuskunnan (TSV) julkaisufoorumi, joka olisi hyvä ottaa seuraavissa arvioinneissa käyttöön.

Markku Kulmala totesi tämänhetkisen analyysin hyväksi lähtökohdaksi arvioinneille. ISI:n Web of Science–tietokannan olisi tärkeää olla ajan tasalla, jotta tietokannasta saadaan luotettavaa tietoa arviointien käyttöön.

Jussi Kangasharju toi esiin tieteenalojen erilaisuuden. Hän totesi, ettei ole hyvä yrittää tehdä analyysiä samalla kaavalla kaikille, vaan tulevaisuudessakin on tärkeä pitää mielessä eri alojen erilaiset tarpeet. Analyysit on räätälöitävä ottaen huomioon eri tieteenalojen erilaiset kulttuurit.

Maria Forsman totesi, että arvioinnin tiukan aikataulun vuoksi räätälöinnille ei nyt ollut tarpeeksi aikaa. Toiveena on, että jatkossa olisi mahdollista tehdä enemmän. TUHAT–tietokantaan ei ole nykyisellään tallennettu sellaisia tietoja, joiden pohjalta voitaisiin tehdä kansainvälisiä vertailuja tai tarkastella kansainvälistä yhteistyötä. Tuleva kansallinen julkaisurekisterijärjestelmä tulee antamaan mahdollisuuksia ainakin kansallisiin vertailuihin.

Ed Noyons korosti, että tärkeää arvioinnissa on olla selvillä ryhmän tavoitteista. Tässä arvioinnissa käytetyt viisi kategoriaa ovat hyvät ja tukevat tätä tavoitetta. Kaikki vaikutukset eivät näy yhdellä analyysillä, vaan arvioinnin pitäisi pystyä näyttämään erilaisten ryhmien kehittyminen kohti niiden erilaisia tavoitteita.

Toiseen kysymykseen Lawrence totesi, että arviointien välillä pitäisi osoittaa ryhmille, miltä niiden toiminta näyttää eri malleilla kuvattuna ja antaa ryhmien itsensä päätellä, olisiko niiden syytä tehdä jotain eri tavalla. Näin voidaan seurata ryhmän kehittymistä.

Saarinen esitti, että arviointien välilläkin voitaisiin hyötyä räätälöidyistä analyyseistä. Myös Kulmala sanoi, että arviointien välillä olisi hyvä saada tietoa ryhmän edistymisestä ja sen tutkimuksen näkyvyydestä. Kangasharju totesi, että julkaisustrategian tukeminen ja kehityksen seuraaminen arviointien välillä ryhmittäin tai laitoksittain olisi tärkeää.

David Lawrence kertoi Linköpingin yliopiston käytännöistä.

Keskustelua virisi

Näiden kysymysten lisäksi seminaarissa käytiin vilkasta keskustelua yleisön ja esiintyjien välillä. Yleisöpuheenvuorossa todettiin, että julkaisujen kirjoittajien määrä ja affiliaatioiden määrä kirjoittajaa kohti on nousussa ja kysyttiin, onko bibliometriikalla keinoja tunnistaa lukuisista kirjoittajista ne, jotka ovat olleet keskeisimmässä roolissa tietyn artikkelin kannalta.

Noyonsin mukaan ratkaisua siihen, miten yhden kirjoittajan osuus tietyssä julkaisussa saataisi nostettua esiin, ei toistaiseksi ole; asiaan on kiinnitetty kuitenkin huomiota. Tutkimuksen muutos ja halu näyttää hyvältä arvioinneissa vaikuttavat tutkijoiden julkaisukäyttäytymiseen.

Kulmala totesi, että voi olla hyödyllistä tarkastella tutkijan nimen esiintymistä ensimmäisenä, toisena tai viimeisenä kirjoittajana WoS-hakutuloksissa. Aakkosellinen tekijälistaus vaikeuttaa edelleen tietyn kirjoittajan osuuden määrittelyä. Saarinen toi esiin, että myös tekijöiden vähäinen määrä saattaa muodostua ongelmaksi arvioinnissa ja esimerkiksi kirjat eivät ole toistaiseksi saaneet ansaitsemaansa painoarvoa. Lawrence kertoi, että Linköpingissä oli kokeiltu ensimmäisen ja viimeisen kirjoittajan merkityksen korostamista, mutta tulokset eivät toistaiseksi vakuuttaneet.

Keskustelua herättivät myös bibliometristen analyysien rahoitus ja arviointiin ilmoittautuneiden ryhmien kokoonpanot. Kulmala ja Saarinen katsoivat analyysien rahoituksen olevan jokseenkin sopivalla tasolla, mutta toivoivat sen sijaan lisäpanostusta siihen, että tutkijoiden aikaa vapautuisi apurahahakemusten kirjoittamisesta tutkimuksen tekemiseen. Raivio totesi, että bibliometristen analyysien rahoituksesta käydään nyt keskustelua, joten asiaan kannattaisi kiinnittää huomiota.

Arviointiin ilmoittautuneiden tutkimusryhmien koostamisesta ja tämän vaikutuksista ryhmien julkaisuihin kysyttiin. Ed Noyons totesi, että ryhmän julkaisut voidaan koota siihen kuuluvien tutkijoiden julkaisuista korostaen joko ryhmän pitemmän ajan toimintaa tai sen tulevaa potentiaalia. Näistä kahdesta mallista voidaan valita toinen sen mukaan, mitä arvioinnissa halutaan mitata.

Johanna Björkroth kertoi, että nyt meneillään olevassa arvioinnissa ei käytetty tutkimusryhmien jäsenten vanhoja julkaisuja, jotka oli tehty Helsingin yliopiston ulkopuolella.

Bibliometriset analyysit ovat olleet tutkimuksen arvioinnin kansainvälisten paneelien käytössä, ja nämä paneelit ovat kokoontuneet syyskuussa täällä Helsingissä. Julkaisuja koskevat analyysit ovat vain osa siitä aineistosta, joiden perusteella tutkijayhteisön toimintaa arvioidaan. Paneelien palautekeskustelut on videoitu.

Teksti

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Liisa Ekebom
tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Kuvat

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Johanna Lahikainen
tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

 

Research Evaluation and Bibliometrics -seminaari 7.9.2011

Helsingin yliopistossa on parhaillaan meneillään kansainvälinen tutkimuksen ja jatkokoulutuksen arviointi. Tämän tiimoilta Helsingin yliopiston kirjasto järjestää 7.9.2011 klo 9-16 seminaarin “Research Evaluation and Bibliometrics”, jossa on mahdollisuus mm. kuulla tutkimuksen arvioinnin yhteydessä tehdyistä bibliometrisista analyyseista ja pohtia arvioinnin ja bibliometriikan tulevaisuutta. Seminaarin kieli on englanti ja paikkana yliopiston päärakennuksen 2. krs, sali 1 (2044).

Seminaari on maksuton, mutta kahvitarjoilun vuoksi toivomme ilmoittautumista e-lomakkeella viimeistään 2.9.2011.

Seminaari videoidaan, ja sitä on mahdollista seurata verkossa reaaliaikaisena tai  katsoa jälkikäteen.

Seminaarin ohjelma

Session 1: Bibliometric analyses 2011

9.00-9.15 Welcome to our seminar – Kaisa Sinikara, Chief Librarian, Helsinki University Library
9.15-10.00 International evaluation of research and doctoral training at the University of Helsinki – Johanna Björkroth, Vice Rector of University of Helsinki
– Discussion
10.00-10.30 Coffee break
10.30-12.30 Bibliometric analyses of HU research at CWTS Leiden – Ed Noyons, Research Fellow, University of Leiden (CWTS)
Alternative bibliometric analyses of HU research at the Helsinki University Library – Maria Forsman, Chief Information Specialist, Helsinki University Library
– Discussion
12.30-13.30 Lunch break

Session 2: Bibliometric analyses in the future

13.30-15.00 Research evaluation at the Linköping University Library – David Laurence, Assoc . Prof., Linköping University Library
– Discussion
15.00-16.00 Future of bibliometrics and research evaluations – conclusions and discussion

Lämpimästi tervetuloa!

Helsingin yliopiston kirjaston bibliometriikkaverkoston toiminta jatkuu kokoontumisella
29.8. Syksyn aikana mietitään eri näkökulmista bibliometriikan tulevaisuutta HULibissa.
Osa toiminnastamme liittyy varmasti edelleen tutkimuksen arvioinnissa tehtäviin
analyyseihin, mutta myös yksittäisille tutkijoille ja tutkimusryhmille voidaan tarjota
bibliometrisia palveluja ja koulutuksia.

Tulossa: seminaari tutkimuksen arvioinnista ja bibliometriikasta 7.9.2011

Kirjasto järjestää syyskuussa tutkimuksen arviointitoimiston pyynnöstä seminaarin, jonka aiheena on tutkimuksen arviointi ja arvioinneissa tehtävät bibliometriset analyysit. Seminaarissa alan asiantuntijat kertovat tavoista, joilla tutkimuksen arviointiin osallistuvia tutkimusryhmiä arvioidaan.

Puhujiksi seminaariin ovat lupautuneet David Lawrence ja Ingegerd Baurén Linköpingin yliopiston kirjastosta sekä Ed Noyons Leidenin yliopistosta. Helsingin yliopiston kirjaston bibliometrisistä analyyseistä kertoo johtava tietoasiantuntija Maria Forsman.

Tervetuloa! Lisätietoja ja tarkka ohjelma tulossa myöhemmin.

Lisätietoja tutkimuksen arvioinnista Helsingin yliopistossa

 

Bibliometriikkaa Leidenissä

Helsingin yliopistossa on meneillään  vuosiin 2005-2010 kohdistuva
tutkimuksen arviointi. Se lennätti ryhmän kampusten bibliometriikkavastuullisia
keväiseen Leideniin syventymään bibliometrisiin analyyseihin tutkimuksen
arvioinnin näkökulmasta.

Leidenin yliopiston Centre for Science and Technology Studies (CWTS)
tekee nyt ja jatkossakin huippuluokan analyysejä Helsingin yliopistolle.
Se on ollut tutkimuksen ja julkaisujen arvioinnin alalla arvostetuimpia
toimijoita jo parinkymmenen vuoden ajan. Yliopistojen vuotuinen “Leiden ranking” on yksi seuratuimmista yliopistojen rankkauslistoista.

CWTS järjestää kahdesti vuodessa viikon mittaisen “Graduate Coursen” joka on
suunnattu tutkimuksen arvioinnin parissa työskenteleville ammattilaisille:
yliopistotutkijoille, arviointitoimistojen asiantuntijoille ja kirjaston
bibliometrikoille. Helsingin yliopiston kirjastosta kevään kurssille
osallistuivat Maria Forsman (Keskusta), Maarit Hopeakoski-Nurminen (Viikki),
Eva Isaksson (Kumpula) ja Terhi Sandgren (Terkko) sekä Helsingin yliopiston
tutkimuksen arviontitoimistosta Eeva Sievi.


Thed van Leeuwen kertomassa epätyypillisistä viittauspiikeistä


Maria Forsman ja Eeva Sievi lounassopan ääressä

Ohjelma koostui alan huippuosaajien luennoista, joten me kirjastolaiset ehkä
hiukan jännitimme kurssia etukäteen. Huoleen ei ollut aihetta, sillä olimme
kurssin aktiivisimpien ja kyselevimpien opiskelijoiden kärkikaartia. Käytännön
työstä kertyneet kysymykset saivat asiantuntijoilta varsin tyhjentävät
vastaukset. Tutkimustyössä tuotettujen julkaisujen arvioinnin käytännöt,
haasteet ja tulevaisuuden trendit tulivat kurssin mittaan tutuiksi.

Kurssin päätteeksi keskustelimme Helsingin yliopiston TUHAT-prosessista
karttuneiden, jatkojalostettujen tietojen käsittelystä Leidenissä vastaavan tutkija Ed Noyonsin kanssa. Työnjako Leidenin ja Helsingin kesken konkretisoitui varsin pitkälle. Leiden huolehtii ammattitaitoisesti kvantitatiivisista analyyseistä, kun taas me Helsingissä työstämme humanististen ja yhteiskuntatieteellisten ym. alojen kvalitatiivisempia analyyseja.

Kurssipäivät olivat pitkiä, mutta CWTS osasi pitää opiskelijansa hereillä.
Kahvikärry työnnettiin sisään lyhyilläkin tauoilla, lounaalla saimme vaihtaa
näkemyksiä opiskelijoiden ja opettajien kesken ruokalan pitkässä pöydässä.
Iltaisin söimme ravintola Luxorissa, jonka valtavassa noutopöydässä oli
edustettuina useita etnisiä keittiöitä.


Vasemmalta: Terhi Sandgren (Terkko), Ed Noyons (CWTS), Maria Forsman (keskusta),
Eva Isaksson (Kumpula), Eeva Sievi (tutkimuksen arviointi), Maarit Hopeakoski-Nurminen (Viikki)

Erityisen paljon arvostimme sitä, että CWTS:n huippututkijat olivat mukana myös
näissä vapaa-ajan tapahtumissa ja olivat kiinnostuneita keskustelemaan meidän
kurssilaisten kanssa. Lisäksi ohjelmaan kuului se, että joka päivä sen päivän
luennoitsijat kokoontuivat viimeisen tunnin ajaksi vastaamaan kysymyksiin
ja pohtimaan kanssamme bibliometriikkaan liittyviä kysymyksiä.

Kirjastolaiset palasivat Helsinkiin reppu täynnä uusia oppeja, joiden varaan
voimme rakentaa hyvin alkanutta bibliometriikkatyötämme.

Kirjoittajat

Eva Isaksson
Kirjastonhoitaja
Kumpulan kampuskirjasto
Helsingin yliopiston kirjasto

Maria Forsman
Johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Kuvat

Eva Isaksson

Kuinka arvioida humanistis-yhteiskuntatieteellistä tutkimusta?

Tutkimuksen arviointi on alkanut Helsingin yliopistossa. Kirjaston bibliometriikkaverkoston jäseniä on tulossa mukaan analysoimaan 138 tutkimusryhmän aineistoja erityisesti niiden tieteenalojen osalta, jotka ovat vähän edustettuina Web of Science (WoS)–tietokannoissa. Näitä ovat useimmat humanistiset ja yhteiskuntatieteelliset alat sekä mm. tietojenkäsittelytiede ja maantiede. Näitä tutkimusryhmiä on 50-60.

Arvioinnissa tullaan käyttämään bibliometrisen analyysin aineistona TUHAT-tietokantaa. Kaikista tutkimusryhmistä tuotetaan tiedot julkaisujen määrästä vuosittain julkaisutyypin mukaan ja kielen mukaan. Lisäksi Leidenin yliopiston Centre for Science and Technology Studies analysoi kaikesta edellä mainitun 138 tutkimusryhmän WoS-tietokantoihin sisältyvästä aineistosta erilaisia indikaattoreita. Näitä ovat mm. viittausten määrä, viittausten keskiarvo julkaisua kohden, niiden julkaisujen osuus, joihin ei ole viitattu, julkaisujen kautta välittyvä tutkimusyhteistyö sekä tutkimusryhmän julkaisujen vaikuttavuus suhteessa kansainväliseen keskiarvoon ko. tieteenalalla.

Niiden alojen kohdalla, jotka jäävät tässä ulkopuolelle, käytetään erilaisia indikaattoreita. Mitkä ovat sopivia, oikeita tai parhaita indikaattoreita, siitä käydään kansainvälisestikin parhaillaan keskustelua. WoS-tietokantoihin sisältyvien lehtien arvioinnissa on käytetty impact factoria, joka kertoo siitä, miten usein WoS-tietokantoihin sisältyvä lehti on viitannut toisessa WoS-tietokantaan sisältyvässä lehdessä olevaan artikkeliin.

Humanistis-yhteiskuntatieteellisten alojen kohdalla on tarkasteltu sitä, missä julkaisuissa tutkimusryhmän jäsenet ovat julkaisseet ja miten niitä on arvioitu erilaisissa lehtien ranking-listoissa. Käytetyimpiä ovat Norjan NSD:n lista, Australian ARC:n lista sekä European Science Foundationin ERIH-lista . Nämä kaikki ovat nyt myös meidän käytettävissämme. Tieteellisten seurojen valtuuskunnan julkaisufoorumin suomalaisten panelistien arvioimat lehtilistat valmistuvat vasta kesän aikana, joten tässä arvioinnissa niitä ei vielä valitettavasti voida käyttää.

Joillakin aloilla – kuten tietojenkäsittelytieteessä – tieteellinen kommunikaatio tapahtuu pitkälti konferensseissa ja konferenssijulkaisuissa. Yhtenä auktoriteettina konferenssijulkaisujen arvioinnissa on käytetty konferensseja koskevia ranking-listoja, joista Australian ARC:n lista kattaa useita tieteenaloja.

Humanistisilla ja yhteiskuntatieteellisillä aloilla tutkimustuloksia julkaistaan myös sekä kirjoissa että kirja-artikkeleissa. Yhtenä indikaattorina siitä, miten laadukas jokin kirja on, on käytetty tieteellisten kustantajien ranking-listoja. Näistä Norjan lista löytyy TSV:n julkaisufoorumin sivuilta. Muita indikaattoreita ovat mm. kirjastotietokantojen analyysit: Löytyykö tutkimusryhmän kirjoittamaa kirjaa tieteellisistä kirjastoista? Jos kirja löytyy, niin kuinka monesta kirjastosta? Onko kirjaa lainattu? Yhtenä analyysin kohteena on käytetty WorldCat-tietokantaa. Suomenkielisen kirjan leviämisessä kotimaisiin tieteellisiin kirjastoihin voitaisiin käyttää myös Linda-tietokantaa.

Yksi mahdollinen tapa analysoida kirjojen herättämää kiinnostusta on käyttää WoS-tietokantaa ja lähteä tutkimaan kirjan ja tekijän nimen perusteella sitä, onko kirjaan viitattu jossain WoS-tietokantoihin sisältyvässä artikkelissa. Se vaatii tieteenalan ja tutkijoiden tuntemista ja on laadullinen lähestymistapa. Toinen tapa on tarkastella kirjaa siitä kirjoitettujen kirja-arvioiden kautta: onko esimerkiksi tunnetun Helsingin yliopiston tutkimusryhmässä työskentelevän humanistin kirjaa arvioitu jossain kansainvälisessä lehdessä?

Viimeksi mainitut tavat edellyttävät tieteenala-asiantuntijuutta sekä tutkimusryhmien ja niiden toiminnan tuntemista. Ne edellyttävät myös keskustelua ja vuorovaikutusta ryhmien kanssa vähän siihen tapaan, kuin Solmu-hankkeen tiimoilla on tehty.

Niiden tieteenalojen osalta, joiden julkaisuja ei löydy WoS-tietokannoista tai muista kansainvälisistä tietokannoista, ei vertailuja kansainväliseen tutkimuksen tasoon voi tehdä. Tällöin, mikäli mahdollista, voitaisiin tehdä vertailuja kansallisella tasolla, jos samankaltaisia, samaa aihepiiriä tutkivia ryhmiä olisi. Joskus kuitenkin Helsingin yliopisto saattaa olla ainoa paikka Suomessa tai maailmassa, jossa tätä tutkitaan. Silloin ei voi tehdä numeerisia vertailuja, vaan täytyy tehdä laadullista, kuvailevaa analyysia.

Yksi tapa, joka vaatii erityisosaamista ja sekä analyysivälineisiin perehtymistä että tieteenalojen tuntemusta, on verkostoanalyysien tekeminen. Voidaan tutkia, ketkä julkaisevat yhdessä artikkeleita. Voidaan myös tutkia julkaisuille annettujen sisällönkuvailujen avulla niitä teemoja, joista on kirjoitettu ja millaisen kartan ne muodostavat keskenään.

TUHATin ja WoS-tietokantojen lisäksi bibliometrisen tutkimuksen aineistona voidaan käyttää Scopusta ja Google Scholar’ia sekä eri tieteenalojen tietokantoja, kuten Sociological Abstracts’ia. Niissä on kuitenkin ongelmia. Kuten Leidenin yliopistossa pidetyssä seminaarissa todettiin, Scopus ei vielä ole bibliografisten tietojen osalta riittävän hyvä, eikä siten ole valmis bibliometrisen tutkimuksen aineistoksi. Google Scholar’in ongelma taas on se, että kukaan ei oikein tiedä, mistä ne kaikki julkaisut tulevat. Kuitenkin sillä on omat hyvät puolensa, kuten se, että näin Open Access –julkaisut tulevat näkyviksi.

Helsingin yliopiston kirjaston bibliometriikkaverkostosta on toistakymmentä tieteenala-asiantuntijaa ilmoittautunut analysoimaan humanistis-yhteiskuntatieteellisten alojen sekä tietojenkäsittelyopin ja maantieteen alojen julkaisutoimintaa. Kansainväliset kokemukset tällaisesta osin laadullisesta analyysistä ovat vielä melko vähäiset, joten olemme tekemässä jotain uutta, joka herättänee kiinnostusta laajemminkin.

Kirjoittaja

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto

Bibliometriikkauutisia meiltä ja maailmalta

Meidän kirjastossamme…

Tämän syksyn aikana bibliometriikka ja kirjastot ovat kiinnostaneet kirjastoväkeä, tutkijoita ja tiedehallintoa eri näkökulmista. Kirjastossamme on nyt bibliometriikkaverkosto, jolla on oma sähköpostilista ja wiki-sivut. Jäseniä on parikymmentä, ja meitä on kaikista kampuskirjastoista ja keskitetyistä palveluista.

Verkosto on kokoontunut lokakuun alun jälkeen kolme kertaa. Aiheina ovat olleet mm. arkibibliometriikka (Terhi Sandgren), bibliometriikka ja tutkimuksen arviointi (Seppo O. Saari) sekä verkoston toiminta ja tarpeellisuus yleensä (Maria Forsman). Tulossa ovat 29.11. Eva Isakssonin esitys suomalaisesta tähtitieteestä ja 13.12. Taina Saharin esitys humanististen ja yhteiskuntatieteellisten alojen eurooppalaisista huippulehdistä.

… Bergenissä…

Pohjoismaiset bibliometrikot kokoontuivat tänä vuonna Bergenissä 28.-29.9.2010, jossa pidettiin ”15th Nordic Workshop on Bibliometrics and Research Policy”. Oikeastaan ei voinut enää puhua ”workshopista”, sillä meitä osallistujia oli lähes 60 pääasiassa eri pohjoismaista, mutta myös muualta maailmasta: kaukaisimmat tulivat Kiinasta.

Tutkimuksen arviointi on ajankohtaista eri puolilla Pohjolaa. Se näkyi mm. siinä, että suuri osa esitelmistä liittyi jollain tavoin tähän tematiikkaan, kun taas joinakin aiempina vuosina tieteentutkimukselliset ja teoreettisemmat ongelmat ovat olleet enemmistönä.

Seminaarin järjesti Bergenin yliopiston kirjasto, jonka verkkosivuilta ohjelma ja esitykset löytyvät.

… ja Tampereella

Ensimmäiset ”Informaatiotutkimuksen päivät” pidettiin Tampereella 21.-22.10.2010. Päivien ohjelmisto oli laaja, ja se rakentui työryhmäsessioiden varaan. Informaatiotutkimus tieteenalana kattaa nykyisin melkoisen tutkimusaiheiden alueen, mistä kertoo se, että työryhmiä oli kaiken kaikkiaan kymmenen. Myös osallistujamäärä oli huikea 161, ja esityksiä oli kaikkiaan 49.

Yhden työryhmän otsikkona oli ”Tieteellinen kommunikaatio ja bibliometriset menetelmät”. Tähän ryhmään osallistui 67 aiheesta kiinnostunutta. Olin yksi tämän ryhmän puheenjohtajista ja pidin siellä esitelmän aiheesta ”Bibliometriikka, kirjastot ja tutkimuksen arviointi”. Eva Isakssonin esitelmän aiheena oli ”Tähtitieteen tutkimusyksiköt vertailussa”.

Informaatiotutkimuksen päivät tarjosivat uutta tutkimustietoa, uusia näkemyksiä ja foorumin innokkaalle ajatustenvaihdolle ja sille kuuluisalle verkostoitumiselle. Hienoa oli havaita, että Tampereen päivillä oli useita osallistujia myös Helsingin yliopiston kirjastosta.

Päivien ohjelma ja esitysten tiivistelmät löytyvät verkkosivuilta.

Entä tästä eteenpäin?

Bibliometriikkaverkosto jatkaa toimintaansa, kasvattaa keskuudessaan ja kirjastossa bibliometriikkaa koskevaa tietämystä. Odotamme jännityksellä, mitä Helsingin yliopiston tutkimuksen arviointi meiltä toivoo.

Myös valtakunnallisella tasolla bibliometriikka kiinnostaa kirjastoväkeä. Aalto-yliopisto järjestää Suomen yliopistokirjastojen neuvoston aloitteesta bibliometriikkatyöpajan 31.1.-1.2.2011, jonka tarkemmasta ohjelmasta tulee tietoa varmasti lähiaikoina. Työpajan vetäjänä on Ulf Kronman Ruotsin tiedeneuvostosta (Vetenskapsrådet).

Tänä syksynä Suomen tieteellinen kirjastoseura on perustamassa tutkijapalveluiden ryhmää, jonka tehtäväkentässä bibliometriikka on keskeisellä sijalla.

Kirjoittaja:

Maria Forsman
johtava tietoasiantuntija
Keskustakampuksen kirjasto
Helsingin yliopiston kirjasto