Kansalliskirjaston Doria-palvelu on yltänyt tuoreella maailman 300 parhaan julkaisuarkiston ranking-listalla peräti sijalle 16. Ollaan me vaan hyviä, vai ollaanko sittenkään? Mistä tällainen ranking-lista oikein kertoo?
Erilaiset ranking-listat ovat viime vuosina saaneet yhä enemmän painoarvoa myös akateemisessa maailmassa. Vaikka niiden kokoamisessa käytettyä metodologiaa ja tulosten todellista merkitystä kohtaan voi esittää hyvinkin perusteltua kritiikkiä, ne näyttävät kuitenkin herättävän paljon mielenkiintoa, ja niillä näyttää myös kaikista puutteistaan huolimatta olevan ällistyttävän voimakas todellisuutta muovaava vaikutus. Esim. Shanghain Jiao Tong -yliopiston kokoama vuotuinen maailman 500 parhaan yliopiston ranking-lista on epäilemättä ollut merkittävä tekijä koko Suomen korkeakoulupolitiikkaa mullistaneen huippututkimus- ja huippuyliopistoinnostuksen taustalla.
Hieman tuoreempi tulokas ranking-listojen laatijana on espanjalainen Consejo Superior de Investigaciones Científicas (CSIC), jonka kokoama yliopistojen verkkonäkyvyyttä mittaava listaus on hivenen hämäriksi jäävistä metodeistaan huolimatta saanut huomiota myös Suomessa. Esim. Helsingin yliopisto kertoi pari viikkoa sitten omalla etusivullaan nousseensa listauksessa kolmanneksi parhaaksi eurooppalaiseksi yliopistoksi.
CSIC on nyt ryhtynyt kokoamaan listausta myös julkaisuarkistoista. Heinäkuussa kootun vielä beta-versiona esitellyn listan kärjessä on tunnettuja ja tunnustettuja tieteenalakohtaisia arkistoja (ArXiv.Org, Social Science Research Network ja Research Papers in Economics), mutta melko pian niiden perässä tulee myös oma Doriamme. Lisäksi E-thesis-palvelukin on päässyt listalle (sija 55) erillisenä kokonaisuutena, vaikka sen opinnäytejulkaisut sijaitsevat nykyään Doriassa. Muista suomalaisista arkistoista listalle on toisaalta yltänyt ainoastaan DViikki (sija 181).
Vaikka oma menestys tietysti lämmittää skeptikonkin sydäntä, täytyy myöntää että jos olisin itse päässyt listaa kokoamaan, siitä olisi todennäköisesti tullut aika erinäköinen. Suomalaisista arkistoista olisi luullut löytyvän muutamia muitakin listamenestyjiä, mutta listan tekijät eivät olleet noteeranneet laisinkaan esim. Jyväskylän, Oulun tai TKK:n arkistoja. Ainakin tämän beta-version metodologia on varsin primitiivinen, kriteereinä kun on käytetty arkiston kokoa, ulkopuolelta tulevia linkkejä, pdf-muotoisten kokotekstien määrää ja Google Scholar -näkyvyyttä (ks. http://repositories.webometrics.info/methodology_rep.html). Lisäksi listaukseen pääsemiseksi vaaditaan sitä, että arkistolla on oma web-domain, mikä tietysti karsii pois osan arkistoista.
Tulevaisuudessa CSIC:n listauksen on tarkoitus perustua myös Google Analyticsin antamiin tietoihin, missä siinäkin on omat ongelmansa mm. siksi, että Analyticsia ei ole helppo saada mittaamaan kokotekstien latauskertoja, mikä kuitenkin olisi julkaisuarkistojen kannalta se kaikkein oleellisin tilastotieto (ks. myös aiempi merkintä E-thesiksen maailmankartta). Nähtäväksi jääkin, saavuttaako tämä listaus jossain vaiheessa samanlaista maailmanlaajuista merkitystä kuin esim. edellä mainittu Shanghain listaus.
Lisäksi mieltä jää väistämättä kaivertamaan epäilys siitä, ovatko tällaiset hyvin karkeisiin kriteereihin perustuvat listaukset oikeasti hyödyllisiä vai pikemminkin vahingollisia? Tällainen enemmän tai vähemmän sattumanvaraisiin kvantitatiivisiin kriteereihin pohjautuva ranking-lista kun voi pahimmillaan tarjota päättäjien ja palveluiden kehittäjien käyttöön liian helppoja vastauksia – sen sijaan, että oikeasti pohdittaisiin sitä, mikä oikein on hyvä julkaisuarkisto ja miten sen menestystä kannattaisi mitata.