Paljon huomiota viime vuosina saaneet yliopistojen ranking-listat perustuvat yleensä tutkimustoiminnan aktiivisuuteen ja laajuuteen sekä koulutuksen kansainvälisyyteen ja yliopiston maineeseen. Listoja tarkemmin tutkiessa huomaa niihin liittyvän monia ongelmia, joista kenties ilmeisimpiä ovat menetelmälliset pulmat. Nämä hankaluudet ovat itse asiassa niin klassisia (yhteiskunta)tieteellisessä tutkimuksessa, että tuntuu perin erikoiselta miten vähän aihetta on puitu ranking-listojen yhteydessä.
Erilaisia yliopistojen ranking-listoja on kenties kymmeniä. Niin kutsuttu Shanghain lista on vuodesta 2003 julkaistuna yksi vanhimmista ja hyvin paljon seurattu yliopistoranking. Kiinalaisen Jiao Tong -yliopiston julkaisema Shanghain lista perustuu pelkästään seuraaviin tutkimusta mittaaviin tekijöihin (painoarvo): Nobel- ja Fields-palkittujen opiskeluyliopistot (10 %), Nobel ja Fields-palkittujen yliopistot, joissa tutkija työskenteli palkinnon myöntöaikaan (20 %), artikkeleiden viittausindeksit (20 %), Nature tai Science -artikkelit (20 %), Highly Cited (top 1%) Scientists (20 %) sekä edelliset suhteessa akateemisen henkilökunnan määrään 10%.
Tätä indikaattorilistaa katsoessa on selvää, että ranking painottaa vahvasti paitsi huippututkimusta myös luonnontieteitä ja suuria yliopistoja. On mielestäni hämmästyttävää, että Helsingin yliopisto on sijoittunut Shanghain listalla niinkin korkealle kuin välille 67-76 maailman kaikkien yliopistojen joukossa. Selvää on myös, että tämä listaus on melko vakaa.
Sen sijaan toinen paljon huomiota saanut ranking U.S. News & World Report on paljon epävakaampi. Sen kriteereissä puolet tulee mainekyselyistä. Yliopiston mainearvio muiden yliopistojen silmissä on 40 % ja maine työnantajien silmissä 10 % painoarvoltaan. Kun kyselyn kohdejoukko muuttuu vuodesta toiseen saadaan listaukseen suuren yleisön mielenkiintoa ylläpitävää vaihtelua. Amerikan oikeustieteitä opettavien yliopistojen yhdistys, the Association of American Law Schools (AALS), on jo 1998 vaatinut tämän listauksen lopettamista. Syynä tähän on ymmärtääkseni melko puhtaasti menetelmälliset, erityisesti mittaustekniset ja ranking-listauksen esittämistekniset seikat.
Eräs keskeinen ongelma ranking listauksessa nimittäin on, että se ei tuo riittävästi esiin listauksen takana olevaa mittausta ja sen indikaatoreita. Harvoin ranking-listauksista puhuttaessa mainitaan näitä indeksejä tai ainakaan satunnaiset lukijat eivät muistavat niiden arvoja, vain ja ainoastaan yliopiston sijoitus saa huomiota. Tilannetta voisi verrata siihen, että koululuokassa ei annettaisi todistusarvosanoja vaan oppilaat ainoastaan järjestettäisiin parhaasta huonoimpaan. Vaikka kaksi oppilasta olisi todistuksen kokonaisarvosanan mukaan yhden kymmenysosan päässä toisistaan heidät tulisi sijoittaa eri sijoille. Samoin tulisi menetellä tapauksessa, jossa peräkkäisten oppilaiden todistusarvosanat poikkeavat peräti yhden pykälän verran toisistaan.
Eikö yliopistojenkin laatu olisi mielekästä ilmaista tietyn kategorian tai arvosanan mukaan samoin kuin opiskelijat arvostellaan asteikolla 1-5 tai A-D? Vaikka mitattaisiin vain yksittäisen yliopistollisen tehtävän kuten tutkimuksen tai opetuksen laatua se on väistämättä moniulotteinen ilmiö. Koska laatu on moniulotteista, sen mittaamiseen tarvitaan monta indikaattoria ja niiden painotettu keskiluku, jos halutaan yksi yksittäinen laatuarvosana. Keskiluvun ei kuitenkaan tarvitsisi olla suoraviivaisesti (painotettu) keskiarvo, se voi olla hienosyisempikin mittari. Kuvitellaan, että eri indikaattoreilla olisi tietyt vähimmäistasot, joita pidetään minimilaadun mittarina. Esim. opetuksen laadussa minitasolla yliopistolla tulisi olla opiskelijapalautejärjestelmä. Jos tätä ei ollenkaan olisi olemassa, yliopiston laatuarvosana voisi jäädä alimpaan luokkaan riippumatta siitä miten hyvällä tasolla muut opetusta mittaavat indikaattorit ovat. Shanghain-lista käyttää eräissä tieteenalakohtaisissa listoissa julkaisujen määrissä tällaista kynnysarvon periaatetta. Indikaattorien asteikot voivat olla myös epälineaarisia ilmaisten näin vähenevää rajahyötyä.
Menetelmällisesti matemaattisia ja tilastollisia mittausteknisiä mahdollisuuksia on monia. Yliopistoranking-listauksia tehdessä tulee vain tietää mitä halutaan mitata ja sitten esittää tulokset mielekkäästi ihmisten tiedonkäsittelyn piirteet huomioiden. Pelkkien ranking-sijoituksien korostaminen voi enemmän hämärtää kuin valaista asiaa.
LÄHTEITÄ
Monk, Carl C. 1998. Association of American Law Schools calls on US News & World Report to stop ranking Law Schools; Study challenges validity of magazine’s system. AALS News release.
Klein, Stephen P. and Hamilton, Laura. 1998. The validity of the US News & World Report rankings of ABA Law Schools.
Shanghai ranking 2015. http://www.shanghairanking.com/ARWU-FIELD-Methodology-2015.html
Thank you for this article. I will also like to state that it can often be hard if you are in school and simply starting out to initiate a long credit standing. There are many scholars who are just simply trying to make it through and have long or positive credit history can often be a difficult point to have.