Yliopistorankingien Reaktiivisuus

[ Tämä kirjoitus on alunperin julkaistu osoitteessa yliopisto2020.fi ]

Kirjoittaja: Tuukka Kaidesoja

Yliopistorankingit ovat välineitä yliopistojen julkiseen arviointiin, jotka pohjautuvat järjestysasteikollisiin mittareihin. Monien muiden maiden tapaan myös Suomessa globaalien yliopistorankingien tulosten julkaisu ylittää valtamedioiden uutiskynnyksen. Maamme yliopistot myös tiedottavat näyttävästi sijoituksistaan nettisivuillaan – etenkin jos ne ovat nousseet edellisvuodesta. Helsingin yliopiston sivuilta löytyy jopa koontitaulukoita yliopiston menestyksestä viidessä globaalissa yliopistorankingissa ja kuvaajia rankingsijoitusten kehittymisestä viimeisen viiden vuoden aikana (ks. https://www.helsinki.fi/fi/tutustu-meihin/perustietoa-yliopistosta/menestysta-yliopistorankingeissa#shanghai-ranking–arwu-). Edellisen hallituksen aikana yliopistorankingeja käytettiin myös osaltaan suuntaamaan kansallista yliopistopolitiikkaa.

Yliopistorankingien julkisen näkyvyyden lisääntyessä yhä kasvava joukko yliopistorankingeja tutkivia tieteenharjoittajia on kyseenalaistanut yliopistorankingit paitsi niiden metodologisten ongelmien myös niiden tarkoittamattomien ja yliopistojen toiminnan kannalta haitallisten reaktiivisten vaikutusten vuoksi. Tämän kirjoituksen tavoitteena on kertoa, mistä yliopistorankingien reaktiivisuudessa on kyse, ja esitellä joitain tyypillisiä mekanismeja, joiden välityksellä yliopistorankingit tuottavat reaktiivisia vaikutuksia. Tässä kirjoituksessa en käsittele yliopistorankingien metodologisia ongelmia, joita esimerkiksi Heikki Patomäki on tarkastellut aiemmassa blogitekstissään (https://yliopisto2020.fi/rankingit-ovat-totuudenjalkeisen-yhteiskunnan-taydellinen-ilmentyma/).

Sosiaalisten ilmiöiden mittaamiseen liittyvä reaktiivisuus viittaa prosessiin, jossa ihmisten toiminnan tai ominaisuuksien mittaaminen muuttaa heidän ajatteluaan, tuntemuksiaan ja käyttäytymistään. Reaktiivisuuden käsitteeseen sisältyy oletus, että ihmiset ovat kognitiivisia toimijoita, joilla on kyky muokata toimintaansa ja uskomuksiaan ulkoisten odotusten ja kannustimien mukaisesti. Pelkkä tietoisuus mittaamisen kohteena olosta voi siis muuttaa henkilön käyttäytymistä. Sosiaalisten ilmiöiden mittarien reaktiivisuuteen voidaan suhtautua ainakin kahdella tavalla, jotka ovat jännitteisessä suhteessa toisiinsa. Kokeellisessa sosiaalipsykologiassa mittaamiseen liittyvää reaktiivisuutta, joka on koeasetelman kannalta tarkoittamatonta, pidetään tyypillisesti mittarien validiteetin kannalta ongelmallisena virhelähteenä. Politiikan ja hallinnon kontekstissa voidaan sitä vastoin tietoisesti pyrkiä kehittämään reaktiivisia mittareita ja niihin liittyviä palkkiojärjestelmiä, jotka kannustavat ihmisiä ja organisaatioita muuttamaan toimintaansa määrättyyn suuntaan (esim. tehokkaammaksi, tuottavammaksi, läpinäkyvämmäksi, vastuullisemmaksi tai laadukkaammaksi).

Yliopistorankingit sijoittuvat tieteellisen tutkimuksen kontekstin ja politiikan ja hallinnon kontekstin välimaastoon. Yhtäältä yliopistorankingien julkaisijat esittävät heidän laatimansa rankingmittarien perustuvan tieteelliseen metodologiaan. Toisaalta säännöllisesti julkaistavat yliopistorankingit tuottavat reaktiivisia vaikutuksia useiden eri toimijaryhmien toiminnan välityksellä, joista osa on rankingien laatijoiden tarkoittamattomia. Reaktiivisten vaikutustensa vuoksi yliopistorankingit eivät ainoastaan mittaa yliopistojen toiminnan laatua. Ne ovat enemmänkin alkaneet määrittää sitä, miten ”suuri yleisö” ja muut ei-akateemiset toimijat yliopistojen toiminnan laadun ymmärtävät, ja alkaneet samalla muokata yliopistojen toimintaa rankingmittareiden suuntaiseksi (esim. Espeland & Sauder 2016; Hazelkorn 2015). Empiiristä todistusaineistoa näille väitteille löytyy lähdeluettelon tutkimuksista. Tässä kirjoituksessa esittelen neljä suhteellisen yleistä mekanismia, joiden välityksellä yliopistorankingit voivat tuottaa reaktiivisia vaikutuksia yliopistojen toimintaan: itsensä toteuttavat ennusteet, Matteus-vaikutus, takaisinmallinnus ja liigataulukkometafora.

Yliopistorankingien yhteydessä itsensä toteuttavat ennusteet voidaan Espelandia ja Sauderia (2016, 31) seuraten määritellä prosesseiksi, jotka ”toteuttavat mittareihin sisältyvät odotukset tai ennustukset tai muulla tavalla lisäävät mittarin validiteettia kannustamalla mittariin mukautuvaa käyttäytymistä.” Tämä mekanismi on toiminnassa esimerkiksi tilanteessa, jossa yliopiston johto ryhtyy allokoimaan entistä enemmän rahaa lääketieteelliseen ja luonnontieteelliseen tutkimukseen, joka tuottaa esimerkiksi yhteiskuntatieteitä ja humanistisia tieteenaloja tehokkaammin julkaisuja korkean vaikuttavuuskertoimen (impact factor) tieteellisissä julkaisuissa. Koska monissa globaaleissa yliopistorankingeissa tällaisista julkaisuista saa eniten pisteitä, yliopistojen johdon toiminta toteuttaa rankingmittareihin sisäänrakennettuja odotuksia. Joihinkin yliopistorankingeihin sisältyvien mainekyselyiden on niin ikään dokumentoitu toimivan itsensä toteuttavien ennusteiden tavalla silloin, kun kyselyihin vastaavat asiantuntijat käyttävät aiempien yliopistorankingien tuloksia eri yliopistojen maineen pisteyttämisen perusteena.

Roberk K. Mertonin (1968) alkuperäisen idean mukaan Matteus-vaikutus tieteessä tarkoittaa karkeasti ottaen sitä, että ennestään kuuluisat ja arvostetut tutkijat saavat samasta tai samankaltaisesta tieteellisestä tuloksesta enemmän tunnustusta kuin vähemmän kuuluisat tutkijat, mikä johtaa toistuessaan etujen kasautumiseen pienelle ryhmälle ”huippututkijoita”. Yliopistorankingeihin sovellettuna Matteus-vaikutus viittaa siihen, että paremman rankingsijoituksen omaavat yliopistot pystyvät kasaamaan itselleen tehokkaammin erilaisia kilpailtuja resursseja kuin huonomman rankingsijoituksen saaneet yliopistot. Tällaisia resursseja voivat olla esimerkiksi opinnoissaan menestyvät uuden opiskelijat, eri tieteenalojen arvostetuimmat tutkijat, patentit ja ulkoinen tutkimusrahoitus. Richard Münch (2014) on argumentoinut, että tämä itseään vahvistava prosessi voi johtaa yliresurssointiin korkealle rankatuissa eliittiyliopistoissa ja aliresurssointiin rankingien keskitasolle ja pohjalle sijoittuvissa yliopistoissa erityisesti tilanteissa, joissa institutionaalinen säätely tai vastakkaiseen suuntaan vaikuttavat mekanismit eivät Matteus-vaikutuksia rajoita. Matteus-vaikutuksia tuottavan mekanismin toiminta muistuttaa itsensä toteuttavaa ennustusta erityisesti yliopistorankingien ääripäihin sijoittuvien yliopistojen osalta ja sitä vahvistaa osaltaan myös eliittiyliopistojen valikoivuus uusien opiskelijoiden valinnassa ja tutkimushenkilöstön rekrytoinnissa. Globaalissa mittakaavassa yliopistorankingien Matteus-vaikutukset voivat ilmetä myös eri maiden tai maanosien yliopistojen ja koulutuksellisen eriarvoisuuden lisääntymisenä.

Takaisinmallinnuksessa on yliopistorankingien tapauksessa kyse siitä, että yliopistojen henkilökunnan jäsenet purkavat rankinginmittarin osiin, jotta he voisivat parantaa yliopistonsa rankingsijoitusta manipuloimalla niitä datakomponentteja, jotka ovat helpoimmin ja tehokkaimmin heidän kontrolloitavissaan (Espeland & Sauder 2016, 33-36). Koska mittausdatan manipulointi muodostaa olennaisen osan tästä mekanismista, olen esittänyt sen nimeämistä uudelleen ”takaisinmallinnukseen pohjautuvaksi datan manipulaatioksi” (Kaidesoja 2022). Tämä manipulointi voi olla suoranaista huijaamista tilanteissa, joissa yliopistojen työntekijät kaunistelevat yliopistorankingeihin sisältyvien mittareiden saamia lukuarvoja siten, että yliopiston rankingpisteet parantuvat. Tällainen suora manipulointi on toki mahdollista vain sellaisten mittarien kohdalla, joiden implementointi on yliopistojen vastuulla. Useimmiten manipulointi onkin epäsuorempaa. Esimerkiksi yliopistot voivat ottaa käyttöön sisäisiä palkitsemisjärjestelmiä, jotka palkitsevat työntekijöiden sellaisista suorituksista, joiden on todettu vaikuttavan eniten näkyvimpien globaalien yliopistorankingien pisteisiin. Näitä voivat olla esimerkiksi korkeiden vaikuttavuuskertoimien lehdissä julkaistut artikkelit tai paljon siteeratut artikkelit. Lisäksi yliopistot voivat houkutella uusia kansainvälisiä opiskelijoita ja työntekijöitä eri maihin suunnatuilla mainoskampanjoilla, jotta niiden tulokset paranisivat kansainvälisyyttä painottavissa rankingeissa.

Itse hahmotelemani liigataulukkometafora-mekanismi pohjautuu George Lakoffin ja Mark Johnsonin (2003) käsitteellisten metaforien teoriaan. Liigataulukkometaforan perusajatuksena on se, että erityisesti ei-akateemiset toimijaryhmät, kuten yliopistoihin pyrkivät opiskelijat ja tiedepoliitikot, ovat taipuvaisia (kenties sitä itse tiedostamattaan) käyttämään urheilujoukkueiden liigataulukkoja osittaisena kognitiivisena mallina yliopistorankingien tulosten tulkinnalle (Kaidesoja 2022). Tällöin heillä on taipumus mieltää yliopistot urheilujoukkueiden tapaan toisiaan vastaan kilpaileviksi organisaatioiksi ja tehdä päätelmiä eri yliopistojen suhteellisesti laadusta suoraan niiden rankinginsijoituksen perusteella. Tällöin he tulevat olettaneeksi, että rankinginpisteitä voidaan käyttää yliopistojen laadun mittaamiseen vastaavalla tavalla kuin urheilujoukkueiden kauden aikana keräämiä pisteitä. Samalla he tulevat hyväksyneeksi muun muassa seuraavat rankingien logiikkaan sisältyvät oletukset: eri yliopistojen paikalliset eroavaisuudet ja tavoitteiden erot eivät ole relevantteja niiden suhteellisen laadun arvioinnin kannalta; huippuyliopistoja voi olla kerrallaan vain hyvin pieni joukko; ja yliopistojen välinen kilpailu on nollasummapeliä. Nämä oletukset siis kieltävät paitsi sen, että yliopistojen laatu voisi liittyä paikallisten yhteisöjen palvelemiseen ja keskenään erilaisten koulutuksellisten ja tutkimuksellisten päämäärien toteuttamiseen, myös sen, että hyvälaatuisia yliopistoja voisi olla samanaikaisesti monia ja että kaikkien yliopistojen laatu voisi parantua tai huonontua samanaikaisesti. Näin ollen liigataulukkometafora peittää näkyvistä monet yliopistorankingien ongelmista, jotka koskevat esimerkiksi rankingmittarien reaktiivisuutta, vinoumia ja niihin kätkettyjä arvovalintoja.

Yhteiskuntatieteellinen tutkimus on tuonut esille monia yliopistorankingien ongelmia, joista osa liittyy niiden tuottamiin reaktiivisiin vaikutuksiin. Tämän vuoksi yliopistopolitiikan toimijoiden ‒ kuten EU:n, eri maiden hallitusten ja korkeakoulutuksesta vastaavien ministeriöiden ‒ ja yliopistojen johdon olisi hyvä hahmottaa yliopistorankingien metodologisten ongelmien lisäksi se, millaisia haitallisia reaktiivisia vaikutuksia yliopistorankingeilla voi olla yliopistojen toimintaan ja millaisten mekanismien välityksellä nämä vaikutukset toteutuvat. Reaktiiviset vaikutukset eivät nimittäin poistu sillä, että vain todetaan rankingien olevan metodologisesti ongelmallisia, mutta silti käytetään niitä yliopistoja koskevan päätöksenteon perustana, koska muitakaan määrällisiä mittareita yliopistojen vertailuun ei ole saatavilla. Ehkäpä olisi aika miettiä, kannattaisiko yliopistopoliittisessa päätöksenteossa tukeutua entistä enemmän yliopistoja ja tiedettä koskevaan tieteelliseen tietoon ja jättää ongelmallisten yliopistorankingien luoma keinotekoinen yliopistojen välinen kilpailu vähemmälle huomiolle.

Tuukka Kaidesoja

Kirjoittaja toimii käytännöllisen filosofian yksikössä tutkijana johtamassaan tutkimusprojektissa, joka käsittelee kognitiotieteiden ja yhteiskuntatieteiden välisiä suhteita.

Kirjallisuus

Espeland, WN, Sauder, M (2007) Rankings and reactivity. American Journal of Sociology 113(1): 1–40.

Espeland, WN, Sauder, M (2016) Engines of Anxiety: Academic Rankings, Reputation, and Accountability. Russell Sage Foundation: New York.

Hazelkorn, E (2015) Rankings and the Reshaping of Higher Education: The Battle for World-class Excellence. Palgrave Macmillan: Houndmills (2nd ed.).

Kaidesoja, T (2019) Mittarien reaktiivisuus ja objektiivisuus yliopistojen yhteismitallistamisessa. Tiedepolitiikka 2/2019, 7–18.

Kaidesoja T. (2022) A theoretical framework for explaining the paradox of university rankings. Social Science Information. March. doi:10.1177/05390184221079470

Lakoff, G, Johnson, M (2003) Metaphors We Live by (with a New Afterword). The University of Chicago Press: Chicago and London.

Merton, RK (1968) The Matthew effect in science. Science 159 (3810): 56–63.

Münch, R (2014) Academic Capitalism: Universities in the Global Struggle for Excellence. Routledge: London.