Paitsi yliopistojen nykyinen akateeminen henkilökunta niin myös resurssien jako yliopistoissa ovat tulosta aiemmin tapahtuneista valinnoista. Hakijoita, oppialoja ja yliopistoja on viimeisen parinkymmenen vuoden ajan arvioitu määrämittaisten kriteerien mukaan – välillä jopa pelkästään niihin nojaten. Suomessa sitaatti-indeksit ja vaikutusfaktorit korvasivat tutkimuksen sisällöllisen arvioinnin 2000-luvun kuluessa.

Nyttemmin on syntynyt vastareaktio; on alettu puhua ”vastuullisesta arvioinnista”. Uutena pääohjeena (jota tosin noudatetaan ilmeisen vaihtelevasti) on, että tieteellisen laadun arviointi toteutetaan ensisijaisesti perehtymällä tutkimuksen tieteelliseen sisältöön. Kokonaisarvion tukena voidaan hyödyntää myös tutkimusmetriikkaa varsinkin silloin, kun se on relevanttia arvioitavan tutkijan, hakemuksen tai tieteenalan kannalta.[1] Käytännössä esimerkiksi yliopistojen ranking-mittaukset nojaavat edelleen pääosin tutkimusmetriikkaan ja oletukseen sen aggregoitavuudesta.[2]

Yksi ongelma on, että arvioinneissa huomioidaan yhä enemmän myös sellaisia asioita kuin ulkoinen rahoitus, ”johtajuus”[3], opetustaidot[4], ja yhteiskunnallinen vaikuttavuus. Myös sukupuoli ja kansalaisuus voivat vaikuttaa valintaan (tyypillisimmin: aiemmin miesvaltaisiin tehtäviin suositaan naisia, ja ranking-sijoituksestaan huolestuneet yliopistot haluavat lisätä ulkomaalaisten määrää, koska siitä saa pisteitä). Kriteerien ja niiden tulkinnanvaraisuuden lisääntyminen lisäävät mielivallan mahdollisuutta sekä ohjaavat huomioon muualle kuin ydinasiaan eli tieteelliseen tutkimukseen ja sen laatuun.

Myöskään haastattelujen käytöstä ei juuri ole puhuttu. Haastattelujen laajamittainen käyttö tuli suomalaisiin yliopistoihin joskus vuoden 2010 yliopistolain ja sen yhteydessä tapahtuneiden sisäisten muutosten aikoihin. Esimerkiksi Helsingissä johtosääntö ei määrittele valintaprosesseja, mutta käytännön ohjeistuksiin kuuluu haastattelujen käyttö. Haastatteluja käytetään myös joissakin tutkimusrahahauissa (Akatemia, European Research Council, jne.). Haastattelut ovat vakiintuneet, vaikka tutkimustiedon mukaan ne saattavat usein pahasti vinouttaa päätöksentekoa.

Kuten monet muutkin käsitteet ja käytännöt viime vuosikymmenten yliopistouudistuksissa, niin myös haastattelu-käytäntö on kotoisin yritysmaailmasta, erityisesti yhdysvaltalaisista suuryrityksistä.[5] Firmoissa haastattelujen tehtävä on auttaa arvioimaan, kuka hakijoista voisi toimia tehtävässä tavalla, joka edistää parhaiten yrityksen tuottavuutta ja menestymistä markkinoilla.

Ovatko yliopistot ”yrityksiä”. Mihin akateemisten tehtävien täytön pitäisi pohjautua, meriitteihin (menneisyys) vaiko lupaukseen menestyksestä (tulevaisuus)? Lähtökohtaisesti yliopisto on perustunut oppineisuuden hierarkiaan ja meritokratiaan. Henkilö etenee oppiarvosta toiseen ja jokaisessa vaiheessa häntä arvioidaan. Jatko-opintovaiheesta eteenpäin arviointi pohjautuu julkaistuun tutkimukseen. Avoimeen tehtävään valitaan pätevöitynein henkilö (tässä voidaan ottaa huomioon akateeminen ”ikä” ja esimerkiksi vanhemmuuden vaatimat vuodet).

Tutkimusansioiden vertailu tapahtuu lukemalla ja arvioimalla tutkimuksia sisällöllisesti. Puolueettomuuden ihanteen vuoksi arvioitsijoiden tulee edustaa erilaisia lähestymistapoja ja erikoistumisalueita. Tällaista sisällöllistä vertailua voidaan ja myös kannattaa jossain määrin täydentää oppialasta riippuen tutkimuksen merkityksen ja painoarvon vertailuilla (tutkimusmetriikka). Haastattelut ovat pelkkää kohinaa ja turhaa ajankäyttöä.

Siinä määrin kuin lupauksella tehtävän menestyksekkäästä hoitamisesta on jotain merkitystä, niin herää kysymys, että missä määrin hakijan antama ja jonkun toisen tulkitsema “lupaus” voi yliopistomaailmassa ohittaa jo saavutetut ansiot ja suhteellisen puolueettomasti arvioitavissa olevat tutkimukset? Riippumatta tarkasta vastauksesta tähän kysymykseen, haastatteluja joka tapauksessa käytetään ja tutkimusten ja kokemusten mukaan niille annetaan usein suhteeton merkitys.

Haastattelujen merkitystä ja kykyä seuloa hakijoita on epäilty siitä alkaen, kun haastatteluja alettiin systemaattisemmin käyttää Yhdysvalloissa 1910- ja 1920-luvuilla.[6] Viime aikoina eniten huomiota on saanut Daniel Kahnemanin ja hänen kollegoidensa kirja Noise. A Flaw in Human Judgement.[7]

Monien tutkimusten mukaan tavanomaisten suhteellisen avoimien haastattelujen ennustevoima tehtävän menestyksekkään hoitamisen kannalta vastaa kolikon heittoa. Toisin sanoen rationaalisen päätöksenteon kannalta tiedolla haastattelu-sijoituksesta ei ole juuri mitään merkitystä.

Tämä johtuu paljolti siitä, että “haastattelut ovat psykologisten vinoumien miinakenttä”[8]. Ihmisillä on esimerkiksi taipumusta tukea sellaisia henkilöitä, jotka ovat samanlaisia kuin he itse (kulttuuri, sukupuoli, kieli, ihonväri, koulutustausta, jne). Ongelmallisinta akateemisessa maailmassa – ja ehkä aivan erityisesti ihmistieteissä – on se jos myös poliittisesta samankaltaisuudesta tai korrektiudesta tulee hiljainen tai jopa julkilausuttu kriteeri.

Haastatteluarvioihin vaikuttavat myös ihmisten ulkonäkö ja ulkoinen olemus. Tutkimus kertoo, että ensivaikutelma haastattelun alkuosassa, jossa vielä jutustellaan mukavia ja kohteliaisuuksia, ennustaa suurella todennäköisyydellä miten haastattelija arvioi ehdokkaan. Henkilöiden kyky esiintyä haastattelutilanteessa on oma taitonsa tai lahjansa, eikä se välttämättä korreloi mitenkään sen kanssa, miten työnsä hoitaa — narsistit pärjäävät haastatteluissa!).

Siinä määrin kuin kysymyspatteristossa on avoimia osia, haastattelut keräävät eri hakijoista erilaisia vaikutelmia ja tietoja, joten aineisto ei mitenkään voi olla yhteismitallinen. Jos koetilanteessa hakijat laitetaan antamaan täysin satunnaisia vastauksia (myös konsistenssin kustannuksella), yksikään haastattelija ei huomaa, että tilanteessa olisi mitään ongelmallista, ja kaikki haastattelijat ilmaisevat suurella itsevarmuudella saaneensa haastattelusta olennaista ja tarpeellista tietoa.

Tiedämme myös, että haastattelijat tyypillisesti antavat näkemälleen ja kuulemalleen erilaisia merkityksiä. Esim. yhdelle henkilön eroaminen aiemmasta tehtävästä voi olla merkki rohkeudesta, toiselle yhteistyökyvyttömyydestä. Ilmeiset erot ja mielivaltaisuudet kuitenkin tyypillisesti hävitetään ryhmäajattelun taakse. Ryhmäajattelu – joka usein perustuu siihen, että joku tai jotkut paneelin jäsenet käyttävät suhteettoman suurta valtaa lopputulosta määriteltäessä – syventää vinoumia ja johtaa näennäisvarmuuteen. Keskustelua johtava(t) ja dominoiva(t) jäsen(et) sekä ryhmäajattelun sisäistäneet rivijäsenet ovat tietenkin tyytyväisiä lopputulokseen, mutta muillakin voi olla suuri tarve jälkikäteen rationalisoida omaa toimintaansa ja sen merkitystä.

Toisaalta tutkimusten mukaan on myös konflikteja. Joskus ryhmäajattelu ei riitä tai ”konsensus” joudutaan työstämään lähes pakkokeinoin, ja silti jäljelle saattaa jäädä eriävä mielipide. Kyse ei ole vain merkitysten erilaisuudesta. Usein haastattelupaneelin jäsenet pyrkivät nimittäin edistämään niiden voimaverkostojen etuja, joihin he kuuluvat, lobbaamalla ehdokkaita, joiden tausta ja arvot vastaavat eniten näitä etuja ja heidän omia preferenssejään. Haastattelut ovat myös poliittinen valtapeli, jossa parhaiten verkottunut tai röyhkeimmin toimiva voi saada tahtonsa läpi.[9]

Arkikokemukset viimeisen reilun 10-15 aikana tukevat monien aiempien tutkimusten sekä Kahnemanin ja kumppaneiden kriittistä analyysia. Edes akateemiset ihmiset eivät näytä osaavan tunnistaa psykologisia tai voimaverkostojen eduntavoitteluun perustuvia vinoumia itsessään – vaikka joskus onnistuvatkin näkemään vinoumia muissa. Useimmat tyytyvät vakuuttelemaan, että ne valintatoimikunnat, missä he itse ovat olleet mukana, ovat tehneet oikeita valintoja. Helpointa on vain sivuuttaa kritiikki ja pitää epäilijöitä ”hankalina ihmisinä”.

Oma lukunsa on se, että haastattelut ovat salaisia, mikä lisää tietoisen mielivallan mahdollisuuksia. Siinä missä ”vastuullisen arvioinnin” pitäisi olla avointa ja läpinäkyvää, yliopistoissa edes lähimmillä kollegoilla ei ole pääsyä valintatoimikunnan dokumentteihin tai mahdollisuutta saada tietoa sen toiminnasta. Tietoista mielivaltaa voi olla esimerkiksi se, että yliopistotehtävien hoito ehdollistetaan myötämielisyydelle tai kuuliaisuudelle suhteessa ulkoisiin valtainstituutioihin. Esimerkiksi: tänä vuonna eräs toisen yliopiston haastattelema henkilö kertoi, että häneltä kysyttiin Nato-kantaa ja mielenkiintoa hakea ulkoista rahoitusta Natolta, puolustusministeriöltä ja vastaavilta.

Yleisesti ulkoisten rahoittajien suosiosta on yhä enemmän tullut julkilausuttu valintakriteeri, minkä tulkita tarkoittavan yliopistokäytäntöjen korruptiota.[10] Yliopistojen autonomia ja itsehallinto edellyttäisivät, että yliopisto on mahdollisimman riippumaton niistä, jotka voivat olla osa sen tutkimuskohdetta. Kuitenkin monissa yliopiston osissa erilaiset kyseenalaiset käytännöt rehottavat (esim. lääkeyritykset pyrkivät muokkaamaan hoitokäytäntöjä vaikuttamalla lääkkeitä koskevaan tutkimustiedon tuottamiseen ja tulkitsemiseen sekä suoraan hoitopäätöksiä tekeviin lääkäreihin muun muassa edustustiliensä kautta;[11] monet oikeustieteilijät puolestaan neuvovat suuresta rahasta sitä, miten lakeja ja veroja voidaan kiertää[12]).

Nykyisiin valintakäytäntöihin liittyy monia muitakin ongelmia. Olen kuullut tuoreesta tapauksesta, jossa auki julistettu tehtävä perutaan juuri sen täyttämisen hetkellä. Tällainen manööveri voi toisaalta olla merkki siitä, että joskus ei-toivottu henkilö voi läpäistä vinoutuneetkin seulat.

Varsinkin professuurien täyttö on nykyään mielivaltaista myös siksi, että pätevöitymisporrasta ei ole etukäteen täsmennetty, vaan täyttö voi tapahtua mielivaltaisesti millä tahansa tt-tasolla (tt = ”tenure track”). Toisin sanoen sovellettavat kriteerit päätetään hakijoiden mukaan. Kutsumenettelyyn liittyy vielä suurempaa mielivaltaisuutta – kyse on ensisijaisesti kyvystä lobata ajatus, että joku yksittäinen henkilö on pakko saada tehtävään tai on aivan ainutlaatuinen. Kutsumenettelyn yhteydessä haastattelulla on lähinnä vain legitimoiva merkitys.

Joudun jättämään ratkaisuehdotusten tarkemman käsittelyn toiseen yhteyteen. Tässä tyydyn toteamaan, että olisi parempi, että haastatteluja ei yleisesti ottaen käytettäisi akateemisten tehtävien täytössä. Silloin kun niiden käytölle on olemassa erityisiä perusteita esimerkiksi tehtävän luonteen vuoksi, nillä pitää olla lähinnä täydentävä rooli, esimerkiksi näin:

• minimoidaan haastattelun vaikutus: valintatoimikunta tekee ensin arvion ja alustavan ehdotuksen täysin haastattelusta riippumattomalla tavalla; lopuksi haastattelun avulla vain tarkistetaan, ettei jotain olennaista ole jäänyt huomaamatta (erityisesti joku perustava ongelma, joka vaikuttaa olennaisesti henkilön kykyyn suoriutua asianmukaisesti työtehtävistään)
• minimoidaan ryhmäajattelun vaikutus: kaikissa arvioinnin osissa, mukaan lukien prosessin loppuvaiheen haastattelussa, kukin arvioitsija tai panelisti tekee ensin oman arvionsa yksin ja muista riippumatta; sitten nämä aggregoidaan; ja vasta lopuksi käydään keskustelu siitä, mikä olisi järkevä kokonaisarvostelma ja olisiko jotain sellaisia näkökohtia, jonka vuoden aggregoidusta rankkeerauksesta pitäisi poiketa?

Jotenkin pitäisi myös minimoida tietämättömyyden vaikutus, sillä nyky-yliopistossa oppialan tuntijat usein jäävätään ja mukana voi olla ihmisiä, jotka eivät tiedä oppialasta mitään (miten he voivat arvioida sisällöllisesti tutkimusta, jota eivät tunne?). Tämä on tietenkin oma kysymyksensä ja edellyttää muutoksia hallinnollisissa käytännöissä.

Heikki Patomäki

Maailmanpolitiikan professori

 

Viitteet

[1] “Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus.” Vastuullisen tieteen julkaisusarja 5:2020, Helsinki, osoitteessa https://edition.fi/tsv/catalog/view/169/127/489-1.

[2] Aggregoinnin ongelmista ks. blogini 30.9.2019 ”Rankingit ovat totuudenjälkeisen yhteiskunnan täydellinen ilmentymä”, https://yliopisto2020.fi/rankingit-ovat-totuudenjalkeisen-yhteiskunnan-taydellinen-ilmentyma/.

[3] Ks. blogini 3.12.2017 ”Hyvä johtaja: vaarallinen illuusio”, https://patomaki.fi/2017/12/hyva-johtaja-vaarallinen-illuusio/.

[4] ”Opetustaidon” arvioinnistakin on tullut yhä kompleksisempi kokonaisuus, jonka osat heijastelevat enemmän pedagogiikan ylivaltaa ja uusimpia muotivirtauksia kuin tieteellisen, tutkimukseen perustuvat opetuksen tarpeita. Opetusnäytteestäkin on tullut jonkinlainen esiintymisshow, jonka tieteellinen sisältö on usein nolla, mutta jossa ehditään piirtää värikynillä, harrastaa aivoriihitoimintaa ja assosioida mielikuvilla. Esimerkiksi Helsingin yliopiston ohjeistuksessa todetaan, että ”opetustaito arvioidaan kokonaisuutena, jonka osa-alueet ovat pedagoginen koulutus ja opetusajattelu, opetuskokemus ja opetuksen kehittäminen, opinnäytetöiden ohjauskokemus, taito tuottaa oppimateriaalia, muut opetusansiot ja opetusnäyte.” Ks. https://www.helsinki.fi/assets/drupal/2021-10/HY_Opetustaidon_arviointi_matriisi_20_9_2018_saavutettava.pdf.

[5] Ks. esim. blogini 6.2.2017 “Siiloja räjäyttämässä; eli kuinka business-kieli tuhoaa yliopistot”, https://yliopisto2020.fi/siiloja-rajayttamassa/.

[6] M. Ronald Buckley, Amy Christine Norris, Danielle S. Wiese (2000) ”A brief history of the selection interview: may the next 100 years be more fruitful.” Journal of Management History, 6 (3), 113-126, https://www.emerald.com/insight/content/doi/10.1108/EUM0000000005329/full/html#idm46503190612576.

[7] Daniel Kahneman, Olivier Sibony and Cass R. Sunstein (2021) Noise: A Flaw in Human Judgment. William Collins. Sivuutan tässä keskustelun Kahnemanin ja kumppaneiden metodologiasta, sillä kritiikkini ei muuttaisi pääpointteja olennaisesti. Yksi osin myönteinen mutta myös kriittinen arvio löytyy täältä.

[8] Kahneman ym., Noise, 250.

[9] Nikos Bozionelos (2005) ”When the inferior candidate is offered the job: The selection interview as a political and power game.” Human Relations, 58 (12), 1605-1631, https://doi.org/10.1177/0018726705061437.

[10] Käytän sanaa ”korruptio” klassisessa politiikantutkimuksellisessa mielessä. Machiavelli esitti, että poliittiset yhteisöt käyvät läpi hyveiden ja korruption syklejä. Korruptio on hyveiden puutetta. Machiavelli yritti selittää, miksi ihmiset käyttäytyvät eri tavalla terveessä ja korruptoituneessa kontekstissa. Tärkein tasavaltainen kansalaishyve on vapauden ja yhteishyvän rakkaus, josta monet muut hyveet voidaan johtaa: harkitsevuus, rehellisyys, rohkeus ja

oikeudenmukaisuus. Terveessä yhteisössä hyveet vallitsevat. Yhteisön jäsenet ovat orientoituneita julkisiin asioihin ja yhteiseen hyvään. Kiistat ja konfliktit käydään julkisen yhteishyvän kehyksen sisällä. Kun korruptio valtaa alaa, toimijat alkavat yhä enenevässä määrin orientoitua omaan yksityiseen hyvään ja välittömiin etuihinsa. Ks. S. M. Shumer (1979) ”Machiavelli: republican politics and its corruption.” Political Theory, 7 (1), 5-34, https://www.jstor.org/stable/190822.

[11] Esim. Lauri Vuorenkoski (2009) “Lääkeyritysten vaikutus hoitokäytäntöihin.” Pääkirjoitus. Lääketieteellinen Aikakauskirja Duodecim, 125 (4), 339-41, https://www.duodecimlehti.fi/duo97847.

[12] Santtu Raitasuo ja Matti Ylönen (2022) ”How legal scholars facilitate tax avoidance: Casestudy on the power of tax consultancy firms.” Public Administration, 100 (3), 507-521, https://onlinelibrary.wiley.com/doi/10.1111/padm.12796.