Helsingin yliopisto
Suomen Akatemia on ollut edelläkävijä siinä, miten tutkimuksen arviointia on viime vuosina kehitetty vastuullisen ja laadullisen arvioinnin suuntaan. Tutkijoille tämä arvioinnin kulttuurillinen muutos on näkynyt muun muassa viittausmetriikan painoarvon vähentymisenä ja tutkimustuotosten ja urapolkujen laadullisen arvioinnin korostumisena. Mitkä tekijät ovat johtaneet vastuullisen ja laadullisen arvioinnin käyttöönottoon, miten sitä käytännössä toteutetaan ja miten sitä edelleen kehitetään? Tiedeasiainneuvos Kata-Riina Valosaari ja tutkimuksesta vastaava ylijohtaja Riitta Maijala Suomen Akatemiasta käsittelevät näitä kysymyksiä artikkelissaan.
(This article is also available in English.)
Teksti: Kata-Riina Valosaari ja Riitta Maijala (Suomen Akatemia)
Tutkimustiedon ja -tulosten jakamisen uudet muodot, tutkimusprosessien kehittyminen, monitieteisyys, ilmiöpohjaiset tutkimusmenetelmät, digitalisaatio sekä tutkijoiden urapolut ovat muutoksessa. Tämä on syytä ottaa huomioon myös tutkimuksen arvioinnin kehittämisessä. Tutkijanura koostuu myös aiempaa useammin työskentelystä eri sektoreilla ja monitieteisessä sekä monimuotoisessa yhteisössä.
Tutkijan työ sisältää jo nykyisin tutkimustyön lisäksi paljon muutakin kuin tutkimustyötä ja sen tulosten julkaisemista. Selvää siis on, ettei tutkijan ja tutkimuksen arvioiminen voi enää nojata yksinkertaisimmillaankaan vain yhteen tutkimuksen tuotokseen, julkaisuihin, saatikka arvioinnissa ylipäätään ongelmallisiin julkaisukanavien vaikuttavuuskertoimiin (journal impact factor). Aiheesta voi lukea lisää esimerkiksi Howy Jacobsin blogitekstistä Taking back control (Professoriliitto.fi 2.11.2023).
Tarve arviointikriteereiden ja -menetelmien muutokselle on noussut vahvasti tutkijayhteisöstä. Muutaman viime vuoden aikana asian tiedostamiseksi ja edistämiseksi on otettu merkittäviä askelia niin kansallisilla kuin kansainvälisilläkin foorumeilla.
Arvioinnilla on tutkijan työtä ja uraa voimakkaasti ohjaava vaikutus, sillä se mahdollistaa, muokkaa ja suuntaa tutkimusta. Siksi muutoksen on oltava hallittua ja laajaan, tutkijoita itseään osallistavaan ja tiedeyhteisön yhteistyöhön perustuvaa. Koska tutkimusta tehdään ja sen tuloksia julkaistaan ja arvioidaan kansainvälisellä kentällä, on tärkeää, ettei suomalainen arviointitapa ja -järjestelmä jää ajastaan jälkeen. Näiden tulee mahdollistaa ja tukea ajantasaisella tavalla tutkimuksen ja tutkijoiden arviointia.
Arviointia suunniteltaessa on tunnistettava, minkälainen nykyinen tieteellinen yhteisö ja tutkijan työ on. Lisäksi tulee tunnistaa, minkälaista osaamista se vaatii. Tutkimuksen ja tutkijoiden arviointi liittyy moniin tutkijanuran tilanteisiin, kuten rekrytointiin, rahoituksen hakemiseen sekä tutkimustulosten julkaisemiseen. Arvioinnissa tulisi entistä selkeämmin tunnistaa ja arvostaa tutkimuksen tekemisen, tutkijan osaamisen ja taitojen sekä tutkijan urapolkujen monimuotoisuutta. Tämän tukemiseksi Euroopan komissio on julkaissut ohjeen tavoista, joilla uran monimuotoisuutta voi tuoda esiin (Knowledge ecosystems in the new ERA – Using a competence-based approach for career development in academia and beyond).
Vanhoista arviointimenetelmistä luopuminen voidaan kokea uhkana, mikäli ne ovat määrittäneet omaa uralla meritoitumista esimerkiksi julkaisu- ja viittausmetriikkaa painottavien kriteereiden ansiosta.
Vaikka tutkijanarvioinnin uudistus onkin noussut vahvasti esiin tutkijayhteisöstä, sen laaja tunnistaminen ja hyväksyminen vaativat aikaa ja aktiivisia toimenpiteitä – kuten mikä tahansa merkittävä kulttuurin muutos. Juuri nyt olemme murrosvaiheessa. Vanhoista arviointimenetelmistä luopuminen voidaan kokea uhkana, mikäli ne ovat määrittäneet omaa uralla meritoitumista esimerkiksi julkaisu- ja viittausmetriikkaa painottavien kriteereiden ansiosta. Myös nuoret tutkijat voivat kokea oman urapolkunsa suunnittelun haastavaksi muutoksessa olevien kriteereiden aikana. Arvioinnin kehittämisessä nämä näkökulmat on otettava huomioon ja hyväksyttävä, että näin suuri muutos tapahtuu hitaasti.
- Lue myös: Mitä me arvostamme tutkijoiden työssä? (24.1.2024)
Akatemian uusi strategia korostaa vastuullisuutta
Vastuullisuus on ollut keskeinen periaate Akatemian toiminnassa jo useita vuosia, ja nyt se on nostettu myös tänä vuonna päivitetyn strategian keskiöön. Tavoitteena on, että suomalainen tiedeyhteisö on vastuullisen tieteen edelläkävijä. Akatemian toiminta-ajatuksena on avata uusia väyliä korkealaatuiseen, vastuulliseen ja vaikuttavaan tutkimukseen.
Akatemian myöntämä tutkimusrahoitus perustuu kilpailuun, ja korkeatasoinen kansainvälinen vertaisarviointi on Akatemian tärkein työväline parhaiden ja lupaavimpien hankkeiden tunnistamisessa.
Arviointi on siis Suomen Akatemian toiminnan keskiössä, ja sen kehittämiseen on panostettu ja panostetaan Akatemiassa jatkuvasti. Kun arviointia suunnitellaan tai aiempia toimintatapoja päivitetään, aloitetaan aina kunkin rahoitushaun tavoitteista, joihin arvioinnilla pyritään vastamaan.
Korkeatasoinen kansainvälinen vertaisarviointi on Akatemian tärkein työväline parhaiden ja lupaavimpien hankkeiden tunnistamisessa.
Arviointia ohjaavia arvoja ovat läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus. Käytännössä arvot ilmenevät monin tavoin. Tutkimusrahoitusmuotojen tavoitteet ja päätösten periaatteet kuvataan avoimesti Akatemian verkkosivuilla kulloisenkin haun avautuessa. Samoin arviointikriteerit, arvioijille annettavat ohjeet ja arviointilomakkeet julkaistaan hakuilmoituksen yhteydessä.
Akatemia kutsuu arvioijiksi pääasiassa ulkomaisia asiantuntijoita. Kansainvälinen arviointi on edellytys tutkimuksen laadun tunnistamiseksi kansainvälisessä vertailussa. Arvioijat ovat alansa tunnustettuja asiantuntijoita tai muuten vertaisia suhteessa arvioitaviin hakemuksiin – hakujen tavoitteet huomioiden. Kansainvälinen arviointi myös auttaa välttämään yleisimmät tilanteet, joissa arvioijia olisi esteellinen hakijaan nähden. Tyypillisesti arviointi tapahtuu monitieteisissä paneeleissa. Hakija saa lausunnon, jossa on hänen hakemuksensa arviointiin osallistuneiden asiantuntijoiden nimet. Rahoituspäätösten jälkeen Akatemia julkaisee myös verkkosivuillaan haun hakemusten arviointiin osallistuneiden arvioijien nimet.
Tutkimusrahoittajan tekemä arviointi poikkeaa esimerkiksi rekrytointitilanteista sikäli, että arviointi kohdistuu pääasiassa tutkimussuunnitelman arviointiin, eikä pelkästään hakijan meriittien tai saavutusten arviointiin. Hakijan arviointi on kuitenkin keskiössä suunnitelman lisäksi esimerkiksi akatemiatutkijoiden hakemusten kohdalla.
Akatemia kehittää arviointia osana tiedeyhteisöä
Vastuullisen tutkijanarvioinnin käsitteen ja tavoitteiden kansallisen valmistelun käynnistyminen Tieteellisten seurain valtuuskunnan (TSV) koordinoimana vuonna 2018 antoi Akatemialle sysäyksen tarkastella myös omia periaatteitaan entistä kriittisemmin. Vuonna 2018 Akatemia allekirjoitti tieteellisten julkaisujen avointa saatavuutta edistävän Plan S -sitoumuksen, vuonna 2019 tutkimuksen arviointia koskevan DORA-julistuksen (San Francisco Declaration on Research Assessment) ja vuonna 2020 vastuullisen tutkijanarvioinnin kansallisen suosituksen ja kansallisen avoimen tieteen ja tutkimuksen julistuksen. Tuoreimpana sitoumuksena on allekirjoitettu kansainvälinen Agreement on Reforming Research Assessment (ARRA). Kyseisen sitoumuksen toimeenpanon edistämiseksi perustettiin koalitio Coalition for Advancing Research Assessment (CoARA) työryhmineen vuonna 2022.
Moni vastuullisen tutkijanarvioinnin periaate oli arkipäivää Akatemian toiminnassa jo ennen näitä, mutta sitoumusten myötä Akatemian hakemusarviointia ryhdyttiin kehittämään aiempaa laadullisempaan suuntaan. Ensimmäiset muutokset haku- ja arviointiohjeisiin astuivat voimaan vuonna 2021. Kuten aiemminkin, hakemus arvioidaan kokonaisuutena painopisteen ollessa tutkimussuunnitelmassa, mutta hakijan kompetenssin osalta entistä enemmän tutkimustuotosten ja urapolkujen laadullisessa arvioinnissa. Tutkijan saavutuksia arvioidaan moninaisten tutkimustuotosten ja tutkijanuran tehtävien kautta, ei julkaisujen tai viittausten määrällä. Jo aiemmin Akatemiassa oli otettu käyttöön Tutkimuseettisen neuvottelukunnan suositusten mukainen ansioluettelomalli. Malli tukee vastuullisen tutkijanarvioinnin tavoitetta ja ohjaa arviointia laajasti tutkijanuran tuotoksiin ja moninaisiin urapolkuihin. Ansioluettelomalli tuo myös esille tutkimuksen avoimen saatavuuden edistämisen sekä yhteiskunnallinen vaikuttavuuden ja vuorovaikutuksen.
Viittausmetriikan käytön tulee olla vastuullista ja ottaa huomioon tieteenalojen erot ja monitieteisyys sekä tutkijanuran vaihe – mikäli metriikoita ylipäätään käytetään laadullisen arvioinnin tukena.
Suomen Akatemian käyttämien arvioijien ohjeistuksessa korostetaan, että viittausmetriikan käytön tulee olla vastuullista ja ottaa huomioon tieteenalojen erot ja monitieteisyys sekä tutkijanuran vaihe – mikäli metriikoita ylipäätään käytetään laadullisen arvioinnin tukena. Lehtiperusteisen metriikan (journal impact factor, JIF) tai Jufo-luokitusten käyttö on selkeästi kielletty sekä arvioinnissa että päätöksenteossa, ja hakijoita on kielletty liittämästä hakemuksen osiin JIF- tai Jufo-tietoja. Muita konkreettisia muutoksia rahoituksen hakijan kannalta ovat olleet tärkeimpien tutkimustuotosten ja julkaisujen sekä niiden merkityksen tai relevanssin kuvaaminen joko tutkijanuralle tai haetun tutkimussuunnitelman toteuttamiselle.
Akatemiatutkijan rahoitusmuodon uudistuksen yhteydessä vuonna 2022 hakijan ansioluetteloa myös täydennettiin narratiiviosiolla ”ansiot ja pätevöityminen”. Hakija voi omin sanoin kuvata kyseisessä osiossa siihenastiset ansionsa tutkijana, hakemuksessa esitetyn tutkimusidean uudistumisen väitöskirjatutkimuksen jälkeen, tavoitellun pätevöitymisen tutkijana rahoituskauden aikana sekä urasuunnitelmansa rahoituskauden jälkeen.
Vastuullisen arvioinnin osana Akatemian hakemusarvioinnissa kiinnitetään lisäksi huomiota työn ja perhe-elämän yhteensovittamiseen, ja katkokset tutkijanuralla huomioidaan jo aiemmin vakiintuneen käytännön mukaisesti tutkijan saavutuksia arvioitaessa. Esimerkiksi perhevapaisiin liittyvät katkokset tutkijanuralla eivät saa vaikuttaa negatiivisesti hakijan ansioiden arviointiin.
Kulttuurinmuutokseen yhteistyöllä ja toisiltamme oppien
Suomessa vastuullisen tutkijanarvioinnin periaatteiden muutostarve tunnistettiin kansainvälisesti vertaillen aikaisessa vaiheessa. Kansallinen vastuullisen tutkijanarvioinnin suositus valmistui TSV:n johdolla vuonna 2020. TSV myös koordinoi kansallisen suosituksen toimenpiteiden toteutumista sekä CoARA-koalition kansallisen osaston perustamista. Valtaosa Suomen tutkimusorganisaatioista, yhteensä 28 organisaatiota mukaan lukien kaikki yliopistot ja suuri osa ammattikorkeakouluista, on liittynyt CoARA-koalitioon ja sitoutunut edistämään sen tavoitteita omassa toiminnassaan.
Tutkimus ja tutkimuksen arviointi ovat kansainvälistä toimintaa. Tiedeyhteisössä jaettu ymmärrys siitä, mitä laatu ja vaikuttavuus tieteessä ovat ja miten niitä tulee arvioida, on välttämätöntä. Siksi arviointimenetelmien ja periaatteiden kansainvälinen harmonisointi on tärkeää. Kriteereiden yhdenmukaisuus helpottaa tutkijoiden kansainvälistä yhteistyötä ja kansainvälisen vartaisarvioinnin järjestämistä myös käytännössä. Lisäksi menetelmien ja materiaalien tarkoituksenmukainen yhdenmukaisuus auttaa varmistamaan, ettei hakijoiden ja arvioitsijoiden työkuorma kasva kohtuuttomasti.
Kansainvälisesti ja erityisesti Euroopassa on käynnistynyt useita hankkeita ja työryhmiä, jotka osaltaan tukevat arviointikulttuurin muutosta. Yksi eurooppalaisen tutkimusalueen (European Research Area, ERA) politiikka-agendan toimenpiteistä (nro 3) on valjastettu arvioinnin kulttuurinmuutoksen edistämiselle. Eurooppalaisten tutkimusrahoittajien yhteistä näkemystä ja toimintatapoja muutoksessa etsitään muun muassa Science Europen Research Culture -ryhmässä. Lisäksi CoARA:n sateenvarjon alle perustetuista kymmenestä työryhmästä yksi keskittyy erityisesti tutkimusrahoittajien hakemusarvioinnin kehittämiseen. Akatemia osallistuu edellä mainittujen ryhmien toimintaan.
CoARA myös edellyttää jäseniään tekemään toimintasuunnitelman sitoumuksen suositusten toteuttamisesta.
Perehdytys, seuranta ja jatkotoimenpiteet
Laadulliseen arviointiin siirtyminen edellyttää uudenlaisten menetelmien omaksumista ja myös kohdennettua ohjeistusta ja koulutusta tutkijoille, olivat he sitten hakijan tai arvioijan roolissa. Lisäksi ohjeistusta ja koulutusta tarvitsevat myös päätöksentekijät.
Akatemia järjestää vuosittain suurimman hakunsa, talvihaun, yhteydessä hakijoille Ask & Apply -hakuneuvontatilaisuuksien sarjan. Talvihaun 2024 tilaisuuksista etenkin akatemiatutkijan pätevyyttä sekä arviointiperiaatteita käsittelevät jaksot perehdyttävät myös vastuullisen tutkijanarvioinnin käytänteisiin Akatemian hauissa.
Vastuullisen arvioinnin ohjeen (Review principles, pdf) lisäksi arvioijille järjestetään myös perehdytyswebinaareja, joissa Akatemian toimintaperiaatteet käydään heidän kanssaan ennen arviointityötä yhdessä keskustellen läpi. Samanlainen arviointi ei sovi jokaiseen tilanteeseen, vaan arviointi on sopeutettava kulloistenkin tavoitteiden mukaisesti. Erilaisia tilanteita kuitenkin ohjaavat yhteiset vastuullisen arvioinnin periaatteet. Akatemia kehittää jatkuvasti arviointikäytänteitään hakijoilta, arvioijilta ja myös muilta sidosryhmiltä kerätyn palautteen perusteella.
On tärkeää, että suomalainen tiedeyhteisö aktiivisesti seuraa ja kehittää tutkimuksen ja tutkijoiden arviointia osana kansainvälistä tiedeyhteisöä. Tässä yhteisessä toiminnassa myös Akatemia haluaa olla vahvasti mukana.
Tiedeasiainneuvos Kata-Riina Valosaari toimii Suomen Akatemiassa arviointi ja päätöksenteko -ydintiimin ja -verkoston vetäjänä. Riitta Maijala on Akatemian tutkimuksesta vastaava ylijohtaja.