Helsingin yliopisto
Julkaisufoorumi on toiminut vuodesta 2015 lähtien tieteellisten julkaisujen laatuindikaattorina opetus- ja kulttuuriministeriön yliopistojen rahoitusmallissa. Jufon toimintavuosien aikana avoimessa julkaisemisessa on otettu askeleita eteenpäin ja open access -julkaisemisen kentälle on ilmestynyt uudenlaisia toimijoita. Myös vastuullinen arviointi on saanut viime vuosina tuulta purjeisiinsa. Mitä nämä kehityskulut tarkoittavat Julkaisufoorumin kannalta? Onko Jufo avoimen julkaisemisen esteenä luokitellessaan julkaisukanavia? Onko julkaisukanavilla merkitystä megajournaalien yleistyessä? Miten Jufo huomioi tutkimustuotosten ja työpanosten monimuotoisuuden? Julkaisufoorumin pääsihteeri Janne Pölönen etsii artikkelissaan näihin kysymyksiin vastausta.
Teksti: Janne Pölönen (Julkaisufoorumi)
Satoja vuosia tutkimustuloksia on julkaistu painetuissa tieteellisissä kirjoissa ja lehdissä, joita tutkijat ja kirjastot ostavat ja tilaavat kokoelmiinsa. 1990-luvulta alkaen internet ja digitalisaatio ovat tehneet mahdolliseksi tutkimustiedon ja tutkimusaineistojen ennennäkemättömän nopean ja laajan jakelun. Silti suuri osa digitaalisista julkaisuista on edelleen maksumuurin takana. Nyt ajatus siitä, että julkisin varoin tuotettu uusin tutkimustieto olisi saatavilla ensisijaisesti rajatuille maksaville asiakasryhmille, on tullut tiensä päähän. Samalla tieteellisen julkaisutoiminnan kustantaminen, muoto ja arviointi ovat murroksessa.
Tieteellisten seurain valtuuskunnan (TSV) tuottama Julkaisufoorumi-luokitus (Jufo) toimii julkaisutoiminnan laadun indikaattorina yliopistojen rahoitusmallissa. Jufon vuosien 2010–2020 toiminnan itsearvioinnin webinaarissa Gunnar Sivertsen pohti julkaisukanavien luokittelun asemaa todeten, että avoin julkaiseminen ei ole enää tulevaisuutta vaan se on jo julkaisemisen nykyisyyttä. Tässä kirjoituksessa tarkastelen kolmea kysymystä siitä, kuinka Julkaisufoorumi kohtaa julkaisutoiminnan ja arviointikulttuurin muutokset sekä avoimen tieteen vaatimukset:
Johdanto
Tutkijat osoittavat uudet tutkimustulokset tieteenalan asiantuntijoille vertaisarvioiduissa julkaisuissa. Samalla ne välittävät tutkimustietoa, joka luo perustaa tutkimukselle, opetukselle, sovelluksille, innovaatioille, päätöksenteolle ja sivistykselle. Julkaisut mahdollistavat myös tieteellisen toiminnan määrän, laadun ja vaikuttavuuden arvioinnin. Koska tutkimuksen ja tutkijoiden arvostus on alkanut perustua yksipuolisesti julkaisuihin ja näitä koskevaan metriikkaan, tutkimusorganisaatiot, -rahoittajat ja -yhteisöt pyrkivät uudistamaan arviointia siten, että kriteereissä ja kannustimissa huomioidaan entistä laadullisemmin ja monipuolisemmin tutkimuksen tuotoksia, akateemista työtä ja avointa tiedettä.
Tiedemaailmassa vallitsevat arviointikäytänteet ja kannustimet nähdään yleisesti avoimen saatavuuden ja avoimen toimintakulttuurin esteenä. Avoin tiede ei yleisty jos rahoitus ja uralla eteneminen ohjaavat tutkijoita yksinomaan julkaisemaan vertaisarvioituja artikkeleita korkean Journal Impact Factorin (JIF) lehdissä. Heinäkuussa 2022 julkaistiin European University Associationin ja Science Europen johdolla valmisteltu Tutkimuksen arvioinnin uudistuksen sopimus (Agreement on Reforming Research Assessment). Maaliskuussa 2023 sopimuksen allekirjoittaneiden lähes 500 organisaation muodostamaan CoARA-yhteenliittymään kuuluu 22 organisaatiota Suomesta, mukaan lukien TSV, Suomen Akatemia, 13 yliopistoa ja kuusi ammattikorkeakoulua.
Arvioinnin uudistusta koskevan sopimuksen keskeisimmän sisällön muodostavat neljä ydinsitoumusta (core commitments):
- Huomioidaan työpanosten ja tutkijanuran monimuotoisuus tutkimuksen tarpeiden ja luonteen mukaisesti
- Perustetaan tutkimuksen arviointi ensisijaisesti laadulliseen arviointiin, jossa keskeistä on vertaisarviointi, jota tukee määrällisten indikaattorien vastuullinen käyttö
- Luovutaan lehti- ja julkaisupohjaisten mittareiden, erityisesti Journal Impact Factorin (JIF) ja h-indeksin, sopimattomasta käytöstä tutkimuksen arvioinnissa
- Vältetään tutkimusorganisaatioiden rankingien käyttöä tutkimuksen arvioinnissa
Kansainväliset ja kotimaiset arviointia koskevat suositukset ovat yksimielisiä siitä, että yksittäisen tutkijan arvioinnin tulee perustua ensisijaisesti laadulliseen arviointiin. Myös bibliometriikan asiantuntijat pitävät julkaisumetriikkaa sopivampana makrotason kuin mikrotason arviointeihin (Glänzel, 2011 [pdf]), tai instituutiotason kansallisiin kuin institutioiden sisäisiin arviointiprosesseihin (Moed, 2020). Kun CoARA-sopimus kattaa arvioinnit yksittäisistä tutkijoista ja tutkimusryhmistä yksiköihin ja organisaatioihin, avoimeksi kysymykseksi jää, mitä mittareiden, erityisesti julkaisu- ja lehtipohjaisen metriikan, vastuullinen käyttö tarkoittaa? Gunnar Sivertsen ja Alex Rushforth toteavat tuoreessa politiikkasuosituksessa (pdf), että haaste on löytää kuhunkin arviointitarkoitukseen ja -kontekstiin sopivin yhdistelmä laadullista arviointia ja metriikkaa.
1. Avoin saatavuus ja Jufo-luokitus yliopistojen julkaisutoiminnassa
Perinteiset tiedekustantajat ovat vastanneet avoimen saatavuuden (open access, OA) tavoitteisiin mahdollistamalla yksittäisten artikkelien maksamisen avoimeksi (hybrid OA) tai käsikirjoitusten rinnakkaistallentamisen avoimiin julkaisuarkistoihin (green OA). Avoimuus on tullut myös osaksi yliopisto- ja kirjastokonsortioiden tilaussopimuksia (read & publish deals, esim. FinELib-lehtisopimuksissa). Yhä suurempi osa tiedekustantajista julkaisee kaiken sisällön täysin avoimesti (gold OA), joko perimällä artikkelikohtaisen maksun julkaisun tekijöiltä (article processing charge, APC), tai kokonaan maksutta tekijöille ja lukijoille (diamond OA).
Suomalainen tiedeyhteisö on asettanut tavoitteeksi vertaisarvioitujen lehti- ja konferenssiartikkelien välittömän avoimuuden vuodesta 2022 alkaen. Kirja-artikkelien ja monografioiden avoimuudesta ei vielä ole kansallista linjausta. Opetus- ja kulttuuriministeriön rahoitusmallissa huomioidaan kaikki yliopistojen raportoimat tieteelliset, ammatilliset ja yleistajuiset julkaisut. Vertaisarvioituja artikkeleita ja monografioita on vuodesta 2015 painotettu julkaisukanavan, eli lehden, konferenssin tai kirjakustantajan, Jufo-luokan perusteella. Vuodesta 2021 alkaen avoimesti saatavilla olevat julkaisut, mukaan lukien hybrid, gold/diamond ja green OA, ovat saaneet kaikissa Jufo-luokissa lisäkertoimen 1,2.
Jufo-luokitus muodostuisi avoimen saatavuuden esteeksi, jos se pakottaisi tai ohjaisi yliopistot ja niiden tutkijat julkaisemaan lehdissä, jotka eivät mahdollista välitöntä avointa saatavuutta. Yliopistojen julkaisutiedonkeruun tuottaman kattavan tietopohjan perusteella voidaan todeta, että lehti- ja konferenssiartikkelien avoimen saatavuuden kehitys on kuitenkin ollut myönteistä sekä korkeampiin Jufo-luokkiin 2 ja 3 että alempiin Jufo-luokkiin 1 ja 0 kuuluvissa lehdissä. Sen sijaan avoimesti saatavien kirja-artikkelien ja monografioiden osuus on edelleen selvästi pienempi Jufo-luokkien 2 ja 3 kuin Jufo-luokkien 1 ja 0 kustantajilla, tosin ero on kaventumassa (Kuvio 1).
Kustannusten näkökulmasta hybrid OA ja APC-maksullinen gold OA ovat muodostuneet kalliiksi vaihtoehdoiksi, joihin verrattuna diamond OA:n ja green OA:n välittömät kustannukset ovat huomattavasti pienemmät. Hybrid OA:ta on pidetty haitallisena avoimuudelle, koska vain osa artikkeleista julkaistaan avoimesti ja hinnoittelun läpinäkymättömyyden takia avoimuudesta on maksettu kahteen kertaan sekä OA-julkaisumaksuja että tilausmaksuja. Nopeasti yleistyneen maksullisen gold OA:n ongelma on, että APC-maksut muodostavat julkaisuesteen heikomman rahoituksen maista, organisaatioista ja aloilta tuleville tutkijoille. Kansainvälisesti tahtotila on kääntymässä APC-maksullista avoimuutta vastaan ja voittoa tavoittelemattoman diamond OA:n eduksi.
Valtaosa suomalaisten yliopistojen vertaisarvioiduista lehti- ja konferenssiartikkeleista on avoimesti saatavilla kustantajan palvelussa. Gold OA (ml. diamond OA) on edelleen vuonna 2021 yleisin avoimuuden muoto, jonka määrä on vuodesta 2016 kuitenkin kasvanut enemmän tasoluokan 1 kuin tasoluokan 2 ja 3 lehdissä (Kuvio 2). Kasvu on ollut kaikissa Jufo-luokissa voimakkainta hybrid OA:ssa, jonka suhteellinen osuus on suurempi Jufo-luokan 2 ja 3 lehdissä. Kuitenkin suurin osa kaikista hybrid OA -artikkeleista on julkaistu Jufo-luokan 1 lehdissä. Jufo-luokan 1 lehdissä myöskin julkaistiin vuonna 2021 enemmän ei-avoimia artikkeleita kuin ei-avoimia ja avoimia artikkeleita yhteensä Jufo-luokan 3 lehdissä.
Kun tarkastellaan suomalaisten yliopistojen tutkijoiden 12:ta eniten käyttämää lehteä, joista yliopistot raportoivat Virta-julkaisutietopalveluun vuodelta 2021 yhteensä yli 100 artikkelia (Kuvio 3), havaitaan että julkaisumäärät ovat kasvaneet voimakkaimmin IEEE Access -lehden lisäksi neljässä Jufo-luokkaan 1 kuuluvassa MDPI-kustantajan APC-maksullisessa gold OA-lehdessä (IJERPH, Sustainability, IJMS ja Cancers). Julkaisumäärät ovat kehittyneet huomattavasti maltillisemmin esimerkiksi Jufo-luokkaan 3 sijoittuvassa Nature Communications -lehdessä.
Directory of Open Access Journalsiin (DOAJ) indeksoitujen gold OA-lehtien osuus yliopistojen lehti- ja konferenssiartikkeleista on vuosina 2016–2021 kasvanut 21 prosentista 33 prosenttiin. Artikkelien määrä kirjoittajille ja lukijoille maksuttomissa diamond OA -lehdissä ei ole juuri lisääntynyt vaan kasvu on tapahtunut APC-maksullisissa, erityisesti MDPI- ja Frontiers-kustantajien lehdissä (Kuvio 4).
Suomalaisten yliopistojen tuottamaa tutkimusta julkaistaan erittäin vähän Cabells Predatory Reportsin listaamissa mahdollisissa saalistajalehdissä (Kuvio 4). Cabells-listatut saalistajalehdet houkuttelevat APC-maksuja antamalla mahdollisesti harhaanjohtavaa ja valheellista tietoa toimituksesta, vertaisarvioinnista ja vaikuttavuudesta.
Huomattavasti merkittävämpi ilmiö on julkaisutoiminnan nopea kasvu julkaisutoiminnan harmaa-alueella. APC-maksuja hyödyntävät kaupalliset kustantajat, kuten MDPI ja Frontiers, ovat alkaneet kilpailla markkinaosuudesta julkaisemalla lehdissään ja näiden teemanumeroissa mahdollisimman suuren määrän artikkeleita pienimmällä mahdollisella toimitustyöhön ja laadunarviointiin käytettävällä ajalla. MDPI:n (pdf) ja Frontiersin toimintamalli on herättänyt runsaasti kriittistä keskustelua laadunarvioinnin vaihtelevasta ja osin epäluotettavasta toteutuksesta. Tästä on hyvä esimerkki MDPI:n Sustainability-lehti, joka laskettiin vuoden 2023 alusta Jufo-luokkaan 0.
Julkaisufoorumin asiantuntijapaneelit päivittävät Jufo-luokat 2 ja 3 neljän vuoden välein. Päivitetty uusi luokitus julkaistiin vuoden 2023 alussa. Paneelit saivat sijoittaa korkeampiin tasoluokkiin entistä suuremman määrän lehtiä. Lehtien määrä Jufo-luokissa 2 ja 3 kasvoi 3256:sta 4149:een, joista 1347 on nyt Jufo-luokassa 3 (aiemmin 747 lehteä). Tämä tarkoittaa, että korkeammissa Jufo-luokissa on entistä enemmän erikoisalojen lehtiä, sekä välittömän avoimuuden mahdollistavia lehtiä.
Jufo-luokkiin 1–3 sijoittui vuoden 2023 alussa kaikkiaan 26420 kotimaista ja ulkomaista lehteä/sarjaa, joista 16597 (63 %) mahdollistaa välittömän avoimuuden joko FinELib-etuuden, gold OA:n tai green OA:n kautta (Kuvio 5). Välittömän avoimuuden mahdollistavien lehtien osuus on suurin Jufo-luokissa 2 ja 3, joihin sijoittuu erityisesti FinELib-etuuksien piiriin kuuluvia sekä vertaisarvioidun käsikirjoituksen välittömän rinnakkaistallennuksen sallivia lehtiä (green OA). Gold OA -lehtien osuus on vastaavasti suurin Jufo-luokassa 1. Tosiasiassa välittömän avoimuuden sallivien lehtien ja sarjojen osuus on vieläkin suurempi, koska ryhmä ”Ei välitöntä avoimuutta / Ei tietoa” sisältää hybrid OA -kanavia.
Lehtipohjaisen julkaisumetriikan kohdalla puhutaan myös ei-toivotuista tai haitallisista kannusteista, kuten siitä että julkaisut korkeimman impaktin kärkilehdissä saavat arvioinneissa liiallisen painoarvon ja avoimuuden hinta muodostuu kohtuuttoman korkeaksi. Jufo-luokitus tai rahoitusmalli eivät pakota tutkijaa julkaisemaan esimerkiksi Nature- tai Science-lehdissä. Samat ”Jufo-pisteet” kertyvät yliopistoille julkaisuista yli 1300:ssa muussakin Jufo-luokan 3 lehdessä, joista yli 80 % mahdollistaa välittömän avoimuuden. Kaikissa Jufo-luokissa on tarjolla eri tavoin välittömän avoimuuden mahdollistavia kanavia.
On todennäköistä, että Tutkimusjulkaisujen avoin saatavuus -linjauksen tavoitetta, jonka mukaan ”viimeistään vuonna 2022 kaikki uudet tieteelliset artikkeli- ja konferenssijulkaisut ovat välittömästi avoimesti saatavilla” ei aivan vielä saavuteta. Jufo-luokitus ei kuitenkaan ole, eikä ole ollut, avoimen saatavuuden edistymisen este.
2. Julkaisukanavien arviointi avointen julkaisualustojen aikakaudella
Digitaalinen toimintaympäristö on tehnyt mahdolliseksi APC-maksuilla toimivat megalehdet ja avoimet julkaisualustat. Nämä uudentyyppiset julkaisukanavat voivat julkaista suuria määriä artikkeleita, koska julkaisumäärää ei enää rajoita painettava sivumäärä. Lisäksi erityisesti PLOS One -lehden käyttöönottamaan uuteen toimintamalliin kuuluu, että vertaisarviointi rajoittuu lähinnä tutkimuksen teknisen pätevyyden tarkasteluun. Käsikirjoituksia ei pyritä valikoimaan tulosten uutuusarvon tai merkittävyyden perusteella. Avoimet julkaisualustat myös nopeuttavat tiedonvälitystä mahdollistamalla tutkimustulosten esijulkaisemisen (preprint) sekä entistä läpinäkyvämmän avoimen vertaisarvioinnin.
Kun yliopistojen koko julkaisutuotantoa tarkastellaan julkaisukanavien perusteella, oletetaan että yksittäiset julkaisukynnyksen läpäisseet artikkelit tai kirjat edustavat keskimääräistä laatutasoa, jota määrittää yhtäältä käsikirjoitusten tarjonta sekä niiden läpikäymä toimitustyö, vertaisarviointi ja valikointi julkaistavaksi. Kaikissa julkaisukanavissa yksittäisten artikkelien laatu ja vaikuttavuus vaihtelee, mutta voidaan olettaa että julkaisumäärältään suurissa ja matalan julkaisukynnyksen kanavissa vaihtelua on enemmän. Jos laaja-alaiset megalehdet ja julkaisualustat korvaavat erikoistuneet lehdet, kuten on ennustettu (pdf), voidaan kysyä onko julkaisutoiminnan arviointi julkaisukanavan perusteella enää mielekästä?
Kattava kansallinen Virta-julkaisutietopalvelusta koottu aineisto osoittaa, että suomalaisten yliopistojen tutkijat käyttivät vuonna 2021 kaikkiaan 26840:nnen vertaisarvioidun lehti- ja konferenssiartikkelin julkaisemiseen lähes 7000:tta eri julkaisukanavaa (Kuvio 6). Siinä missä julkaisukanavien määrä on pysynyt lähes ennallaan, on julkaisumäärä kuitenkin hieman kasvanut. Kun vuonna 2012 julkaistiin keskimäärin kolme artikkelia per kanava, nyt niitä julkaistaan lähes neljä. Ollaan silti hyvin kaukana tilanteesta, jossa avoimet alustat olisivat korvanneet tai olisivat juuri korvaamassa perinteiset erikoistuneet lehdet: megalehtien osuus lehti- ja konferenssiartikkeleista on hieman yli 3%, ja humanistis-yhteiskuntatieteellisillä aloilla alle 1%.
Julkaisukanavaan perustuvan metriikan mielekkyys ja käyttökelpoisuus tieteellisen toiminnan analyyseissä ja arvioinnissa liittyy laajempaan keskusteluun tieteellisten lehtien suhteesta tutkimuksen laatuun ja vaikuttavuuteen. Lehtien vaikuttavuutta kuvaavien kertoimien (erityisesti Journal Impact Factor, JIF) on osoitettu ennustavan huonosti yksittäisten artikkelien laatua ja vaikuttavuutta (Brembs, 2017). Kuitenkin Britanniassa ja Italiassa on havaittu JIF-kvartiilien ja lehtiluokitusten tuottavan yhdenmukaisia tuloksia asiantuntijoiden suorittamaan artikkelien laadun arviointiin verrattuna (Koya & Chowdhury, 2017; Bonaccorsi et al., 2015).
Britannian yliopistot ilmoittivat vuoden 2021 REF-arviointiin 154826 lehtiartikkelia, joista 97 % on julkaistu Jufo-luokitelluissa lehdissä. Avoimeen REF2021-julkaisuaineistoon perustuva vertailu osoittaa selvän yhteyden artikkelien asiantuntija-arvion ja lehden Jufo-luokan välillä: mitä suurempi on arviointiyksiköiden REF 4*-luokan (”world-leading in terms of originality, significance and rigour”) artikkelien osuus, sitä suurempi osa yksiköiden artikkeleista on keskimäärin julkaistu Jufo-luokkien 2 ja 3 lehdissä (Kuvio 7).
Kaikkiaan 132 Britannian yliopistoa ja 1355 arviointiyksikköä voidaan pisteyttää sen perusteella, kuinka artikkelit jakautuvat REF-luokkiin (1*, 2*, 3* ja 4*) ja Jufo-luokkiin (0, 1, 2, 3). Yliopistojen vertailussa REF ja Jufo tuottavat hyvin yhdenmukaiset tulokset (Kuvio 7). Kun tarkastellaan 1355:tta yliopistojen alaista tieteenaloittaista arviointiyksikköä, vertailun tuloksissa on huomattavasti enemmän hajontaa (Kuvio 7). Jos vertailun kohteena olisivat yksittäiset tutkijat tai artikkelit, voidaan olettaa että korrelaatio REF- ja Jufo-luokkien tuottamien tulosten välillä olisi suhteellisen pieni. Kuten Julkaisufoorumin käyttöohje korostaa, Jufo-luokitus ei sovellu yksiköiden tai yksilöiden arviointiin.
Julkaisukanavaan perustuva Jufo-luokitus ja artikkelien asiantuntija-arviointiin perustuva REF-luokitus kuvaavat samankaltaisia laadullisia ominaisuuksia organisaatioiden tieteellisessä toiminnassa. Jufo-luokitus toimii edelleen alkuperäisessä käyttötarkoituksessaan suurten julkaisumäärien, kuten yliopistojen koko julkaisutuotannon laadun indikaattorina. Riippumatta siitä käytetäänkö Jufo-luokitusta yliopistojen rahoitusmallissa, sen tuottama tietopohja julkaisukanavien laadusta ja avoimuudesta on olennainen osa kokonaiskuvaa tieteellisestä toiminnasta. Megalehdet ja avoimet julkaisualustat eivät ole korvanneet perinteisiä julkaisukanavia tai tehneet näitä koskevasta arvioinnista tai tiedosta tarpeetonta.
3. Tutkimustyön ja -tuotosten sekä julkaisukanavien ja -alustojen monimuotoisuus
CoARA-sopimuksen mukaisesti – ks. ensimmäinen ydinsitoumus – arviointikäytäntöjen muutosten tulisi mahdollistaa, että arvioinnissa huomioidaan tutkijoiden monimuotoiset:
- työpanokset tieteelle ja yhteiskunnan hyödyksi, mukaan lukien lehtijulkaisut ja muut tuotokset viestinnän kielestä riippumatta
- käytännöt, jotka edistävät tutkimuksen ja tutkimusprosessin kestävyyttä, avoimuutta ja osallisuutta, mukaan lukien vertaisarviointi, ryhmä- ja yhteistyö
- tehtävät, mukaan lukien opetus, johtaminen, ohjaus, koulutus ja mentorointi.
Monimuotoisista tuotoksista sopimuksessa mainitaan julkaisujen lisäksi esimerkiksi data, ohjelmistot, mallit, menetelmät, teoriat, algoritmit, protokollat, työnkulut, näyttelyt, strategiat ja politiikkasuositukset. Onkin olennainen kysymys missä määrin Jufo-luokitus, joka perustuu tieteellisten lehtien, konferenssien ja kirjakustantajien arviointiin, voi huomioida julkaisujen ja tuotosten monimuotoisuutta?
Kansalliseen Virta-julkaisutiedonkeruuseen ja Jufo-luokitukseen perustuva metriikka, johon rahoitusmallin julkaisuindikaattori perustuu, huomioi kattavasti monimuotoiset ja kaikenkieliset julkaisut (Kuvio 8). Jos arviointi perustuisi JIF-kvartiileihin, huomattava osa vertaisarvioidusta lehti-, konferenssi- ja kirjajulkaisuista (julkaisutyypit A ja C), sekä kaikki vertaisarvioimattomat, ammatilliset ja yleistajuiset julkaisut (B, D ja E) jäisivät kokonaan dokumentoimatta ja ottamatta huomioon. JIF:iin perustuvan indikaattorin puutteet ovat erityisen merkittäviä humanistis-yhteiskuntatieteellisten alojen kannalta. CoARA-sopimuksen periaatteisiin kuuluu, että arvioinneissa käytetään kriteereitä ja prosesseja, jotka ottavat huomioon tieteenalojen erot.
Julkaisufoorumin arviointikriteerit korostavat kanavien tieteellistä laatua, vaikuttavuutta ja arvostusta, joten vertaisarvioimattomat julkaisut eivät saa Jufo-luokituksen kautta ansaitsemaansa arvostusta. Ammatilliset ja yleistajuiset julkaisut sisältävät hyvin monenlaisia tuotoksia, joita olisi kuitenkin mahdollista hyödyntää erilaisissa arvioinneissa ja tarkasteluissa monipuolisemmin esimerkiksi tunnistamalla eri sidosryhmille, kuten ministeriöille, kansalaisjärjestöille, eri ammattiryhmille, yrityksille tai suurelle yleisölle, suunnatut kanavat. Julkaisufoorumissa on käynnistetty ammatillisten ja yleistajuisten julkaisukanavien kartoittaminen.
Monimuotoisia tuotoksia, jotka eivät ole perinteisiä artikkeli- tai kirjamuotoisia julkaisuja, voidaan Jufo-luokituksen kautta tarkastella hyvin rajallisesti. Luokitukseen on ollut hankaluuksia sovittaa johdonmukaisesti esimerkiksi ohjelmistojen julkaisemiseen erikoistuneita lehtiä, jotka eivät julkaise tutkimustuloksia. Luokitus sisältää kuitenkin myös monimuotoisia tuotoksia artikkeleina julkaisevia lehtiä, kuten Earth system science data (Jufo-luokka 2), sekä avointa arviointia hyödyntäviä preprint-alustoja. Jufo-luokkaan 1 on hyväksytty mm. F1000research, Open Research Europe (ORE) ja Peer community journal.
ORE on malliesimerkki uudesta avoimesta julkaisualustasta, jossa päätöksen käsikirjoitusten hyväksymisestä julkaisukelpoiseksi tekevät vertaisarvioijat. Toimitusryhmän tehtävä on lähinnä tarkistaa arvioijien riippumattomuus suhteessa julkaisun kirjoittajiin. Avoin vertaisarviointi ei ole ollut ongelma Jufon näkökulmasta, sillä tasoluokan 1 arviointikriteerien mukaisesti vertaisarviointi voidaan suorittaa anonyymisti tai avoimesti. Kriittistä keskustelua paneeleissa herätti enemmän se, että toimitusryhmän kokoonpano ei ole läpinäkyvästi kuvattu ja OREn kirjoittajakuntaa rajoitetaan rahoittajan perusteella. Kaikki tutkijat eivät siis voi tarjota alustalle käsikirjoituksiaan.
Vastuullisessa tutkijanarvioinnissa, jonka tulisi perustua ensisijaisesti asiantuntija-arviointiin, monimuotoisia tuotoksia tai tutkimusprosessin avoimuutta ja läpinäkyvyyttä edistäviä käytäntöjä voidaan huomioida ja arvostaa tutkijoiden itse arvioinnin tueksi tuottamien tietojen ja kuvailujen perusteella. Tätä voidaan tukea narratiivisella ansioluettelolla sekä monimuotoisten tuotosten dokumentoinnilla tutkimustietojärjestelmiin.
Tutkimustietojärjestelmien merkitys korostuu erityisesti laajempien kokonaisuuksien, kuten tutkimusorganisaatioiden tai kansallisen tason arvioinneissa ja seurannoissa. Ministeriöt ja organisaatiot tarvitsevat kaikilla yhteiskunnan osa-alueilla, myös korkeakoulusektorilla, toimintansa suunnittelun ja ohjaamisen tueksi tilastotietoa. Vuonna 2022 käynnistyneessä avoimen tieteen seurannassa olisi haluttu hyödyntää indikaattoritietoa esimerkiksi datan avoimuudesta ja tulosten varhaisesta jakamisesta. Toistaiseksi tietopohja on riittävän kattava ja luotettava yksinomaan julkaisujen avoimuudesta ja rinnakkaistallennuksesta.
Monimuotoisia tuotoksia voidaan huomioida kansallista Virta-julkaisutietopalvelua ja Jufo-luokitusta hyödyntävissä tarkasteluissa vain siinä määrin, kuin ne on julkaistu vertaisarvioiduissa lehdissä tai kirjoissa (esim. data-artikkelit). Kattava tietopohja monimuotoisista ja tutkimusprosessin läpinäkyvyyttä edistävistä tuotoksista edellyttäisi, että tutkimussuunnitelmien esirekisteröinnit, preprintit, tutkimusaineistot, menetelmät, ohjelmistot ja avoimet vertaisarviointilausunnot määritellään kansallisissa ja organisaatioiden tietomalleissa ja -järjestelmissä itsenäisiksi tuotoksiksi, jotka eivät ole alisteisia perinteisille julkaisumuodoille tai niiden määritelmille.
Monimuotoisten tuotosten tiedonkeruu ja tietopohjan kehittäminen ja hyödyntäminen rahoituksen, arvioinnin ja seurannan perusteena loisivat organisaatioille ja tutkijoille kannusteen toimia tutkimusprosessin avoimuutta ja läpinäkyvyyttä edistävällä tavalla. Jufo-luokituksella voidaan tarkastella kattavasti kaikkien tieteenalojen vertaisarvioitua julkaisutoimintaa, ottaen huomioon lehti-, konferenssi- ja kirjajulkaisut kielestä riippumatta. Julkaisufoorumi voi jatkossa tuottaa monipuolisempaa tietoa myös ammatillisten ja yleistajuisten julkaisujen kanavista, sekä monimuotoisten tutkimustuotosten julkaisukanavista ja -alustoista, huomioiden erilaisten tuotosten omat lähtökohdat (esim. FAIR-periaatteet) ja sidosryhmät.
Lopuksi
CoARA-sopimuksen allekirjoittajat, mukaan lukien TSV, ovat sitoutuneet julkistamaan vuoden 2023 loppuun mennessä suunnitelman organisaationsa arviointikriteerien, työkalujen ja prosessien tarkistamisesta ja kehittämisestä, ja toteuttamaan uudistuksia vuoden 2027 loppuun mennessä. Julkaisufoorumi valmistaa tänä keväänä vuosille 2023–2027 toimintasuunnitelman, jonka mukaisesti se osallistuu arvioinnin uudistukseen Euroopassa ja erityisesti Suomessa. Suunnitelmaan kuuluu Jufo-luokituksen ja käyttöohjeen muutostarpeiden tarkastelu, sekä Jufo-portaalin kehittäminen kansallisena julkaisukanavien ja -alustojen tietolähteenä. Samalla selvitetään kuinka kansallisten pysyvien arviointipaneelien toimintamallia voidaan jatkossa hyödyntää myös monimuotoisten tuotosten, aktiviteettien, ja laajempien kokonaisuuksien, kuten yhteiskunnallisen vaikuttavuuden, vastuullisen arvioinnin tukena.
Janne Pölönen (ORCID) työskentelee pääsihteerinä Tieteellisten seurain valtuuskunnan alaisessa Julkaisufoorumissa. Hän on osallistunut vuodesta 2010 lähtien tieteellisen julkaisutoiminnan laadunarviointia tukevan luokitusjärjestelmän kehittämiseen. Pölönen on osallistunut vastuullisen arvioinnin linjaustyöhön kansallisesti ja kansainvälisesti, ja hän on ollut laittamassa alulle monikielisen tiedeviestinnän Helsinki-aloitetta. Pölösen oma tutkimustyö on liittynyt viime vuosina tutkimuksen arviointiin, bibliometriikkaan, tieteellisen viestintään, avoimen tieteeseen ja tieteellisten seurojen toimintaan.