Helsingin yliopisto
Open Research Europe (ORE) on uusi avoin julkaisualusta, joka on tarkoitettu EU-hankkeisiin pohjautuville julkaisuille kaikilla tieteenaloilla. ORE käyttää avointa vertaisarviointia, joka tuo tutkimuksen laadunarvioinnin korostuneesti tutkijayhteisön omiin käsiin. Vertaisarviot ovat julkisesti kenen tahansa arvioitavana ja ne noteerataan OREssa myös tieteellisen työn tuotoksiksi, joihin voi viitata julkaisujen tapaan. Tässä artikkelissa Wienin yliopiston apulaisprofessori ja OREn tieteellisen tukiryhmän jäsen Toma Susi vastaa kysymyksiin avoimen vertaisarvioinnin käytännön toteutuksesta.
Tänään lanseerataan virallisesti uusi eurooppalainen avoin julkaisualusta Open Research Europe. Se tarjoaa avoimeen vertaisarviontiin perustuvan open access -julkaisuväylän Horizon 2020 -rahoitusta saaneille tutkimuksille kaikilla tieteenaloilla. Julkaiseminen on tutkijalle maksutonta.
Uusi julkaisukanava toimii Euroopan komission alaisuudessa, ja sen käytännön toiminnasta ja teknisestä ylläpidosta vastaa F1000Research, jolla on kokemusta avoimeen vertaisarviointiin perustuvien julkaisualustojen – Gates Open Research ja Wellcome Open Research – pyörittämisestä vuodesta 2013 lähtien.
Open Research Europen käyttämään avoimeen vertaisarviointiin liittyy monia tärkeitä kysymyksiä, jotka ovat relevantteja myös perinteisemmän vertaisarvioinnin kannalta. Ydinkysymyksenä on: Miten varmistetaan tutkimuksen riippumattomuus ja laatu, kun arviointi ja julkaiseminen tapahtuu ilman varsinaisia vastuutoimittajia?
Tähän ja moniin muihin kysymyksiin vastaa tässä blogiartikkelissa Open Research Europen tieteellisen tukiryhmään kuuluva tutkija Toma Susi (ORCID, @MostlyPhysics, Mostly Physics -verkkosivu), joka työskentelee apulaisprofessorina Wienin yliopistossa. Susi on osallistunut aktiivisesti avoimesta julkaisemisesta käytyyn keskusteluun, ja hän on toiminut myös tutkijajärjestö Young Academy of Europea (YAE) varapuheenjohtajana vuosina 2018–2020.
Avoimen arvioinnin ja julkaisemisen vaiheet OREssa
|
Tieteellinen tukiryhmä ja F1000Research
Mitä OREn tieteellinen tukiryhmä (Scientific Advisory Board) tekee? Osallistuuko se toimitusprosessiin?
Toma Susi: ”Tieteellisen tukiryhmän tehtävä on neuvoa komissiota ORE-alustaan liittyvissä isoissa kysymyksissä, eikä meillä ole minkäänlaista roolia itse toimitusprosessissa. Tärkein kontribuutiomme tähän mennessä on ollut antaa palautetta eri tieteenaloille tarjottuihin artikkelityyppeihin ja niiden kuvauksiin, minkä pohjalta erityisesti ihmistieteiden (humanities) ohjeistusta päivitettiin ennen alustan julkistamista.”
”Alustan julkistamisen yhteydessä toimimme myös linkkeinä tiedeyhteisöön, tarkoituksena lisätä OREn tunnettavuutta ja houkuttavuutta. Mutta ei kuitenkaan niin, että meillä olisi mitään velvollisuutta puhua vain hyvää, vaan pikemminkin niin että tukiryhmään on valikoitunut yksilöitä, jotka aidosti tukevat avointa julkaisumallia ja haluavat herättää kriittistä keskustelua nykyisestä julkaisujärjestelmästä.”
Mikä on julkaisualustan palveluntarjoajan F1000Researchin rooli toimitus- ja vertaisarviointityössä?
TS: ”F1000 tekee kaiken käytännön toimitustyön komission maksamana palveluna. Vertaisarvioinnin osalta F1000 tarjoaa tekniset työkalut arvioinnin suorittamiseen ja arvioijien löytämiseksi avainsanojen tai viittausten perusteella. F1000:lla – eikä myöskään komissiolla! – ei ole lainkaan perinteistä toimitusvaltaa sen päättämiseksi hyväksytäänkö tai hylätäänkö artikkeli vertaisarvioinnin perusteella. Arvioijat tekevät nämä päätökset itse ja kirjoittajien on saatava riittävä määrä hyväksyviä arvioita artikkelia (mahdollisesti useampaan kertaan) korjaten.”
Lähetetyn artikkelin hyväksyminen
Siirrytään sitten varsinaiseen toimitusprosessiin, ja artikkelin lähetysvaiheeseen.
Ketä kuuluu Open Research Europen toimituskuntaan (in-house editorial team)? Miten lähetetty käsikirjoitus tarkistetaan? Ja kuka tekee päätöksen käsikirjoituksen hylkäämisestä?
TS: ”Toimituskunta koostuu F1000:n työntekijöistä; tarkkaa listaa ei tietääkseni ole julkistettu eikä meillekään tarjottu – kyseessä on sama tiimi, joka pyörittää muitakin F1000 tarjoamia alustoja (Gates Open Research ja Wellcome Open Research). Käsikirjoitus tarkistetaan lähinnä formaalisti; toisin sanoen, jos käsikirjoitus on järkevän näköinen eikä ilmiselvää huuhaata, sen tieteellistä oikeellisuutta ei tässä vaiheessa arvioida – samaan tapaan toimii esimerkiksi arXiv. Toimituskunta kuitenkin tarkistaa, että artikkeli täyttää sille valitun artikkelityypin kriteerit, että se sisältää vaaditut osiot, että data ja koodi ovat avoimesti saatavilla jne. Artikkeli hylätään, jos se sisältää räikeitä virheitä, jos sillä ei ylipäätään ole asiaa OREen (eli jos se ei liity H2020- tai Horizon Europe -rahoitukseen) tai jos se ei lainkaan istu valittuun artikkelityyppiin eivätkä sen kirjoittajat pysty tai suostu korjaamaan noita puutteita. Tässä toimitusprosessin vaiheessa OREa voi verrata mihin tahansa pre-print-arkistoon – ’julkaistuja’ artikkeleita ei vielä ole vertaisarvioitu (tosin julkaisua edeltävät tarkistukset ovat kattavammat kuin useimmissa arkistoissa).”
Tässä toimitusprosessin vaiheessa OREa voi verrata mihin tahansa pre-print-arkistoon.
”Lähetin oman tutkimuskoodiartikkelini OREen 22.1.2021, ja neljä päivää myöhemmin (26.1.2021) sain vastauksen, jossa pyydettiin muutamia pieniä muutoksia: yksi nimetty osio puuttui, artikkeliin liittyvän datan saatavuus piti varmistaa ja koodin nykyinen versio piti tallentaa Zenodoon. Samalla sain tarkistettavaksi kevyesti kustannustoimitetun tekstin, jossa oli paikoin pieniä korjauksia kielioppiin ja kirjoitusasuun. Nämä oli erittäin kätevästi merkitty muutoksina jaettuun Overleaf-dokumenttiin, jota kautta pystyimme hyväksymään ehdotukset ja tekemään pyydetyt lisäykset. Lähetimme tarkistetun version takaisin 27.1.2021; käytännössä siis lähetimme sähköpostin, että jaettu dokumentti oli valmis. Varsinainen hyväksyntä saapui seuraavana päivänä (28.1.2021), mukaan lukien tieto siitä, että artikkeli menee seuraavaksi ladontaan ja avoimeen vertausarviointiin. Oletan, että OREn toimiessa normaalisti tämä olisi tapahtunut muutaman päivän tai korkeintaan parin viikon aikana, ja siten työni olisi jo avoimesti saatavilla sen odottaessa vertaisarviointia, mutta ensimmäinen erä artikkeleita julkaistaan yhdessä alustan lanseerauksen yhteydessä (24.3.2021).”
Avoimen vertaisarvioinnin toteuttaminen
Avoin vertaisarviointi melko uutena asiana herättää paljon kysymyksiä, ja siihen on syytä paneutua vähän tarkemmin. Jos tämän artikkelin lukijalla on kokemusta avoimesta vertaisarvioinnista, näkemyksiä voi tuoda esiin vaikkapa artikkelin viestiosiossa.
Kirjoittajalla on iso rooli vertaisarvioinnin järjestämisessä Open Research Europessa. Miten arvioinnin riippumattomuus on varmistettu – ja kuka lopulta valitsee vertaisarvioijat? Ja kääntäen: Onko toimituksellista työtä ulkoistettu tässä kirjoittajalle – joutuuko kirjoittaja kantamaan liikaa vastuuta myös vertaisarvioinnin riippumattomuudesta? Onko tällaisesta vertaisarvioinnin mallista aiempia esimerkkejä?
TS: ”F1000:n toimituskunta ja sen työkalut estävät kutsumasta arvioitsijoita, joilla on ilmeisiä eturistiriitoja, kuten sama työpaikka tai yhteisiä julkaisuja lähivuosilta. Arvioitsijoiden täytyy myös täyttää muita kriteereitä, kuten tohtorin tutkinto tai vastaava relevantilta alalta ja julkaisuja artikkelin aihepiirin tiimoilta (tai vastaava osoitus asiantuntemuksesta). ORE painottaa myös diversiteettiä niin sijainnin, sukupuolen kuin uravaiheen suhteen. Nämä kriteerit on kuvattu tarkemmin Finding Article Reviewers -sivulla.”
”Jossain mielessä työtä tosiaan on ulkoistettu kirjoittajille, ja meillä on periaatteessa isompi vastuu valita henkilöitä, jotka antavat rehellistä palautetta ja varmistavat työn oikeellisuuden. Tämän saavuttamiseksi on avoin ja allekirjoitettu arviointi tärkeää: arvioijien täytyy seisoa kommenttiensa takana julkisesti omalla nimellään.”
”Aiempia esimerkkejä lienee lähinnä F1000:n muilta alustoilta, Gates Open Research ja Wellcome Open Research; ainakin jälkimmäinen on julkistanut joitain kokemuksia blogissaan.”
Onko mahdollista, että vertaisarvioijaksi valitaan joku muu kuin kirjoittajan ehdottama henkilö?
TS: ”F1000:n toimituskunta voi tehdä ehdotuksia, mikäli vertaisarvioijien löytäminen on hankalaa, mutta kirjoittajat näkevät aina kutsutut ja myös hyväksyvät valinnat.”
Onko anonyymi vertaisarviointi kokonaan poissuljettu vaihtoehto?
TS: ”OREn tapauksessa on – kaikki arviot ovat avoimia ja allekirjoitettuja.”
Riippumattoman arvioijan – joka ei ole kirjoittajan ”läheinen yhteistyökumppani” tai kirjoittajaan ”henkilökohtaisesti, taloudellisesti tai ammatillisesti” yhteyksissä – löytäminen voi olla vaikeaa erityisesti pienillä aloilla, miten tämä on otettu huomioon?
TS: ”Tämä on hyvä kysymys johon ei varmaankaan ole vielä kovin hyviä yleisiä vastauksia. OREn sivuilla sanotaan asiasta näin: ’We understand that in small/specialized fields of research, it may not be possible to suggest reviewers who have not collaborated with the authors; if that is the case, please contact the Editorial Team to discuss how best to proceed.’ Jos potentiaalisia eturistiriitoja ei kokonaan pystytä välttämään, ne todetaan avoimesti arvion yhteydessä.”
Kaikki (rekisteröityneet käyttäjät) voivat kommentoida, mutta kaikki eivät voi vertaisarvioida – eli vain vertaisarvioijilla on mahdollisuus valita pre-printin hyväksymisen tai hylkäämisen väliltä?
TS: ”Kyllä.”
Mitä tapahtuu vertaisarvioijien hylkäämälle, pre-printtinä julkaistulle artikkelille, jos kirjoittaja ei ole valmis sitä muuttamaan tai jos edes muutokset eivät muuta tilannetta?
TS: ”Kirjoittaja voi itse päättää haluaako tehdä uuden version, mutta niin kauan kuin artikkeli ei ole läpäissyt vertaisarviointia, sitä ei katsota hyväksytyksi eikä sitä myöskään indeksoida julkaisutietokantoihin, kuten Scopukseen tai Web of Scienceen. Takaisinvetäminen on poikkeuksellinen tilanne, ja käytännössä vertaisarviointiin julkaistua artikkelia on hyvin vaikea saada poistettua OREn sivuilta – kuten nykyisellään on arXivistakaan. FAQ:ssa sanotaan näin:
– ”Can I withdraw my article after it has been published?”
– ”No, you can’t. Once your article has been published on Open Research Europe, it has a formal citation with a DOI, which means that we must retain a permanent record of the full content and not change or remove it. If you would like to change your article, you can publish a new version; this way, someone looking for your original article will be automatically redirected to the new and revised version. Obviously, if you discover there is something seriously wrong with the whole article, such as your samples getting mixed up or the key results were generated using a faulty reagent, you can ask us to mark the article as “retracted” and add a note explaining what happened. See details of our correction, replacement, and retraction policies.”
Artikkeleista on mahdollista julkaista erilaisia versioita. Eikö tämä synnytä sekaannusta? Mikä vertaisarvioitu versio lopulta tallennetaan pysyvämmin – vai tallennetaanko kaikki versiot?
TS: ”Kaikki versiot tallennetaan ja ovat pysyvästi saatavilla, ja eri versioihin voi spesifisti viitata. arXiv toimii käytännössä samoin, tosin vain pre-printtien osalta. Itselleni tämä versiointimahdollisuus oli tärkeä syy julkaista koodiartikkeli OREssa: kun tulevaisuudessa julkistamme uusia toimintoja, voimme päivittää (ja tarvittaessa uudelleenarvioida) artikkelin ja sitä kautta varmistaa että koodin kehittyessä on aina yksi ja sama paikka josta sen kuvaus löytyy ja johon voi viitata. En itse näe, että tästä syntyisi sen kummempaa sekaannusta.”
Itselleni tämä versiointimahdollisuus oli tärkeä syy julkaista koodiartikkeli OREssa: kun tulevaisuudessa julkistamme uusia toimintoja, voimme päivittää (ja tarvittaessa uudelleenarvioida) artikkelin ja sitä kautta varmistaa että koodin kehittyessä on aina yksi ja sama paikka josta sen kuvaus löytyy ja johon voi viitata.
Kiinnostavaa on se, miten vertaisarviointikin huomioidaan tutkimustuotoksena, johon voi viitata. Oletko itse törmännyt vastaavaan ja onko tällainen trendi vahvistumassa?
TS: ”En ole, mutta tämä tosiaan on kiinnostava mahdollisuus: (hyviin) arvioihin menee paljon arvokasta aikaa, ja tämän ’hiljaisen tiedon’ julkistaminen ja hyödyntäminen tuntuu ainakin periaatteessa hyvältä idealta. En tiedä voidaanko vielä puhua mistään trendistä, mutta ehkä ORE voi olla tätä osaltaan edistämässä.”
Julkaisukanavan tarve ja julkaisemisen hinta
Julkaisukanavia, myös avoimia, on jo olemassa. Miten paljon arvioit OREn kaltaiselle julkaisukanavalle olevan kysyntää?
TS: ”Julkaisukanavia tosiaan on paljon, mutta käsittääkseni komission ajattelu OREn osalta oli: jos he vaativat rahoittamansa tutkimuksen avointa julkaisemista tietyin edellytyksin (zero embargo, CC-BY -lisenssi jne.), heidän velvollisuutensa on varmistaa, että kaikilla on tähän – kirjoittajille itselleen ilmainen – mahdollisuus. Lisäksi ORE aikoo julkaista kaikenlaisia tutkimustuloksia, joille nykysysteemissä voi olla vaikea löytää julkaisupaikkaa, kuten nollatuloksia ja tieteessä jatkuvasti tärkeämmässä roolissa olevan koodin kuvauksia.”
”OREn kaltaisia, kirjoittajalle maksuttomia diamond OA -julkaisukanavia on huomattavasti vähemmän kuin maksullisia lehtiä, ja joillain aloilla ei kenties lainkaan, ja sen osalta sille on mielestäni ihan perusteltu tarve (ks. myös DOAJiin rekisteröidyt maksuttomat julkaisukanavat). Yleisesti tarkoitus on myös edistää avointa tiedettä kattavien avoimeen dataan ym. vaatimusten osalta, mikä saattaa tulevaisuudessa kytkeytyä myös jossain muodossa EOSCiin (eurooppalainen avoimen tieteen infrastruktuuri). Tosin tästä minulla ei ole mitään sisäpiirin tietoa.”
Artikkelikohtaiset APC-maksut ovat olleet paljon esillä. ORE on tutkijalle maksuton väylä, mutta paljonko julkaisemisen kustannukset ovat per artikkeli?
TS: ”Kustannukset – tai tarkemmin, hinta – on julkista tietoa, koska se oli komission asettama ehto ja käytännössä jo osa alkuperäistä tarjouskilpailua: se on 780 euroa per artikkeli. Lisäksi ORE tulee täyttämään Plan S:n hintojen läpinäkyvyyden vaatimukset, eli tuon hinnan jakautuminen eri toimituskustannuksiin tulee olemaan julkista tietoa.”
Lue lisää avoimesta vertaisarvioinnista ja tutkijoiden kokemuksista Open Research Europen blogista: