Into the FLOW with digital exams

Edessä jälleen hikinen iltapäivä seuraavan digipilotin parissa! Tällä kertaa vuorossa on tanskalaisperustainen yritys Uniwise, joka toimii digitaalisten koeympäristöjen parissa erityisesti Euroopassa ja Etelä-Koreassa. Kiinnostavaa on tietysti päästä vertaamaan sitä, miten Inspera ja Uniwise eroavat toisistaan sekä arvioimaan Uniwisen yhteensopivuutta meidän tenttisysteemien kanssa. Uniwiseen meitä sisäänajamaan saapui Amir Ebrahimi.

Kuusituntinen workshop oli tiivistä järjestelmän läpikäymistä, koetehtävien ja kokeiden luomiseen sekä tenttitilaisuuden järjestämiseen liittyvien käytännön asioiden opettelua. Sen päätteeksi meillä oli kuitenkin tarvittavat tiedot ja taidot Uniwise-tenttialustan haltuunottoon omassa pilotissamme.

Uniwise on alustana selkeä ja helppokäyttöinen. Kuten kaikissa alustoissa, tässäkin on omat kikkansa, mutta niiden opettelu ei tuottanut ylitsepääsemättömiä vaikeuksia. Ainoana sekoittavana tekijänä oli Uniwisen käyttämä sanasto, joka oli räätälöity nimenomaan tälle järjestelmälle. Tenttiä kutsutaan esimerkiksi termillä Flow, joita voi luoda monen eri tyyppisiä. Flow-tyypin valinta vaikuttaa paitsi tentin suorittamistapaan (esim. closed vai open book) sekä tenttiin liitettäviin tehtävätyyppeihin. Osa termistöstä oli juuri muuttumassa uuden Uniwise-version myötä selkeämmäksi, vaikka Flowt säilyvätkin.

Workshopin päätyttyä kasassa oli paitsi kokemusta Uniwisen käytöstä myös harjoitustentti pilotin opiskelijoille. Näillä eväillä lähdemme kohti seuraavaa sähköistä koetta.

Annina

 

 

 

 

Kokeen laatimista Insperalla

Ensimmäisten testikokeiden laatiminen Insperalla starttasi pian Lars Willnerin pitämän esityksen jälkeen. Aivan helpolla ohjelmisto ei käyttäjään kuitenkaan päästä, sillä tehtävätyyppivaihtoehtoja on monia ja kunkin käyttämisessä omat niksinsä. Abitin melko yksinkertaiseen tehtäväeditoriin tottuneena Inspera tuntuu haastavalta käyttää. Varmaa on, että kaikkien tentin laatijoiden sisäänajaminen Insperaan vaatisi koulutusta, mikäli ohjelmistoa ja sähköistä tenttijärjestelmää haluttaisiin hyödyntää täysimittaisesti kaikkine mahdollisuuksineen.

Varsinaista pilottikoetta varten Hilde Kogstad Insperalta tuli kouluttamaan digiloikkatyöryhmän jäseniä Insperan käyttöön liittyvissä asioissa. Mukana olivat pilotointiryhmän jäsenet sekä mm. Perimä ja kehitys-kurssin vastuuopettaja Nina Peitsaro, jonka kurssin lopputentissä Insperaa pilotoidaan.

Nelituntisen koulutuksen aikana saimme kaikki hyvän kokonaiskuvan siitä, mitä Insperalla voi tehdä. Samalla meidät sisäänajettiin tentin laatimiseen, pitämiseen ja korjaamiseen, jotta 26.1. toteutettava lopputentti sujuisi mahdollisimman mallikkaasti. Koulutuksen aikana pääsimmekin sisään Insperan saloihin onnistuneesti ja pystyimme jokainen sekä luomaan kokeen, osallistumaan opiskelijana kokeen tekemiseen että kokeilemaan kokeen arvioimista.

Raskaan, mutta antoisan iltapäivän päättyessä, tunsimme, että meillä oli valmiudet selviytyä tulevasta pilotointijaksosta omin neuvoin, siitäkin huolimatta, että tiesimme saavamme Hilden tuen tarvittaessa.

Annina

Abitin loppu

Abitti-pilotti saatiin päätökseen, kun Solun rakenne ja toiminta-kurssin lopputentti pidettiin perjantaina 27.10. Sähköiseen kokeeseen osallistui samat noin 30 opiskelijaa, jotka olivat jo tehneet välitentin Abitilla. Tällä kertaa kokeessa pyrittiin entistä paremmin hyödyntämään sähköisten tenttien etuja, kuten tehtävien automaattista korjausta. Samalla pisteiden määräytymistä muutettiin niin, että kustakin tehtävästä tai sen alakohdasta minimipistemäärä oli 1. Tämä vähensi oleellisesti käsin tehtävän työn määrää verrattuna aiempaan välitenttiin, vaikka negatiiviset pisteet jouduttiinkin edelleen laskemaan ja vähentämään loppupistemäärästä käsin.

 

Yhteenvetona voitaneen sanoa, että ensimmäinen sähköisten tenttien kokeilu sujui hyvin. Pilotointiin osallistuneet opiskelijat olivat erittäin tyytyväisiä siihen, että saivat tehdä tenttinsä paperin sijaan koneella. Samoin opettajat pitivät sähköisen tentin korjaamista paperikoetta helpompana. Abitin tarjoamilla kokemuksilla on hyvä lähteä jatkamaan kohti seuraavan ohjelmiston pilotointia.

 

Annina

Inspera

Lars Willner esitteli koko projektiryhmälle Insperan digitaalista koeympäristöä. Inspera on norjalainen yritys, joka on erikoistunut sähköiseen arviointiin ja sähköisiin tentteihin jo kymmenen vuoden ajan. Sillä on jo yhteistyötä monien pohjoismaisten yliopistojen, myös lääketieteellisten tiedekuntien, kanssa. On sanomattakin selvää, että olimme kiinnostuneita kuulemaan, miten Inspera toimisi meidän digiloikkaprojektissamme.

Inspera tarjoaa sähköisen tenttiympäristön, joka saadaan toimimaan yhteistyössä jo olemassa olevien tentti- ja opiskelijarekisterien, kuten WebOodin, kanssa. Tentit tehdään joko suljetussa tenttiympäristössä tai open book-tyyppisesti. Insperan tenttiympäristön käyttäminen kuitenkin vaatii, että tentissä käytettävälle laitteelle on asennettu Insperan ohjelmisto, joka takaa mm. suljetun tenttiympäristön.

Kaikkineen Inspera vaikuttaa monipuoliselta ja mukautuvalta sähköiseltä tenttiympäristöltä. Tentin koostamiseen on paljon eri pisteytys- ja tehtävätyyppivaihtoehtoja ja kokeen muut järjestelyt (aloitus, lopetus, korjaaminen ja palauttaminen opiskelijoille) tuntuvat yksinkertaisilta toteuttaa. Lars Willnerin Inspera-esittelyn päätyttyä jää tunne siitä, että ohjelmistoa täytyy päästä kokeilemaan käytännössä, jotta siihen saa kunnon tuntuman. Käytännön kokemuksista siis lisää myöhemmin.

Annina

Safe Exam Browser – suojattu tentti Moodlessa

Moodlessa on mahdollista tenttiä ilman että muu Internet on käytettävissä. Tämä onnistuu Safe Exam Browser –ohjelman avulla. Ilmainen ohjelma pitää asentaa sekä tentin laatijan että tenttijöiden koneelle. Toistaiseksi ohjelma ei ole saatavilla yliopiston ohjelmistojakelusta, joten opettajien pitää pyytää helpdeskiä asentamaan se yliopiston hallinnassa oleville koneille.

Tentaattorin toimenpiteet

Tentaattori tekee Moodleen tentin normaalisti Tentti-aktiviteetilla. Tentin asetusten kohdassa Ylimääräiset rajoitukset suorituskerroissa -> Näytä lisää kohdassa Selaimen tietoturva valitaan Vaaditaan Safe Exam –selaimen käyttöä.

Tentaattori avaa Safe Exam Browser –ohjelman Configuration Toolsin. (Sen voi avata resurssienhallinnan kautta, jos se ei näy suoraan itse ohjelman avaamalla.) Ensimmäisellä sivulla kohtaan Start URL laitetaan tentin osoite. Sivulle määritellään salasana SEB-tiedoston hallinnointiin.

Sivulla kannattaa laittaa myös seuraavat asetukset, ettei SEBin käytöstä tule turhan hankalaa:

Allow user to quit SEB = yes
Ignore exit keys= yes

Navigaation seuraavalla sivulla Config File määritellään, mihin SEBiä käytetään: starting an exam. Avaamiselle määritellään salasana. Asetukset tallennetaan, jolloin niistä muodostuu .seb-päätteinen tiedosto. Tiedosto voidaan Save settings As –painikkeella nimetä uudelleen ja tallentaa esim. työpöydälle.

Opiskelijan tietoon pitää saada sekä .seb-tiedosto että sen avaava salasana. Tiedoston voi esim. liittää Moodlessa tentin aloitussivulle ja salasanan antaa tenttitilaisuudessa.

Safe Exam Browser –ohjelman hallintapuolella on paljon välilehtiä ja asetuksia, mutta perustilanteessa riittävät edellä kerrotut toimenpiteet.

Tenttijä

Opiskelijan koneella pitää olla Safe Exam Browser –ohjelma. Sen voi ladata ilmaiseksi sivulta https://safeexambrowser.org/download_en.html. Jos opiskelija käyttää iPadiä, ohjelman saa ladattua AppStoresta.

Päästäkseen tenttimään tenttijän on avattava .seb-tiedoston linkki saamallaan salasanalla. Salasanaa kysytään kaksi kertaa. Sen jälkeen hänen pitää kirjautua uudelleen Moodleen käyttäjätunnuksellaan. Hän päätyy sivulle, joka on määritelty .seb-tiedostossa. Selainikkunassa näkyy vain kyseinen sivu eikä selaimeen voi avata muita ikkunoita. Opiskelija ei pääse myöskään oman tietokoneensa kovalevylle. Tentin tehtyään opiskelija lopettaa SEB-ohjelman klikkaamalla ruudun oikeassa alalaidassa olevaa kuvaketta.

SEB-tuettu tentti on toistaiseksi käytössä vain HY Moodlen testiversiossa. Jos kiinnostut asiasta, ota yhteyttä: moodle@helsinki.fi

Hanne Heickell
Meilahden Moodle-tukihenkilö

Tenttejä Tanskan malliin

Järjestimme pienellä, tenttien parissa tavalla tai toisella työskentelevien joukolla tutustumismatkan Skandinavian suurimpaan yliopistoon: Kööpenhaminan yliopistoon. Kööpenhaminan yliopistossa on siirrytty paperitenteistä sähköisiin lähes kokonaan ja sähköisiä tenttejä täydentävät suulliset tentit. Kööpenhaminan yliopistossa sähköisiin tentteihin siirtyminen on ratkaistu perustamalla “tenttitehdas”. Kyseinen rakennus on monikerroksinen vanha tehdasrakennus, josta löytyy yhteensä 12 eri huoneesta 500 pc:tä tenttien tekemistä varten. Kyseisessä tehtaassa on suoritettu yli 350 000 sähköistä tenttien sitten sen perustamisen vuonna 2007. Kaiken takana on Digital Eksamen niminen it-järjestelmä. Digital Eksamen järjestelmänä kattaa tenttiprosessin kaikki vaiheet: Tenttien suunnittelun, aikatauluttamisen, palautteenannon, viestinnän opettajien, opiskelijoiden ja hallintohenkilökunnan välillä. Se toimii tenttien jakoalustana ja sisältää myös arviointityökalun sekä tuen ja valvonnan. Opiskelijat palauttavat Digital Eksamen järjestelmään kaiken arvioitavaksi tulevan, myös kotiesseet.

                                                         Kuva: Outi Valkama

Tenttikoneille on asennettu erilaisia tenteissä käytettäviä ohjelmia, esim. laskutoimituksia varten. Tenteissä on myös mahdollista käyttää elektronista kynää, jonka kanssa piirrosten tekeminen onnistuu varsin samalla tavalla kuin kuulakärkikynällä. Piirros siirtyy koneelle ja sen saa liitettyä osaksi tenttivastausta.

Helsingin yliopistossa sähköisiin tentteihin ollaan (ainakin tällä hetkellä) siirtymässä BYOD-ajatuksella. (=Bring Your Own Device.) Kööpenhaminassa (ja monissa muissakin Euroopan yliopistoissa) sähköisten tenttien haasteeseen ollaan vastattu perustamalla suuri tenttihalleja tai tenttitehtaita. Näiden vastakkaisten kehityskulkujen pohtiminen taitaa kaivata perusteellista SWOT-analyysiä.

Sanna

Opettajien kokemuksia välitentin korjaamisesta

Tenttien korjaaminen, niin kuin aina, on yhteistyötä. Abittivastausten läpikäynti alkoi henkilökohtaisten identifikaatiokoodien läpikäynnillä. Nämä koodit oli jaettu opiskelijoille tentin alussa samalla, kun henkilökohtaisesti tarkistettiin kunkin opiskelijan henkilöllisyystodistus. Koodin opiskelijat olivat kirjoittaneet ensimmäisen tehtävän alkuun, mikä teetti hieman käsityötä ennen vastausten korjaamista.

Lisää käsityötä oli luvassa monivalintojen negatiivisten pisteiden myötä. Abitissa negatiivisia pisteitä ei voi antaa, joten monivalintatehtäviin laadittu pisteytys piti toteuttaa käsin. Koska monivalintojen automaattista pisteytystä ei myöskään voi Abittiin muuttaa, piti pisteet korjata erilliseen taulukkoon, joka myöhemmin yhdistettiin Abitista saatuun pistetaulukkoon. Sama piti tehdä osapisteiden kohdalla, joita oli laadittu useampaan Abitin koetehtävään.

Kokeen varsinaiset korjaajat, kurssin opettajat, olivat positiivisesti yllättyneitä ensimmäisestä kokemuksestaan Abittikokeen korjaamisessa. Kurssin vastuuopettaja, Ove Eriksson, oli etukäteen ohjeistanut kunkin korjaajan Abitin käyttöön, ja yleisesti koettiin, että koe oli helppo löytää ja korjata, eikä ohjelman käyttö vaatinut erillistä opettelua. Lukeminen oli vaivatonta ja nopeampaa kuin paperikokeissa, koska esim. käsialan tulkintaongelmien kanssa ei tarvinnut painia. Toisaalta, paperikokeessa vastaustilaa oli rajatusti, jolloin luettavaakin oli vähemmän kuin sähköisessä kokeessa, johon pystyi kirjoittamaan lähes rajattomasti. Pisteiden ja kommenttien merkitseminen Abittiin oli vaivatonta ja kaikki tallentui automaattisesti, mikä koettiin hyvänä ominaisuutena.

Korjaamistyön edistymisen seuraaminen kuului vastuuopettajan tehtäviin, samoin sähköisen kokeen yhteenvetopistetaulukon toimittaminen opintotoimistoon. Kaikki opiskelijat saivat tietoonsa pisteet samaan aikaan huolimatta siitä osallistuivatko he sähköiseen vai paperiseen kokeeseen. Korjatut vastaukset lähettiin Abittikokeen tekijöille sähköpostitse, samoin tieto pisteytykseen liittyneistä haasteista ja niiden ratkaisuista.

Välitentistä ja sen korjaamisesta opittiin paljon! Uusin eväin kohti lopputenttiä!

Annina

Välitentti Abittilla

                                                               Kuva: Eeva Pyörälä

Tavoitteemme oli saada vähintään 30 vapaaehtoista opiskelijaa suorittamaan Solun rakenne ja toiminta-kurssin välitentti sähköisesti Abittilla. 31 opiskelijaa ilmoittautui, joten pääsimme etenemään suunnitelmiemme mukaan. Opiskelijat toivoivat saada harjoitella Abittin käyttöä ennen varsinaista koetta ja järjestimme tämän aamiaistilaisuuden muodossa. Hankkeen assistentit Annina Rostila ja Tiina Härkönen olivat laatineet opiskelijoille biologian aihepiiristä harjoituskokeen ja opiskelijat saivat testailla Abittin ominaisuuksia mm. lintulajeja tunnistellen.

29.9 lääkiksen ensimmäisen vuoden opiskelijat tekivät ensimmäisen lääkiksen tenttinsä ja 31 vapaaehtoista saapui suuren luentosalin sijaan pienempään kokoushuoneeseen, jonka pöydät olimme järjestelleet tenttitilanteeseen sopiviksi ja asetelleet tiedekunnan läppärit pöydille. Olimme päätyneet käyttämään tiedekunnan läppäreitä opiskeijoiden omien koneiden sijaan, jotta pystyimme pilotissa minimoimaan ikävät yllätystekijät.

Tentin tekeminen sujui kaiken kaikkiaan hyvin. Opiskelijat toivoivat hiiriä käyttöönsä ja saimme järjestettyä ne heille lennosta sekä tilattua niitä heti tentin jälkeen vastaisuuden varalle. Suurin haaste tentissä oli, että monivalintatehtävissä vastausta ei pysty tyhjentämään sen jälkeen kun jonkin vastausvaihtoehdon on valinnut. Tämä on ongelmallista kun tentissä vääristä vastauksista saa miinuspisteitä. Tulevaan tenttiin monivalintoihin lisättiin kohta “jätän tyhjäksi”. Tenttien korjausvaiheessa miinuspisteet ja puolikkaaat pisteet aiheuttivat päänvaivaa (Abitti ei tunnista niitä), joten seuraavaa tenttiä varten pisteytystä skaalattiin niin, että tehtävistä saa vain positiivisia kokonaislukuja.

Tentin jälkeen opiskelijoilta kerättiin palautetta e-lomakkeella ja tiedusteltiin halukkuutta tehdä myös lopputentti sähköisesti. 31 opiskelijasta 25 vastasi haluavansa osallistua sähköiseen lopputenttiin. 4 halusi tehdä lopputentin paperisesti ja kahdelta ei saatu vastausta.

Sanna

Palautteita Abitista ja harjoitustilaisuudesta 12.9.

Pyysimme 12.9. pidetyssä harjoitustentissä palautetta sekä Abitista, että itse harjoitustilaisuudesta. Sähköisen tentin neljä viimeistä kysymystä olivat palautekysymyksiä. Monivalintakysymyksiin ”Oliko koetta helppoa ja mutkatonta avata koneellasi?” ja ”Oliko koetta helppoa ja mutkatonta tehdä?” saimme vastaukset 45 opiskelijalta.

76% mielestä kokeen avaaminen oli erittäin tai melko helppoa. 24% koki sen melko tai erittäin vaikeaksi. Kokeen tekeminen oli 58% mielestä erittäin tai melko helppoa, 42% mielestä se oli melko tai erittäin vaikeaa.

Vapaamuotoiseen ”Mikä Abittikokeessa oli erityisen hyvää?” -kysymyksessä nousivat vahvasti esiin myönteiset palautteet vastaamisen vaivattomuudesta, vastauksien helposta muokattavuudesta ja kirjoittamisen nopeudesta: ”Ei tarvitse käyttää perinteistä koepaperia, kynää eikä pyyhekumia”, ”Ei voi rokottaa epäselvästä käsialasta.” Kiitosta saimme tilaisuuden ohjeistuksesta: ”Selvät ohjeet koneen käynnistämistä ja kokeen aloitusta varten.”

”Mitä kehitettävää tai erityisen huonoa Abittikokeessa oli?” -kysymykseen saimme odotetusti palautetta harjoitustilanteen alkuvaiheen ongelmista: ”Boottaaminen hankalaa.”, ”Käynnistäminen monimutkaista.”

Abitin rakenne ja tiedostojen lataaminen hämmensivät: ”Välilehdet aukeavat liian moneen tasoon ja niitä on paljon.” Ohjelman käyttöön kaivattiin myös hiirtä.

Kysymystyypeistä aineistotehtäviä kommentoitiin eniten. Arvostelua Abitti sai kuvanmuokkauksen osalta: ”Kömpelö kuvanmuokkausohjelma, kun vertaa paperilla ja kynällä tehtävään kokeeseen.”, ”On haastavaa tehdä näitä koetilanteessa, jos on vähän aikaa ja se menee ohjelman käyttöongelmiin.”

Ilahduttavaa on, että myös toiveikkuus pilkahtaa kommenteissa: ”Koe on yksinkertainen, mutta sähköisen tentin tekemisessä harjoittelun puute.”, ”Voi johtua myös siitä, että kaikki on uutta!”

Tiina

A niin kuin abittipilotti

Maanantaina 11.9 ensimmäisen vuosikurssin medisiinareilla ja denttareilla starttasi heidän ensimmäinen lääkiksen kurssinsa: Solun rakenne ja toiminta. Kävin aloitusinfossa kertomassa heille sähköisten tenttien pilotoinnista .

Tiistaina 12.9 odotimme (ja toivoimme) 200 opiskelijan saapuvan Biomedicumin luentosali 1:seen kokeilemaan Abittin toimintaa ja harjoittelemaan sähköistä tenttimistä Solun rakenne ja toiminta-kurssiin liittyvien kysymysten ja tehtävien avulla. Ennen tilaisuuden alkamista tapasimme projektijoukon kanssa ja kävimme läpi, mitä keneltäkin odotetaan ja miten me voimme opiskelijoita auttaa. (Tämä pikaperehdytys olisi voinut olla kattavampi ja pitempikin.)

79 opiskelijaa saapui paikalle. 44:llä oli mukanaan oma läppäri ja 34 käytti paikalle tuomiamme tiedekunnan tai henkilöstön (omakin läppärini oli erään opiskelijan käytössä) lainaläppäreitä. Mikäli Abitti otetaan laajemmin suurilla opiskelijamäärillä käyttöön, tulee tiedekunnan omistamia lainaläppäreitä olla enemmän kuin niitä tällä hetkellä on.

Minä ja projektiassistentti Annina Rostila olimme laatineet harjoitusta varten power point-esityksen, jossa käytiin Abittin käynnistys yksityiskohtaisesti läpi. Lisäksi olimme tehneet aiheesta lyhyen videon. Haaste Abittin kanssa on, että koneet bootataan usb-tikuilta hyvin eri tavoin ja tämän vuoksi yhteneväistä, kaikille sopivaa ohjetta on mahdotonta laatia. Näytimme opiskelijoille pp-esityksen ja videon ja sen jälkeen he lähtivät käynnistelemään koneita usb-tikuilta. Arviolta noin 3/4 opiskelijoista viittasi, koska oli kohdannut käynnistämisessä ongelmia. Meitä avustajia oli salissa kymmenkunta ja jokaiselle riitti runsaasti töitä. Noin puolen tunnin kuluttua harjoitustilanteen alkamisesta kaikki olivat saaneet Abittin avattua ja pääsivät tutustumaan itse “tenttiin”. (Tämä harjoitus ei vaikuttanut opiskelijoiden kurssiarvosanaan millään tavalla.)

Tarkoituksenamme on rakentaa opiskelijoiden ensimmäinen oikea tentti, Solun rakenne ja toiminta-kurssin välikuulustelu, niin, että 30 opiskelijaa suorittaa tentin Abittilla ja loput 170 perinteisenä paperitenttinä. Harjoitustilanteen lopuksi keräsimme vapaaehtoisia sähköiseen välikuulusteluun ja saimme listaan 31 nimeä. Useammat vapaaehtoisiksi ilmoittautuneet opiskelijat toivoivat, että vielä ennen tenttitilannetta heille järjestettäisiin mahdollisuus harjoitella Abittin käyttöä.

Pysy kuulolla – seuraavaan postaukseen kerään konkreettisia “mikä meni hyvin ja mitä olisi voinut tehdä toisin”-ideoita projektitiimiltämme ja lisäksi kerron, mitä mieltä opiskelijat olivat ensimmäisestä abittiharjoituksestaan.

Sanna