Tenttejä Tanskan malliin

Järjestimme pienellä, tenttien parissa tavalla tai toisella työskentelevien joukolla tutustumismatkan Skandinavian suurimpaan yliopistoon: Kööpenhaminan yliopistoon. Kööpenhaminan yliopistossa on siirrytty paperitenteistä sähköisiin lähes kokonaan ja sähköisiä tenttejä täydentävät suulliset tentit. Kööpenhaminan yliopistossa sähköisiin tentteihin siirtyminen on ratkaistu perustamalla “tenttitehdas”. Kyseinen rakennus on monikerroksinen vanha tehdasrakennus, josta löytyy yhteensä 12 eri huoneesta 500 pc:tä tenttien tekemistä varten. Kyseisessä tehtaassa on suoritettu yli 350 000 sähköistä tenttien sitten sen perustamisen vuonna 2007. Kaiken takana on Digital Eksamen niminen it-järjestelmä. Digital Eksamen järjestelmänä kattaa tenttiprosessin kaikki vaiheet: Tenttien suunnittelun, aikatauluttamisen, palautteenannon, viestinnän opettajien, opiskelijoiden ja hallintohenkilökunnan välillä. Se toimii tenttien jakoalustana ja sisältää myös arviointityökalun sekä tuen ja valvonnan. Opiskelijat palauttavat Digital Eksamen järjestelmään kaiken arvioitavaksi tulevan, myös kotiesseet.

                                                         Kuva: Outi Valkama

Tenttikoneille on asennettu erilaisia tenteissä käytettäviä ohjelmia, esim. laskutoimituksia varten. Tenteissä on myös mahdollista käyttää elektronista kynää, jonka kanssa piirrosten tekeminen onnistuu varsin samalla tavalla kuin kuulakärkikynällä. Piirros siirtyy koneelle ja sen saa liitettyä osaksi tenttivastausta.

Helsingin yliopistossa sähköisiin tentteihin ollaan (ainakin tällä hetkellä) siirtymässä BYOD-ajatuksella. (=Bring Your Own Device.) Kööpenhaminassa (ja monissa muissakin Euroopan yliopistoissa) sähköisten tenttien haasteeseen ollaan vastattu perustamalla suuri tenttihalleja tai tenttitehtaita. Näiden vastakkaisten kehityskulkujen pohtiminen taitaa kaivata perusteellista SWOT-analyysiä.

Sanna

Opettajien kokemuksia välitentin korjaamisesta

Tenttien korjaaminen, niin kuin aina, on yhteistyötä. Abittivastausten läpikäynti alkoi henkilökohtaisten identifikaatiokoodien läpikäynnillä. Nämä koodit oli jaettu opiskelijoille tentin alussa samalla, kun henkilökohtaisesti tarkistettiin kunkin opiskelijan henkilöllisyystodistus. Koodin opiskelijat olivat kirjoittaneet ensimmäisen tehtävän alkuun, mikä teetti hieman käsityötä ennen vastausten korjaamista.

Lisää käsityötä oli luvassa monivalintojen negatiivisten pisteiden myötä. Abitissa negatiivisia pisteitä ei voi antaa, joten monivalintatehtäviin laadittu pisteytys piti toteuttaa käsin. Koska monivalintojen automaattista pisteytystä ei myöskään voi Abittiin muuttaa, piti pisteet korjata erilliseen taulukkoon, joka myöhemmin yhdistettiin Abitista saatuun pistetaulukkoon. Sama piti tehdä osapisteiden kohdalla, joita oli laadittu useampaan Abitin koetehtävään.

Kokeen varsinaiset korjaajat, kurssin opettajat, olivat positiivisesti yllättyneitä ensimmäisestä kokemuksestaan Abittikokeen korjaamisessa. Kurssin vastuuopettaja, Ove Eriksson, oli etukäteen ohjeistanut kunkin korjaajan Abitin käyttöön, ja yleisesti koettiin, että koe oli helppo löytää ja korjata, eikä ohjelman käyttö vaatinut erillistä opettelua. Lukeminen oli vaivatonta ja nopeampaa kuin paperikokeissa, koska esim. käsialan tulkintaongelmien kanssa ei tarvinnut painia. Toisaalta, paperikokeessa vastaustilaa oli rajatusti, jolloin luettavaakin oli vähemmän kuin sähköisessä kokeessa, johon pystyi kirjoittamaan lähes rajattomasti. Pisteiden ja kommenttien merkitseminen Abittiin oli vaivatonta ja kaikki tallentui automaattisesti, mikä koettiin hyvänä ominaisuutena.

Korjaamistyön edistymisen seuraaminen kuului vastuuopettajan tehtäviin, samoin sähköisen kokeen yhteenvetopistetaulukon toimittaminen opintotoimistoon. Kaikki opiskelijat saivat tietoonsa pisteet samaan aikaan huolimatta siitä osallistuivatko he sähköiseen vai paperiseen kokeeseen. Korjatut vastaukset lähettiin Abittikokeen tekijöille sähköpostitse, samoin tieto pisteytykseen liittyneistä haasteista ja niiden ratkaisuista.

Välitentistä ja sen korjaamisesta opittiin paljon! Uusin eväin kohti lopputenttiä!

Annina

Välitentti Abittilla

                                                               Kuva: Eeva Pyörälä

Tavoitteemme oli saada vähintään 30 vapaaehtoista opiskelijaa suorittamaan Solun rakenne ja toiminta-kurssin välitentti sähköisesti Abittilla. 31 opiskelijaa ilmoittautui, joten pääsimme etenemään suunnitelmiemme mukaan. Opiskelijat toivoivat saada harjoitella Abittin käyttöä ennen varsinaista koetta ja järjestimme tämän aamiaistilaisuuden muodossa. Hankkeen assistentit Annina Rostila ja Tiina Härkönen olivat laatineet opiskelijoille biologian aihepiiristä harjoituskokeen ja opiskelijat saivat testailla Abittin ominaisuuksia mm. lintulajeja tunnistellen.

29.9 lääkiksen ensimmäisen vuoden opiskelijat tekivät ensimmäisen lääkiksen tenttinsä ja 31 vapaaehtoista saapui suuren luentosalin sijaan pienempään kokoushuoneeseen, jonka pöydät olimme järjestelleet tenttitilanteeseen sopiviksi ja asetelleet tiedekunnan läppärit pöydille. Olimme päätyneet käyttämään tiedekunnan läppäreitä opiskeijoiden omien koneiden sijaan, jotta pystyimme pilotissa minimoimaan ikävät yllätystekijät.

Tentin tekeminen sujui kaiken kaikkiaan hyvin. Opiskelijat toivoivat hiiriä käyttöönsä ja saimme järjestettyä ne heille lennosta sekä tilattua niitä heti tentin jälkeen vastaisuuden varalle. Suurin haaste tentissä oli, että monivalintatehtävissä vastausta ei pysty tyhjentämään sen jälkeen kun jonkin vastausvaihtoehdon on valinnut. Tämä on ongelmallista kun tentissä vääristä vastauksista saa miinuspisteitä. Tulevaan tenttiin monivalintoihin lisättiin kohta “jätän tyhjäksi”. Tenttien korjausvaiheessa miinuspisteet ja puolikkaaat pisteet aiheuttivat päänvaivaa (Abitti ei tunnista niitä), joten seuraavaa tenttiä varten pisteytystä skaalattiin niin, että tehtävistä saa vain positiivisia kokonaislukuja.

Tentin jälkeen opiskelijoilta kerättiin palautetta e-lomakkeella ja tiedusteltiin halukkuutta tehdä myös lopputentti sähköisesti. 31 opiskelijasta 25 vastasi haluavansa osallistua sähköiseen lopputenttiin. 4 halusi tehdä lopputentin paperisesti ja kahdelta ei saatu vastausta.

Sanna

Palautteita Abitista ja harjoitustilaisuudesta 12.9.

Pyysimme 12.9. pidetyssä harjoitustentissä palautetta sekä Abitista, että itse harjoitustilaisuudesta. Sähköisen tentin neljä viimeistä kysymystä olivat palautekysymyksiä. Monivalintakysymyksiin ”Oliko koetta helppoa ja mutkatonta avata koneellasi?” ja ”Oliko koetta helppoa ja mutkatonta tehdä?” saimme vastaukset 45 opiskelijalta.

76% mielestä kokeen avaaminen oli erittäin tai melko helppoa. 24% koki sen melko tai erittäin vaikeaksi. Kokeen tekeminen oli 58% mielestä erittäin tai melko helppoa, 42% mielestä se oli melko tai erittäin vaikeaa.

Vapaamuotoiseen ”Mikä Abittikokeessa oli erityisen hyvää?” -kysymyksessä nousivat vahvasti esiin myönteiset palautteet vastaamisen vaivattomuudesta, vastauksien helposta muokattavuudesta ja kirjoittamisen nopeudesta: ”Ei tarvitse käyttää perinteistä koepaperia, kynää eikä pyyhekumia”, ”Ei voi rokottaa epäselvästä käsialasta.” Kiitosta saimme tilaisuuden ohjeistuksesta: ”Selvät ohjeet koneen käynnistämistä ja kokeen aloitusta varten.”

”Mitä kehitettävää tai erityisen huonoa Abittikokeessa oli?” -kysymykseen saimme odotetusti palautetta harjoitustilanteen alkuvaiheen ongelmista: ”Boottaaminen hankalaa.”, ”Käynnistäminen monimutkaista.”

Abitin rakenne ja tiedostojen lataaminen hämmensivät: ”Välilehdet aukeavat liian moneen tasoon ja niitä on paljon.” Ohjelman käyttöön kaivattiin myös hiirtä.

Kysymystyypeistä aineistotehtäviä kommentoitiin eniten. Arvostelua Abitti sai kuvanmuokkauksen osalta: ”Kömpelö kuvanmuokkausohjelma, kun vertaa paperilla ja kynällä tehtävään kokeeseen.”, ”On haastavaa tehdä näitä koetilanteessa, jos on vähän aikaa ja se menee ohjelman käyttöongelmiin.”

Ilahduttavaa on, että myös toiveikkuus pilkahtaa kommenteissa: ”Koe on yksinkertainen, mutta sähköisen tentin tekemisessä harjoittelun puute.”, ”Voi johtua myös siitä, että kaikki on uutta!”

Tiina

A niin kuin abittipilotti

Maanantaina 11.9 ensimmäisen vuosikurssin medisiinareilla ja denttareilla starttasi heidän ensimmäinen lääkiksen kurssinsa: Solun rakenne ja toiminta. Kävin aloitusinfossa kertomassa heille sähköisten tenttien pilotoinnista .

Tiistaina 12.9 odotimme (ja toivoimme) 200 opiskelijan saapuvan Biomedicumin luentosali 1:seen kokeilemaan Abittin toimintaa ja harjoittelemaan sähköistä tenttimistä Solun rakenne ja toiminta-kurssiin liittyvien kysymysten ja tehtävien avulla. Ennen tilaisuuden alkamista tapasimme projektijoukon kanssa ja kävimme läpi, mitä keneltäkin odotetaan ja miten me voimme opiskelijoita auttaa. (Tämä pikaperehdytys olisi voinut olla kattavampi ja pitempikin.)

79 opiskelijaa saapui paikalle. 44:llä oli mukanaan oma läppäri ja 34 käytti paikalle tuomiamme tiedekunnan tai henkilöstön (omakin läppärini oli erään opiskelijan käytössä) lainaläppäreitä. Mikäli Abitti otetaan laajemmin suurilla opiskelijamäärillä käyttöön, tulee tiedekunnan omistamia lainaläppäreitä olla enemmän kuin niitä tällä hetkellä on.

Minä ja projektiassistentti Annina Rostila olimme laatineet harjoitusta varten power point-esityksen, jossa käytiin Abittin käynnistys yksityiskohtaisesti läpi. Lisäksi olimme tehneet aiheesta lyhyen videon. Haaste Abittin kanssa on, että koneet bootataan usb-tikuilta hyvin eri tavoin ja tämän vuoksi yhteneväistä, kaikille sopivaa ohjetta on mahdotonta laatia. Näytimme opiskelijoille pp-esityksen ja videon ja sen jälkeen he lähtivät käynnistelemään koneita usb-tikuilta. Arviolta noin 3/4 opiskelijoista viittasi, koska oli kohdannut käynnistämisessä ongelmia. Meitä avustajia oli salissa kymmenkunta ja jokaiselle riitti runsaasti töitä. Noin puolen tunnin kuluttua harjoitustilanteen alkamisesta kaikki olivat saaneet Abittin avattua ja pääsivät tutustumaan itse “tenttiin”. (Tämä harjoitus ei vaikuttanut opiskelijoiden kurssiarvosanaan millään tavalla.)

Tarkoituksenamme on rakentaa opiskelijoiden ensimmäinen oikea tentti, Solun rakenne ja toiminta-kurssin välikuulustelu, niin, että 30 opiskelijaa suorittaa tentin Abittilla ja loput 170 perinteisenä paperitenttinä. Harjoitustilanteen lopuksi keräsimme vapaaehtoisia sähköiseen välikuulusteluun ja saimme listaan 31 nimeä. Useammat vapaaehtoisiksi ilmoittautuneet opiskelijat toivoivat, että vielä ennen tenttitilannetta heille järjestettäisiin mahdollisuus harjoitella Abittin käyttöä.

Pysy kuulolla – seuraavaan postaukseen kerään konkreettisia “mikä meni hyvin ja mitä olisi voinut tehdä toisin”-ideoita projektitiimiltämme ja lisäksi kerron, mitä mieltä opiskelijat olivat ensimmäisestä abittiharjoituksestaan.

Sanna

Testi- ja harjoitustilanne omalle jengille

Perjantaina 8.9.2017 järjestimme Abittin testi- ja harjoitustilanteen henkilöstölle. Vapaaehtoisia testaajia oli hankalaa haalia kasaan, koska kaikki arvatenkin ovat kiireisiä omissa työtehtävissään ja lisäksi perjantai-iltapäivä ei välttämättä ole ajankohdista houkuttelevin. Seitsemän testaajaa kuitenkin onneksi saapui paikalle.

Käyttääkseni kulunutta sanontaa, ei homma sujunut kuten Strömsössä. Ensinnäkin lähes puolet lupautuneista testaajista perui viime hetkellä. Toisekseen testitilaan pyydetty verkko ei toiminutkaan ko. tilassa, joten tilaisuus piti lennosta siirtää ahtaaseen työhuoneeseen. Kolmanneksi suunnittelemani yhteisen “näin homma etenee”-infon antaminen jäi, koska paikanvaihdoksen myötä jäin ohjaamaan alkuperäiseen tilaan tulleita ihmisiä. Huomasimme, että kaikki usb-tikkumerkit eivät toimi kaikissa koneissa ja että uusi Mac on Abittin kannalta haastava. Kaikki seitsemän testaajaa saivat kuitenkin Abittin käynnistettyä alkukaaoksen jälkeen ja harjoituskokeen tekeminen sujui lopulta jotakuinkin hyvin.

Suotuisempia tuulia seuraavaan koetilanteeseen toivoen!

Sanna

Neljä kättä lisää

Syyskuun alussa saimme lääkiksen Digiloikka-hankkeeseen kaksi osa-aikaista assistenttia: Annina Rostilan ja Tiina Härkösen. Lämpimästi tervetuloa!

(Note to myself: Rekrytointilupahakemus kannattaa lähettää mieluummin aikaisin kuin myöhään, sillä kaikessa kestää pitempään kuin olit ajatellut. Samoin uusien työntekijöiden läppärit ja muu tarvittava välineistö tulee tilata ajoissa.)

Annina on käyttänyt Abittia runsaasti työssään Normaalikoulussa, joten häneltä saimme kaivatun asiantuntemuksen ohjelman toimintaan. Tiina on toiminut Helsingin yliopistossa erilaisissa tutkimushankkeissa, joten hän on konkari yliopiston hankemaailmassa. Sekä Annina että Tiina työskentelevät hankkeelle yhden päivän viikossa 1.9-31.12.2017.

Ensimmäisenä työtehtävänään Annina ja Tiina laativat kaksi Abitti-koetta: Harjoituskokeen omalle porukallemme ja harjoituskokeen lääkiksen 1. vuosikurssin opiskelijoille.

Sanna

Tikusta asiaa

Kuva: Joakim Laine

Abitti käynnistyy usb-tikulta, joten tilasimme pilottia varten 250 kappaletta 16 GB USB3-muistitikkua. Jotteivat asiat olisi liian yksinkertaisia, eivät kaikki tikut toimi kaikissa koneissa. Tilasimme siis sekä Kingston- että Sandisk-merkkisiä tikkuja. (Oli hyvä että tilasimme tikkuja reilusti, sillä kaikki tikut eivät toimineet ollenkaan.) Lisää tietoa tikkujen hankinnasta löydät täältä .

Kuva: Joakim Laine

Tikuille tulee asentaa Abitti-ohjelma. 250 tikun kanssa tähän tulee varata aikaa, sillä yhden tikun kirjoittamiseen kuluu noin 10 minuuttia. Muutamalla USB-keskittimellä (hubilla) voi onneksi kirjoittaa 10-20 muistitikkua yhdellä kirjoituskerralla. Tarkemmat ohjeet usb-tikkujen kirjoittamiseen löytyvät täältä . Mikäli Abitti otettaisiin tiedekunnassa pysyvästi (tai ainakin pysyvämmin) käyttöön, tulisi huomioida, että tikkuja tulee aika ajoin päivittää, vialliset tikut pitää korvata ja säännöllisin väliajoin tarkistaa, ettei tikkuja ole lähtenyt liian suuria määriä opiskelijoiden taskuissa ulos jne.

Sanna

Uudet opiskelijat saapuvat kampukselle

Blogissa on ollut hiljaisempaa, mutta se ei tarkoita sitä etteikö projektia olisi viety eteenpäin vaan sitä, että projektia on viety eteenpäin niin vauhdilla, etten ole onnistunut nipistämään aikaa kirjoittamiseen.

Minä it-asiantuntija Joakim Laine tapasimme elokuun alussa Ylioppilastutkintolautakunnassa työskentelevän Matti Latun, joka vastaa Abittin teknisestä kehitystyöstä. Häneltä saimme kattavan kuvan Abittin toiminnasta ja haasteista.

Elokuun lopulla it-asiantuntija Teemu Masalin piti lääkiksen ensimmäisen vuosikurssin opiskelijoille Digitaidot-pienryhmätapaamisia ja näissä tapaamisissa hän kertoi opiskelijoille Abittista ja selvitti opiskelijoiden laitekantaa ja kokemusta Abittin käytöstä. Noin yksi kymmenestä oli käyttänyt Abittia lukiossa. PC-läppäri oli noin 50 prosentilla lääkiksen 1. vuosikurssin opiskelijoista ja Mac 36 prosentilla. 14 prosenttia ei omistanut läppäriä lainkaan. Noin puolella opiskelijoista oli vanhempi läppäri (jolloin akku usein kestää huonosti) ja 15 prosentilla alle kaksi vuotta vanha Mac. (Uudet Macit sopivat huonosti yhteen Abittin kanssa.) Kaiken kaikkiaan ensimmäisen vuosikurssin opiskelijoita on noin 200. Saimme siis Digitaidot-tapaamisten jälkeen viestin siitä, että haasteita ja ratkottavaa opiskelijoiden omien läppäreiden kanssa tulisi olemaan Abitti-pilotissa.

Elokuussa teimme päätöksen siitä, että sen sijaan että kaikki 200 opiskelijaa tekisivät Solun rakenne ja toiminta-välikuulustelun Abittilla, tulisi vain 30 vapaaehtoista suorittamaan aidon tenttitilanteen Abittilla. Näin pystyisimme minimoimaan riskin, että tekniset haasteet vaikuttaisivat negatiivisesti siihen kokemukseen ja arvosanaan jonka opiskelijat saavat lääkiksen ihan ensimmäisestä tentistään. Halusimme kuitenkin saada kokemuksen suuren opiskelijajoukon pyörittämisestä Abittilla ja pidimme kiinni siitä suunnitelmasta, että heti kurssin alussa kaikki 200 opiskelijaa tulisivat testaamaan Abittia “harjoituskokeen” kanssa.  Kartta ja karikot alkoivat konkretisoitua.

Sanna

Ideoita erilaisiin arviointitapoihin

Diagnostisesta arvioinnista puhutaan kun halutaan tietää mitä opiskelija tietää ennen kurssin alkua. Diagnostista arviointia voidaan käyttää ns. lähtötasotestin tapaan. Formatiivisella arvioinnilla taas pyritään kartoittamaan sitä, mitä opiskelijat oppivat kurssin aikana ja summatiivista arviointia taas hyödynnetään kurssin jälkeen, usein lopputenttien muodossa.

Ideoita formatiivisen arvioinnin toteuttamiseen verkossa:

  • Verkkokeskustelut opettajan kanssa (esim. Moodlessa)
  • Verkkokeskustelut opiskelijaryhmissä (esim. Moodlessa)
  • Omien tavoitteiden kirjaaminen sähköisesti ja itsearviointi kurssin kuluessa (esim. sähköinen oppimispäiväkirja)
  • Ryhmätyöt ja -esitelmät verkossa (esim. AC, Skype, Officen jaetut dokumentit, Moodle)
  • Vertaisarviointi verkossa (opiskelijat arvioivat toinen toistensa edistymistä) (esim. Moodlessa)

Formatiivisen arvioinnin on tarkoitus antaa opiskelijalle palautetta siitä, miten hän on edistynyt opinnoissaa ja mitä hänen tulisi vielä oppia. Formatiivinen arviointi tarjoaa myös opettajalle hyvän väylän tarkastella opiskleijoiden oppimista ja sitä, mihin asioihin kurssilla tulisi vielä kiinnittää huomiota. Formatiivisen arvioinnin tehtävien tulisi olla sellaisia, että opiskelija voi halutessaan palata niihin ja muokata niitä. Näin ollen ne tukevat parhaiten oppimista, karttuvaa tietoa ja ymmärrystä.

Ideoita summatiivisen arvioinnin toteuttamiseen verkossa:

  • Oikein/väärin-tehtävät, monivalintakysymykset (esim. Abitti, Moodle ja muut sähköiset tenttijärjestelmät)
  • Esseetehtävät (esim. Abitti, Moodle ja muut sähköiset tenttijärjestelmät)
  • On-line esitelmät (esim. AC ja Skype)
  • Esim. blogin luominen opitusta aiheesta (yksin tai pienryhmässä)
  • Verkkoportfolio
  • Ryhmätyöt verkossa (esim. Officen jaetut dokumentit, Moodle)

Summatiivisen arvioinnin tulisi olla sellaista, että sen avulla pystyttäisiin tarkastelemaan paitsi karttunutta tietoa, myös ymmärrystä. Opiskelijan ymmärrystä aiheesta voidaan mitata esim. soveltavilla ja työelämälähtöisillä tehtävillä. Puhtaan tietoperustaiset kysymykset mittaavat enemmänkin muistia. Summatiivinen arviointi antaa myös opettajalle seuraavia kursseja varten palautetta siitä, miten hyvin opiskelijat ovat omaksuneet kurssilla käsitellyt asiat ja mihin ehkä tulisi kiinnittää enemmän huomiota tulevaisuudessa.

Sanna