Opintojaksoja arvioimassa

Jokainen tiedekuntamme opintojakso arvioidaan osana curriculum-uudistuksen implementointia. Uudistusta oli valmisteltu pitkään ja sen siirtäminen käytäntöön alkoi kolme vuotta sitten, kun ensimmäinen vuosikurssi aloitti opiskelunsa uuden opetusohjelman mukaan. Uudistus eteni siten, että toinen ja viides vuosikurssi siirtyivät uuteen syksyllä 2016 ja viimeiset, neljäs ja kuudes vuosikurssi syksyllä 2017. Nyt uusi curriculum on läpäissyt koko opetusohjelman ja on uudistuksen arvioinnin paikka.

Työtä tässä on sen verran, että arvioijia on kolme, koulutusohjelman johtaja Jussi Merenmies, kliininen opettaja Hanna Jarva sekä allekirjoittanut. Arvioitavien kurssien vastuuhenkilöt varaavat ajan sähköisestä kalenterista ja täyttävät e-lomakkeen, missä he itse arvioivat opintojaksoaan. Joidenkin kohdalla tämä on toteutunut ennemmin ja toisilla taas myöhemmin, mutta ei e-lomakkeen tietojen puuttuminen ole keskustelua haitannut.

Arvioijan kannalta kokemus on ollut hyvin opettavainen. Tunnen itseni teollisuusvakoilijaksi, joka kiertää ottamassa oppia muiden innovaatioista. Toivon, että myös keskustelun toinen osapuoli on hyötynyt kysymyksistäni ja omien kokemusteni jakamisesta.

Hienoa on myös ollut mahdollisuus keskustella kahden ensimmäisen vuoden opettajien kanssa. Eihän mikään estä aloittamasta juttua muulloinkaan, vertikaalista integraatiotahan opetukseen nimenomaan toivotaan. Ehkä toisen opetuksista kyseleminen vain tuntuu oudolta ja tungettelevalta. On kiinnostavaa huomata, miten paljon perustieteiden opetus on muuttunut ja toisaalta siinä on paljon samaa. Suurin ero on oppimismenetelmissä – itse muistan opetelleeni monia asioita ulkoa ja nyt painotetaan ymmärtämistä.

Arviointiurakka alkaa olla puolivälissä – odotan innolla seuraavia tapaamisia!

Luottamus arvioinnin pohjana

Arviointi on niin tavallista opettajan perustyötä, että sen merkitystä tulee harvoin ajateltua. Tenttiä laatiessani keskityn keskeisiin osaamistavoitteisiin, kysymyksiä kirjoittaessani huolehdin myös niiden mahdollisimman hyvöstä reliabliteetista ja validiteetista. Elvytystentissä arvioin opiskelojoiden elvytysosaamista, annan vahvistavaa palautetta ja asetan kehittynistavoitteita. Nämä asiat ovat teknisiä ja vaadittuihin osaamisalueisiin keskittyviä, mutta arvioinnissa on kyse muustakin.

Kirjoitan tätä Utrechtissa, missä osallistun kansainväliselle arviointikurssille, mistä kuvat. Lääketieteellinen osaaminen eli kompetenssi on itsestään selvyys, mutta muut kolme eli integrity (totuudellisuus, luotettavuus, hyvä tahto), reliability (vakaus, pysyvyys, tunnollisuus) ja humility (nöyryys, omien rajojen tunnistaminen ja avun pyytäminen) ovat itsestäänselvyyksinä jääneet vähälle huomiolle.

Kliinisessä työssämme teemme jatkuvasti luottamukseen perustuvia arviointeja. Kokematon erikoistuva voi aloittaa tämän perusterveen potilaan rutiinileikkauksen anestesian minun ollessani kahvilla vähän matkan päässä. Tällaista päätöstä tehdessäni en niinkään ajattele lääketieteellistä osaamista vaan juuri niitä kolmea muuta komponenttia.

Kliininen työ perustuu luottamukseen eli siihen, että kaikki noudatamme sovittuja pelisääntöjä. Luottaessani vastuullani olevaan ohjattavaan otan aina sen riskin, ettei kaikki menekään suunnitelmien mukaan. Ongelmia harvoin tulee, jos erikoistuva toimii sovitulla tavalla ja huomaa ajoissa, milloin oma osaaminen ei riitä tilanteen hoitamiseen.

Kirjallisessa tentissä arviointi perustuu myös luottamukseen. Opettaja uskoo, että opiskelija on saavuttanut osaamistavoitteet ja on kykenevä työskentelemään niiden pohjalta. Opiskelija taas on oikeus uskoa, että opettaja on tehnyt oikean arvion hänen osaamisestaan. Arviointi on osa työtämme, mutta rutiiniksi se ei saa muuttua.

KARVI – tiedekunta arvioitavana

Kansallinen koulutuksen arviointikeskus on käynyt syksyn aikana arvioimassa maamme lääketieteelliset tiedekunnat. kansainvälisessä arviointiryhmässä oli mukana hollantilainen professori ja sen puheenjohtajana toimi apulaisprofessori Riitta Möller Tukholman Karoliinisesta Instituutista.

Arvioinnin oleellisena osana oli itsearviointiraportti, jonka työstämisen aloitimme jo kesällä, AMEE-kongressin valmistelujen ollessa kuumimmillaan. Muistan kirjoittaneeni sinne jotakin arvioinnista ja kommentoineeni muiden tekstiä, mutta prosessin tästä osasta minulla on hyvin hämärä mielikuva. Lämmin kiitos Outi Lassille, joka kokosi palasista vaikuttavan dokumentin!

Itsearviointi on antoisaa siksi, että se pakottaa kirjoittajan reflektoimaan omaa työtään. Pelkät hyvät aikeet eivät riitä, vaan jokaisen lausuman perustaksi pitää olla näyttöä. Tässä suhteessa omat arkistot ja AMEE:n kollektiivinen ponnistus olivat suureksi hyödyksi. Olemme tehneet jatkuvasti opetuksen kehittämistyötä ja prosessin vaiheet on selvästi dokumentoitu. Omalta osaltani huomasin, miten paljon langanpätkiä on vielä solmimatta ja miten paljon meillä on vielä kehitettävää.

Arviointiprosessin paras osuus oli kuitenkin haastattelu, johon minulla oli kunnia osallistua. Kiitos puheenjohtajan, keskustelun tunnelma oli lämmin ja arvostava. Sain useita tiukkoja kysymyksiä, joihin oli oikeastaan ilo vastata. Puheenjohtaja tiesi voivansa haastaa minua, sillä olimme olleet samalla Master of Medical Education kurssilla. Yhteisestä tietopohjasta oli apua vastaamisessa, vaikka konteksti onkin erilainen.

Riippumatta arvioinnin tuloksesta, haastattelun jälkeen ainakin minulle jäi voittajan olo. Keskustelun aikana kirkastui niin paljon asioita, että niiden avulla on hyvä lähteä kehittämään omaa ja tiedekunnan opetusta.

Digiloikkaan valmistautuessamme

Tiedekunta on saanut 100 000 € tenttien sähköistämistä varten ja työryhmä valmistelee digiloikkaa suurella innolla. Sähköiset tentit eivät kuitenkaan ole uusi asia tiedekunnassa, vaan monet meistä ovat käyttäneet Moodlen tenttejä jo useiden vuosien ajan.

Anella Moodle-tentti on ollut virallinen lopputentti jo useiden vuosien ajan. Pääsääntöisesti se saanut hyvää palautetta. Palautteessa on ollut tenttiin liittyviä kysymyksiä ja tentin palauttamisen jälkeen näkyviin tulleet oikeat vastaukset on koettu hyödylliseksi oppimisen kannalta eivätkä vastaukset ole vuotaneet. Opettajan näkökulmasta tentin suurin ongelma on ollut siinä, että niin suuri osuus opiskelijoista on saanut hyvät pisteet. Vuosi vuodelta olen muokannut tenttiä saadakseni sen entistä paremmin erottelemaan todelliset osaajat ja palkitsemaan heitä.

Tämän vuoden suurin muutos oli arvosanan antaminen anen kurssista entisen hyväksytty/hylätty-arvostelun sijaan. Tämä kirvoitti paljon palautetta: ”Numero-arvosanan antaminen Moodle-tentistä ei ole toimiva käytäntö, koska samat kysymykset toistuvat, vastaukset lähtevät jakoon somessa ja ne opiskelijat, jotka etsivät kärsivällisimmin vastauksia somesta, saavat  parhaimmat arvosanat – kun taas ne jotka vastaavat itsenäisesti, saavat huonoimmat arvosanat.” ja ”Kysymykset voisivat olla helpompia ja niitä voisi olla enemmän. Tällöin vältyttäisiin  oikeiden vastausten kierrätykseltä, kun koeaika menisi perustehtäviin vastaamiseen eikä vaikeiden kysymysten vastauksien metsästämiseen.” Arvokkaita huomioita!

Tenttiteknisen korjaustarpeen lisäksi palautteen takana lienee myös erikoislääkärikoulutuksen uudistuksen herättämä ahdistus. Valintaperusteita emme vielä tiedä, mutta hyvä menestyminen perusopinnoissa ei ainakaan haittaa. Sitä suuremmalla syyllä arvioinnin pitää olla tulee olla pätevää, luotettavaa, läpinäkyvää ja sen pitää painottua oppiaineen keskeisiin sisältöihin.

 

Monivalintatehtävän kirjoittamisessa tiede kohtaa taiteen

Medipedalla ja Opettajien akatemialla oli ilo järjestää kaksi psykometrista työpajaa 22.-23.3.-17, vetäjäksi saimme tohtori Carlos Collaresin Maastrichtin yliopistosta. Carlos on alkuperäiseltä ammatiltaan työterveyslääkäri, joka psykologian opintojen myötä päätyi psykometrian asiantuntijaksi. Oli todella kiinnostavaa kuulla, mitä kaikkea dataa yksittäisestä monivalintakysymyksestä saa tilastollisesti irti!

Ensimmäisen päivän teoriapainotteinenseminaari pohjusti toista päivää, jonka aikana harjoittelimme väittämien kirjoittamista – ei mikään helppo työ! Carlos esitti kauniisti, miten kysymyksen huono muotoilu vaikeuttaa vastaamista (hämärä muotoilu, kieliopilliset ongelmat, vaihtoehdot eivät ole verrannollisia keskenään, vaihtoehdoissa paljon toistoa). Jos siis vastaajista vain 6 % osaa vastata kysymykseen oikein, se ei siis erottele osaajia ja heikkoja opiskelijoita vaan kyse on kysymyksen huonosta muotoilusta.

Toinen virhetyyppi teki kysymyksen helpoksi opiskelijalle. Tämä olikin tuttua jo professori Kati Hakkaraisen esityksestä viime vuodelta. Yleensä pisin vaihtoehto on oikea ja väärän vastauksen tunnistaa määreistä ei koskaan, aina, yleensä jne. Kiinnostava tuttavuus oli pseudoarvaus, joka on mahdollista myös erotella tilastollisesti. Jos kysymyksessä on neljä vaihtoehtoa, arvaamalla on 25 % mahdollisuus onnistua. Jos tämä luku poikkeaa, kyseessä on pseudoarvaus eli jokin tekninen asia ohjaa vastaajaa arvaamaan.

Teoriaosuus meni ihan sujuvasti kuunnellen, vaikka punastuin ajatellessani omaa äskeistä anen tenttiäni. Kirjoittamisharjoituksessa paljastui, miten vaativaa selkeiden ja keskenään verrannollisten väittämien löytäminen on. Kysymysten laatiminen on todellakin parasta tehdä porukalla. Oma substanssiosaamiseni esti minua huomaamasta, etteivät vastausvaihtoehtoni olleet verrannollisia keskenään jne. Yhteistyöllä sujuu!