Helsingin yliopisto
Keväällä esittelimme blogissamme kriittisen ajattelun arvioinnin menetelmiä. Vaikka EACH-tutkimusryhmämme käyttää kaikkia kirjoituksessa esitettyjä menetelmiä, avomuotoinen osaamistehtävä on tutkimustyössämme keskiössä. Tällaisen menetelmän käyttö on haastavaa siksi, että jokainen vastaus on arvioitava. Työtä ei voi toistaiseksi automatisoida, vaikka tulevaisuudessa toivommekin, että tekoälyn sovellutukset tuovat tällaiseen tutkimukseen helpotusta. Arviointityön haasteena on tulkinnallisuus: miten voimme varmistaa, että kaikki vastaukset on arvioitu yhdenmukaisesti ja oikeudenmukaisesti?
Yhdenmukaisen arvioinnin avain ovat yksityiskohtaiset arviointiperusteet, ns. arviointimatriisi, jonka avulla vastaukset pisteytetään. Arviointimatriisia varten määritellään ensi osaamisalueet, tässä tapauksessa kriittistä ajattelua ilmentämät osataidot, kuten esim. ongelmanratkaisutaito ja argumentointi. Tämän jälkeen määritellään kunkin osa-alueen osalta, millaista taitojen tasoa eri pistemäärät edellyttävät. Esimerkiksi argumentoinnissa hyvän tai tyydyttävän pistemäärän vähimmäisvaatimus voisi olla se, että vastauksessa on esitetty argumentteja eli väitteet on perusteltu. Arviointiperusteiden ymmärtäminen edellyttää arvioijalta kyseisten taitojen hallintaa: ei voi arvioida argumentaation laatua, jos ei itse hallitse argumentaatiota. Jos ja kun arviointimatriisia käyttää useampi arvioija eli pisteyttäjä, on tärkeää käydä keskusteluja arviointimatriisista, jotta sitä tulkitaan yhdenmukaisesti. Laajoissa arvioinneissa, joissa käytetään useita pisteyttäjiä (esim. valtakunnallinen Kappas-hanke), järjestetään pisteytyskoulutus, jolla varmistetaan yhdenmukainen arviointimatriisin tulkinta.
Toinen tärkeä keino varmistaa oikeudenmukainen arviointi, on se, että kunkin vastauksen arvioi kaksi pisteyttäjää. Kahden pisteyttäjän yhdenmukaiset pisteet lisäävät varmuutta siitä, että pisteytys on arviointiperusteiden mukainen. On varauduttava myös siihen, että pisteyttäjien arviot ovat erilaiset. Laajoissa arvioinneissa, kuten Kappas-hankkeessa, pisteyttäjien vastaukselle antaman kokonaispistemäärän (kaikki osa-alueet yhteenlaskettuna) erotessa liikaa toisistaan käytetään kolmatta pisteyttäjää, jonka avulla yksimielisyys yleensä saavutetaan. Pienimuotoisemmissa arvioinneissa pisteyttäjät saattavat käydä keskustelua ongelmallisista vastauksista ja pyrkiä siten yksimielisyyteen.
Avomuotoisten osaamistehtävien arvioinnin periaatteet soveltuvat muuten kaikenlaiseen arviointiin. Vaikka tenttivastauksia onkaan harvemmin mahdollista arvioida usean opettajan voimin, arviointiperusteiden kokoaminen arviointimatriisiin lisää arvioinnin yhdenmukaisuutta.