Avainsana: arviointimenetelmät

Julkaistu

Monivalintatehtävien ongelmat kriittisen ajattelun arvioinnissa

Aiemmin kirjoitimme blogissamme kriittisen ajattelun arvioinnin menetelmistä. Avomuotoiset osaamistehtävät ovat tutkimuksemme ytimessä, mutta osaamisperustaiset monivalintatehtävät olisivat kovin houkuttelevia niiden helpon arvioinnin takia. Miksi siis pidämme monivalintatehtäviä ongelmallisina?

On jo pitkään tiedetty, että avomuotoiset tehtävät ja monivalintatehtävät mittaavat eriluonteisia taitoja. Perinteiseen Bloomin taksonomiaan peilaten: monivalintatehtävällä ei voi arvioida esimerkiksi uuden luomista tai argumenttien rakentamista. Viimeksi havaitsimme tämän tehtävätyyppien yhteensopimattomuuden omassa tutkimuksessamme , jossa tutkimme arviointimenetelmää, jossa käytettiin sekä avomuotoista että monivalintatehtävää.

Monivalintatehtävät mittaavat lisäksi yhtä yksittäistä taitoa kerrallaan, kun taas avomuotoisessa tehtävässä opiskelijan on hyödynnettävä useita taitoja samanaikaisesti. Tämä on merkittävä ero, kun puhutaan kriittisen ajattelun arvioinnista. Kriittinen ajattelu on kokonaisvaltaista, monipuolisten taitojen hyödyntämistä ongelmien ratkaisussa. Siksi on kyseenalaista, kertooko yksittäisen taidon hallinta yhtään mitään kriittisestä ajattelusta. Toki yksittäisten opiskelijoiden taitoprofiilit voivat olla ja ovatkin vaihtelevia. Kriittisen ajattelun arvioinnin pitäisi kuitenkin tavoittaa jotain laajempaa kuin yksittäisten taitojen ryppään.

Monivalinnan perustavana olevana ongelmana on myös se, että se ohjaa opiskelijoita arvaamisen ja poissulkemisen käyttöön. Toki nämäkin ovat taitoja, mutta harvemmin tutkijan (tai opettajan) tarkoituksena on monivalintatehtävällä arvioida juuri näitä taitoja.

Mitä sitten asialle voisi tehdä? Monivalintojen ja avomuotoisten tehtävien yhdistäminen lienee ratkaisun ytimessä, vaikka väärin toteutettuna se vain sotkee asioita, kuten tuore julkaisumme osoitti. Tehtävätyyppien erillään pitämisen sijaan ne kannattaisi integroida. Tällaisessa yhdistelmässä opiskelijan pitäisi joko perustella lyhyesti monivalinnassa antamansa vastaukset tai vastata kysymykseen kirjallisesti ennen monivalinnan tekemistä ja vaihtoehtojen näkemistä. Pohdittavaksi jää se, miten avovastauksia hyödynnetään arvioinnissa, vai jäävätkö ne yksinkertaisimmillaan vain ns. tuuppaajiksi. Tarkoitamme tällä sitä, että kun opiskelijan pitää kyetä ilmaisemaan perustelunsa, se voi vähentää taipumusta arvaamiseen.

Kaikesta huolimatta monivalintatehtävät ovat enemmistössä kriittisen ajattelun arvioinnin välineissä ja sitä myöten myös alan tutkimuksessa. Tämä johtunee juuri arvioinnin helppoudesta ja näennäisestä objektiivisuudesta. Mekään emme ole heittäneet täysin kirvestä kaivoon monivalintatehtävien suhteen, vaan tehtävien kehitystyö jatkuu.

Julkaistu

Uusi julkaisu: kriittistä ajattelua mittaavan instrumentin rakenteesta

Kleemola, K., Hyytinen, H., & Toom, A. (2021). Exploring internal structure of a performance-based critical thinking assessment for new students in higher education. Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2021.1946482

Kesällä julkaistussa artikkelissamme tutkimme erään kansainvälisen, kriittistä ajattelua mittaavan tutkimusinstrumentin toimivuutta Suomessa ja erityisesti aloittavilla korkeakouluopiskelijoilla. Tämän instrumentin haasteena on se, että se yhdistää erilaisia ajatteluprosesseja käynnistäviä avomuotoisia tehtäviä monivalintatehtäviin. Osallistujina tutkimuksessamme oli 1469 ensimmäisen vuoden opiskelijaa yliopistoista ja ammattikorkeakouluista.

Havaitsimme, että siinä missä eri osa-alueet avotehtävässä tuottivat yhtenäisiä tuloksia, monivalintatehtäväosioiden tulokset olivat vain heikosti yhteydessä toisiinsa ja avotehtäväosioon. Tämä on tärkeä havainto, koska instrumentin tavoitteena on mitata yhtenäisesti kriittistä ajattelua ja koska tuloksista raportoidaan paitsi erilliset osioiden tulokset myös kokonaispistemäärä. Koska yhtenäisyys osioiden välillä on heikko, kokonaispistemäärän taustalla oleva suoritus voi vaihdella hyvin paljon.

Instrumenttien validiteetin tutkiminen on erittäin tärkeää, jotta voidaan ymmärtää, mitä oikeastaan mitataan. Jatkossa erityisesti erityyppisiä tehtäviä yhdistettäessä on varmistettava instrumentin yhtenäisyys.

Julkaistu

Yhdenmukainen kriittisen ajattelun arviointi vaatii selkeät arviointiperusteet

Keväällä esittelimme blogissamme kriittisen ajattelun arvioinnin menetelmiä. Vaikka EACH-tutkimusryhmämme käyttää kaikkia kirjoituksessa esitettyjä menetelmiä, avomuotoinen osaamistehtävä on tutkimustyössämme keskiössä. Tällaisen menetelmän käyttö on haastavaa siksi, että jokainen vastaus on arvioitava. Työtä ei voi toistaiseksi automatisoida, vaikka tulevaisuudessa toivommekin, että tekoälyn sovellutukset tuovat tällaiseen tutkimukseen helpotusta. Arviointityön haasteena on tulkinnallisuus: miten voimme varmistaa, että kaikki vastaukset on arvioitu yhdenmukaisesti ja oikeudenmukaisesti?

Yhdenmukaisen arvioinnin avain ovat yksityiskohtaiset arviointiperusteet, ns. arviointimatriisi, jonka avulla vastaukset pisteytetään. Arviointimatriisia varten määritellään ensi osaamisalueet, tässä tapauksessa kriittistä ajattelua ilmentämät osataidot, kuten esim. ongelmanratkaisutaito ja argumentointi. Tämän jälkeen määritellään kunkin osa-alueen osalta, millaista taitojen tasoa eri pistemäärät edellyttävät. Esimerkiksi argumentoinnissa hyvän tai tyydyttävän pistemäärän vähimmäisvaatimus voisi olla se, että vastauksessa on esitetty argumentteja eli väitteet on perusteltu. Arviointiperusteiden ymmärtäminen edellyttää arvioijalta kyseisten taitojen hallintaa: ei voi arvioida argumentaation laatua, jos ei itse hallitse argumentaatiota. Jos ja kun arviointimatriisia käyttää useampi arvioija eli pisteyttäjä, on tärkeää käydä keskusteluja arviointimatriisista, jotta sitä tulkitaan yhdenmukaisesti. Laajoissa arvioinneissa, joissa käytetään useita pisteyttäjiä (esim. valtakunnallinen Kappas-hanke), järjestetään pisteytyskoulutus, jolla varmistetaan yhdenmukainen arviointimatriisin tulkinta.

Toinen tärkeä keino varmistaa oikeudenmukainen arviointi, on se, että kunkin vastauksen arvioi kaksi pisteyttäjää. Kahden pisteyttäjän yhdenmukaiset pisteet lisäävät varmuutta siitä, että pisteytys on arviointiperusteiden mukainen. On varauduttava myös siihen, että pisteyttäjien arviot ovat erilaiset. Laajoissa arvioinneissa, kuten Kappas-hankkeessa, pisteyttäjien vastaukselle antaman kokonaispistemäärän (kaikki osa-alueet yhteenlaskettuna) erotessa liikaa toisistaan käytetään kolmatta pisteyttäjää, jonka avulla yksimielisyys yleensä saavutetaan. Pienimuotoisemmissa arvioinneissa pisteyttäjät saattavat käydä keskustelua ongelmallisista vastauksista ja pyrkiä siten yksimielisyyteen.

Avomuotoisten osaamistehtävien arvioinnin periaatteet soveltuvat muuten kaikenlaiseen arviointiin. Vaikka tenttivastauksia onkaan harvemmin mahdollista arvioida usean opettajan voimin, arviointiperusteiden kokoaminen arviointimatriisiin lisää arvioinnin yhdenmukaisuutta.

Julkaistu

Kriittisen ajattelun arvioinnin menetelmiä

Olemme käsitelleet aiemmissa blogikirjoituksissamme kriittisen ajattelun ja sen kehittymisen tärkeyttä. Tutkijoina tavoitteenamme on tietenkin ymmärtää ilmiötä entistäkin paremmin. Voidaksemme tehdä johtopäätöksiä kriittisen ajattelun kehittymisestä, meidän on jotenkin päästävä opiskelijan pään sisään: millaisia ajatteluprosesseja hänellä on ja miten hän toimii kriittistä ajattelua vaativassa tilanteessa. Mitään tyhjentävää menetelmää ei olekaan olemassa: kaikissa menetelmissä on omat puutteensa, mutta niiden ymmärtäminen auttaa meitä valitsemaan oikeat menetelmät kuhunkin tutkimuskysymykseen ja sitä kautta tekemään oikeita johtopäätöksiä ilmiöstä.

Kaikkein perinteisin kriittisen ajattelun arvioinnin menetelmä on itsearviointi. Opiskelijalta kysytään, miten hyvin hän mielestään hallitsee kriittisen ajattelun taitoja. Tämä on oikein hyvä menetelmä, mikäli halutaan selvittää opiskelija omia kokemuksia. Todellisista taidoista se ei kuitenkaan kerro mitään. Itse asiassa tiedämme, että opiskelijoiden on vaikea arvioida omaa osaamistaan realistisesti. Opiskelija voi joko yli- tai aliarvioi kriittisen ajattelun taitojaan.

Hieman parempi tapa päästä käsiksi todelliseen suoriutumiseen kriittisessä ajattelussa ovat osaamisperustaiset tehtävät. Niissä opiskelijalle annetaan tehtävä, johon hän voisi törmätä todellisessakin elämässä esimerkiksi työpaikalla. Voidakseen ratkaista tehtävän opiskelijan on käytettävä monipuolisesti kriittisen ajattelun taitojaan eli analysoitava eri tietolähteiden tietoa, käytettävä tuota tietoa ongelmanratkaisussa ja päättelyssä tekemisessä ja ilmaistava vastaus joko kirjoittamalla tai valitsemalla monivalintatehtävässä oikeat vastausvaihtoehdot. Avomuotoisessa tehtävässä arvioijia on vähintään kaksi ja käytössä ovat tiukat arviointikriteerit. Tämän vuoksi tällaisen menetelmän käyttäminen vaatii paljon resursseja.

Kaikkein parhaiten ajattelun prosesseihin pääsee käsiksi ääneenajattelu-menetelmällä, jossa opiskelija ratkaisee osaamisperustaisen tehtävän kuvailemalla tutkijalle, miten hän tehtävää ratkaisee. Ääneenajattelu-menetelmää hyödyntäen olemme havainneet, että opiskelija ei välttämättä sisällytä kirjalliseen vastaukseensa kaikkia ajatuksiaan, jolloin sen pohjalta tehtävät johtopäätökset opiskelijan osaamisesta jäävät vajavaisiksi. Lisäksi olemme havainneet, että monivalintatehtävissä arvaaminen ja poissulkeminen ovat hyvin yleisiä tapoja ratkaista tehtävä. Sanomattakin on selvää, että ääneenajattelu-menetelmä on äärimmäisen työläs, ja kovin suurta joukkoa opiskelijoita ei sen avulla voida arvioida.

Tutkimusartikkeleita kriittisen ajattelun arvioinnista

Hyytinen, H., & Toom, A. (2019). Developing a performance assessment task in the Finnish higher education context: conceptual and empirical insights. British Journal of Educational Psychology, 89(3), 551-563. https://doi.org/10.1111/bjep.12283.

Hyytinen, H., Nissinen, K., Ursin, J., Toom, A., & Lindblom-Ylänne, S. (2015). Problematising the equivalence of the test results of performance-based critical thinking tests for undergraduate students. Studies in Educational Evaluation, 44, 1–8. https://doi.org/10.1016/j.stueduc.2014.11.001.

Zlatkin-Troitschanskaia, O., Shavelson, R. J., & Kuhn, C. (2015). The international state of research on measurement of competency in higher education. Studies in Higher Education, 40(3), 393–411. https://doi.org/10.1080/03075079.2015.1004241.