Kirjoittamisen taidot häiritsemässä kriittisen ajattelun arviointia

Käytämme EACH-hankkeen kriittisen ajattelun tutkimuksessa erityisesti avomuotoisia osaamistehtäviä, joissa osallistuja antaa vastauksensa kirjoittamalla lyhyen esseetyyppisen tekstin. Avotehtävä mahdollistaa tutkimustemme mukaan kriittisen ajattelun prosessien aktivoimisen paremmin kuin monivalintatehtävät. Avomuotoisen tehtävän akilleenkantapää on kuitenkin se, että edellyttää osallistujalta viestintätaitoja – yleisemmin kirjoitustaitoa. Toki meidän näkemyksemme mukaan (kirjallinen tai suullinen) viestintä on tärkeä osa kriittistä ajattelua eli se mahdollistaa ajattelun ilmaisemisen muille. Avomuotoisessa tehtävässä kirjoittaminen helposti kuitenkin jyrää muiden kriittisen ajattelun ulottuvuuksien yli, jos asiaan ei kiinnitetä arviointimenetelmiä suunniteltaessa huomiota.

Aiemmin on havaittu, että kielen laatu (esimerkiksi kirjoitusvirheet) vaikuttaa tekstin arvioijaan alitajuisesti, vaikka se ei arviointikriteerinä olisikaan. Arvioija tai pisteyttäjä siis tulkitsee, usein tiedostamattaan, kirjoitusvirheet osoituksena heikosta ajattelutaidosta riippumatta tekstin sisällöstä. Myös puutteelliset argumentaatiotaidot voivat aiheuttaa sen, että tutkijan on vaikea tavoittaa kirjoittajan ongelmanratkaisu- tai analyysitaitoja, koska tekstin johtoajatus jää pimentoon. Tämä on ongelmallista tutkimuksen validiteetin kannalta: pureutuuko tutkimus siihen asiaan, mihin sen on tarkoitus pureutua? Lisäksi sellaiset osallistujat, joilla on kielellisiä haasteita, eivät pääse osoittamaan todellisia taitojaan. Tällaisia haasteita voivat olla esimerkiksi lukivaikeudet tai se, että testi tehdään muulla kuin osallistujan äidinkielellä.

Testien ja pisteytyksen suunnittelussa on mahdollista vähentää tätä kielellisten taitojen aiheuttamaa vinoumaa. Tehtävien ohjeistuksen on oltava selkeää, ja tehtävän tekemiseen olisi varattava riittävästi aikaa siten, että tekstin tuottaminen ei olisi kiireistä. On myös tärkeää kouluttaa tehtävien pisteyttäjät niin, että he ymmärtävät ja tiedostavat vastausten sisällön ja muodon eron. Pisteytyskriteerit on suunniteltava niin, että ne painottavat riittävästi muita kuin kielellisiä taitoja. Lisäksi muiden kuin kielellisten ulottuvuuksien kriteerit on muotoiltava yksityiskohtaisesti niin, että pisteyttäjän on mahdollista arvioida niitä ohi kielen. Monivalintatehtävät voivat myös tukea tavoitetta vähentää kielen merkitystä arvioinnissa, mutta niissä on taas omat ongelmansa, kuten olemme aiemmin todenneet. Niiden käyttö pitäisi siis suunnitella harkiten avotehtävien tukena.

Kriittisen ajattelun arvioinnin menetelmiä

Olemme käsitelleet aiemmissa blogikirjoituksissamme kriittisen ajattelun ja sen kehittymisen tärkeyttä. Tutkijoina tavoitteenamme on tietenkin ymmärtää ilmiötä entistäkin paremmin. Voidaksemme tehdä johtopäätöksiä kriittisen ajattelun kehittymisestä, meidän on jotenkin päästävä opiskelijan pään sisään: millaisia ajatteluprosesseja hänellä on ja miten hän toimii kriittistä ajattelua vaativassa tilanteessa. Mitään tyhjentävää menetelmää ei olekaan olemassa: kaikissa menetelmissä on omat puutteensa, mutta niiden ymmärtäminen auttaa meitä valitsemaan oikeat menetelmät kuhunkin tutkimuskysymykseen ja sitä kautta tekemään oikeita johtopäätöksiä ilmiöstä.

Kaikkein perinteisin kriittisen ajattelun arvioinnin menetelmä on itsearviointi. Opiskelijalta kysytään, miten hyvin hän mielestään hallitsee kriittisen ajattelun taitoja. Tämä on oikein hyvä menetelmä, mikäli halutaan selvittää opiskelija omia kokemuksia. Todellisista taidoista se ei kuitenkaan kerro mitään. Itse asiassa tiedämme, että opiskelijoiden on vaikea arvioida omaa osaamistaan realistisesti. Opiskelija voi joko yli- tai aliarvioi kriittisen ajattelun taitojaan.

Hieman parempi tapa päästä käsiksi todelliseen suoriutumiseen kriittisessä ajattelussa ovat osaamisperustaiset tehtävät. Niissä opiskelijalle annetaan tehtävä, johon hän voisi törmätä todellisessakin elämässä esimerkiksi työpaikalla. Voidakseen ratkaista tehtävän opiskelijan on käytettävä monipuolisesti kriittisen ajattelun taitojaan eli analysoitava eri tietolähteiden tietoa, käytettävä tuota tietoa ongelmanratkaisussa ja päättelyssä tekemisessä ja ilmaistava vastaus joko kirjoittamalla tai valitsemalla monivalintatehtävässä oikeat vastausvaihtoehdot. Avomuotoisessa tehtävässä arvioijia on vähintään kaksi ja käytössä ovat tiukat arviointikriteerit. Tämän vuoksi tällaisen menetelmän käyttäminen vaatii paljon resursseja.

Kaikkein parhaiten ajattelun prosesseihin pääsee käsiksi ääneenajattelu-menetelmällä, jossa opiskelija ratkaisee osaamisperustaisen tehtävän kuvailemalla tutkijalle, miten hän tehtävää ratkaisee. Ääneenajattelu-menetelmää hyödyntäen olemme havainneet, että opiskelija ei välttämättä sisällytä kirjalliseen vastaukseensa kaikkia ajatuksiaan, jolloin sen pohjalta tehtävät johtopäätökset opiskelijan osaamisesta jäävät vajavaisiksi. Lisäksi olemme havainneet, että monivalintatehtävissä arvaaminen ja poissulkeminen ovat hyvin yleisiä tapoja ratkaista tehtävä. Sanomattakin on selvää, että ääneenajattelu-menetelmä on äärimmäisen työläs, ja kovin suurta joukkoa opiskelijoita ei sen avulla voida arvioida.

Tutkimusartikkeleita kriittisen ajattelun arvioinnista

Hyytinen, H., & Toom, A. (2019). Developing a performance assessment task in the Finnish higher education context: conceptual and empirical insights. British Journal of Educational Psychology, 89(3), 551-563. https://doi.org/10.1111/bjep.12283.

Hyytinen, H., Nissinen, K., Ursin, J., Toom, A., & Lindblom-Ylänne, S. (2015). Problematising the equivalence of the test results of performance-based critical thinking tests for undergraduate students. Studies in Educational Evaluation, 44, 1–8. https://doi.org/10.1016/j.stueduc.2014.11.001.

Zlatkin-Troitschanskaia, O., Shavelson, R. J., & Kuhn, C. (2015). The international state of research on measurement of competency in higher education. Studies in Higher Education, 40(3), 393–411. https://doi.org/10.1080/03075079.2015.1004241.