Helsingin yliopisto
Käytämme EACH-hankkeen kriittisen ajattelun tutkimuksessa erityisesti avomuotoisia osaamistehtäviä, joissa osallistuja antaa vastauksensa kirjoittamalla lyhyen esseetyyppisen tekstin. Avotehtävä mahdollistaa tutkimustemme mukaan kriittisen ajattelun prosessien aktivoimisen paremmin kuin monivalintatehtävät. Avomuotoisen tehtävän akilleenkantapää on kuitenkin se, että edellyttää osallistujalta viestintätaitoja – yleisemmin kirjoitustaitoa. Toki meidän näkemyksemme mukaan (kirjallinen tai suullinen) viestintä on tärkeä osa kriittistä ajattelua eli se mahdollistaa ajattelun ilmaisemisen muille. Avomuotoisessa tehtävässä kirjoittaminen helposti kuitenkin jyrää muiden kriittisen ajattelun ulottuvuuksien yli, jos asiaan ei kiinnitetä arviointimenetelmiä suunniteltaessa huomiota.
Aiemmin on havaittu, että kielen laatu (esimerkiksi kirjoitusvirheet) vaikuttaa tekstin arvioijaan alitajuisesti, vaikka se ei arviointikriteerinä olisikaan. Arvioija tai pisteyttäjä siis tulkitsee, usein tiedostamattaan, kirjoitusvirheet osoituksena heikosta ajattelutaidosta riippumatta tekstin sisällöstä. Myös puutteelliset argumentaatiotaidot voivat aiheuttaa sen, että tutkijan on vaikea tavoittaa kirjoittajan ongelmanratkaisu- tai analyysitaitoja, koska tekstin johtoajatus jää pimentoon. Tämä on ongelmallista tutkimuksen validiteetin kannalta: pureutuuko tutkimus siihen asiaan, mihin sen on tarkoitus pureutua? Lisäksi sellaiset osallistujat, joilla on kielellisiä haasteita, eivät pääse osoittamaan todellisia taitojaan. Tällaisia haasteita voivat olla esimerkiksi lukivaikeudet tai se, että testi tehdään muulla kuin osallistujan äidinkielellä.
Testien ja pisteytyksen suunnittelussa on mahdollista vähentää tätä kielellisten taitojen aiheuttamaa vinoumaa. Tehtävien ohjeistuksen on oltava selkeää, ja tehtävän tekemiseen olisi varattava riittävästi aikaa siten, että tekstin tuottaminen ei olisi kiireistä. On myös tärkeää kouluttaa tehtävien pisteyttäjät niin, että he ymmärtävät ja tiedostavat vastausten sisällön ja muodon eron. Pisteytyskriteerit on suunniteltava niin, että ne painottavat riittävästi muita kuin kielellisiä taitoja. Lisäksi muiden kuin kielellisten ulottuvuuksien kriteerit on muotoiltava yksityiskohtaisesti niin, että pisteyttäjän on mahdollista arvioida niitä ohi kielen. Monivalintatehtävät voivat myös tukea tavoitetta vähentää kielen merkitystä arvioinnissa, mutta niissä on taas omat ongelmansa, kuten olemme aiemmin todenneet. Niiden käyttö pitäisi siis suunnitella harkiten avotehtävien tukena.