Uusi julkaisu: itsesäätelyn ja vastaamisen prosessit kriittisen ajattelun tehtävässä

Hyytinen, H., Ursin, J., Silvennoinen, K., Kleemola, K., & Toom, A. (2021). The Dynamic Relationship between Response Processes and Self-Regulation in Critical Thinking Assessments. Studies in Educational Evaluation. https://doi.org/10.1016/j.stueduc.2021.101090

Tuoreessa julkaisussamme selvitimme sitä, millaisia ajatteluprosesseja kriittistä ajattelua arvioivat avomuotoinen ja monivalintatehtävä saavat opiskelijoissa aikaan. Tutkimme yhtäältä vastaamiseen liittyviä kognitiivisia prosesseja ja toisaalta itsesäätelyn  prosesseja. Tutkimuksessa 20 opiskelijaa suoritti kaksi kriittisen ajattelun tehtävää, ja kertoi tehtäviä tehdessään tutkijalle, mitä hän teki ja aikoi tehdä. Tehtävien suorittamisen jälkeen opiskelijat vielä haastateltiin. Tällainen ääneen ajattelun menetelmä yhdessä haastattelun kanssa mahdollistaa syvällisemmän tutkittavan aikomusten ja ajattelun tarkastelun verrattuna pelkkiin lopputuotoksiin tutustuminen. Löydöksemme vahvistivat aiemman tutkimuksen havaintoja: avomuotoiset tehtävät ja monivalintatehtävät käynnistivät erilaisia ajattelun prosesseja. Avomuotoista tehtävää tehdessä prosessit olivat monipuolisempia ja kokonaisvaltaisempia kuin monivalintatehtäviä tehdessä. Opiskelijan kognitiiviset ja itsesäätelyn prosessit kietoutuvat yhteen. Ne opiskelijat, jotka käyttivät monipuolisempia itsesäätelyn taitoja, selviytyivät paremmin, kuin ne, joilla oli haasteita itsesäätelyssä.

Vaikka kriittisen ajattelun ja itsesäätelyn yhteyksistä on puhuttu paljon, aiempaa tutkimusta ei juurikaan ole. Tutkimuksemme vahvisti, että kriittisen ajattelun prosessit ja itsesäätely todellakin kietoutuvat erottamattomasti yhteen. Tämä on tärkeä havainto erityisesti kriittisen ajattelun opetuksen kannalta: pelkkä taitojen opettaminen ei todellakaan auta, jos opiskelijalla on haasteita työskentelynsä suunnittelussa ja monitoroinnissa.

Monivalintatehtävien ongelmat kriittisen ajattelun arvioinnissa

Aiemmin kirjoitimme blogissamme kriittisen ajattelun arvioinnin menetelmistä. Avomuotoiset osaamistehtävät ovat tutkimuksemme ytimessä, mutta osaamisperustaiset monivalintatehtävät olisivat kovin houkuttelevia niiden helpon arvioinnin takia. Miksi siis pidämme monivalintatehtäviä ongelmallisina?

On jo pitkään tiedetty, että avomuotoiset tehtävät ja monivalintatehtävät mittaavat eriluonteisia taitoja. Perinteiseen Bloomin taksonomiaan peilaten: monivalintatehtävällä ei voi arvioida esimerkiksi uuden luomista tai argumenttien rakentamista. Viimeksi havaitsimme tämän tehtävätyyppien yhteensopimattomuuden omassa tutkimuksessamme , jossa tutkimme arviointimenetelmää, jossa käytettiin sekä avomuotoista että monivalintatehtävää.

Monivalintatehtävät mittaavat lisäksi yhtä yksittäistä taitoa kerrallaan, kun taas avomuotoisessa tehtävässä opiskelijan on hyödynnettävä useita taitoja samanaikaisesti. Tämä on merkittävä ero, kun puhutaan kriittisen ajattelun arvioinnista. Kriittinen ajattelu on kokonaisvaltaista, monipuolisten taitojen hyödyntämistä ongelmien ratkaisussa. Siksi on kyseenalaista, kertooko yksittäisen taidon hallinta yhtään mitään kriittisestä ajattelusta. Toki yksittäisten opiskelijoiden taitoprofiilit voivat olla ja ovatkin vaihtelevia. Kriittisen ajattelun arvioinnin pitäisi kuitenkin tavoittaa jotain laajempaa kuin yksittäisten taitojen ryppään.

Monivalinnan perustavana olevana ongelmana on myös se, että se ohjaa opiskelijoita arvaamisen ja poissulkemisen käyttöön. Toki nämäkin ovat taitoja, mutta harvemmin tutkijan (tai opettajan) tarkoituksena on monivalintatehtävällä arvioida juuri näitä taitoja.

Mitä sitten asialle voisi tehdä? Monivalintojen ja avomuotoisten tehtävien yhdistäminen lienee ratkaisun ytimessä, vaikka väärin toteutettuna se vain sotkee asioita, kuten tuore julkaisumme osoitti. Tehtävätyyppien erillään pitämisen sijaan ne kannattaisi integroida. Tällaisessa yhdistelmässä opiskelijan pitäisi joko perustella lyhyesti monivalinnassa antamansa vastaukset tai vastata kysymykseen kirjallisesti ennen monivalinnan tekemistä ja vaihtoehtojen näkemistä. Pohdittavaksi jää se, miten avovastauksia hyödynnetään arvioinnissa, vai jäävätkö ne yksinkertaisimmillaan vain ns. tuuppaajiksi. Tarkoitamme tällä sitä, että kun opiskelijan pitää kyetä ilmaisemaan perustelunsa, se voi vähentää taipumusta arvaamiseen.

Kaikesta huolimatta monivalintatehtävät ovat enemmistössä kriittisen ajattelun arvioinnin välineissä ja sitä myöten myös alan tutkimuksessa. Tämä johtunee juuri arvioinnin helppoudesta ja näennäisestä objektiivisuudesta. Mekään emme ole heittäneet täysin kirvestä kaivoon monivalintatehtävien suhteen, vaan tehtävien kehitystyö jatkuu.

Uusi julkaisu: kriittistä ajattelua mittaavan instrumentin rakenteesta

Kleemola, K., Hyytinen, H., & Toom, A. (2021). Exploring internal structure of a performance-based critical thinking assessment for new students in higher education. Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2021.1946482

Kesällä julkaistussa artikkelissamme tutkimme erään kansainvälisen, kriittistä ajattelua mittaavan tutkimusinstrumentin toimivuutta Suomessa ja erityisesti aloittavilla korkeakouluopiskelijoilla. Tämän instrumentin haasteena on se, että se yhdistää erilaisia ajatteluprosesseja käynnistäviä avomuotoisia tehtäviä monivalintatehtäviin. Osallistujina tutkimuksessamme oli 1469 ensimmäisen vuoden opiskelijaa yliopistoista ja ammattikorkeakouluista.

Havaitsimme, että siinä missä eri osa-alueet avotehtävässä tuottivat yhtenäisiä tuloksia, monivalintatehtäväosioiden tulokset olivat vain heikosti yhteydessä toisiinsa ja avotehtäväosioon. Tämä on tärkeä havainto, koska instrumentin tavoitteena on mitata yhtenäisesti kriittistä ajattelua ja koska tuloksista raportoidaan paitsi erilliset osioiden tulokset myös kokonaispistemäärä. Koska yhtenäisyys osioiden välillä on heikko, kokonaispistemäärän taustalla oleva suoritus voi vaihdella hyvin paljon.

Instrumenttien validiteetin tutkiminen on erittäin tärkeää, jotta voidaan ymmärtää, mitä oikeastaan mitataan. Jatkossa erityisesti erityyppisiä tehtäviä yhdistettäessä on varmistettava instrumentin yhtenäisyys.

Kappas-hankkeen loppuraportti julkaistu

Kappas-hankkeen loppuraportti julkaistiin tammikuun lopulla. EACH-hankkeen porukka oli tiiviisti mukana sekä hankkeen toteutuksessa että loppuraportin kirjoittamisessa. Hankkeessa arvioitiin korkeakouluopiskelijoiden geneerisiä taitoja, käytännössä niitä samoja taitoja, josta katsomme kriittisen ajattelun koostuvan, eli analyyttista päättelyä ja arviointia, ongelmanratkaisua ja argumentaatiota. Lisäksi arvioitiin opiskelijoiden kirjoitetun kielen hallintaa.

Loppuraportin keskeinen havainto on se, että lähes 60 prosentilla korkeakouluopiskelijoista geneeriset taidot ovat korkeintaan tyydyttävällä tasolla. Opiskelijan aiempi opintomenestys, toisen asteen koulutusvalinnat ja lapsuudenkodin oppimiseen kannustava kulttuuri ennustivat geneerisiä taitoja parhaiten.

Loppuraportti on luettavissa hanketta rahoittaneen opetus- ja kulttuuriministeriön sivuilla

Yhdenmukainen kriittisen ajattelun arviointi vaatii selkeät arviointiperusteet

Keväällä esittelimme blogissamme kriittisen ajattelun arvioinnin menetelmiä. Vaikka EACH-tutkimusryhmämme käyttää kaikkia kirjoituksessa esitettyjä menetelmiä, avomuotoinen osaamistehtävä on tutkimustyössämme keskiössä. Tällaisen menetelmän käyttö on haastavaa siksi, että jokainen vastaus on arvioitava. Työtä ei voi toistaiseksi automatisoida, vaikka tulevaisuudessa toivommekin, että tekoälyn sovellutukset tuovat tällaiseen tutkimukseen helpotusta. Arviointityön haasteena on tulkinnallisuus: miten voimme varmistaa, että kaikki vastaukset on arvioitu yhdenmukaisesti ja oikeudenmukaisesti?

Yhdenmukaisen arvioinnin avain ovat yksityiskohtaiset arviointiperusteet, ns. arviointimatriisi, jonka avulla vastaukset pisteytetään. Arviointimatriisia varten määritellään ensi osaamisalueet, tässä tapauksessa kriittistä ajattelua ilmentämät osataidot, kuten esim. ongelmanratkaisutaito ja argumentointi. Tämän jälkeen määritellään kunkin osa-alueen osalta, millaista taitojen tasoa eri pistemäärät edellyttävät. Esimerkiksi argumentoinnissa hyvän tai tyydyttävän pistemäärän vähimmäisvaatimus voisi olla se, että vastauksessa on esitetty argumentteja eli väitteet on perusteltu. Arviointiperusteiden ymmärtäminen edellyttää arvioijalta kyseisten taitojen hallintaa: ei voi arvioida argumentaation laatua, jos ei itse hallitse argumentaatiota. Jos ja kun arviointimatriisia käyttää useampi arvioija eli pisteyttäjä, on tärkeää käydä keskusteluja arviointimatriisista, jotta sitä tulkitaan yhdenmukaisesti. Laajoissa arvioinneissa, joissa käytetään useita pisteyttäjiä (esim. valtakunnallinen Kappas-hanke), järjestetään pisteytyskoulutus, jolla varmistetaan yhdenmukainen arviointimatriisin tulkinta.

Toinen tärkeä keino varmistaa oikeudenmukainen arviointi, on se, että kunkin vastauksen arvioi kaksi pisteyttäjää. Kahden pisteyttäjän yhdenmukaiset pisteet lisäävät varmuutta siitä, että pisteytys on arviointiperusteiden mukainen. On varauduttava myös siihen, että pisteyttäjien arviot ovat erilaiset. Laajoissa arvioinneissa, kuten Kappas-hankkeessa, pisteyttäjien vastaukselle antaman kokonaispistemäärän (kaikki osa-alueet yhteenlaskettuna) erotessa liikaa toisistaan käytetään kolmatta pisteyttäjää, jonka avulla yksimielisyys yleensä saavutetaan. Pienimuotoisemmissa arvioinneissa pisteyttäjät saattavat käydä keskustelua ongelmallisista vastauksista ja pyrkiä siten yksimielisyyteen.

Avomuotoisten osaamistehtävien arvioinnin periaatteet soveltuvat muuten kaikenlaiseen arviointiin. Vaikka tenttivastauksia onkaan harvemmin mahdollista arvioida usean opettajan voimin, arviointiperusteiden kokoaminen arviointimatriisiin lisää arvioinnin yhdenmukaisuutta.

Argumentaatio kriittisessä ajattelussa 

Argumentaatio on yksi kriittisen ajattelun keskeisimpiä taitoja. Ilman argumentaatiotaitoja kriittinen ajattelu jää ajattelijan pään sisälle: argumentti jäsentää ajatukset ja auttaa viestimään niistä muille. Kärjistäen voi todeta, että kriittistä ajattelua ei ole ilman argumentaatiota. Siinä, missä ongelmanratkaisu-, päättely- ja arviointitaidot tuottavat sisältöä argumenttiin, argumentointitaidolla rakennetaan näistä ajatuksista näkyvä ja muita vakuuttava tuotos.

Argumentoinnista puhutaan usein paljonkin arkikielessä, mutta yllättävän monelle tämän käsitteen sisältö on epäselvä. Vaikka arkikielessä argumenttia ja väitettä käsitelläänkin usein synonyymeinä, väite on vain yksi osa argumenttia. Välttämättömänä osana argumenttiin kuuluvat myös perustelut. Argumentti koostuu siis siitä, mitä väitetään, ja siitä, miksi kuulijan pitäisi hyväksyä se, mitä väitetään. Usein argumentti sisältää myös vastaväitteitä eli vaihtoehtoisia näkökulmia sekä usein lausumatta jääviä taustaoletuksia, jotka ovat argumentin lähtökohtia.

Argumentti voi olla paitsi puutteellinen (perustelut puuttuvat) myös hyvä tai huono. Hyvässä argumentissa väite ja perustelut ovat uskottavia ja selkeästi kytköksissä asiayhteyteensä. Huono argumentti saattaa pohjautua henkilökohtaisiin mielipiteisiin tai tunteisiin, ja sen perustelut voivat olla ristiriidassa väitteen kanssa tai epäjohdonmukaisia. Se, että argumentti on omien mielipiteiden vastainen, ei tee argumentista välttämättä huonoa.

Voiko kriittistä ajattelua opettaa?

 

Kirjoitimme EACH-blogiin keväällä siitä, miten kriittisen ajattelun taitoja voi kehittää. Totesimme silloin, että kriittistä ajattelua oppii ajattelemalle kriittisesti eli tehtävillä, jotka edellyttävät kriittistä ajattelua. Kun kaikesta päätellen näissä taidoissa kehittyminen on mahdollista, miksi sitten niiden opetus tuntuu olevan niin haasteellista? Opettajien asenteita kartoittaneet tutkimukset ovat osoittaneet, että osa ei pidä kriittisen ajattelun opetetusta korkeakouluopetuksen tehtävänä tai ajattelee, että opiskelijoilla on jo riittävät taidot aiempien opintojen seurauksena. Ja vaikka opettaja olisikin myönteinen kriittisen ajattelun opettamiselle, hänellä ei ole välttämättä riittävää pedagogista osaamista. Myös erilaiset vakiintuneet käytännöt, kuten massaluennot, voivat hankaloittaa innokkaimmankin opettajan aikeita. Kriittisen ajattelun opetus ei lähdekään yksittäisen opettajan aikeista, vaan kriittinen ajattelu pitäisi integroida opetussuunnitelmaan ja johdon ja hallinnon pitäisi antaa tukensa sen opetukselle ja opetusmenetelmien vaatimuksille.

Kun olosuhteet ovat kunnossa ja opettajalla on ymmärrys siitä, mitä kriittinen ajattelu on, kriittisen ajattelun opettaminen ei ole mitään rakettitiedettä. On tärkeää, että se näkyisi opetuksen tavoitteissa ja arvioinnissa, tällöin myös opiskelija ymmärtää, mitä häneltä odotetaan. Jos kriittinen ajattelu tuntuu abstraktilta ilmiöltä, kannattaa palata juurille: mitä on kriittinen ajattelu, millaiset taidot kuuluvat kriittiseen ajatteluun? Kriittistä ajattelua kehittävät näitä taitoja edellyttävät tehtävät, kuten vaikkapa argumenttien analysointi. Tällaiset konkreettiset taidot on sitten abstraktia kriittistä ajattelua helpompi nivoa kurssien ja opetussuunnitelmien tavoitteisiin ja arviointiin.

Kuten totesimme aiemmassa kirjoituksessamme, kriittisen ajattelun opettaminen sisällöistä erillään ei ole hedelmällistä. Integrointi tieteenalakohtaisiin sisältöihin lisää opiskelijoiden motivaatiota oppia kriittistä ajattelua. Kuten muistamme, tahto on tärkeä osa kriittistä ajattelua taitojen ja tietojen rinnalla. Monien erilaisten tehtävämuotojen hyödyntäminen tieteenalan kontekstissa antaa opiskelijalle mahdollisuuden soveltaa oppimiaan taitoja aidoissa ja asiaankuuluvissa tilanteissa.

Kriittisen ajattelun opettajan on tärkeä muistaa, että opiskelijoita ei tulisi päästää helpolla oppimistehtävissä: kriittinen ajattelu, kuten muukin oppiminen, edellyttää haastamista sopivalla tavalla, suhteessa opiskelijoiden osaamiseen.

Kun taidot eivät riitä

Kriittistä ajattelua määrittäessämme aiemmin tässä blogissa tuli esiin se, että pelkät taidot ja tieto eivät riitä kriittisessä ajattelussa, tarvitaan myös tahtoa, ”dispositiota”. Dispositioon liittyvät mm. asenne, sinnikkyys, uteliaisuus, pystyysuskomukset ja itsesäätelyä.

Kriittiselle ajattelulle on tarvetta usein haastavien tehtävien äärellä. Niiden ratkaisussa auttavat monet disposition osa-alueet. Sinnikkyys ja keskittymiskyky mahdollistavat tehtävän parissa puurtamisen ja siihen paneutumisen. Vahvojen pystyvyysuskomusten (opiskelijan usko omiin kykyihinsä) myötä opiskelija panostaa tehtävään enemmän kuin jos hän on epävarma kyvyistään. Tärkeää on myös joustavuus: sen myötä omista uskomuksista voi päästää irti, jos todisteet osoittavat niiden olevan vääriä.

Itsesäätelyä pidetään usein yhtenä tärkeimmistä kriittisen ajattelun kumppaneista. Itsesäätelyssä opiskelija säätelee aktiivisesti ja tavoitteellisesti sitä, miten hän käsittelee tietoa ja toimii. Hän esimerkiksi pystyy suunnittelemaan omaa toimintaansa ja arvioimaan tuotoksiaan suhteessa tehtävään. Hyvän itsesäätelyn myötä opiskelija pystyy myös säätelemään muita disposition osa-alueita, kuten motivaatiota ja tunteita. Mitä vaikeampi tehtävä on, sitä enemmän tarvitaan itsesäätelyä.

Itsesäätely on yksi EACH-hankkeen tutkimuksen kohteista, ja siihen liittyen kerromme myöhemmin tuoreista tutkimustuloksista, kunhan ne valmistuvat.

Kriittisen ajattelun kehittäminen

Heidi ja Katri Columbiassa

Kriittisen ajattelun tärkeydestä ollaan useimmiten yhtä mieltä, mutta ne keinot, joilla kriittistä ajattelua voisi kehittää, herättävät usein keskustelua.

Tärkeä kysymys kriittisen ajattelun kehittämistä pohdittaessa on se, missä määrin kriittinen ajattelu kytkeytyy sisältöihin ja tieteenalakohtaiseen osaamiseen. Joidenkin näkemysten mukaan kriittinen ajattelu on täysin nivoutunut tieteenalakohtaisiin tietoihin ja taitoihin ja toisessa ääripäässä ajatellaan, että kriittisen ajattelun osaaminen on täysin geneeristä: sillä ei siis olisi mitään tekemistä sisältöjen kanssa. Me EACH-hankkeessa ajattelemme, että sisältöosaamisen ja kriittisen ajattelun osaamisen yhteydet sijoittuvat siihen väliin. Näkemyksemme on se, että sisältö ja tieto kuuluu olennaisena osana kriittiseen ajatteluun: jotta voi analysoida, pohtia tai arvioida, tarvitsee sen pohjalle tietoa. Kriittisen ajattelun taidot voivat siirtyä kuitenkin myös alalta toiselle: jos osaat ajatella kriittisesti tietyn alan asioista, sinun voi olla helpompi ottaa kriittinen ajattelun käyttöön myös muilla aloilla. Olemme kuulleet yrityksistä opettaa kriittistä ajattelua omana oppiaineenaan keskittyen esimerkiksi argumentaation rakenteisiin tai loogiseen päättelyyn. Se on kuitenkin johtanut usein havaintoihin heikentyneestä kriittisestä ajattelusta muissa yhteyksissä. Kriittisen ajattelun oppiminen on tehokkainta, kun se nivoutuu muuhun, alakohtaiseen oppimiseen. On kuitenkin tärkeää, että kriittisen ajattelun taidot tuodaan näkyviksi opiskelijoille ja niitä harjoitellaan todellisuutta muistuttavissa tilanteissa. Omien taitojen arvioiminen ja palautteen saaminen ovat myös tärkeitä.

EACH-hankkeen väki vieraili Yhdysvalloissa, Columbian yliopistossa alkuvuodesta – ennen kuin koronavirus laittoi maailman mullin mallin. Columbiassa on käytössä ainutlaatuinen Core Curriculum -kokonaisuus, jonka kaikki toisen vuoden opiskelijat – pääaineesta riippumatta – suorittavat. Opintokokonaisuudessa perehdytään kaunokirjallisuuden, filosofian, politiikan, tieteen ja taiteen klassikkoteoksiin lukien, analysoiden, kirjoittaen ja keskustellen pienissä seminaariryhmissä yhdessä opettajan kanssa. Näiden opintojen ajatellaan kehittävän paitsi yleissivistystä myös kriittisen ajattelun valmiuksia.

Siinä missä Columbian kaltainen opintokokonaisuus voi tuntua Suomen oloissa kaukaa haetulta, sen ydinajatus kantaa kuitenkin Suomeenkin: kriittistä ajattelua voi kehittää vain tekemällä tehtäviä, joissa käytetään kriittisen ajattelun taitoja. Lukeminen, luetusta keskusteleminen ja kirjoittaminen, argumenttien rakentaminen ja tehtävien ja tekstien analysointi ovat parasta kasvualustaa kriittiselle ajattelulle.

Kriittisen ajattelun arvioinnin menetelmiä

Olemme käsitelleet aiemmissa blogikirjoituksissamme kriittisen ajattelun ja sen kehittymisen tärkeyttä. Tutkijoina tavoitteenamme on tietenkin ymmärtää ilmiötä entistäkin paremmin. Voidaksemme tehdä johtopäätöksiä kriittisen ajattelun kehittymisestä, meidän on jotenkin päästävä opiskelijan pään sisään: millaisia ajatteluprosesseja hänellä on ja miten hän toimii kriittistä ajattelua vaativassa tilanteessa. Mitään tyhjentävää menetelmää ei olekaan olemassa: kaikissa menetelmissä on omat puutteensa, mutta niiden ymmärtäminen auttaa meitä valitsemaan oikeat menetelmät kuhunkin tutkimuskysymykseen ja sitä kautta tekemään oikeita johtopäätöksiä ilmiöstä.

Kaikkein perinteisin kriittisen ajattelun arvioinnin menetelmä on itsearviointi. Opiskelijalta kysytään, miten hyvin hän mielestään hallitsee kriittisen ajattelun taitoja. Tämä on oikein hyvä menetelmä, mikäli halutaan selvittää opiskelija omia kokemuksia. Todellisista taidoista se ei kuitenkaan kerro mitään. Itse asiassa tiedämme, että opiskelijoiden on vaikea arvioida omaa osaamistaan realistisesti. Opiskelija voi joko yli- tai aliarvioi kriittisen ajattelun taitojaan.

Hieman parempi tapa päästä käsiksi todelliseen suoriutumiseen kriittisessä ajattelussa ovat osaamisperustaiset tehtävät. Niissä opiskelijalle annetaan tehtävä, johon hän voisi törmätä todellisessakin elämässä esimerkiksi työpaikalla. Voidakseen ratkaista tehtävän opiskelijan on käytettävä monipuolisesti kriittisen ajattelun taitojaan eli analysoitava eri tietolähteiden tietoa, käytettävä tuota tietoa ongelmanratkaisussa ja päättelyssä tekemisessä ja ilmaistava vastaus joko kirjoittamalla tai valitsemalla monivalintatehtävässä oikeat vastausvaihtoehdot. Avomuotoisessa tehtävässä arvioijia on vähintään kaksi ja käytössä ovat tiukat arviointikriteerit. Tämän vuoksi tällaisen menetelmän käyttäminen vaatii paljon resursseja.

Kaikkein parhaiten ajattelun prosesseihin pääsee käsiksi ääneenajattelu-menetelmällä, jossa opiskelija ratkaisee osaamisperustaisen tehtävän kuvailemalla tutkijalle, miten hän tehtävää ratkaisee. Ääneenajattelu-menetelmää hyödyntäen olemme havainneet, että opiskelija ei välttämättä sisällytä kirjalliseen vastaukseensa kaikkia ajatuksiaan, jolloin sen pohjalta tehtävät johtopäätökset opiskelijan osaamisesta jäävät vajavaisiksi. Lisäksi olemme havainneet, että monivalintatehtävissä arvaaminen ja poissulkeminen ovat hyvin yleisiä tapoja ratkaista tehtävä. Sanomattakin on selvää, että ääneenajattelu-menetelmä on äärimmäisen työläs, ja kovin suurta joukkoa opiskelijoita ei sen avulla voida arvioida.

Tutkimusartikkeleita kriittisen ajattelun arvioinnista

Hyytinen, H., & Toom, A. (2019). Developing a performance assessment task in the Finnish higher education context: conceptual and empirical insights. British Journal of Educational Psychology, 89(3), 551-563. https://doi.org/10.1111/bjep.12283.

Hyytinen, H., Nissinen, K., Ursin, J., Toom, A., & Lindblom-Ylänne, S. (2015). Problematising the equivalence of the test results of performance-based critical thinking tests for undergraduate students. Studies in Educational Evaluation, 44, 1–8. https://doi.org/10.1016/j.stueduc.2014.11.001.

Zlatkin-Troitschanskaia, O., Shavelson, R. J., & Kuhn, C. (2015). The international state of research on measurement of competency in higher education. Studies in Higher Education, 40(3), 393–411. https://doi.org/10.1080/03075079.2015.1004241.