Monipuoliset arviointimenetelmät opettajan arviointiosaamisen kulmakivenä

Kaisu Otsamo, äidinkielen ja kirjallisuuden lehtori, Helsingin normaalilyseo

Salla Rahila, matematiikan lehtori, Helsingin normaalilyseo

“Mutta ehkä kaikkein paras ja antoisin arvioinnin keino on keskustelu oppilaan kanssa. Se voi tapahtua yksittäisellä tunnilla, jakson puolivälissä, lopussa, milloin tahansa. Se voi olla vain arkinen tilanne, jolloin me tunnin alussa asetellaan jokin yhteinen tavoite oppilaan kanssa. Ja sitten me yhdessä arvioidaan tavoitteen toteutuminen keskustellen tunnin jälkeen.” Taito- ja taideaineiden opettaja

Johdanto

Suuri osa arvioinnista on opettajien ja oppilaiden välistä vuorovaikutusta (POPS 2014, 47). Sekä perusopetuksen että lukion uudet opetussuunnitelmat edellyttävät monipuolista arviointia, jonka avulla opettaja voi tukea ajattelun taitoja ja yksilöllistä oppimista (POPS 2014, Halinen ym. 2016, 28).

Arvioinnin tulee olla yhdenvertaista ja monipuolista ja perustua tavoitteisiin ja kriteereihin. Opettajan tulee käyttää monipuolisia arviointimenetelmiä. Oppilaille täytyy myös kertoa, miksi ja miten arvioidaan. Opettajan on varmistettava, että oppilas saa käsityksen siitä, mitä hänen on tarkoitus oppia ja miten hänen suoriutumistaan arvioidaan (Vitikka Opetushallituksen asiantuntijaseminaarissa 11.12.2019). Jokaista oppilasta tulee auttaa tunnistamaan vahvuuksiaan ja kehittämään yksilöllistä oppimisprosessiaan ja työskentelyään, ja monipuolinen formatiivinen arviointi tukee tätä prosessia. Oikeudenmukainen arviointi perustuu vuorovaikutukseen ja on avointa, ja sitä toteutetaan yhteistyössä oppilaiden ja huoltajien kanssa. Myös opettajien välinen yhteistyö on tärkeätä arvioinnin tasavertaisuuden ja suunnitelmallisuuden takaamiseksi (POPS 2014 luku 6).

Arviointi on aina ollut opettajan ammattitaidon ydintä, mutta nuoren kasvua tukeva oppimiskäsitys edellyttää entistä monipuolisempien menetelmien käyttöä ja avoimuutta. Olemme toimineet parin vuoden ajan kouluttajina eNorssin arviointihankkeessa Opettajan uranaikaisen arviointiosaamisen kehittyminen. Olemme myös Kansallisen arviointiosaamisen kehittämisverkoston Kaaron yhdyshenkilöitä koulussamme. Näiden kytkösten vuoksi olemme kiinnostuneita oman koulumme arviointikulttuurin kehityksestä. Monipuolista ja yhtenäistä arviointikulttuuria kehittääkseen täytyy kysyä, millaisia arvioijia opettajat ovat tällä hetkellä. Herättääksemme keskustelua haastattelimme opettajia heidän arviointimenetelmistään ja kysyimme eri oppiaineita edustavilta ja eri-ikäisiltä opettajilta heidän arviointitapojaan ja ajatuksiaan arvioinnista.

Arviointiosaaminen tutkimuksen kohteena

Kouluun muodostuu arviointikulttuuri, kun päätetään yhdessä arvioinnin pääkysymyksistä eli menetelmistä, käytänteistä ja kulttuurista. Opettajien arviointiosaaminen kasvaa koulun yhtenäisen arviointikulttuurin perustalle (POPS 2014 luku 6; Ouakrim-Soivio, 2016; luento 7.9.2019). Jos yhtenäistä arviointikulttuuria ei ole, opettajien käsitykset arvioinnista vaihtelevat, ja arvioinnin subjektiivisuus korostuu. Opettajien arviointikäytänteisiin vaikuttavat esimerkiksi omat kokemukset siitä, miten heitä arvioitiin oppilaina. Myös opettajankoulutuksessa opittu ja opettajan henkilökohtainen näkemys oppimisesta vaikuttavat. Osaltaan käsityksiin arvioinnista vaikuttavat opetusta ohjaavat kansalliset linjaukset. (Guskey & Bailey 2001, s. 16 – 17; Ouakrim-Soivio, 2016; s. 75.) Opettajakokemuksen myötä opettajat omaksuvat monimuotoisempia ja oppilaslähtöisempiä lähestymistapoja arviointiin, mutta vaihtelu on edelleen merkittävää (DeLuca ym. 2018, s. 371).

Opettajat ymmärtävät arvioinnin perustuvan näyttöihin, ja arviointi perustellaan keräämällä tietoa esimerkiksi palautekeskusteluilla, havainnoilla luokkatilanteesta ja portfolioilla (Guskey 2012, s. 42 – 43). Näyttöjen kerääminen ja dokumentointi on kuitenkin myös ongelman ydin, sillä esimerkiksi aktiivinen osallistuminen, työskentelytavat, huolellisuus tai kotitehtävien tarkka tekeminen ovat valideja näyttöjä vasta, kun niitä on monipuolisesti (Guskey & Bailey, 2001, s. 62). Arvioinnin subjektiivisuuteen on syytä suhtautua vakavasti. Kun opettaja tekee arviointiin vaikuttavia havaintoja esimerkiksi oppilaan yrittämisestä tai asenteesta, ne vaihtelevat vääjäämättä opettajakohtaisesti (Guskey & Bailey, 2001, s. 60).

Fulcherin mukaan opettajan on tärkeätä tulla tietoiseksi omista arviointiin liittyvistä ennakkokäsityksistään. Arvioinnin suunnittelussa ja toteuttamisessa tarvitaan erilaisia tietoja, taitoja ja soveltamiskykyä, ja arviointiosaamiseen kuuluvat arvioinnin periaatteiden ja käsitteiden hallitseminen ja prosessien tuntemus. On myös hyvä, jos omat arvioinnin käytänteet ja oman arviointietiikkansa pystyy näkemään laajemmissa yhteiskunnallisissa ja filosofisissa yhteyksissä. Lisäksi arviointiosaamiseen liittyy ymmärrys siitä, miksi erilaiset arviointikäytänteet ovat syntyneet ja mikä rooli ja vaikutus arvioinnilla on yhteiskunnassa ja oppilaiden elämässä. (Fulcher,  2012, s. 125.)

Parhaimmillaan oppilaat osallistuvat arviointiprosessiin ja arvioivat myös itse omaa työskentelyään. Tutkimusulokset osoittavat kuitenkin, että opettajien taidot osallistaa oppilaita ja huoltajia arviointiprosessiin ovat heikot. (DeLuca ym. 2018, s. 370−371.)

Opettajien arvosanojen antamiseen liittyvät käytänteet ja menetelmät siis vaihtelevat. Kansainvälisten tutkimustulosten mukaan opettajat arvioivat hyvin vaihtelevasti, eikä arviointiosaamista voi ennakoida esimerkiksi uravaiheen tai sukupuolen tai etnisyyden perusteella. (Cizek ym. 2010, s. 159 ja 169.) Itse- ja vertaisarvioinnin osuus saattaa olla vähäistä, eikä oppilailla teetetä projekteja tai portfolioita (Benzehaf 2017, s. 11).

Arviointikulttuuri rakentuu siitä, miten opettajat arvioivat ja muodostavat käsityksen arvioinnin merkityksistä. Kun opettajilla on yhteisiä linjauksia, oppilaita voi ohjata tunnistamaan ja kehittämään oppimistaan. Ei ole olemassa arviointitapoja, jotka tuntuisivat kaikkien mielestä saman tien reiluilta ja helpoilta. Koenumero tuntuu joskus turvalliselta, koska se koetaan objektiivisena, vaikka numeroarvioinnin kriteerit saattavat vaihdella jopa koulun sisällä, puhumattakaan laajemmasta koulujen välisestä vaihtelusta. (Ouakrim-Soivion luento Helsingin normaalilyseossa 2019.) Jotkut oppilaat kokevat oppimisprosessin ja osaamisensa ristiriitaisena, eikä oppimisen aikainen arviointi helpota ristiriitaisuuden kokemusta (Rainio & Marjanovic-Shane,  2013, s. 27).

Suomessa opettajien arviointiosaamista on tutkinut etenkin Najat Ouakrim-Soivio, jonka mukaan opettajien ja koulun arviointikulttuuri muodostuu opettajien arviointiajattelusta ja arviointiosaamisesta (Ouakrim-Soivio,  2016, s. 91). Ajankohtaista arviointikulttuurin tilannetta suomalaisissa kouluissa kuvaa laajasti Kansallisen koulutuksen arviointikeskuksen Karvin julkaisu (7: 2019).

Kansallisen koulutuksen arviointikeskuksen KARVIn suositukset tiedonkeruun pohjana

Suomalaisten koulujen arviointikulttuuria kartoitettiin laajalla kyselyllä, jonka tulokset julkaistiin keväällä 2019 nimellä ”Että tietää missä on menossa”, Oppimisen ja osaamisen arviointi perusopetuksessa ja lukiokoulutuksessa. Tutkimuksen toteutti Kansallisen koulutuksen arviointikeskus Karvi. Tutkimukseen osallistui yli 8000 vastaajaa, joilta kysyttiin arvioinnin toteutumisesta oppilaitoksissa. Tutkimuksessa tarkastellaan opettajien arviointimenetelmiä, arviointikäytänteitä ja koulun arviointikulttuuria. Arviointitaitoihin liittyvän kyselyn tulokset osoittavat puutteita sekä opettajien että opetuksen ja koulutuksen järjestäjien arviointiosaamisessa ja koulujen arviointikulttuurissa. Tulosten perusteella Karvi antoi opettajille ja koulun johdolle suosituksia arvioinnin kehittämiseksi ja arviointikulttuurin yhtenäistämiseksi. Niistä julkaistu tiivistelmä (Karvin julkaisu 6:2019) ohjeistaa monipuoliseen arviointiin ja arviointikulttuurin kehittämiseen.

Koulujen on sekä opetussuunnitelman perusteiden että Karvin tutkimuksen mukaan pyrittävä määrittelemään entistä avoimemmin arviointikulttuurinsa ja perusteltava se sekä oppilaille ja opiskelijoille että huoltajille. Tämä edellyttää, että opettajat ja rehtorit pohtivat arviointia yhdessä.

Opettajia kehotetaan ja velvoitetaan korostamaan sekä oppilaan aktiivista toimijuutta yksilönä että yhdessä tekemisen ja vuorovaikutuksen merkitystä oppimisprosessissa ja arvioinnissa. Oppijan aktiivinen rooli siis korostuu entisestään, ja opettajilla on tärkeä tehtävä jokaisen oppilaan oppimisen mahdollistajina. Opetussuunnitelman perusteiden edellyttämät vuoropuhelu, erehtyminen, ihmettely ja yhteisen tiedon rakentaminen mahdollistuvat vain, kun oppimisen mittaamiseen käytetään monipuolisia arviointitapoja ja kun olemme ennen kaikkea tietoisia siitä, mitkä arvioinnin tavoitteet ja tehtävät ovat.

Opettajan oma oppimiskäsitys vaikuttaa tietenkin arviointiajatteluun, mutta hyvä oppimisen ja osaamisen arviointi on aina reilua, oikeudenmukaista, validia ja reliaabelia, läpinäkyvää, motivoivaa ja riittävän vaativaa, jotta oppilas voi osoittaa erinomaisuutensakin. Opettajien arvioinnin yhdenmukaisuus on yksi arvioinnin luotettavuuden mittareista, vaikka arviointiin vaikuttavat aina myös subjektiiviset tekijät, kuten ilmenee esimerkiksi S2-oppilaiden arviointiraportista (Kuukka & Metsämuuronen, 2016, s. 149–151).

Arvioinnista puhuttaessa ei siis voi sivuuttaa sitä, että arviointi on aina subjektiivista. Jo opettajan kaksoisrooli sekä ohjaajana että arvioijana tekee arvioinnista haastavaa. Vaikka objektiiviseen arviointiin on syytä kaikissa yhteyksissä pyrkiä, tavoite ei aina toteudu. Opettajat kuitenkin todennäköisesti pyrkivät antamaan arvosanoja oikeudenmukaisin perustein ja usein myös perustelemaan arvosanan muodostuminen kriteerien ja tavoitteiden avulla. Kriteerien tuntemus turvaa jo pitkälti reiluuden, vaikka arviointityötä tekevät opettajat ovat arviointiajattelussaan ja –käytänteissään eri vaiheissa ammatillisesti ja koulutuksen suhteen. (Hargreaves, 2005, s. 982.) Suomalaisen arvioinnin ongelma on, että arvioinnin periaatteissa ja kriteereissä on paikallista vaihtelua ja että summatiivinen ja formatiivinen arviointi sekoitetaan (Vitikka OPH:n asiantuntijaseminaarissa 11.12.2019).

Karvin julkaisussa on annettu kyselyn perusteella arviointia koskevia kehittämisehdotuksia. Poimimme julkaisusta omien haastattelukysymystemme pohjaksi opettajia koskevat suositukset:

  1. Opettajien tulee monipuolistaa arviointimenetelmiä niin, että ne lisäävät oppimisprosessien läpinäkyvyyttä, mahdollistavat osaamisen osoittamisen eri tavoin ja kannustavat opiskelua.
  2. Opettajien tulee vakiinnuttaa oppimisen tavoitteisiin ja kriteereihin perustuvaa arviointia sekä yhdessä rehtoreiden kanssa lisätä niitä koskevaa tietämystä myös oppijoiden ja huoltajien keskuudessa.
  3. Opettajien tulee kehittää oppijan arviointiosaamista erityisesti itse- ja vertaisarviointitaitoja ohjaamalla ja osallisuutta vahvistamalla.

Haastateltavana helsinkiläisiä opettajankouluttajia

Karvin suositusten pohjalta haastattelimme koulumme opettajia heidän arviointikäytänteistään toukokuussa ja syksyllä 2019 saadaksemme vastauksia arviointia koskeviin kysymyksiin. Halusimme selvittää, miten opettajat ovat toteuttaneet opetussuunnitelman perusteiden ja Karvin suositusten mukaista monipuolista arviointia yläkoulun opetuksessaan. Kysyimme muun muassa, minkälaisia arviointimenetelmiä he ovat käyttäneet, ovatko heidän arviointitapansa muuttuneet viime vuosina ja onko heidän ajattelunsa arvioinnin suhteen muuttunut. Kysyimme myös, miten opettajat esittelevät oppilaille opiskelun tavoitteet ja arvioinnin kriteerit ja miten he ovat järjestäneet itse- ja vertaisarvioinnin. Keskustelimme siitä, kuinka opettajat dokumentoivat oppimista, osaamista ja työskentelyä. Kysyimme myös, mitä ajatuksia haastateltavilla on huoltajien osuudesta arviointiprosessissa. Pohdimme myös, mitä omia vahvuuksiaan opettajat ovat hyödyntäneet arviointia kehittäessään ja oppilaiden kanssa toimiessaan.

Haastateltuja on kahdeksan, ja lisäksi aineistona on omia arviointikokeilujamme. Valitsimme opettajat niin, että mahdollisimman moni oppiaine on edustettuna. Referoimme haastateltavien ajatukset äänitiedostoista teksteiksi ja analysoimme aineistosta opettajien erilaisia arviointimenetelmiä ja vahvuuksia teemoittain.

Tuloksia: Opettajat arvioijina

Keskeisin tulos on, että kaikki haastattelemamme opettajat arvioivat sekä oppimista että osaamista ja kaikki ovat kokeilleet monipuolisesti erilaisia arviointimenetelmiä. Oppiaineiden välillä on eroja painotuksissa, mutta lukuvuosi- tai päättöarvosanoja ei kukaan haastatelluista anna pelkkien summatiivisten kokeiden perusteella.

Haastattelemamme opettajat arvioivat oppimista sekä formatiivisesti että summatiivisesti. He arvioivat useampia sekä yksilöllisiä ja itsenäisesti tehtyjä suorituksia että ryhmätyönä tehtyjä tehtäviä jokaisen jakson aikana.     Jokaisen haastatellun arviointi perustuu vuorovaikutukseen. Opettajat antavat tuntipalautetta ja toteuttavat arviointikeskusteluja.

Opettaja N kertoo esimerkiksi, miten palautteen antaminen perustuu ryhmän luottamuksellisuuteen:

Koska ne usein tulee teatteria tekemään sillä ajatuksella, että ohjaaja sanoo, että miten sinä kävelet tuosta ja sitten sinä otat vasemmalla kädellä – ei silleen, niin minä en halua ohjata vaan että ne itse tuottaa sen ja mä kerron miltä se näyttää, kun nehän ei itse näe. Niin että siinä se palautteen antaminen liittyy orgaanisesti koko prosessiin ja se pitää tehdä tosi selväksi ja näkyväksi heti alkuun, että millä tavalla se toimii, koska se palaute menee siinä koko ajan, kun me annetaan palautetta toisillemme ja yhdessä. Tarkoitus rakentaa luottamus ryhmässä, ryhmän sisään, ja että siellä voi sanoa ja tehdä asioita, ja sen jälkeen se palautteen antaminen ei ole mikään ongelma, koska voin sanoa ihan suoraan että hei, tuo ei nyt toimi, kokeiles uudella tavalla.

Taito- ja taideaineiden opettaja K kertoo, että arviointi on monitasoista ja siihen osallistuvat kaikki työskentelyn eri vaiheissa:

Monipuolinen arviointi tapahtuu monella tasolla eri ajankohtina – opettaja, oppilas, ryhmät, parit arvioivat. Pientä ohjausta siihen tarvitaan, että mitä kerrotaan ja millaista palautetta voidaan antaa – mutta ne ovat yllättävän hyviä hetkiä, hyvää puheensorinaa kuuluu, ja sitä on myös opettajana hyvä kuunnella, että mitä oikeastaan puhutaan. Sitten tuossa ehkä jakson puolivälissä oppilaat usein kirjoittavat jonkinlaisen pienen palautteen siitä omastansa, tai sitten ne tekevät videohaastatteluita, se on tämän vuoden uutuus, että he haastattelevat toisiaan. Ne on olleet hyviä sessioita. Me katsotaan niitä sitten yhdessä. Minä saatan laittaa palautteen siihen videojuttuun. Mehän dokumentoidaan koko ajan tekemistä Seasaw-alustalle. 

Oppilaan motivoitumisen kannalta pidetään tärkeänä, että jokainen voi edetä välillä yksilöllisesti. Opettajat ohjaavat oppilaita erilaisten arviointimenetelmien käytössä, ja itse- ja vertaisarviointitaitoja harjoitellaan. Esimerkiksi kieltenopettaja kertoi, että oppilaiden esityksistä annetaan sekä suullista että kirjallista vertaispalautetta opiskeltavalla kielellä. Matemaattisten aineiden opettaja sanoi käyttävänsä erilaisia itsearviointitestejä opiskelun edistymisen näkyväksi tekemiseen oppilaille.

Myös arviointi- ja opetuskeskustelut koetaan mielekkäinä, vaikka ne ovat aikaa vieviä. Keskustelujen kahden kesken tai pienissä ryhmissä koetaan edesauttavan yksilöllisten tavoitteiden asettamista. Keskustelut sijoittuvat suurimmaksi osaksi oppitunneille.

Haastatteluista ilmeni, että koulumme opettajat käyttävät paljolti samankaltaisia menetelmiä eri oppiaineissa. Erityisesti korostui oppilaiden osallistaminen ja aktivointi niin arvioinnissa kuin muutenkin opiskelussa. Oppilaat tai vanhemmat eivät osallistu arviointiprosessin suunnitteluun.

Koulussamme annetaan vuosittain henkilökohtainen sanallinen jaksoarviointi jokaiselle oppilaalle. Arviointi lähetetään kotiin huoltajien kommentoitavaksi. Sanallisen arvioinnin antamiseksi koulussa on laadittu kriteerit, joissa pidetään tärkeänä muun muassa kannustavaa palautetta. Arvioinnissa tulisi korostua oppilaan myönteisen minäkuvan kehittymisen tukeminen, sanoo kielten opettaja. Taito- ja taideaineiden opettaja taas sanoo, että ”positiivisella palautteella voi tehdä ihmeitä. Oppilaan motivaatio voi kasvaa valtavasti”.

Myös palautteen vastaanottamisen harjoittelua pidettiin tärkeänä. Opettajat jakavat ajatuksen siitä, että täydellinen ei tarvitse olla ja keskeneräisyys on sallittua mutta oppijan tulee omaksua asenne, jonka mukaan ponnistelemalla ja tarkastelemalla saamaansa palautetta voi kehittyä ja oppia lisää.

Opettajan jaksamisesta ja arviointiin tarvittavan ajan löytymisestä puhuttiin paljon. Luonnontieteiden opettaja kertoi laativansa tarkan ”arviointiaikataulun” koko jaksolle. Tämä auttaa selviytymään sellaisista jaksoista, joihin sisältyy paljon ja monenlaista arvioitavaa. Matemaattisten aineiden opettaja taas sanoi tekevänsä koko jakson ajan − aina kun se on mahdollista − havaintoja, muistiinpanoja ja dokumentointia, jotta palautteen antaminen ja arviointi jakson lopussa sujuisi helposti. Todettiin myös, että itseltään ei kannata vaatia liikaa. Joissain jaksoissa arvioidaan enemmän ja monipuolisesti, toisissa vähemmän ja yksinkertaisemmin.

Tavoitteiden ja arviointikriteerien selkiyttämistä oppilaille pidettiin tärkeänä. Se tuo luotettavuutta ja oikeudenmukaisuutta arviointiin. Myös oppilaiden omien tavoitteiden laatimista tiettyihin projekteihin, työskentelyyn tai koko jakson sisältöjen osaamiseen on harjoiteltu. Katsomusaineiden opettaja puhui muutenkin eriyttämisen tärkeydestä. Kun oppilaan opiskelua eriytetään, on eriyttäminen huomioitava myös arvioinnissa. On tarjottava vaihtoehtoisia tapoja osoittaa osaamistaan, esimerkiksi suullisesti kirjallisen tuotoksen sijaan.

Aineistossa on myös erilaisia käytännön esimerkkejä, joita opettajat ovat kehittäneet ennen kaikkea omien vahvuuksiensa pohjalta. Nämäkin haastattelut osoittivat, kuinka monin eri tavoin arviointia voi tehdä. Rohkea kokeileminen ja haasteiden eteen ponnistelu tuottaa aina jossain vaiheessa hyviä tuloksia ja tervettä uudistumista.

Haastateltujen hyvät arviointimenetelmät voidaan jakaa kolmeen pääteemaan: vuorovaikutukseen liittyvät, teoriatuntemusta vaativat sekä yhteisöllisyyteen ja sosiaaliseen oppimiseen liittyvät menetelmät. Palautteen antamisessa opettajien menettelytavat saattavat vaihdella hyvinkin selvästi: toinen ehtii keskustella oppilaiden kanssa ja antaa keskustelevaa palautetta, toinen taas dokumentoi oppimista ja osaamista tarkoin muistiinpanoin ja kirjoittaa niiden pohjalta palautetta oppilaille. Kummakin tavalla oppilas voi saada yhtä arvokasta palautetta, kunhan se on monipuolista.

Pohdintaa

Opetussuunnitelman perusteet 2014 tiivistää arvioinnin ydinajatuksen arvioinnin vuorovaikutuksellisuuteen. Jotta vuorovaikutus olisi luontevaa, sen täytyy perustua dialogiin eli tasavertaiseen ajatusten vaihtoon (Ouakrim-Soivion luento 7.9.2019). Tällaista dialogia käydään tutkimuksemme mukaan Helsingin normaalilyseon opettajien ja oppilaiden välillä. Opettajat arvioivat oppimista ja osaamista tasavertaisissa vuorovaikutustilanteissa ja oppilaat uskaltavat antaa palautetta opettajille.

Opettajina meillä on arviointityössä samoja haasteita kuin työelämässä yleensä. Olemme kaikki yksilöitä ja koemme mielekkääksi työn, johon pystymme vaikuttamaan. Haluamme tehdä työtä luovasti ja muokata käytänteitä omien vahvuuksiemme pohjalta. Sosiaalipsykologian professori Jari Hakanen onkin tuonut esiin, kuinka myönteisiä vaikutuksia työntekijän oma-aloitteisilla toimilla on työn mielekkyyden ja merkityksen lisäämiseksi. Työtä ja työtapoja voi muokata sellaisiksi, että ne vastaavat omia vahvuuksia. (Jari Hakasen haastattelu Helsingin Sanomissa 13.5.2018.) Haastattelut osoittavat, että koulumme opettajilla on halua oma-aloitteisuuteen ja uudistumiseen. Arviointikulttuurin kehittäminen alkaa ajatusten jakamisesta. Arviointikeskustelun tueksi tarvitaan lisää systemaattisesti kerättyä tietoa opettajien arviointiajattelusta.

Lähteet

Anderson, L. W., Krathwohl, D. R., Airasian, P.W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C. (toim.) 2001. A Taxonomy for Learning, Teaching, and Assessing. A Revision of Bloom’s Taxonomy of Educational Objectives. Abridged Edition. New York: Addison Wesley Longman.

Benzehaf, B. 2017. Exploring Teachers` Assessment Practices and Skills. International Journal of Assessmant Tools in Education. Vol. 4. Issue 1 (2017). Pp. 118.

Cizek, G.C., Fitzgerald, S.M. & Rachor, R.E. 1995/1996. Online 2010. Teachers` assessment practices: Preparation, isolation, and the kitchen sink. Educational Assessment 3(2), 159–179.

”Että tietää missä on menossa”. Oppimisen ja osaamisen arviointi perusopetuksessa ja lukiokoulutuksessa. 2019. KARVI (Kansallinen koulutuksen arviointikeskus) Julkaisut 7:2019.

Fulcher, G. 2012. Assessment literacy for the language classroom. Language Assessment Quarterly, 9, 113−132.

DeLuca, C., Valiquette, A., Coombs, A., LaPointe-McEwan, D. & Luhanga, U. Teachers’ approaches to classroom assessment: a large-scale survey. 2016. Pages 355375 | Received 11 Feb 2016, Accepted 30 Sep 2016, Published online: 31 Oct 2016

Guskey, T.R. 2012. The Rules of Evidence. www.learningforward.org. August 2012 Vol.33 No. 4.

Guskey, T.R. & Bailey, J.M. 2001. Developing Grading and Reporting Systems for Student Learning. Corwin Press.

Halinen, I., Hotulainen, R., Kauppinen, E., Nilivaara, P., Raami, A., Vainikainen, M-P. 2016. Ajattelun taidot ja oppiminen. Jyväskylä: PS-kustannus.

Jari Hakasen haastattelu Helsingin Sanomissa 13.5.2018.

Hargreaves, A. 2005. Educational change takes ages: Life, career and generational factors in teachers’ emotional responses to educational change. Teaching and Teacher Education 21 (2005) 967–983.

Kuukka, K. & Metsämuuronen, J. 2016. Perusopetuksen päättövaiheen suomi toisena kielenä (S2) -oppimäärän oppimistulosten arviointi 2015. Helsinki: Karvi.

Ouakrim-Soivio, N. 2016. Oppimisen ja osaamisen arviointi. Helsinki: Kustannusosakeyhtiö Otava.

POPS 2014. Perusopetuksen opetussuunnitelman perusteet.Määräykset ja ohjeet 2014:96. Helsinki: Opetushallitus.

Ouakrim-Soivio, N. Luento Helsingin normaalilyseossa 7.9.2019

Vitikka, E. Esitys OPH:n arvioinnin asiantuntijaseminaarissa 11.12.2019

Lukiolaiset historian lähteiden tulkitsijoina

Marko van den Berg, Helsingin normaalilyseo

 

Yhdysvaltalaisten tutkijoiden Weinburgin ja Reismanin (2015) mukaan erilaisten tekstien tulkitsemistaitoja painottavan historianopetuksen merkitys korostuu digitaalisen informaatiotulvan täyttämällä aikakaudellamme. Kun kuka tahansa voi tuottaa verkkoon tulkintoja menneisyydestä, kriittisen lukemisen taito on entistäkin tärkeämpää. Nuorten lähdekriittisissä valmiuksissa näyttää tutkimusten valossa olevan toivomisen varaa.  Nuorten on havaittu esimerkiksi suhtautuvan jopa hälyttävän kritiikittömästi verkossa esiintyviin historiallis-yhteiskunnallisiin väittämiin (Weinburg & Reisman, 2015; Hargittai, Fullerton, Menchen-Trevino & Thomas, 2010).  Tässä kirjoituksessa tarkastellaan sitä, millaisia näkökulmia vuonna 2016 käynnistynyt HisLit-hanke on tarjonnut siihen, miten historiaa opetetaan lukiossa ja miten lukio-opiskelijat suoriutuvat kriittisen ajattelun taitoja vaativista dokumenttitehtävistä. HisLit-hanke on Suomen akatemian rahoittama konsortioprojekti, johon osallistuu tutkijoita Helsingin ja Jyväskylän yliopistoista. Hankkeen keskeisenä tavoitteena on saada tietoa lukiolaisten taidoista tulkita dokumentteja ja siitä, miten paljon lukio-opetuksessa panostetaan kriittisen ajattelun taitojen kehittämiseen. Lisäksi tavoitteena on tuottaa erityisesti lukio-opetukseen soveltuvia kriittistä ajattelua kehittäviä aineistotehtäviä.

Historiallisen ajattelun taidot lukion opetussuunnitelman lähtökohtana

Suomalaisessa historian opetuksessa on 1990-luvulta lähtien siirrytty historian suurkertomusten opettamisesta kohti historiallisen ajattelun taitojen korostamista. Sellaisiin kuuluu esimerkiksi kyky hahmottaa erilaisia syy- ja seuraussuhteita sekä historiallisten toimijoiden intentioita (ks. esim. Veijola, 2016, 8). Muutoksen taustalla on laajempi kansainvälinen kehitys. Historianopetuksen perinteistä   roolia ryhdyttiin kyseenalaistamaan esimerkiksi Britanniassa jo 1970-luvulla (Rantala & Ahonen, 2015, 60-65). Vähitellen myös Suomessa keskiöön ovat nousseet erilaiset kriittisen ajattelun taidot. Historianopetuksen keskeiseksi tehtäväksi on alettu nähdä opiskelijoiden perehdyttäminen arvioimaan historiallisen tiedon luonnetta ja luotettavuutta (Ouakrim-Soivio, 2016, 296–297; Rantala & Ahonen, 2015).

Kriittisen ajattelun taidot nousevat vahvasti esille Vuonna 2016 Suomessa käyttöön otetussa lukion opetussuunnitelmassa. Lukion opetussuunnitelman perusteiden yleisessä osassa viitataan ns. monilukutaitoon. Käsite sulkee sisäänsä esimerkiksi sanalliset, kuvalliset ja auditiiviset viestit. (Opetushallitus, 2015, 38; ks. myös esim. Kupiainen, Kulju & Mäkinen, 2015; Ahvenisto, van den Berg, Löfström & Virta, 2013). Kriittinen lukeminen monilukutaidon osana tarkoittaa muun muassa kykyä tulkita erilaisia tekstejä ja arvioida niiden luotettavuutta tietoisena niiden tavoitteista ja konteksteista (Opetushallitus 2015, 25, 33). Lukion historian opetussuunnitelmien tavoitteissa ei mainita perusopetuksen opetussuunnitelman tapaan (2014) suoraan historian tekstitaitoja, mutta käsitteen voi ajatella sisältyvän myös lukion opetussuunnitelmaan (2015). Siinä historian opetuksen lähtökohdaksi määritellään historian luonne tieteenalana sekä tiedon luotettavuuden kriittinen arviointi. Tavoitteiden osalta opetussuunnitelmassa mainitaan esimerkiksi kyky rakentaa menneisyyttä koskevaa tietoa tarkoituksenmukaisia lähteitä käyttäen sekä kyky arvioida tietoa kriittisesti, sen monitulkintaisuuden ja suhteellisuuden ymmärtäen (Opetushallitus 2015, 170). Historian didaktiikassa käytetään historian tekstitaitojen käsitettä (historical literacy) historiallista ajattelua kuvattaessa.  Professori Arja Virran mukaan historian tekstitaidot voidaan määritellä erilaisten lähteiden todistusvoiman kriittiseksi arvioinniksi ja niiden keskinäiseksi vertailuksi (Virta 2007, 13–16; ks. myös Veijola 2016). Tutkijat nostavat keskiöön menneisyyden toimijoiden tuottaman lähdeaineiston ja sen tulkitsemisessa tarvittavat taidot (ks. esim. Lee, 2011; Barton & Levstik, 2009; Wineburg, 1991).

HisLit-hanke historian taitoja tutkimassa

Tutkittua tietoa siitä, missä määrin historian tekstitaitoja tukeva opetus näkyy lukiossa, on ollut viime vuosiin asti tarjolla niukasti. Useat pienehköillä aineistoilla tehdyt tutkimukset viittaavat siihen, että aineistopohjaiset dokumenttitehtävät ovat opiskelijoille haasteellisia (ks. esim. Rantala & van den Berg, 2013; Rantala & van den Berg, 2015). Vuonna 2016 käynnistyneen ja edelleen jatkuvan HisLit –tutkimusprojektin myötä käsitys historian taitojen osaamisesta on vähitellen syventynyt. Myös kuva historian oppitunneilla tyypillisesti käytettävistä työmuodoista on tarkentunut.  Teetimme vuonna 2017 eräässä hankkeeseen kuuluvassa tutkimuksessa muutamalle sadalle eri puolille Suomea opiskelleelle lukiolaiselle lähdekriittisiä taitoja mittaavaan aineistotehtävän (Ouakrim-Soivio & van den Berg 2018). Tutkimuksessa käytetyt aineistot liittyivät Yhdysvaltain presidentin Richard Nixonin ja pop-tähti Elvis Presleyn salalaiseen tapaamisen Valkoisessa talossa vuonna 1970. Opiskelijoiden tehtävänä oli arvioida erilaisiin lähteisiin ja taustatietoihin nojautuen tapaamisen motiiveja. Saadut vastaukset pisteytettiin sen mukaan, kuinka monipuolisesti ja taitavasti   opiskelijat olivat käyttäneet lähteitä arvioidessaan tapaamiseen johtaneita syitä.  Opiskelijoilta tiedusteltiin tutkimuksen yhteydessä myös erilaisia taustatietoja kuten aiemmin opiskeltuja historian kursseja ja niistä saatuja arvosanoja. Opiskelijoita pyydettiin myös arvioimaan Likert-asteikolla, kuinka tavallisesti erilaisia työmuotoja käytetään tunneilla. Myös ryhmien opettajilta kysyttiin samanlaisella lomakkeella oppitunneilla käytettävistä työmuodoista. Saatuja tuloksia analysoitiin sekä laadullisin että tilastollisin menetelmin.

Opiskelijat saivat aineistotehtävästä keskimäärin kohtuullisen hyviä pisteitä. Hyviä kurssiarvosanoja saaneet oppilaat saivat keskimäärin parempia pisteitä kuin heikompia arvosanoja saaneet.  Opetusryhmien väliset erot tuottamistehtävästä saaduissa keskimääräisissä pisteissä muodostuivat suuriksi. Pistemäärän ja suoritettujen pakollisten historian kurssien määrän välinen korrelaatio oli negatiivinen. Enemmän historian kursseja suorittaneet opiskelijat eivät siis menestyneet tuottamistehtävässä muita paremmin. Historian tunneilla käytettyjen työmuotojen osalta tulos oli selkeä: opiskelijat arvioivat erilaisten dokumenttien tulkitsemista vaativien tehtävien määrän johdonmukaisesti pienemmäksi kuin heidän opettajansa.

Vertailun vuoksi Nixon-Elvis -dokumenttitehtävä teetettiin myös suurehkolla ryhmällä ruotsalaislukiolaisia. Suomalaiset saivat dokumenttien tulkintatehtävästä keskimäärin selvästi parempia pisteitä kuin ruotsalaiset. Toisaalta opetusryhmien väliset erot olivat Suomessa huomattavasti suurempia kuin Ruotsissa. Suomen tuloksissa kiinnitti huomiota myös tyttöjen ja poikien keskimääräisten pisteiden huomattavan iso ero tyttöjen hyväksi. Ruotsissa pojat menestyivät jonkin verran tyttöjä paremmin, mutta erot olivat pieniä (van den Berg & Ouakrim-Soivio, 2018).

Eräässä toisessa lukiolaisilla teetetyssä tutkimuksessa Hislit-hankkeen tutkijat puolestaan sovelsivat tutkimustulosten analysoinnissa VanSledrigtin ja Afflerbachin (2005) kehittämää kognitiivisten aktiviteettien jaottelua.  Tutkimuksessa lukiolaiset tulkitsivat erilaisia kylmään sotaan liittyviä lähteitä ja pohtivat lähteiden tuottajien intentioita. Vastaukset luokiteltiin Vansledrightin ja Afferbachin kehittämällä mallilla, jossa edetään aloittelijatasolta kohti kognitiivisesti vaativampia suorituksia. Valtaosa tutkimukseen osallistuneista lukiolaisista jäi lähteiden tulkitsijoina noviisitasolle. Näillä opiskelijoilla oli esimerkiksi suuria vaikeuksia hahmottaa sitä, että kylmän sodan osapuolten tuottamat aineistot eivät ole neutraalia informaatiota (Rantala & Veijola, 2016).

HisLit-hankkeen tutkijat kävivät havainnoimassa historian oppitunteja.  Tuntien seuraamisen ohella tutkijat keskustelivat seuraamiensa ryhmien opettajien kanssa muun muassa historianopetuksen haasteista. Tyypillisesti lukion opettajat kokivat käsiteltäviä asioita olevan hyvin paljon oppituntien määrään nähden. Siksi lähdetehtäviin tai tiedon kriittiseen punnitsemiseen ei välttämättä jäänyt kovin paljoa aikaa.  Tutkijoiden havaintojen mukaan opetus vaikutti ammattitaitoiselta, mutta opettajien kokema kiire näytti heijastuvan tapaan, jolla kriittisen ajattelun elementtejä sisältäviä harjoituksia tehtiin.  Aikaa opiskelijoiden omaan itsenäiseen pohdintaan jäi niukasti.

Tutkimustuloksia

Kun Hislit-hankkeen myötä saatuja havaintoja kootaan, voidaan päätellä, osa tutkituista opiskelijoista ei osannut työskennellä lähdetehtävien parissa niin taitavasti kuin olisi toivottavaa. Opetusryhmien väliset taitoerot olivat merkittäviä. Ongelmiin dokumenttiopetuksen laadussa viittaa esimerkiksi aiemmin tässä kirjoituksessa kuvattu tutkimus, jossa aineistotehtävien tekemiseen osallistuneiden lukio-opiskelijoiden tulokset eivät olleet yhteydessä suoritettujen historian kurssien määrään. Tulos on yllättävä, sillä historian opetussuunnitelman sisään rakennettuna ajatuksena on ollut, että historiallisen ajattelun taidot kumuloituvat, kun kokemus lähteiden tulkitsemisesta karttuu.  Tämä voi olla signaali siitä, että taitojen opettamisessa on puutteita tai ainakin merkittävää vaihtelua opetusryhmien välillä.

Myös opiskelijoiden opettajistaan poikkeavat arviot historiallisen ajattelun taitoja kehittävien tehtävien osuudesta opetuksessa viittaavat samaan suuntaan. Samankaltaisia havaintoja on tehty aiemmin peruskoulun puolella. Vuonna 2012 julkaistussa peruskoulun päättövaiheen osaamistasoa arvioineessa tutkimuksessa havaittiin, että opettajat arvioivat historiallisten lähteiden käyttöön harjaannuttavien työtapojen osuuden historian oppitunneilla merkittäväksi suuremmaksi kuin heidän oppilaansa (ks. Ouakrim-Soivio & Kuusela 2012, 39). Eräs mahdollinen selitys erolle on se, että opettajat saattavat vastata tutkimuskyselyihin oletettujen odotusten mukaisesti. Koska opetussuunnitelmissa painotetaan historian taitojen merkitystä, osa opettajista saattaa korostaa näitä vastauksissaan.  Toinen mahdollinen selitys on, että opiskelijat eivät aina välttämättä tunnista, milloin oppitunneilla harjoitellaan historiallisten lähteiden käyttöä. Dokumenttitehtävien määrän ja systemaattisuuteen niiden parissa työskentelyssä tulisi kiinnittää huomiota.

Tutkimustulosten valossa oppikirja vaikuttaa edelleen olevan opetuksen keskeinen jäsentäjä. Tämä kävi ilmi esimerkiksi, kun tutkituilta lukiolaisilta kysyttiin, mitä oppitunneilla tehdään. Myös tutkijoiden seuraamat oppitunnit paljastivat, että oppikirja viitoittaa vahvasti opetusta. Oppikirjojen tekstit ovat periaatteessa laadukkaita, mutta ongelma piilee niiden luonteessa. Suomalaisille historian oppikirjoille on edelleen tyypillistä keskittyminen vahvasti historian asiasisältöihin. Mikäli oppikirjoissa nostetaan esille historian lähteitä, niitä käytetään usein pikemminkin tapahtumien kuvittajina kuin kannustajina opiskelijoiden omaan kriittiseen ajatteluun (Rantala & Ahonen, 2015). Jos opettaja siis noudattaa tiukasti oppikirjan tarjoamaa jäsentelyä, opetus saattaa helposti muovautua hyvin sisältöpainotteiseksi.

Johtopäätöksiä

Dokumenttiopetuksessa suomalaisessa historian lukio-opetuksessa on haasteita, jotka näyttävät liittyvän osittain siihen, missä määrin ja miten kriittisen ajattelun taitoja opetetaan. Myös historian opetuksen rakenteisiin liittyvät tekijät vaikuttanevat dokumenttiopetuksen määrään. Kurssien sisällöt ovat säilyneet erittäin laajoina. Tämä saattaa muodostaa ainakin osalle opettajista vaikeasti ratkaistavan yhtälön: kuinka käydä läpi sisällöt riittävän perusteellisesti ja opettaa samalla historiallisen ajattelun taitoja?  Osa opettajista saattaa valintatilanteessa jättää taitopainotteisen opetuksen vähemmälle ehtiäkseen käymään läpi kaikki kurssien sisällöt.  Valmista lähdepohjaista opetusmateriaalia on tarjolla niukasti. Tässä tilanteessa monet opettajat turvautuvat oppikirjaan. Tutkimustulosten perusteella voidaan olettaa, että historian taitoihin liittyvä dokumenttityöskentely ei välttämättä ole kaikkien opetusryhmien osalta säännöllistä ja strukturoitua. Erilaisia historiallisia lähteitä saatetaan kyllä nostaa opetuksessa esille, mutta niihin syventyminen jää tekemättä.

Hislit-tutkimustulokset kertoivat myös huomionarvoisista eroista tekstidokumenttien tulkintataidoissa poikien ja tyttöjen väillä. Peruskoulun osalta on tuoretta tietoa siitä, että Suomessa tyttöjen ja poikien osaamiserot ovat kansainvälisessävertailussa huomattavan suuria (Jyväskylän yliopisto 2017). Kattavaa selitystä ilmiölle ei toistaiseksi ole pystytty antamaan eikä sitä voi antaa myöskään HisLit-hankkeen tutkimustulosten pohjalta.  Asiaa kannattaa joka tapauksessa seurata ja siihen tulee kiinnittää myös tutkimuksellista mielenkiintoa erityisesti, jos lukioista saadaan lisää samansuuntaisia tutkimustuloksia. Suomalalaisesta historianopetuksesta ei ole syytä maalata ylenpalttisen pessimististä kuvaa.  Siirtyminen valmiin kaanonin opettamisesta kohti taitopainotteisuutta ei ole ollut maailmallakaan helppoa. Taitojen ja sisältöjen opettamisen välinen jännite ja aiheen ympärillä käyty kriittinen keskustelu ovat tuttuja esimerkiksi Britanniassa. Siellä taitopainotteista historianopetusta kritisoitiin erityisesti 1980-luvulla, mutta vilkasta keskustelua aiheen ympärillä on riittänyt tämänkin jälkeen (Rantala 2015).  Paljon aikaa vievän taitopainotteisen opetuksen on pelätty johtavan hajanaiseen historiakuvaan, jossa kokonaiskuva menneisyydestä jää hataraksi. Kriitikot ovat varoitelleet myös suurten kansallisten kertomusten häivyttämisen vaarantavan kansallisen yhtenäisyyden.

Kriittisen ajattelun taitoja korostava opetus on noussut historian didaktiikan keskiöön Suomessa vasta muutama vuosikymmen sitten. On hyväksyttävä, että muutoksen koko historianopetuksen kentän kattava läpäisy vaatii paljon aikaa, näin on ollut myös muualla. Weinburg ja Reisman (2015) korostavat, ettei taitopainotteiden historianopetuksen ideana ole kouluttaa kaikista nuorista historiantutkijoita vaan kriittisesti oman aikakautensa ilmiöihin suhtautuvia. Ajattelun taitojen korostaminen ei siis merkitse, etteikö myös sisältötiedolla olisi edelleen merkitystä historian opetuksessa. Edelleen Weinburg ja Reisman (2015) painottavat, että historiallisten tekstien tulkitseminen edellyttää kykyä sitoa ne kulloiseenkin historialliseen kontekstiin. Tämä vaatimus erottaa osaltaan historian tekstitaidot geneerisistä lukemiseen liittyvistä taidoista. Taidot ja sisällöt eivät kuitenkaan ole toisiaan poissulkevia historianopetuksen osa-alueita. Pikemminkin ne tukevat toisiaan ja molempia tarvitaan historian opetussuunnitelmien tavoitteiden toteuttamisessa.

Lähteet

Ahvenisto, I., van den Berg, M., Löfström, J. & Virta A. (2013). Kuka oikeastaan asettaa opetuksen tavoitteet? Yhteiskuntaopin taidolliset tavoitteet ja niiden arviointi opetussuunnitelmien perusteissa ja ylioppilastutkinnossa. Kasvatus & Aika 7 (3), 40–55.

Barton, K. C. & Levstik, L. S. 2009 [2004]. Teaching History for the Common Good. New York: Routledge.

Hargittai E., Fullerton L., Menchen-Trevino E., Thomas K. (2010). Trust online: Young adults’ evaluation of web content. International Journal of Communication 4, 468–494.

Kupiainen, R., Kulju, P. & Mäkinen, M. (2015). Mikä monilukutaito? Teoksessa Kaartinen, Tapani (toim.), Monilukutaito kaikki kaikessa. Tampere: Tampereen yliopiston normaalikoulu, 13–24.

Lee, P. (2011). Historical Literacy and Transformative History. Teoksessa Perikleous, Lukas & Shemilt, Denis (toim.), The Future of the Past: Why History Education Matters. Nicosia: Association for Historical Dialogue and Research, 129–154.

Opetushallitus. (2014). Perusopetuksen opetussuunnitelman perusteet 2014. Helsinki: Opetushallitus.https://www.oph.fi/download/163777_perusopetuksen_opetussuunnitelman_perusteet_2014.pdf [Luettu 20.7.2019.]

Opetushallitus (2015). Lukion opetussuunnitelman perusteet 2015. Helsinki: Opetushallitus. https://www.oph.fi/download/172124_lukion_opetussuunnitelman_perusteet_2015.pdf. [Luettu 20.7.2019]

Ouakrim-Soivio, N. (2016).  Historian opetuksen tavoitteet ja sisällöt muuttuvat – entä niiden arviointi? Historiallinen aikakauskirja 114 (3), 293-305.

Ouakrim-Soivio, N. & van den Berg, M. (2018). Lukiolaiset historian lähteiden tulkitsijoina Kasvatus & Aika. 12 (3), 33-48.

Rantala, J. & van den Berg, M. 2013. Lukiolaisten historian tekstitaidot arvioitavina. Kasvatus 44 (4), 394–407.

Rantala, J. & van den Berg, M. (2015). Finnish High School Students’ and University Students’ Ability to Handle Multiple Source Documents in History. Historical Encounters 2 (1), 70–88.

Rantala, J. & Ahonen, S. (2015). Ajan merkit: Historian käyttö ja opetus. Helsinki: Gaudeamus.

Rantala, J. & Veijola, A. (2016). Historiallisen tiedonmuodostuksen periaatteet hukassa. Tapaustutkimus nuorten historian tekstitaidoista. Historiallinen aikakauskirja114(3), 267-277.

Rantala, J. & Oukrim-Soivio, N. (2016). Opettajien näkemyksiä historian opetussuunnitelmaperusteista. Ainedidaktiikka 2 (2), 2-20.

Syrjäläinen, E. (1994). Koulukohtainen opetussuunnitelmatyö ja koulukulttuurin muutos. Helsinki: Helsingin yliopiston opettajankoulutuslaitos.

VanSledright B. & Afflerbach P. (2005). Assessing the status of historical sources. An exploratory study of eight US elementary students reading documents. Teoksessa Rosalyn Ashby Rosalyn, Gordon Peter &  Lee Peter(toim.) Understanding history. Recent research in history education. Routledge Falmer, 1–20.

Veijola, A. (2016). Historiatietoisuus, historiallinen ajattelu ja historian tekstitaidot: Uuden opetussuunnitelman moninaiset lähtökohdat. Kasvatus & Aika 10 (2), 6–18.

Wineburg, S. (1991). On the reading of historical texts: Notes on the breach between school and academy. American Educational Research Journal 28 (3), 319–346.

Wineburg S. & Reisman A. (2015) Disciplinary Literacy in History (2015) A Toolkit for Digital Citizenship. Journal of Adolescent & Adult Literacy 58 (8), 636-639.

Virta, A. (2007). Historical Literacy: Thinking, Reading and Understanding History. Tidskrift för lärarutbildning och forskning 14 (4), 11–27.