Opettajat ja erityisopettajat käyttävät työssään paljon erilaisia mittareita ja testejä oppilaiden taitotason määrittämiseen ja taitojen kehittymisen seuraamiseen. Testituloksilla on merkittävä rooli myös silloin, kun tehdään päätöksiä oppilaan tukitoimista ja tuentarpeesta. Siksi opettajan on todella tärkeää tietää ja ymmärtää, mitä taitoja käytetty mittari todella mittaa, millaisia johtopäätöksiä sen perusteella voi tehdä ja kuinka luotettava testin tulos on.
Tavoite: Tämän tutkimuksen tavoitteena oli tutkia opettajien käyttämien matemaattisten taitojen mittareiden luotettavuutta, siis reliabiliteettia (mittauksen tarkkuus, virheettömyys, pysyykö testin tulos samana kun mittaus toistetaan) ja validiteettia (mittaako mittari mitä sen pitäisi, siis matemaattisia taitoja). Tutkimukseen otettiin mukaan 9-12-vuotiaille oppilaille tarkoitetut mittarit.
Menetelmä: Tutkimus tehtiin systemaattisena kirjallisuuskatsauksena ja tieteellisiä artikkeleita haettiin seuraavista tietokannoista: Cinahl, Embase, ERIC, PsychINFO ja PudMed. Artikkelien haku tehtiin maaliskuussa 2020 ja tutkimuksen alkuvaiheessa kaikki sitä ennen julkaistut artikkelit otettiin mukaan. Myöhemmin tutkimuksessa rajattiin pois kaikki ennen vuotta 2000 julkaistut artikkelit ja mittarit, jotta artikkelien ja tutkittavien mittareiden määrää saatiin pienemmäksi. Tullakseen valituksi mukaan tutkimukseen, artikkelin piti olla englanninkielinen, vertaisarvioitu ja käsitellä 9-12-vuotiaille tarkoitetun ja koulussa käytetyn matemaattisten taitojen mittarin luotettavuutta. Tutkimuksen tekemiseen ja raportointiin käytettiin menetelmää ja ohjeistusta nimeltä PRISMA-P, 2015 (Preferred reporting items for systematic review and meta-analysis protocols). Luotettavuuteen liittyvien käsitteiden määritelmät ja luokittelut ovat COSMIN:in (Consensus-Based Standards for the Selection of Health Measurement Instruments) ohjeiden mukaiset.
Systemaattisessa haussa löytyi yhteensä 4763 artikkelia, joiden tiivistelmät kaksi arvioijaa kävi itsenäisesti läpi ja päätteli, pitääkö artikkeli ottaa mukaan tutkimukseen vai ei, siis täyttääkö artikkelin tiivistelmä tutkimuksen mukaanottokriteerit. Tiivistelmävaiheesta jatkoon pääsi 921 artikkelia, jotka kaksi arvioijaa kävi kokonaan läpi. Arvioitsijoiden tuloksia verrattiin viikoittain ja ristiriitatilanteissa yhteisymmärrykseen päästiin keskustelemalla ja kolmannen arvioitsijan avulla. Lopulta tutkimukseen pääsi mukaan yhteensä 15 artikkelia, joista 13 oli alkuperäisestä hausta ja kaksi lisäartikkelia löytyi artikkelien lähdeluettelojen läpikäynnin yhteydessä. Näistä artikkeleista etsittiin ja syötettiin Excel-taulukkoon yhteensä kuusi mittarin luotettavuuteen liittyvää ominaisuutta, kolme validiteettiin ja kolme reliabiliteettiin liittyvää ominaisuutta.
Tulokset ja johtopäätökset: Vain yhdelle mittarille oli löydettävissä artikkeleista kaikki kuusi luotettavuuteen liittyvää ominaisuutta, mutta kyseinen mittari mittaa hyvin kapea-alaista matematiikan osa-aluetta, yhtäsuuruuden ymmärtämistä. Kahdelle mittarille oli raportoitu artikkeleissa tutkimustuloksia liittyen viiteen luotettavuuden ominaisuuteen. Noin puolet luotettavuuteen liittyvistä ominaisuuksista oli kokonaan raportoimatta tämän tutkimuksen mittareille. Matemaattisten mittareiden luotettavuus on siis rajallinen ja tiedot mittarien luotettavuudesta ja käytettävyydestä ovat vaillinaisia, koska puuttuvia tietoja on niin paljon. Tarvitaan vielä paljon matemaattisten taitojen mittareiden luotettavuuden tutkimusta, jotta saamme opettajille käyttöön tutkimusnäyttöön perustuvia luotettavia mittareita.
Annukka Relander
Validity and reliability evidence of numeracy measures used in elementary school for children aged 9 to 12 Years: A Systematic Review