Itsearvioinnin luotettavuus

Kansallinen koulutuksen arviointikeskus (Karvi) on laatinut varhaiskasvatuksen laadun indikaattorit varhaiskasvatukselle. Näiden indikaattorien perusteella Karvi laati itsearviointiin perustuvan kyselyn varhaiskasvatuksen henkilöstölle, jonka tulokset on juuri raportoitu. Karvi esittää tulosten perusteella myös kehittämisehdotuksia. Mutta miten luotettavaa on laadun arviointi itsearvioidulla kyselyllä? Karvi ei mitenkään arvioi oman kyselynsä luotettavuutta. Mari Sillman tuo tähän päivänpolttavaan kysymykseen näkökulman. Sillman on laatinut Karvin indikaattoreista kriteerit, joiden toteutumista kunkin ryhmän kaksi opettajaa arvioi tietämättä toinen toistensa arvioinneista. Sillman vertaa ryhmän kahden opettajan arviointien samankaltaisuutta. Näin saadaan käsitys arviointien luotettavuudesta. Jos ryhmän opettajapari arvioi oppimisympäristöä samalla tavalla, mittarin voi katsoa mittaavan yhdenmukaisesti ryhmän toimintaa. Indikaattoreiden arviointi yhdellä kyselylomakkeella on tämän tutkielman tulosten perusteella haastavaa, lähes mahdotonta. Indikaattoreita tulisikin arvioida monimenetelmällisesti. Onkin huolestuttavaa, että Suomen arvioinnista vastaava Karvi ei tee lainkaan luotettavuusarviota, ei tee kunnollista esitestausta kyselylleen, ei selvitä kysymysten keskinäisiä riippuvuuksia eikä vertaa tuloksia muihin mittareihin tulosten pätevyyden (validiuden) selvittämiseksi. Karvi ei toteuta itse peräänkuuluttamiaan arvioinnin periaatteita. Metsämuurosen (2011) mukaan arvioinnin tulisi perustua osioiden kriittiseen tarkasteluun (validointi ja editointi asiantuntijamenettelynä), mutta osioiden kriittistä tarkastelua ei ole. Arvioinnissa tulisi olla pilottitutkimus, jotta tutkimuksen puutteet voitaisiin korjata, näin ei ole tehty. Osioiden hyvyys ja parametrien tarkistaminen pitäisi tehdä, mutta muuttujien suhteiden tarkastelu puuttuu kokonaan. Karvin pitäisi kuitenkin olla malli pätevästä laadun arvioinnista. Mari Sillmanin erinomainen gradu on luettavissa täällä. Sillmanin arvioimien kriteerien luotettavuuden perusteella on Kehittävän Palautteen oppimisympäristön arviointi muokattu vastaamaan Karvin kriteereitä. Tämän arvioinnin luotetttavuutta ja pätevyyttä voi arvioida esim. vertaamalla arviointeja riippumattomilla mittareilla tehtyihin observointiin ja johtamisarviointeihin.

Leave a Reply

Your email address will not be published. Required fields are marked *