Monivalintatehtävän kirjoittamisessa tiede kohtaa taiteen

Medipedalla ja Opettajien akatemialla oli ilo järjestää kaksi psykometrista työpajaa 22.-23.3.-17, vetäjäksi saimme tohtori Carlos Collaresin Maastrichtin yliopistosta. Carlos on alkuperäiseltä ammatiltaan työterveyslääkäri, joka psykologian opintojen myötä päätyi psykometrian asiantuntijaksi. Oli todella kiinnostavaa kuulla, mitä kaikkea dataa yksittäisestä monivalintakysymyksestä saa tilastollisesti irti!

Ensimmäisen päivän teoriapainotteinenseminaari pohjusti toista päivää, jonka aikana harjoittelimme väittämien kirjoittamista – ei mikään helppo työ! Carlos esitti kauniisti, miten kysymyksen huono muotoilu vaikeuttaa vastaamista (hämärä muotoilu, kieliopilliset ongelmat, vaihtoehdot eivät ole verrannollisia keskenään, vaihtoehdoissa paljon toistoa). Jos siis vastaajista vain 6 % osaa vastata kysymykseen oikein, se ei siis erottele osaajia ja heikkoja opiskelijoita vaan kyse on kysymyksen huonosta muotoilusta.

Toinen virhetyyppi teki kysymyksen helpoksi opiskelijalle. Tämä olikin tuttua jo professori Kati Hakkaraisen esityksestä viime vuodelta. Yleensä pisin vaihtoehto on oikea ja väärän vastauksen tunnistaa määreistä ei koskaan, aina, yleensä jne. Kiinnostava tuttavuus oli pseudoarvaus, joka on mahdollista myös erotella tilastollisesti. Jos kysymyksessä on neljä vaihtoehtoa, arvaamalla on 25 % mahdollisuus onnistua. Jos tämä luku poikkeaa, kyseessä on pseudoarvaus eli jokin tekninen asia ohjaa vastaajaa arvaamaan.

Teoriaosuus meni ihan sujuvasti kuunnellen, vaikka punastuin ajatellessani omaa äskeistä anen tenttiäni. Kirjoittamisharjoituksessa paljastui, miten vaativaa selkeiden ja keskenään verrannollisten väittämien löytäminen on. Kysymysten laatiminen on todellakin parasta tehdä porukalla. Oma substanssiosaamiseni esti minua huomaamasta, etteivät vastausvaihtoehtoni olleet verrannollisia keskenään jne. Yhteistyöllä sujuu!

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *