Indikaattoreilla on imua – mutta osuvatko ne oleelliseen?

pylkkanenJulkisesti rahoitetun kehittämishanketoiminnan erottamattomaksi vastinpariksi ovat ankkuroituneet vaikuttavuutta koskevat vaateet. Tämän seurauksena vaikuttavuuden arvioinnista on tullut usein toistuva selvitystyön kohde, jossa soveltavalla arviointitutkimuksella on keskeinen osansa.

Olemme arvioineet kuluneena vuonna Ruralia-instituutissa muun muassa kansainvälisiä Leader-hankkeita sekä Manner-Suomen maaseudun kehittämisohjelman (2007-2013) toimeenpanoa ja vaikuttavuutta paikallisella eli Leader-toimintaryhmätyön tasolla. Kummassakin toimeksiannossa toivottiin ehdotuksia toiminnan vaikuttavuuden mittareiden eli indikaattoreiden kehittämiseksi.

Teoria indikaattoreista on järkeenkäypä. Indikaattori on mittari, joka tuottaa parhaimmillaan oleellista, yksiselitteistä ja yhteismitallista tietoa hankkeen tai kokonaisen ohjelman tuloksista ja vaikuttavuudesta. Indikaattorimittauksen tuloksena saadaan tietoa, joka voidaan tiivistää tilastoiksi; tilastot voidaan analysoida ja käyttää edelleen päätöksenteossa. Näin ainakin periaatteessa. Tällä tavoin julkinen tuki voidaan kohdentaa toimiin, jotka ovat vaikuttavuudeltaan korkeaa tasoa. Jos käsillä on kymmenen tuhannen hankkeen toimenpideohjelmia, on tarpeen, että niistä voidaan sanoa ainakin joitakin yhteismitallisesti. Indikaattoreilla on siksi imua – eikä vähiten EU:n suunnalla.

Hanketoteuttajilla mittareista toinen todellisuus

Selvittäessämme päättyneen ohjelmakauden seurantakäytäntöjä, ilmeni, että indikaattoritietojen toimittajilla eli käytännön hanketoteuttajilla oli mittareista toinen todellisuus: Mittauksen kohteet ovat usein käsitteellisesti epäselviä ja täyttöohjeet puutteellisia. Tietoja kysellään usein, mutta tuloksista kuulee harvoin. Toisinaan ihmettely kilpistyy siihen, ettei lomakkeilla ole paikkaa, jossa voi kertoa siitä, mitä hankkeessa varsinaisesti syntyi tai tapahtui. Tämän kaltaiset tiedot selviävät toki hankkeiden loppuraporteista, mutta ohjelmatilastoihin tiedot eivät nouse.
Seurantaketjun alkupäässä kohdatut epäselvyydet kumuloituvat ketjun loppupäässä. Kun mittareille lasketaan koko ohjelmaa koskevat arvot, saadaan tulokseksi toki tarkkoja numeroita – ne vaan voivat olla täysin vääriä. Suttuinen järjestelmä tuottaa sekä ali- että yliraportointia.

Kuilu indikaattoriteorian ja havaitun todellisuuden välillä on ilmeinen. Siksi myös suosituksia indikaattoriseurannan parantamiseksi on helppo tuottaa: Lähdetään liikkeelle järjestelmäparannuksista. Täsmennetään mittauksen kohteet ja niitä koskevat ohjeet. Räätälöidään mittauksen kohteet hanketyypin mukaan ja kysytään hankkeen kannalta mahdollisia ja oleellisia asioita. Kun esimerkiksi kansainvälinen Leader-hanke ei yleensä tavoittele suoraan työpaikkoja, ei tulisi mitata vain uusia työpaikkoja. Mitataan sen sijaan opintomatkoja, omaksuttuja tai levitettyjä uusia toimintatapoja ja muuta, minkä toimija käsittää ja mistä hän myös vastaa. Indikaattoreiden käyttö on kaukana rakettitieteestä, mutta arkijärjestä on apua.

Indikaattorit eivät kerro kaikkea

Oikeastaan ymmärrän indikaattoreiden imua. Indikaattoriseurantaa voi ja kannattaa mielestäni edelleen parantaa ja selkeyttää. Kuulun silti myös indikaattoriskeptikoihin. Se voi johtua yhteiskuntatieteistä. Uskon todellisuuden konstikkuuteen ja vaikuttavuusmekanismien monisyisyyteen. Voimme laskea kehittämishankkeiden suoritteita ja esittää uusia indikaattoreita, mutta hankkeiden synnyttämän muutoksen – eli vaikuttavuuden – todentamista on vaikea supistaa vain indikaattoriseurantaan.

Indikaattoriseurannan suurin puute onkin se, että indikaattorit eivät kerro vielä mekanismeista ja prosesseista eli siitä, miten tulokset syntyvät tai miten ne johtivat tai voivat johtaa tavoiteltuun muutokseen. Siksi indikaattorit jättävät kysyvän mielen kylmäksi. Olisi päästävä numeroiden taakse – ja niiden eteen, rikastettava niitä analyyseillä ja ennusteilla.

Tälle kirjoitukselle pontimen antaneissa arvioinneissa suosittelimme, että paikalliskehittäjät ottavat indikaattoreista niskalenkin. Vaikka tarvitaan järjestelmäparannuksia ja laadunvarmistusta vastuuviranomaisten taholta, tarvitaan yhtä lailla paikallistoimijoiden (Leader-toimintaryhmien) analyysiä omasta toimintaympäristöstään ja strategiastaan käsin. Toimintaryhmillä on potentiaalia oman ja hanketoimintansa paikallistason vaikuttavuuden parempaan jäljittämiseen ja ennakointiin. Toisin kuin indikaattoreiden ihmettely, oman kehittämistyön arviointi on aina myös myös oppimis- ja kehittämistilanne.

 

Kirjoittaja Päivi Pylkkänen toimii projektipäällikkönä Helsingin yliopiston Ruralia-instituutissa.

Kirjoituksessa mainittujen toimeksiantojen julkaisut ovat: ”Kansainvälisyys ja Paikalliskehittäminen – Selvitys kansainvälisistä Leader-hankkeista 2007-2013 http://www.helsinki.fi/ruralia/julkaisut/pdf/Raportteja156.pdf ja ”Mahdollistavaa maaseudun kehittämistä – Selvitys alueellisten ja paikallisten maaseudun kehittämissuunnitelmien vaikuttavuudesta sekä ehdotus vaikuttavuuden mittareiden kehittämisestä”, joka on ladattavissa osoitteessa http://www.mmm.fi/fi/index/etusivu/maaseudun_kehittaminen/alueellisuus.html