Kategoria: Verkostojen arviointi

Vaikuttavuus on yksi sosiaali- ja terveysalan 2020-luvun alun keskeisistä iskusanoista. Marinin hallituksen hallitusohjelman yhtenä tavoitteena oli sosiaali- ja terveyspalveluiden vaikuttavuuden ja tuottavuuden parantaminen. Vaikuttavuuden edistäminen oli myös yksi sote-uudistuksen keskeisistä perusteluista.   

Lisääntyneet vaatimukset näyttöön perustuvista menetelmistä ovat korostaneet vaikuttavuustiedon merkitystä sote-alalla. Sote-alan vaikuttavuustietoa on viime vuosina kehitetty Suomessa useissa hankkeissa, kuten esimerkiksi Valtava-hankkeessa ja Terveyden ja hyvinvoinnin laitoksen PERFECT-hankkeessa. Viime vuosina on myös noussut sote-alan vaikuttavuuden tutkimukseen omistautuneita tahoja, kuten Itä-Suomen yliopiston koordinoima Vaikuttavuuden talo. 

Vaikuttavuustieto esitetään tyypillisesti sellaiseksi tiedoksi, jonka avulla palvelujärjestelmän päätöksentekoa voidaan ohjata asiakkaiden ja potilaiden hyväksi. Sote-alalla arvioidaankin pääasiallisesti palveluiden tai hoitomenetelmien vaikuttavuutta suhteessa palveluiden käyttäjiin. Verkostot esitetään usein yhtenä tapana edistää sote-palveluiden vaikuttavuutta, eikä niinkään vaikuttavana tapana organisoida sote-alan toimintaa. Johtamisen ja erilaisten organisointitapojen vaikuttavuudesta on puhuttu sote-alalla vähänlaisesti. Verkostojen vaikuttavuudesta löytyy huomattavan vähän tietoa. 

Tämän tekstin tarkoituksena on esitellä verkostojen vaikuttavuuden arvioinnin lähtökohtia ja luonnetta. Verkostojen vaikuttavuuden tutkimuskenttä on varsin hajanainen, eikä aihetta koskeva perustutkimus sellaisenaan tarjoa vaikuttavuuden arviointityöhön kovinkaan selkeitä ohjenuoria. Vaikuttavuuden arvioinnille on monenlaisia käytännön oppaita, mutta ne harvoin soveltuvat sellaisenaan verkostojen vaikuttavuuden arviointiin. Tekstin tavoitteena on luoda siltaa näiden kahden maailman välille. 

Teksti johdattaa lukijan verkostojen vaikuttavuuden arviointityössä kohdattaviin valintatilanteisiin. Kuten alta käy ilmi, ei vaikuttavuuden arviointiin ole tarjolla kaikkiin tapauksiin sopivia patenttiratkaisuja: jokaisen verkoston vaikuttavuuden arviointi on aina jossain määrin omanlaistaan. 

   

Vaikuttavuuden käsite ja vaikuttavuustieto 

 Vaikuttavuuden arvioinnin ymmärtämiseksi on ensin ymmärrettävä, mitä oikein arvioimme, kun arvioimme vaikuttavuutta. Tämä vaatii vaikuttavuuden käsitteen viittauskohteen ymmärtämistä.  

 Kaikille ajassaan tärkeille ja laajalle levinneille käsitteille on tyypillistä, ettei niitä voida koskaan määritellä yksiselitteisesti tai täydellisen selkeästi. Tärkeitä käsitteitä käytetään eri konteksteissa eri tavoilla ja eri merkityksissä. Samaa asiaa koskevan päätöksentekijän, arvioijan ja tutkijan näkökulmat kiinnittävät syystäkin huomiota erilaisiin asioihin, kun he puhuvat vaikuttavuudesta.  Monipuoliset käsitteet mahdollistavat erilaisten piirteiden näkemisen ja niistä viestinnän eri näkökulmien välillä. Vaatimus käsitteen sisällön määrittelemiseen vain yhdellä tavalla tarkoittaisi käsitteen käyttökelpoisuuden vähentämistä. 

 Vaikuttavuuden käsitettä käytetään kohdistamaan huomiota melko samankaltaisiin asioihin, vaikka tarkemmat määritelmät ja painotukset voivatkin erota toisistaan merkittävästi. Vaikuttavuuden käsite esiintyy yleensä puhuttaessa arvioinnista evaluaation mielessä. Kaikessa evaluaatiotyössä tarkastellaan, vastaako arvioitava toiminta toiminnalle asetettuja odotuksia ja tavoitteita. Evaluaatio voi olla toimintaan nähden etukäteistä (ex ante) tai jälkikäteistä (ex post).   

Vaikuttavuuden arviointi edustaa arviointityön erityistapausta, jossa pyritään toiminnan tarkoituksenmukaisuuden lisäksi hahmottamaan toiminnan vaikutusmekanismeja, erilaisille sidosryhmille koituvia välittömiä ja välillisiä seurauksia sekä tavoitteiden saavuttamisen astetta. Vaikuttavuuden käsite viittaa suomeksi siis varsin monenlaisiin asioihin.

Näitä viittauskohteita voidaan eritellä englanninkielisellä terminologialla, joka on vaikuttavuusasioissa suomenkielistä hienojakoisempaa. Useimmiten suorissa käännöksissä vaikuttavuudelle käytetään termejä effectiveness tai effectivity. Edellinen termi painottaa tarkasteltavan asian vaikutusten tarkoituksenmukaisuutta, kun taas jälkimmäinen sisältää myös konnotaation tarkasteltavan asian kyvystä tuottaa näitä vaikutuksia. Tämän kyvyn hahmottaminen vaatii vaikutuksen mekanismien ymmärtämistä. Englanniksi käytetään usein myös termejä efficacy ja efficiency. Näistä edellinen viittaa vaikutusten laatuun ja voimakkuuteen ja jälkimmäinen tehokkuuteen eli toiminnan panosten ja tuottojen suhteeseen.

Vaikuttavuuden arviointi poikkeaa muusta arvioinnista myös sen vaatiman tiedon osalta. Vaikuttavuuden arviointi perustuu poikkeuksellisen paljon arviointiin estimoinnin mielessä. Tässä mielessä vaikuttavuuden arviointi on luonteeltaan muuta arviointitoimintaa teoreettisempaa ja laskennallisempaa. Vaikuttavuuden arviointi vaatii muun arviointitiedon lisäksi sellaista tietoa, joiden avulla voidaan estimoida tavoitteiden saavuttamisen astetta.  

Vaikuttavuustietoon viitataan usein kirjainyhdistelmällä IOOI. Kirjainyhdistelmä viittaa englanninkielisiin termeihin input, output, outcome ja impact. Käytän näistä alla suomeksi termejä panos, tuotos, tulos ja vaikutus.  

• Panokseen sisältyvät työtuntien ja budjetin kaltaiset resurssit, joita verkostotyöhön laitetaan. Esimerkiksi verkostotapaamisia järjestävä koordinaattori tai verkoston jäsenille palveluita tarjoava asiantuntija. 

• Tuotoksia ovat välittömän kontrollin piirissä olevan toiminnan näkyvät muodot ja seuraukset, kuten esimerkiksi verkostotapaamiset tai verkoston jäsenilleen tuottamat uudet palvelut.  

• Tulokset kertovat, millaisia muutoksia tuotoksilla saatiin aikaiseksi toiminnan vaikutuspiirissä oleville toimijoille. Eli esimerkiksi kuinka moni piti puheenvuoron verkostotapaamisessa tai kuinka suuri osuus verkoston toimijoista on käyttänyt palvelua.  

• Vaikutukset kertovat kokonaisvaltaisemmista muutoksista, joita verkoston toiminta on saanut välillisesti aikaan myös sen välittömän kontrollin ja vaikutuspiirin ulkopuolella. Esimerkiksi luottamuksen lisääntyminen verkoston jäsenten välillä tai verkoston tarjoamien palveluiden käytön tuottamat muutokset verkoston jäsenorganisaatioissa. 

 

Vaikuttavuuden arvioinnin vaiheet 

Jokainen arviointi on luonteeltaan jossain määrin erilaista, koska jokainen arvioitava toiminta ja siihen kohdistuvat odotukset ovat erilaisia. Toiminnan vaikuttavuuden arviointityölle on olemassa useita  ohjeistuksia riippuen siitä, millaisista lähtökohdista arviointi tapahtuu ja millaisiin asioihin se kohdistuu. Esimerkiksi Hyvän mitta -työkalu perustuu ajatukseen vaikuttavuusketjusta, joka jaottelee vaikuttavuuden arvioinnin seitsemään eri vaiheeseen. SOSTEn kehittämä opas investoidun pääoman sosiaalisten tuottojen (Social Return on Investment, SROI) arvioimiseksi jakaa arvioinnin kymmeneen vaiheeseen.  

Vaikuttavuuden arviointi voidaan jakaa karkeasti ottaen kolmeen vaiheeseen:
 

1. Arvioinnin lähtökohtien määrittely. Arvioinnin ensimmäinen tehtävä on hahmottaa, millaiset odotukset ovat arvioinnin pohjana ja millaisista ja keneen kohdistuvista vaikutuksista arvioinnissa ollaan kiinnostuneita. Samalla määritellään, miten oleelliseksi nähtyjä vaikutuksia indikoidaan, mitataan tai muuten todennetaan arvioinnissa. Nämä lähtökohdat määrittelevät arvioinnin rajaukset. Tämän vaiheen fokus on toimintaa koskevissa odotuksissa ja arvioinnin sidosryhmissä, ei vielä itse arvioitavassa toiminnassa tai sen vaikutuksissa.
2. Arvioitavan toiminnan hahmottaminen. Toisen vaiheen pääasiallinen fokus on arvioitavassa toiminnassa. Tässä vaiheessa tunnistetaan, millaisia panoksia toimintaan laitetaan, millaisia elementtejä arvioitava toiminta pitää sisällään ja millaisia tuotoksia eri elementit tuottavat. Lisäksi hahmotetaan, millaisia seurauksia toiminnalla on edellisessä vaiheessa määritellyille sidosryhmille.
3. Toiminnan vaikutusten estimointi. Viimeisessä vaiheessa kaksi edellistä vaihetta yhdistetään työn rajaamiseksi. Aluksi hahmotetaan toiminnan tulokset eli tunnistetaan toiminnan suorat ja epäsuorat seuraukset vain valittujen indikaattorien mukaisiin tekijöihin rajattuna. Tämän jälkeen estimoidaan  vaikutuksia. Estimointi voi valituista indikaattoreista ja toiminnasta riippuen koskea esimerkiksi lukumäärää, rahallista arvoa tai voimakkuutta. 

Käsittelen seuraavaksi tarkemmin verkostojen vaikuttavuuden arviointiin liittyviä erityispiirteitä ja valintoja kunkin vaiheen osalta. 

 

Verkostolähtöinen ja normatiivinen arviointi 

Verkoston vaikuttavuuden arviointi voi olla lähtökohdiltaan verkostolähtöistä tai normatiivista. Verkostolähtöisessä arvioinnissa tarkastellaan verkoston vaikuttavuutta sille tosiasiallisesti asetettujen odotusten ja tavoitteiden suhteen. Odotukset voivat olla verkoston perustajien, jäsenten tai sidosryhmien määrittelemiä verkostosta riippuen. Verkostolähtöinen vaikuttavuuden arviointi on tärkeä verkostojen johtamisen työkalu. Sen avulla saadaan suoraa tietoa verkoston tarkoituksenmukaisuudesta ja hyödyistä.  

Verkostolähtöisen arvioinnin toteuttaminen riippuu täysin arvioitavalle verkostoille asetetuista tavoitteista, minkä vuoksi sille ei voida antaa yleispäteviä ohjeita. Koska verkostojen perustajat voivat asettaa verkostolle käytännössä millaisia tahansa odotuksia, voi verkostolähtöinen arviointi olla hyvin hankalaa. Odotukset kun voivat olla hyvin abstrakteja tai muuten hankalasti verkoston käytännön työhön yhdistettävää. 

Normatiivisessa arvioinnissa tarkastellaan verkoston vaikuttavuutta tietyistä lähtökohdista verkostolle tosiasiallisesti asetetuista odotuksista ja tavoitteista riippumatta. Verkoston odotukset ja tavoitteet määritellään siis arvioijan, ei verkoston perustajien tai jäsenten toimesta. Ajatuksena on, että arviointiin tarvitaan joitain yksittäisiä verkostoja yleisempiä näkemyksiä ja periaatteita, joiden valossa vaikuttavuuden arviointi on aina ainakin jossain määrin relevanttia ja toteutuskelpoista. 

Asiantuntijoiden näkemykset siitä, millaisten yleisten periaatteiden valossa verkostojen vaikuttavuutta pitäisi arvioida, vaihtelevat runsaasti. Esimerkiksi julkisen sektorin hallintaverkostojen tutkimuksen ympärille on muodostunut useita koulukuntia (ks. Dal Molin ja Masella 2016). Siinä missä yhdysvaltalainen koulukunta korostaa vaikuttavuuden arvioinnissa taloudellisen tehokkuuden periaatteita, korostaa alankomaalainen koulukunta tehokkuutta ja luottamusta ja tanskalainen koulukunta demokratiaa. 

Jotkut tutkijat ovat pyrkineet yhdistämään verkostojen vaikuttavuuden edistämistä koskevaa tutkimusta arvioinnin periaatteisiin. Sørensen ja Torfing (2009) ovat listanneet kuusi periaatetta, joita seuraamalla voidaan systemaattisesti edistää politiikkaverkostojen vaikuttavuutta. He esittävät, että myös vaikuttavuuden arvioinnissa tulisi kiinnittää huomiota näihin teemoihin:  

1. Muodosta selkeä ja hyvin informoitu ymmärrys niistä kompleksisista ongelmista ja mahdollisuuksista, joiden kanssa verkosto on tekemisissä.
2. Luo innovatiivisia, proaktiivisia ja toteutettavissa olevia toimenpidevaihtoehtoja, jotka vastaavat verkoston toimijoiden yhdessä hahmottamiin ongelmiin ja haasteisiin.
3. Tavoitelkaa yhteisiä ratkaisuja, jotka ylittävät verkoston jäsenten pienimmän yhteisen nimittäjän mutta myös välttävät ylimääräisiä kustannuksia
4. Helpota toiminnan implementaatiota jatkuvalla koordinaatiolla, korkealla legitimiteetillä ja vastuunkannolla kaikkien oleellisten ja vaikutuspiirissä olevien toimijoiden parissa.
5. Tarjoa joustavia ratkaisuja muuttuvien vaatimusten, reunaehtojen ja preferenssien olosuhteisiin.
6. Luo suotuisia olosuhteita tulevaisuuden yhteistyöhön kognitiivisen, strategisen ja institutionaalisen oppimisen avulla. Nämä rakentavat yhteisiä viitekehyksiä, kehittävät keskinäisriippuvuuksia ja vahvistavat luottamusta. 

Verkostojen vaikuttavuuden arvioinnin kontekstissa periaatteet voidaan ymmärtää kuudeksi eri teema-alueeksi: 

1. Verkoston mission selkeys ja yhtenäisyys 
2. Verkostosta nousevien toimien innovatiivisuus ja toteutuskelpoisuus
3. Toimien synergiat ja kustannukset 
4. Käytännön toimien tuki, legitimiteetti ja osallistumisen laajuus 
5. Verkoston muutoskyky
6. Verkoston oppimiskyky 

 

Vaikuttavuuden arvioinnin tasot 

Verkostojen toiminnan, tuotoksien ja tuloksien hahmottaminen ei ole yksinkertainen tehtävä. Verkostoihin liittyy huomattava määrä erilaisia epävirallisia ja epämuodollisia piirteitä, jotka eivät välttämättä ole näkyviä verkostojen jäsenille tai koordinaattoreille. Verkostojen hyödyt taas voivat taas vaihdella niiden vaikutuspiirissä olevien sidosryhmien välillä merkittävästi.  

Provan ja Milward (2001) ovat pohtineet hallintaverkostojen vaikuttavuuden arvioinnin luonnetta erilaisten sidosryhmien mukaan jaotellen. He esittävät, että verkostojen vaikuttavuutta voidaan arvioida kolmella eri tasolla. Kullakin tasolla tarkastellaan verkoston toiminnan vaikutuksia varsin erilaisille toimijaryhmille ja varsin erilaisten teemojen ja indikaattorien valossa. Taulukossa 1 nostetut esimerkit osoittavat, että eri tasojen indikaattorit ja estimoitavat asiat voivat poiketa toisistaan merkittävästi. 

 

Taulukko 1. Verkostojen vaikuttavuuden arvioinnin tasot. Sovellettu lähteestä Provan ja Milward (2001).

 

Osallistujien tasolla arvioidaan verkoston toiminnan vaikutuksia sen verkoston kontrollin piirissä oleviin toimijoihin eli käytännössä verkoston toimintaan osallistuviin yksilöihin ja verkostojen johtoon. Arvioinnin fokus on tyypillisesti yksilön ja verkoston tai verkoston jäsenten välisissä interaktioissa ja välittömissä hyödyissä. Suomessa sote-alan verkostot ovat tyypillisesti ammatillisen tiedonvaihdon verkostoja, implementaation edistämiseen liittyviä verkostoja tai alan muutosten valmisteluun liittyviä tai muita organisaatioiden välisiä hallintaverkostoja. Osallistujatason vaikuttavuuden arvioinnissa oleelliset sidosryhmät voivat tapauksesta riippuen olla joko yksilöitä tai heidän edustamiaan organisaatioita. 

Verkoston tasolla arvioidaan verkoston toiminnan vaikutuksia sen välittömässä vaikutuspiirissä oleviin sidosryhmiin. Verkostotason arvioinnissa fokus on tyypillisesti verkoston toimivuuden kysymyksissä. Arvioinnissa tyypillisesti erotellaan verkostojen toimeksiantajat eli perustajat, rahoittajat ja jäsenorganisaatiot sekä agentit eli verkostoa hallinnoiva toimija. Suomessa sote-alan verkostoilla on tyypillisesti suoria vaikutuksia esimerkiksi hyvinvointialueiden, kuntien, ministeriöiden, valvojien, ammattijärjestöjen, alan kansalaisjärjestöjen ja yritysten sekä lukuisten muiden organisaatioiden toimintaan. Verkostotason vaikuttavuuden arviointi voi tämän johdosta kohdistua huomattavan laajoihin sidosryhmiin. 

Yhteisön tasolla arvioidaan verkoston toiminnan vaikutuksia sen laajimpiin mahdollisiin sidosryhmiin, jotka eivät ole enää sen välittömässä vaikutuspiirissä. Fokus on tyypillisesti verkoston välillisissä hyödyissä ja kyvyssä vastata muuttuvan toimintaympäristön odotuksiin. Vaikuttavuutta voidaan hahmottaa sekä organisaatioiden että yksilöiden tasolla. Suomessa sote-alan verkostoilla on epäsuoria vaikutuksia kaikkiin palveluiden piirissä oleviin ihmisiin ja veronmaksajiin eli käytännössä kaikkiin maassa asuviin ihmisiin.  

 

Vaikutuksien estimoinnin strategiat 

Vaikutusten estimointi on aina enemmän tai vähemmän käsityötä. Kaikkia odotuksia ei ole helppoa operationalisoida yksiselitteisesti, eikä arvioinnin kiinnostuksen kohteille aina löydy selkeärajaisia indikaattoreita tai kaikenkattavia mittareita.  

Verkoston odotuksena voi esimerkiksi olla palveluiden oikea-aikaisuuden edistäminen. Oikea-aikaisuuden idea on melko selkeä. Se viittaa siihen, että henkilön tulee saada tarvitsemiaan palveluita heti, kun tarve palvelulle ilmenee. Tämän indikoimiseen ei kuitenkaan ole yhtä selkeää tapaa. Tulisiko arvioinnissa huomioida ammattilaisten vai palveluiden käyttäjien itsensä todentama palvelutarve? Tulisiko oikea-aikaisuuden sijaan mitata “vääräaikaisuutta” eli esimerkiksi kestoa palvelutarpeen havaitsemisen ja palvelun piiriin pääsemisen välillä? Jos kyllä, niin millainen kesto voidaan hyväksyä “oikea-aikaiseksi”? Tulisiko tätä kysyä palveluiden käyttäjiltä vai tulisiko arvioijan itse määritellä jokin maksimikesto? 

Vastaaminen tällaisiin kysymyksiin voi pahimmassa tapauksessa jäädä kokonaan vaikuttavuuden arvioijan vastuulle. Aina näin ei kuitenkaan ole. Verkostoille on voitu jo niiden perustamisvaiheessa asettaa keskeiset strategiset tavoitteet ja niiden seurannan indikaattorit (ns. KPI-mittarit). Vastauksia voi myös nousta verkoston kypsyessä. Verkostojen johtaminen kehittyy verkoston elinkaaressa, minkä vuoksi myös seurannan voi odottaa vahvistuvan ajan myötä. Vastauksia voidaan myös etsiä yhteistyössä verkoston avaintoimijoiden kanssa.  

Vaikutusten estimointiin sisältyy aina merkittäviä lehmänkauppoja tiedon relevanssin, luotettavuuden ja työläyden välillä. Odotusten kannalta oleellisin tieto ei välttämättä ole luotettavaa tai helposti saatavilla. Luotettavin tieto ei välttämättä ole helposti saatavilla tai relevanttia. Helpoiten saatavilla oleva tieto ei välttämättä ole relevanttia saati luotettavaa.  

IOOI-mallia mukaillen tiedon saaminen muuttuu koko ajan vaikeammaksi ja resursseja kuluttavammaksi, mitä lähemmäksi vaikutuksia tullaan. Jo oleellisten tuotosten hahmottaminen voi olla työlästä, koska laajamittaisen verkoston toimintaa voi olla vaikea hahmottaa. Tulosten estimointi on työlästä, koska se vaatii erilaisten seurausten laadullista selvittämistä ja oleellisten seurausten mittaamista. Vaikutusten arviointi vaatii näiden lisäksi tieteellisiä tutkimusasetelmia. Vaikutusten tarkka arviointi vaatii aina vertailevia tai/ja kokeellisia tutkimusasetelmia. Verkostojen tapauksissa tällaisten tekeminen voi olla mahdotonta – kahta muodoltaan ja elinkaareltaan identtistä verkostoa ei luultavasti ole olemassa. 

Tosielämässä vaikuttavuuden arviointi ei yleensä pysty noudattamaan tieteellisen tutkimuksen periaatteita, vaan kompromisseja on tehtävä. Aistrich (2014) on esittänyt kolme vaihtoehtoista strategiaa vaikuttavuuden arviointiin tosielämän kontekstissa. Verkostojen vaikuttavuuden arvioinnin tapaukseen soveltaen strategiat voidaan esittää seuraavasti: 
 

1. Arvioidaan vaikuttavuus parhain käytettävissä olevien keinoin. Arvioidaan vähintään tuloksia, mutta pyritään arvioimaan mahdollisuuksien mukaan myös vaikutuksia. Tämä strategia sopii parhaiten pilottitapauksiin, joissa arviointiin voidaan käyttää enemmän rahaa ja aikaa kuin kenttätyössä, ja joissa tutkijat ovat mukana alusta pitäen.
2. Rajoitutaan lähtökohtaisesti tuloksiin. Tässä strategiassa vaikuttavuus hahmotetaan rajallisesti tuloksina verkoston välittömässä vaikutuspiirissä. Vaikuttavuus ymmärretään tällöin vain suppeasti tuloksellisuudeksi. Tämä on perusteltua, koska monilla aloilla on vaikeaa löytää tutkittua tietoa tulosten kääntymisestä vaikutuksiksi, mikä tekee estimoinnista vaikeaa. Näin on erityisesti silloin, kun vaikutus perustuu subjektiivisiin tuntemuksiin tai/ja on hyvin kontekstisidonnaista ja tapahtuu vuosien kuluessa. Tämä on verkostoille hyvin tyypillistä. 
3. Oletetaan linkki tulosten ja vaikutusten välille. Esitetään toiminnan tulosten ja odotettujen vaikutusten välinen linkki teoreettisesti sekä pohditaan, missä määrin linkki toimii, ei toimi ja mahdollisesti estyy toimimasta arvioitavan tapauksen osalta. Tämä strategia tunnustaa, että vaikutusten estimointi on liian kallista ajallisesti ja rahallisesti. Mekanismien tiedostamisella ja tulosten reflektoinnilla niiden valossa voidaan varmistaa, että saavutetut tulokset ovat johdonmukaisia myös pitkällä tähtäyksellä. 

 

Ville-Pekka Sorsa

Kirjoittaja on tutkimusjohtaja Helsingin yliopistossa

 

Lähteet: 

Aistrich, M. (2014). Kannattaako vaikuttavuutta yrittää mitata? Sitra, 3.3.2014. https://www.sitra.fi/artikkelit/kannattaako-vaikuttavuutta-yrittaa-mitata/ [viitattu 5.12.2022] 

Molin, M. D., & Masella, C. (2016). From Fragmentation to Comprehensiveness in Network Governance. Public Organization Review, 16(4), 493–508. https://doi.org/10.1007/s11115-015-0320-4 

Provan, K. G., & Milward, H. B. (2001). Do Networks Really Work? A Framework for Evaluating Public-Sector Organizational Networks. Public Administration Review, 61(4), 414–423. https://doi.org/10.1111/0033-3352.00045 

Sørensen, E., & Torfing, J. (2009). Making Governance Networks Effective and Democratic Through Metagovernance. Public Administration, 87(2), 234–258. https://doi.org/10.1111/j.1467-9299.2009.01753.x 

 

Viittaa kirjoitukseen seuraavasti: 

 Sorsa, Ville-Pekka (2022): Verkostojen vaikuttavuuden arviointi. Teoksessa Verkostojohtamisen käsikirja: kohti vaikuttavaa yhteistyötä sosiaali- ja terveysalalla. Innokylän toimintamalli. https://innokyla.fi/fi/toimintamalli/verkostojohtamisen-kasikirja-kohti-vaikuttavaa-yhteistyota-sosiaali-ja-terveysalalla [viittauspvm]