Blogi: Vaikutusten jäljillä – arvioinnin salapoliisityötä

Valtamerialus alkaa valmistua. Näin voidaan hyvin sanoa, kun puhutaan Suomen rakennerahasto-ohjelman arvioinnin loppumetreistä. Olemme MDI:ssä, yhdessä Kuntoutussäätiön, Spatian ja TK-Evalin kanssa, saaneet arvioida Kestävää kasvua ja työtä 2014-2020 – Suomen rakennerahasto-ohjelmaa alkuvuodesta 2017 alkaen. Kyseessä ei ole mikään pieni ohjelma: ohjelmaa toteutetaan koko Suomessa, ohjelman toteutuksen tulee tukea ohjelman viittä toimintalinjaa ja niiden alla olevia 13 erityistavoitetta. Kansallisen vastinrahan kanssa ohjelmavaroja on käytettävissä noin 2,6 miljardia euroa Suomen kilpailukyvyn parantamiseksi ja työllisyyden edistämiseksi. Ohjelman toimeenpano työllistää kymmeniä viranomaisia ympäri Suomea, tuhansista hanketoteuttajista puhumattakaan. On siis selvää, että koko ohjelman arviointi on iso ja haasteellinen työ.

Arviointi on jaettu osiin. Arvioinnin ensimmäisessä vaiheessa tarkasteltiin ohjelman hallintoa ja toimeenpanoa, toisessa vaiheessa ohjelman yleistä tuloksellisuutta ja parhaillaan käynnissä olevassa vaiheessa ohjelman vaikutuksia. Ensi keväänä vedetään yhteen kaikkien arviointivaiheiden tulokset ja johtopäätökset.

Tehtyjen toimien vaikutusten arviointi on arvioinneissa haasteellisinta. Miten selvittää toiminnan tuoma lisäarvo tapahtuneeseen kehitykseen, olisiko sama saatu aikaiseksi ilman rahoitusta? Mikä on ympärillä tapahtuneen kehityksen vaikutus? Tässä tapauksessa siis yhteiskunnassa tapahtuneen talouden piristymisen merkitys ohjelman rahoituksen myötä saatuihin vaikutuksiin. Tuloksellisuuden arviointia varten on olemassa mittarit, joiden toteutumista on helppo seurata, mutta vaikutusten jäljille täytyy päästä toisin keinoin. Toki mittareita ei voi täysin sivuuttaa, mutta ne eivät yksin riitä. Kontrafaktuaalinen arviointiasetelma on vaativa ja me päätimme tarttua siihen tilastollista, propensity score matching (PSM) -vertaistamismenetelmää, hyväksi käyttäen, kun selvitimme, mitä vaikutuksia rakennerahastorahoitus on tuonut pk-yritysten kilpailukykyyn, kasvuun ja kansainvälistymiseen.

PSM-menetelmän avulla rakennerahastotukea saaneille yrityksille etsittiin mahdollisimman samankaltaiset vastinparit. Tarkastelu rajattiin kasvuyritysjoukkoon, jotta samankaltaisuus olisi helpommin löydettävissä. Tavoitteenamme oli selvittää, mitä vaikutuksia rakennerahastotuella on ollut niille kasvuyrityksille, jotka ovat saaneet rahoitusta rakennerahaston kautta, kun niitä verrataan kasvuyrityksiin, jotka eivät ole saaneet rahoitusta. Vertailuasetelma on haastava ja siihen liittyy monia epävarmuustekijöitä, mutta menetelmä oli kuitenkin niin mielenkiintoinen, että halusimme testata, mitä tällainen asetelma ja analyysi kertovat rakennerahastotoimien vaikutuksista. Tietyt yritystoiminnan tunnusluvut ovat helposti määritettävissä, kuten yrityksen toimipaikka, toimiala, työntekijöiden määrä ja liikevaihto. Näiden lisäksi on kuitenkin joukko epävarmuustekijöitä, kuten yrityksen saama muu rahoitus ja tarkasteltavien tilinpäätöstietojen lyhyt ajanjakso, jotka heikentävät luotettavan vertailuasetelman muodostamista. Mielessä on syytä myös pitää se, että kasvuvauhti kasvuyritysjoukossa on jo muutenkin kova, joten onko ulkopuolisella rahoituksella edes mahdollista kiihdyttää jo itsessään kovaa kasvuvauhtia.

Mikäli rakennerahastotoimien vaikutuksia tarkasteltaisiin vain kasvuyritykseen kohdistuneen tilastollisen analyysin avulla, rakennerahaston yrityksen kasvuun ja kilpailukykyyn tähtäävillä toimilla ei näyttäisi juurikaan olevan vaikutusta yritysten liiketoiminnan kehittymiseen. Rahoitusta saaneiden yritysten liiketoiminnan kehittymistä mittaavat luvut eivät erottuneet verrokkiryhmän vastaavista luvuista. Tilastojen valossa tulos on siis melko tyly.

Vaikutuksia mittaava mittari ei värähtänyt, mutta onneksi tilanne ei näytä niin huolestuttavalta. Emme kuitenkaan jättäneet vaikutusten analyysia vain tilastollisten lukujen varaan, vaan otimme rinnalle myös yritysten omat arviot saadun rahoituksen merkityksestä. Ja nyt tilanne näyttää aivan toiselta. Yritykset kokevat saadun rahoituksen tuoneen merkittävää lisäarvoa yritystoiminnan kehittämiselle. Yritysten oman kokemuksen mukaan saatu rahoitus parantaa kehittämistyön laatua, nopeuttaa sitä ja aikaistaa sitä suhteessa edeltäviin suunnitelmiin. Tämä ei kuitenkaan näy tilastoissa, ei ainakaan tarkastelujaksomme lyhyellä aikavälillä. Tämä juuri tekee tehtyjen toimenpiteiden vaikutuspolkujen tunnistamisen hankalaksi, erityisesti kun kyseessä on näinkin suuri ohjelma kuin rakennerahasto-ohjelma kokonaisuudessaan on. Vaikutukset eivät näy tilastoissa heti, vaan usein vasta vuosien jälkeen, kun rahoitus on päättynyt.

Vaikutusten tunnistaminen ja arvioiminen vaatii arvioitsijalta salapoliisityötä, eri aineistojen yhdistämistä: aineistojen, menetelmien ja arvioitsijoiden triangulaatiota. Vaikutuksia on monenlaisia, kovia ja pehmeitä. Kovat vaikutukset näkyvät suoraan tilastoissa ja pehmeämmät vaikutukset eivät. Suotavaa tietysti olisi, erityisesti yritystoiminnassa, että nämä pehmeät vaikutukset muuttuisivat pidemmällä aikavälillä myös tilastollisiksi tunnusluvuiksi, mikä helpottaisi myös arvioitsijoiden salapoliisityötä. Ja mitä tulee PSM-menetelmään, sen totesimme olevan oivallinen apuväline, tietyin reunaehdoin, kun halutaan päästä vaikutusten jäljille.

Lisää rakennerahasto-ohjelman vaikutuksista on luettavissa tammikuussa 2019, jolloin nyt työstössä oleva arviointiraportti julkaistaan.