Neljän STN-ohjelman rahoituskaudet päättyivät elokuussa 2019 ja kautta aikain ensimmäinen strategisen tutkimuksen ohjelma-arviointi on alkanut vuoden 2020 alussa. Arvioinnin tavoitteena on ymmärtää strategisen tutkimuksen ohjelmien moninaista yhteiskunnallista vaikuttavuutta sekä kehittää itse rahoitusinstrumenttia.

Tämä blogikirjoitus jatkaa Jyrki Hakapään 18.10.2019 julkaiseman kirjoituksen ”Strategisen tutkimuksen tulosten jäljillä” teemaa.

Strategisen tutkimuksen neuvosto (STN) rahoittaa tieteellisesti korkealaatuista ja yhteiskunnallisesti vaikuttavaa tutkimusta ohjelmamuotoisesti. STN-ohjelmat koostuvat kahdesta tai useammasta monitieteisestä hankkeesta, joista jokaisella on omat tutkimus- ja vuorovaikutustoimintaan perustuvat vaikuttavuustavoitteensa. Monista muista rahoittajista poiketen STN:lla on lakisääteinen velvoite vastata rahoittamiensa hankkeiden seurannasta ja vaikuttavuuden arvioinnista. STN on lisäksi linjannut, että vaikuttavuuden arviointia toteutetaan ohjelmatasolla.

Strategisen tutkimuksen yhteydessä vaikuttavuudella tarkoitetaan usein nimenomaan yhteiskunnallista vaikuttavuutta, jonka arvioinnissa on hyväksyttävä, että vaikuttavuuden ilmenemisessä saattaa kulua hyvinkin pitkä aika.  Yhteiskunnallisen vaikuttavuuden todentaminen ei siten ole yksinkertainen tehtävä. Vaikuttavuuden kompleksinen luonne edellyttää monialaista tiedon hyödyntämistä osana arviointia, jossa korostuu erityisesti laadullinen ymmärrys.

Yhteiskunnallisen vaikuttavuuden ilmenemisen aikaviiveitten takia ohjelma-arvioinneissa vaikuttavuutta lähestytään ns. IOOI (Input-Output-Outcome-Impact) -vaikutusketjumallin viitekehyksessä. Yhteiskunnallista vaikuttavuutta ei siis tarkastella ainoastaan lopullisen vaikuttavuuden (impact) näkökulmasta vaan huomio kiinnittyy koko vaikutusketjuun. Tutkimus- ja vuorovaikutustoimintaan panostetut resurssit (input; esim. aika, raha, ideat), tuottavat tuotoksia (output; esim. julkaisut, tapahtumat), jotka puolestaan saavat aikaan lyhyen aikavälin vaikutuksia (outcome; esim. muuttuneet toimintatavat). Yhteiskunnalliseksi vaikuttavuudeksi vaikutukset muuttuvat, kun niistä tulee pysyviä. Vaikutusketjuja tarkasteltaessa on myös tärkeää ymmärtää niiden verkostomaisuus. Yhteiskunnallisen vaikuttavuuden tavoittelu perustuu strategisessa tutkimuksessa ennen kaikkea vuorovaikutukseen ja yhteiskehittämiseen sidosryhmäverkostojen toimijoiden kanssa.

Strategisen tutkimuksen ohjelmat ovat laajoja kokonaisuuksia ja arvioinnissa on tärkeää ottaa huomioon ohjelmissa toimivien hankkeiden erityispiirteet. Vaikka arviointi tapahtuukin ohjelmatasolla, perustuu se silti pitkälti yksittäisten hankkeiden tutkimus- ja vuorovaikutustoimintaan. Ohjelmat voidaan siten ymmärtää monen eri tason toimintana. Ohjelma-arvioinnissa kiinnitetään huomiota hankkeiden yhteistyöhön ohjelman sisällä sekä hanke- ja ohjelmatasoisiin tavoitteisiin. Lisäksi ohjelmatasolla ohjelmajohtajan yhteen kokoava ja koordinoiva rooli on merkittävä. Sidosryhmäverkostoissa tehtävä vuorovaikutteinen yhteistyö on oleellista joka tasolla ja siten ohjelma-arvioinnissa kiinnitetään erityishuomiota verkoston rakenteeseen ja toimintaan. Ohjelmakokonaisuuden näkökulmasta on vaikeaa tai jopa mahdotonta erottaa sitä, mikä lopulta on ohjelman sisällä tapahtuvaa toimintaa ja mikä taas on esimerkiksi hankekohtaista vuorovaikutusta. Siten STN-ohjelmien arvioinneissa korostetaan laaja-alaista ymmärrystä ohjelmien toiminnasta huomioiden hankkeiden erityispiirteet ja toimintatavat.

Päättyneet ohjelmat arvioinnissa

Neljän strategisen tutkimuksen ohjelman rahoituskaudet päättyivät elokuussa 2019: kaupungistuva yhteiskunta (URBAN), terveys, hyvinvointi ja elämäntavat (HEALTH), osaavat työntekijät – menestyvät työmarkkinat (WORK) ja turvallisuus verkottuneessa yhteiskunnassa (SECURITY). Yhteensä ohjelmissa toimi 13 laaja-alaista, monieteistä ja yhteiskunnalliseen vaikuttavuuteen pyrkivää hanketta.

Jokaisen ohjelman hankkeet ja ohjelmajohtaja laativat kukin loppuraportin toiminnastaan rahoituskauden aikana ja nämä loppuraportit on toimitettu Suomen Akatemiaan loppuvuodesta 2019. Strategisen tutkimuksen jo vakiintuneet seurantaraportoinnin välineet, vaikuttavuuskertomukset ja tuotosindikaattorit, muodostavat myös loppuraporttien rungon. Vaikuttavuuskertomuksien kautta sekä hankkeet että ohjelmajohtajat tarkastelevat omaa toimintaansa keinojen, tavoiteltujen, saavutettujen ja tahattomien vaikutuksien sekä vaikuttavuuden saavuttamiseksi tehdyn tutkimus- ja vuorovaikutustyön näkökulmista Tuotosindikaattorit puolestaan sisältävät määrällistä tietoa muun muassa toteutuneista tilaisuuksista, julkaisuista, politiikkasuosituksista ja esimerkiksi kansainvälisistä vierailuista. Lisäksi sekä hankkeiden että ohjelmajohtajien loppuraporteissa pyydettiin tietoja tärkeimmistä vuorovaikutuskumppaneista kumppaniverkostojen rakenteen kartoittamiseksi. Päättyneiden hankkeiden ja ohjelmajohtajien loppuraporttien hyväksyntä on STN:n päätöslistalla toukokuussa 2020.

Ohjelma-arviointi koostuu kolmesta vaiheesta: itsearviointi, yhteiskunnallisen vaikuttavuuden arviointi ja tieteellisen toiminnan arviointi. Yllä kuvatut loppuraportit toimivat aineistona kaikissa ohjelma-arvioinnin eri vaiheissa. Vaiheista on jo toteutunut itsearviointiosuus, jossa hankkeiden edustajat ja ohjelmajohtajat kertoivat ohjelmakohtaisesti Suomen Akatemian fasilitoimassa ryhmähaastattelussa näkemyksiään ohjelman toiminnasta rahoituskauden aikana. Tilaisuuksien tarkoituksena oli tarjota mahdollisuus reflektoida kokemuksia hankkeiden toiminnasta yhdessä muiden samassa ohjelmakokonaisuudessa toimineiden tahojen kesken. Itsearvioinneissa huomio on nimenomaan keskusteluihin osallistuneiden henkilöiden omissa näkemyksissä ja tulkinnoista ohjelmassa toteutuneesta tutkimus- ja vuorovaikutustoiminnasta sekä sen yhteiskunnallisesta vaikuttavuudesta. Itsearviointitilaisuuksista laaditut muistiot tullaan julkaisemaan osana yhteiskunnallisen vaikuttavuuden arvioinnin raporttia.

Seuraavaksi ohjelma-arvioinnissa on vuorossa yhteiskunnallisen vaikuttavuuden arviointi, jonka toteuttaa rahoittajasta ja ohjelmatoiminnasta riippumaton taho. Toteuttajaa haettiin kilpailutuksella, joka päättyi 15.4.2020. Viimeisessä arvioinnin vaiheessa keskitytään vuonna 2019 päättyneiden STN-ohjelmien tieteellisen työn ja tulosten arviointiin. Kokonaisuudessaan ohjelma-arviointi saadaan päätökseen vuoden 2021 aikana.  Lisää ohjelma-arvioinnista ja STN-rahoituksesta strategisen tutkimuksen neuvoston rahoitusperiaatteissa.