Kun tutkimusrahoituksen tapoja ja kohdentamista muokataan, on myös syytä pysähtyä pohtimaan, mitä hyvää uudesta järjestelystä koituu. Vuodesta 2015 alkaen on jaettu uudenlaista strategisen tutkimuksen rahoitusta. Hankkeet ja ohjelmat ovat alusta alkaen kertoneet julkisuudessa laajasti toiminnastaan ja onnistumisistaan. Myös strategisen tutkimuksen neuvosto (STN) sekä sitä tukeva Suomen Akatemian virkahenkilöstö ovat pyrkineet läpinäkyvyyteen ja kertoneet laajasti omista toimistaan ja niiden perusteista. Ensimmäisiä kattavia vastauksia on kuitenkin saatu vasta menneen vuoden aikana, kun strategisen tutkimuksen ensimmäiset ohjelma-arvioinnit on toteutettu. Mitä arvioinneista jäi käteen?

Ohjelma-arvioinnin odotukset

Mihin strategisen tutkimuksen ohjelma-arvioinnin olisi keskityttävä? Kuka tai ketkä tarvitsisivat tätä arviointietoa? Miten arviointia koskeviin odotuksiin voitaisiin vastata käytettävissä olevilla resursseissa? Tällaisista kysymyksistä lähdettiin liikkeelle, kun ohjelma-arvioinnin toteutuksen pohdinta aloitettiin vuonna 2018. Ensimmäisen ohjelma-arvioinnin tarkastelussa olivat syksyllä 2019 päättymässä olleet neljä STN-ohjelmaa. Nämä tutkimusohjelmat olivat rahoituskausiltaan muihin STN-ohjelmiin verrattuna poikkeuksellisesti kolmivuotisia.

Valmistelutyön jälkeen STN kirjasi rahoitusperiaatteisiinsa keväällä 2019, että ohjelma-arvioinnin tehtävänä olisi keskittyä nimenomaan ohjelmien yhteiskunnallisen vaikuttavuuden arviointiin. Samalla linjattiin, että arviointitulosten olisi syytä puhutella sekä tiedeyhteisöä että valtionhallinnon edustajia. Tulosten pitäisi myös hyödyttää tulevien strategisen tutkimuksen hankkeiden sekä strategisen tutkimuksen neuvoston toimintaa. Päätavoitteeksi syntyikin strategisen tutkimuksen toiminnan moninaisuuden ja yhteiskunnallisen vaikuttavuuden ymmärtäminen: STN-ohjelmissahan oli kyse aivan uudenlaisesta monitieteisen tutkimuksen ja sidosryhmäyhteistyön yhteen saattamisesta, eikä sen arvioinnille ollut olemassa yksiselitteisiä mittareita. Ensin siten oli opittava ymmärtämään, mikä strategisen tutkimuksen toiminnassa on arvokasta ja miksi, ja vasta sen jälkeen olisi vuorossa toiminnan arviointi.

Kaikkia tutkimusohjelmia koskevaksi arvioinnin kysymykseksi muodostui se, miten hankkeiden ja ohjelmien tutkimus- ja vuorovaikutustyö vaikutti muihin osapuoliin. Olivatko yhteiskunnallisten haasteiden ratkaisun kannalta merkittävät tahot saaneet toimilleen uudenlaista tieteellistä perustetta tai muuttaneet toimintaansa ajankohtaisten haasteiden ratkaisemiseksi? Tutkijat ja hankkeet ymmärrettiin vaikuttavuuden mahdollistajina, sillä yhteiskunnallisten muutosten aikaansaaminen riippuu laajasti erilaisista yhteiskunnallisista toimijoista. Tutkijoilla ja tutkimushankkeilla nähtiin kuitenkin olevan vastuu yhteiskunnallisen vaikuttavuuden mahdollistamisesta: hankkeilta odotettiin uutta tutkimustietoa yhteiskunnallisen päätöksenteon tueksi sekä tiedon välittämistä sellaisin tavoin, jotka tukisivat tiedon hyödyntämistä mahdollisimman hyvin. Strategisen tutkimuksen tavoitteiden mukaisesti korkealaatuinen ja monitieteisyydessään innovatiivinen tutkimustyö nähtiin olennaisena keinona tiedon käytön tukemisessa.

Koska kyseessä oli uusi rahoitusmuoto, ja siten vain tutkimusohjelmien toimijoilla oli ensi käden tietoa toiminnastaan, oli järkevää kutsua ohjelmien hankkeet ja ohjelmajohtajat osallistumaan arviointiin. Itsearvioinnin jälkeen oli vuorossa suomalaisen yhteiskunnan ja tiedeyhteisön tuntevan Gaia Consultingin arviointi siitä, mitä yhteiskunnallista vaikuttavuutta ohjelmissa oli saavutettu tai mahdollistettu. Lopuksi tieteellistä toimintaa ja tuloksia arvioitiin kansainvälisistä asiantuntijoista koostuvissa arviointipaneeleissa.

Lisääntynyt ymmärrys ja kehittyneet toimintamallit

Arvioinnit osoittavat, että strategisen tutkimuksen ohjelmat ovat monipuolisella toiminnallaan luoneet vahvat edellytykset yhteiskunnallisen vaikuttavuuden syntymiselle. Tutkimus- ja vuorovaikutustyön vaikutuksia ovat muun muassa lisääntynyt ymmärrys ja yhteiskunnallinen keskustelu niistä keskeisistä ilmiöistä, joiden ympärille tutkimusohjelmat rakentuivat. Lisääntyneen ymmärryksen lisäksi hankkeet onnistuivat tuottamaan konkreettisia käytännön toimintamalleja ja ratkaisuja ohjelmissa tunnistettuihin haasteisiin vastaamiseksi. Keskeisenä keinona oli yhteiskehittäminen tiedonhyödyntäjien ja muiden sidosryhmien kanssa. Arvioinnissa tunnistettiin myös hankkeiden pyrkimykset levittää tutkittua tietoa laajemmille kohderyhmille muun muassa politiikkasuositusten ja yleistajuisten julkaisujen avulla.

On kuitenkin selvää, että laaja-alaisten tutkimusohjelmien yhteiskunnallisen vaikuttavuuden todentaminen on haastavaa, ja konkreettiset esimerkit voivat olla osoitettavissa vasta kaukana tulevaisuudessa. Ohjelmien vaikuttavuuden osalta voikin olla selkeämpää puhua synnytetyistä sidosryhmäverkostoista ja niiden toiminnan kehittymisestä kuin varsinaisista yhteiskunnallisista muutoksista. Ohjelma-arvioinnin myötä onkin kehittynyt myös ymmärrys siitä, miten haastavaa monitieteisten tutkimushankkeiden ja niiden sidosryhmätyön onnistumisten arvottaminen on.

Vaikuttava monitieteinen tutkimustoiminta

Tutkimusohjelmien hankkeilta edellytettiin monitieteisyyttä. Ohjelma-arvioinnin mukaan tämä näkyi paitsi hankkeiden kokoonpanoissa, myös tutkimus- ja vuorovaikutustyön tavoitteissa, keinoissa ja tuloksissa. Monitieteisen yhteistyön avulla ohjelmissa katsottiin syntyneen esimerkiksi uudenlaista tieteenalojen välistä ymmärrystä ja käsitteistöä sekä tieteenaloja yhdistäviä uusia menetelmällisiä avauksia. Tutkimusohjelmilla oli arvioinnin perusteella myös moninaisia tutkimus- ja vuorovaikutustyön keinoja ja tavoitteita. Ohjelmien taustalla olevat yhteiskunnalliset ilmiöt ja tutkimusalakohtaiset lähtökohdat vaikuttivat tehtyihin valintoihin. Näiden keinojen ja tavoitteiden suhteen tutkimusohjelmien välillä oli huomattaviakin eroja.

Monitieteisen yhteistyön merkitys näkyy parhaiten sen institutionaalisissa vaikutuksissa. Strategisen tutkimuksen rahoituksen avulla tutkijat ovat pystyneet luomaan uusia monitieteisiä tutkijaverkostoja ja vuorovaikutusta. Ohjelma-arvioinnin havaintojen mukaan tämä yhteistyön ja vuorovaikutuksen synnyttäminen vaati osakseen runsaasti erilaisia resursseja, ja toiminnan suunnittelussa oli otettava huomioon erilaiset vaihtoehtoiskustannukset.  Strategisen tutkimuksen ohjelmat ovatkin pääsääntöisesti kuusivuotisia. Toisaalta esimerkiksi itsearvioinnissa todettiin, että jo kolmivuotisenkin rahoituksen ansiosta ohjelmien toimijat saivat aiempaa enemmän mahdollisuuksia keskittyä erityisesti monitieteiseen tutkimus- ja vuorovaikutustoiminnan suunnitteluun.

Ohjelmat vastuullisen tieteen toteuttajina

Vastuullisen tieteen periaatteet näkyivät ohjelmien ja hankkeiden toiminnassa tieteellisten julkaisujen avoimuutena ja aineistojen jatkokäytön mahdollistamisena. Aineistojen jatkokäytön mahdollistaminen nousi arvioinnissa esiin tärkeänä kehittämiskohteena, koska sen koettiin olevan yksi konkreettisimmista tavoista edistää tutkimuksen jatkuvuutta ohjelmakauden jälkeen. Ohjelma-arvioinnissa nähtiin myös esimerkkejä siitä, miten vastuullisen tieteen periaatteiden huomioiminen luo pohjaa yhteiskunnallisen vaikuttavuuden tavoitteiden toteutumiselle. Monialaisen yhteiskehittämisen menetelmin kyettiin muun muassa integroimaan heikossa yhteiskunnallisessa asemassa olevia ryhmiä tutkimusprosesseihin. Tätä kautta haavoittuvassa asemassa olevien ryhmien näkemyksiä saatiin osaksi tutkimuksen sisältöjä.

Miten arviointia voi kehittää ja miten arviointi voi kehittää strategista tutkimusta?

Pääosin toteutunut ohjelma-arviointi koettiin onnistuneeksi. Monipuolinen asianosaisten ja arvioitsijoiden kuuleminen loi tasapainoisen ja laajan kuvan arvioinnin kohteesta. Kaikissa arviointivaiheissa oli myös havaittavissa tiedeyhteisön ja yhteiskunnallisten toimijoiden suuri kiinnostus arviointia ja sen tuomia oppeja kohtaan.

Arvioinnin järjestämisessä koettiin toki myös haasteita. Yksi niistä oli arviointiaineiston laajuus. Se haastoi sekä arviointityön organisointia että itse arvioinnin suorittamista. Hankkeiden toiminnan aikainen seuranta tuotti suuren määrän indikaattoritietoa ja vapaamuotoista reflektoivaa aineistoa, jonka hallinta oli kenelle tahansa haastavaa. Silti arviointia tehneiden asiantuntijoiden mielessä oli usein myös kysymys siitä, olisiko jossain vielä ollut saatavilla relevanttia tietoa ja aineistoa kuvaamaan laajemmin tai syvällisemmin jotakin ohjelmien toiminnan osa-aluetta.

Arviointityön moninaiset tavoitteet loivat kokonaisuudesta vaikeasti hahmotettavan. Asiaa ei helpottanut se, että arvioitavat ohjelmat poikkesivat toisistaan huomattavasti sekä sisällöltään että hankemäärältään. Tärkein yleishavainto olikin se, että arviointityön näkökulmasta ohjelmat olisivat tarvinneet selkeämmät tavoitteet. Samalla kuitenkin kävi selväksi, että konkreettisten vaikuttavuustavoitteiden asettaminen jatkuvasti muuttuvassa yhteiskunnassa, jossa poliittisten voimasuhteiden muutokset saattavat muuttaa paljonkin erilaisten yhteiskunnallisten haasteiden käsittelyä, ei välttämättä ole järkevää tai mahdollista.

Ohjelma-arviointi toteutettiin reilun vuoden aikana tutkimusohjelmien rahoituskauden päättymisen jälkeen. Ajankohta tarjosi ohjelman toimijoille mahdollisuuden reflektoida toteutunutta tutkimus- ja vuorovaikutustoimintaa heti rahoituskauden päätyttyä. Toisaalta ajankohta loi haasteita tulosten ja erityisesti vaikutusten, saati vaikuttavuuden arvioinnille. Tutkimus- ja vuorovaikutustoiminnan tavoitteet ovat kauaskantoisia, joten on selvää, että sen paremmin tieteellistä kuin yhteiskunnallistakaan vaikuttavuutta ei tämän arvioinnin pohjalta voitu yksiselitteisesti ja lopullisesti todentaa. Nämä reunaehdot vaikuttavat olennaisesti myös jatkossa ohjelma-arviointien järjestämiseen ja arvioinnin tavoitteiden asettamiseen.

Voikin kysyä, kannattaako ohjelma-arviointia suorittaa järjestelmällisesti nimenomaan kunkin ohjelman päättymisen jälkeen? Nyt toteutetulla arviointitavalla voidaan luoda tiettyyn arvioinnin ajankohtaan sidottu luotettava käsitys ohjelman toiminnan onnistumisesta. Toisaalta säännöllisin väliajoin tehtävä ajantasainen katsaus päättyneiden ja käynnissä olevien ohjelmien toimiin voisi luoda kokonaisvaltaisemman käsityksen strategisen tutkimuksen vaikuttavuudesta, ja vieläpä tarjota paremmat eväät ohjelmien tulevaisuuden tukemiseen.

Ohjelma-arviointi ja sen tulokset ovat herättäneet kiinnostusta eri tahoilla. Strategisen tutkimuksen neuvosto ja sitä tukeva vastuualue Suomen Akatemiassa pyrkivät jatkamaan arvokasta tiedonvaihtoa ja oppimista monitieteisen ja yhteiskunnallisesti vaikuttavan tutkimuksen arvioinnista.