Blogien bannerikuva

Strategisen tutkimuksen ohjelma-arviointiin mallia muualta

15.11.2018

Ensimmäiset strategisen tutkimuksen neuvoston (STN) rahoittamat ohjelmat päättyvät elokuussa 2019, ja niiden ohjelma-arviointi tehdään keväällä 2020 – sekin ensimmäistä kertaa. Vaikka kokemuksia akatemiaohjelmien arviointiprosessista voidaan hyödyntää STN-ohjelmien arvioinnin suunnittelussa, STN-rahoituksen erityiset ominaispiirteet asettavat ohjelma-arvioinnille uudenlaisia vaatimuksia.

Ohjelma-arvioinnissa tulee vastata uudenlaisiin kysymyksiin suomalaisella rahoitusinstrumenttien kentällä: 

  • Miten mitata yhteiskunnallista vaikuttavuutta? 
  • Milloin yhteiskunnallista vaikuttavuutta voidaan olettaa syntyvän? 
  • Miten STN-hankkeiden vuorovaikutustoimintaa ja sen vaikuttavuutta arvioidaan? 
  • Kuka arvioi eli kuka arvioinnin tekee ja miten arviointi toteutetaan, jotta se kattaa koko strategisen tutkimuksen kentän niin tutkimustoiminnan kuin vuorovaikutuksen?
  • Keneltä tietoa kerätään, kun STN-hankkeiden vaikuttavuuden kannalta myös sidosryhmät ja vuorovaikutuskumppanit ovat keskeisessä asemassa? 
  • Miten arvioida ohjelmajohtajien toimintaa, jossa pyritään muodostamaan yhteyksiä tutkijoiden ja tutkimusta hyödyntävien välillä ja tukea yhteiskehittämisen prosesseja myös ohjelmien sisällä olevien hankkeiden välillä sekä eri ohjelmien välillä? 

Näitä kysymyksiä pohditaan nyt kuumeisesti strategisen tutkimuksen vastuualueella (ST), jossa ohjelma-arvioinnin konseptia parhaillaan suunnitellaan. Näkökulmia ja ideoita kerätään Akatemian kokemuksista sekä STN-hankkeilta ja ohjelmajohtajilta sekä strategisen tutkimuksen sidosryhmiltä. Lisäksi hyödynnetään kansainvälistä vaikuttavuuden arvioinnin osaamista esimerkiksi tutustumalla aihetta käsittelevään tutkimukseen.

Opit REF:n vaikuttavuuden arviointikokemuksista

Osana ohjelma-arvioinnin suunnittelua ST järjesti Vaikuttavuusseminaarin Helsingissä 31.10.2018 ja kutsui vieraikseen Research Englandin tutkimusjohtaja Steven Hillin ja Lancasterin yliopiston tutkija Gemma Derrickin keskustelemaan siitä, miten tutkimuksen yhteiskunnallista vaikuttavuutta voidaan arvioida ja miten sitä voidaan arvioida strategisen tutkimuksen kontekstissa. Vaikuttavuusseminaarissa Steven kertoi REF-arvioinnista, jonka yksi ulottuvuus on tutkimuksen vaikuttavuuden arviointi. Gemma on tutkinut REF:n vertaisarviointiprosesseja ja panelistien näkemyksiä sekä niiden muodostumista (ks. Gemman uusi kirja The Evaluator’s Eye: Impact assessment and academic peer review´). 

Steven ja Gemman alustukset ja niiden inspiroima keskustelu Vaikuttavuusseminaarissa herättivät paljon ajatuksia sekä uusia kysymyksiä sekä ST:n väessä että seminaarin yleisössä, joka koostui pääasiassa STN-ohjelmien konsortioiden edustajista ja ohjelmajohtajista. Mielestäni erityisen hyödyllisiä olivat Stevenin kymmenen oppia vaikuttavuuden arvioinnista REF:n kokemusten ja tulosten valossa:

  1. REF:n myötä korkeakoulut ovat oppineet strategista ajattelua ja kirjaamaan saavuttamansa vaikuttavuuden, jota ei ehkä aikaisemmin tunnistettu yhtä hyvin.  
  2. REF:ssa kehitetty vaikuttavuuden arvioinnin menetelmä toimii: panelistien mielestä vaikuttavuuden arviointimenetelmä on oikeudenmukainen ja uskottava. 
  3. Metriikan mahdollisuudet mitata vaikuttavuutta ovat rajalliset, paremmin vaikuttavuus saadaan kiinni narratiiveilla ja case-tutkimuksilla. 
  4. Kun korkeakouluissa kirjoitetaan vaikuttavuuskertomuksia, vaikuttavuuden todentaminen on vaikeaa ja saattaa viedä enemmän huomiota kuin vaikuttavuuden pohtiminen itsessään (“Miten voin todentaa väitteeni vaikuttavuudesta?”).
  5. Korkeakoulut ovat muuttaneet toimintaansa ja palkitsemiskäytäntöjään siten, että vaikuttavuus on osa toimintaa, arviointia ja ulottuvuutena myös urakehityksessä.
  6. Vaikuttavuuksia on laaja kirjo; ei ole yhtä mallia, joka sopii kaikille. 
  7. Monitieteinen tutkimus on erittäin tärkeää vaikuttavuuden kannalta; vaikuttavat tutkimukset olivat suurelta osin monitieteisiä. 
  8. Korkean tieteellisen laadun ja vaikuttavuuden välillä on havaittu positiivinen yhteys. 
  9. Eri tieteenaloilla vaikuttavuutta syntyy eri aikaan (vrt. nopeammat luonnontieteet ja tekniset alat ja hitaammat yhteiskuntatieteet). 
  10. Vaikuttava tutkimus on kansallisesti ja kansainvälisesti hyvin verkottunutta eli myös sen vaikuttavuuden maantieteellinen ulottuvuus on laaja.

Kopit ohjelma-arvioinnin suunnitteluun

Strategisen tutkimuksen ohjelma-arvioinnin näkökulmasta tarkasteltuna erityisen keskeinen viesti oli, että yhteiskunnallisen vaikuttavuuden arvioimiselle täytyy kehittää useita kriteerejä siten, että ne mittaavat kunkin ohjelman tavoitteita ja vastaavat juuri sen yhteiskunnallisen ongelman haasteisiin, joka valtioneuvosto on päättämässään teemassa asettanut. Esimerkiksi Tasa-arvoinen yhteiskunta -ohjelman ohjelmatoiminnan ja siinä toimivien hankkeiden arvioinnissa on arvioitava kyseisen teeman asettamia tavoitteita, kuten onko onnistuttu tuottamaan uutta, ratkaisuja mahdollistavaa tietoa yhteiskunnan epätasa-arvoa tuottavista rakenteista ja onko vuorovaikutustoiminnalla pystytty avaamaan uusia toiminnan tiloja ja kehittämään keinoja tasa-arvon edistämiseksi yhdessä sidosryhmien kanssa ja onko aikaan saadulla tiedolla ja toiminnalla ollut vaikutuksia suomalaiseen yhteiskuntaan.

Toinen keskeinen oppi minulle oli, että ohjelma-arviointi on syytä suunnitella ja toteuttaa erityisellä huolellisuudella, sillä se, mitä mitataan, alkaa ajan kuluessa suunnata toimintaa. REF:n kokemusten mukaan korkeakoulut oppivat arviointiprosessin myötä strategista ajattelua ja suuntaamaan toimintaansa siten, että se tuottaa REF:ssä korkealle arvostettua toimintaa ja vaikuttavuutta. Myös tutkijoiden urapoluissa on auennut uusi ulottuvuus, kun tutkijan meritoitumista tarkastellaan myös hänen tutkimuksena vaikuttavuuden näkökulmasta. Strategisen tutkimuksen ohjelmissa ja konsortioissa seurataankin syystä mielenkiinnolla, millainen ohjelma-arvioinnin konsepti tulee olemaan ja mitä siinä tullaan määrittelemään vaikuttavuudeksi ja millä kriteerein arvioidaan vaikuttavuuden saavuttamista. 

Kolmas oppi oli, että strategisessa tutkimuksessa ollaan jo kuljettu vaikuttavuuden arvioinnin kannalta oikeaan suuntaan. Stevenin mukaan vaikuttava tutkimus ja laadukas tutkimus liittyvät vahvasti toisiinsa. Laki Suomen Akatemiasta (2009/922, 5b §) määrittelee, että strategisen tutkimuksen neuvoston rahoittaman tutkimuksen tulee olla yhteiskunnallisesti merkittävää, vaikuttavaa ja laadukasta. Monitieteisyyden edellytys on sekin hyvin hallussa, sillä strategisen tutkimuksen konsortioiden on oltava monitieteisiä, ja niiden on koostuttava useammasta organisaatiosta. Konsortioiden kansalliselle ja kansainväliselle verkottumisellekin on hyvät lähtökohdat, sillä konsortioilla tulee jo hakuvaiheessa olla laajat verkostot sekä tutkimuksen maailmaan että sen ulkopuolelle. Lisäksi seuraamme strategisen tutkimuksen vastuualueella konsortioiden tutkimus- ja vuorovaikutustoiminnan laatua, aktiivisuutta ja laajuutta kuvaavaa metriikkaa (nk. tuotosindikaattorit) ja narratiivimuotoon kirjoitettuja vaikuttavuuskertomuksia. Lähtökohdat onnistuneelle ohjelma-arvioinnin konseptille ovat siis REF:n kokemuksien valossa hyvät. 

Metriikka voi vain täydentää vertaisarviointia

Gemma Derrickin alustuksessa ajatuksia minussa herätti erityisesti vertaisarvioinnin merkitys vaikuttavuuden arvioinnissa. Gemman mukaan metriikkaa ylikorostamalla saatetaan arviointiprosessissa pilata vertaisarvioinnin keskeisin tavoite eli yhteisen ymmärryksen muodostaminen siitä, mikä on vaikuttavaa tutkimusta. Mikäli metriikan mekanismit ohjaavat liikaa arviointia ja tuottavat perustan konsensusorientoituneelle ryhmäajattelulle, eivät vertaisarvioinnin arvokkaimmat ulottuvuudet pääse esiin. Vertaisarvioinnin perustana tulee olla vertaisten monialainen keskustelu, joka kumpuaa kunkin panelistin omasta asiantuntemuksesta, hiljaisesta tiedosta ja kokemuksesta. Gemman tärkeä viesti myös strategisen tutkimuksen ohjelma-arvioinnin konseptointiin on se, että metriikka on mekaniikkaa eikä voi koskaan korvata vertaisarviointia. Vertaisarvioinnissa on toki omat haasteensa, joihin pitää tarttua ja arviointia tulee kehittää, mutta sitä ei voi korvata metriikalla. Tämä on erityisen tärkeä ajatus, kun pohditaan data-analytiikan ja tiedonlouhinnan mahdollisuuksia arvioinnin välineinä. 

Gemma kehotti lähestymään vaikuttavuuden vertaisarviointia prosessina eikä vain lopputuloksena. Samaten on tärkeää, että sen sijaan, että kysymme, mitä vaikuttavuus on, meidän tulisi kysyä, miten vaikuttavuutta voidaan arvioida ja arvottaa. Gemman mukaan vaikuttavuuden arvioinnin prosessimainen luonne tulee ymmärtää. Strategisen tutkimuksen ohjelma-arvioinnin näkökulmasta tämä voisi tarkoittaa esimerkiksi sitä, että suunnittelussa keskitetään yhtä paljon energiaa vaikuttavuuden ja sen prosessimaisuuden ymmärtämiseen kuin tulosten ja niiden vaikuttavuuden mittaamiseen. Sen sijaan, että kysymme ”mikä muuttui”, voisimme esimerkiksi kysyä ”millaisia muutoksen prosesseja ohjelma ja sen konsortiot saivat käyntiin ja miten näiden prosessien vaikuttavuutta voidaan arvioida”.

Stevenin ja Gemman vierailu Akatemiassa ja vaikuttavuusseminaarissa antoi monia hyvä ideoita ja herätti monta tärkeää kysymystä, joita on pohdittava strategisen tutkimuksen ohjelma-arvioinnin suunnittelussa ja toteuttamisessa. Heidän vierailunsa mahdollisti myös yhteisen ajan ja tilan pohtia vaikuttavuutta akatemialaisten, ohjelmajohtajien, konsortioiden edustajien ja strategisen tutkimuksen vastuualueen henkilökunnan kesken. Tästä on hyvä jatkaa. 

Kirjoittaja:

Milja Saari toimii tiedeasiantuntijana strategisen tutkimuksen vastuualueella

Onko sinulla kysyttävää tai haluatko antaa meille palautetta?