Vaikuttavuuden seuranta ja arviointi

Vuonna 2023 päättyi kaksi STN-ohjelmaa

• Sopeutuminen kestävän kasvun edellytyksenä, ADAPT (2018–2023)
• Kestävän kasvun avaimet, GROWTH (2018–2023)

Tutustu näiden tutkimusohjelmien tuloksista ja vaikutuksista laadittuun yhteenvetoon:

• STN-ohjelmat ADAPT ja GROWTH (2018–2023): Yhteenveto loppuraporttien ja kyselyaineistojen pohjalta (pdf)

Näiden ohjelmien perustiedot löydät Ohjelmat ja hankkeet -sivun alaosan pudotusvalikosta.

Yhteenvetoa varten kerätyt kyselyaineistot on toimitettu anonymisoituna Tietoarkistoon (FSD) mahdollista jatkokäyttöä varten. Hankkeiden ja ohjelmajohtajien vaikuttavuuskertomukset on tekijöiden luvalla tallennettu Akatemian aineistopankkiin, josta ne ovat julkisesti saatavilla. Muuta yhteenvedossa käytettyä aineistoa voi tiedustella Suomen Akatemian kirjaamosta.

Vuosien 2022–2023 aikana toteutettiin strategisen tutkimuksen vastuualueen koordinoimana neljän tutkimusohjelman arviointi:

• Tasa-arvoinen yhteiskunta, EQUA (2015–2021)
• Ilmastoneutraali ja resurssiniukka Suomi, PIHI (2015–2021)
• Teknologiamurrokset ja muuttuvat instituutiot, TECH (2015–2021)
• Muuttuvat hallinnan tavat ja aktiivinen kansalaisuus, CITIZEN (2017–2021)

Tutustu tutkimusohjelmien arviointeihin (raporttien kieli on englanti):

• Equality in Society, EQUA (2015–2021). Evaluation of the strategic research programme. (pdf, englanniksi)
• A Climate-Neutral and Resource-Scarce Finland, PIHI (2015–2021). Evaluation of the strategic research programme. (pdf, englanniksi)
• Disruptive Technologies and Changing Institutions, TECH (2015–2021). Evaluation of the strategic research programme. (pdf, englanniksi)
• Changing Society and Active Citizenship, CITIZEN (2017–2021). Evaluation of the strategic research programme. (pdf, englanniksi)

Näiden ohjelmien perustiedot löydät Ohjelmat ja hankkeet -sivun alaosan pudotusvalikosta ”Päättyneet ohjelmat”.

Arvioinnin toteutus

EQUA-, PIHI-, TECH- ja CITIZEN-ohjelmien arviointi toteutettiin neljässä ohjelmakohtaisessa asiantuntijapaneelissa, joihin kutsuttiin ulkomaisia ja kotimaisia asiantuntijoita ohjelman teema-alueelta.

Arviointi asiantuntijapaneeleissa

Kunkin neljän asiantuntijapaneelin tehtävänä oli arvioida ohjelman toteutusta, tuloksia ja vaikuttavuutta seuraavien arviointikriteerien perusteella:

1. korkeatasoisen, monitieteisen tutkimuksen edistäminen ohjelman teema-alueen ongelmista ja tarpeista
2. konkreettisten toimien luominen näiden ongelmien ja tarpeiden ratkaisemiseksi suomalaisessa yhteiskunnassa
3. tutkimus- ja sidosryhmäyhteisöjen ja niiden välisten yhteyksien vahvistaminen ohjelman teema-alueella

Paneelit tekivät havaintojensa perusteella myös johtopäätöksiä ja suosituksia STN-ohjelmien kehittämiseksi tulevaisuudessa.

Arvioinnin aineistot

Strategisen tutkimuksen vastuualue toimitti kullekin asiantuntijapaneelille kattavan aineiston arvioitavan ohjelman taustoista, tuloksista ja vaikutuksista. Arviointimateriaaliin sisältyi myös tulokset kahdesta kyselystä, joista toinen oli suunnattu hankkeiden edustajille ja toinen hankkeiden tärkeimmille vuorovaikutuskumppaneille. Lisäksi kukin paneeli haastatteli ohjelman keskeisiä toimijoita. Kunkin ohjelman aineistoista tehdyt yhteenvedot on julkaistu arviointiraportin liitteenä.

Arviointia varten kerätyt kyselyaineistot on toimitettu anonymisoituna Tietoarkistoon (FSD) mahdollista jatkokäyttöä varten. Hankkeiden ja ohjelmajohtajien vaikuttavuuskertomukset on tekijöiden luvalla tallennettu Akatemian aineistopankkiin, josta ne ovat julkisesti saatavilla. Muuta arviointiaineistoa voi tiedustella Suomen Akatemian kirjaamosta.

Vuosina 2016–2019 toimineiden neljän tutkimusohjelman arviointikokonaisuus oli ensimmäinen strategisen tutkimuksen vastuualueen koordinoima ohjelma-arviointi. Arvioinnin kohteena olivat seuraavat strategisen tutkimuksen ohjelmat:

• Kaupungistuva yhteiskunta (URBAN)
• Terveys, hyvinvointi ja elämäntavat (HEALTH)
• Osaavat työntekijät – menestyvät työmarkkinat (WORK)
• Turvallisuus verkottuneessa maailmassa (SECURITY)

Tutustu näiden tutkimusohjelmien arviointeihin:

• Strategisen tutkimuksen ohjelmat 2016–2019: Yhteiskunnallisen vaikuttavuuden arviointi (pdf)
• Strategisen tutkimuksen ohjelmat 2016–2019: Itsearviointiraportit (pdf)
• Strategic Research Programmes 2016–2019: Ex-post evaluation of scientific activities (pdf)

Näiden ohjelmien perustiedot löydät Ohjelmat ja hankkeet -sivun alaosan pudotusvalikosta ”Päättyneet ohjelmat”.

Arvioinnin toteutus

HEALTH, SECURITY, URBAN ja WORK-ohjelmien arviointi toteutettiin vuosien 2020–2021 aikana kolmessa vaiheessa.

Itsearviointi

Ohjelma-arvioinnin ensimmäisen vaiheen tavoitteena oli muodostaa tutkimusohjelman toimijoiden jaettu ymmärrys ohjelman toiminnasta. Itsearviointi toteutettiin ohjelmakohtaisina keskustelutilaisuuksina, joiden tuloksena syntyi analyysi kunkin ohjelman toiminnasta. Keskusteluissa käsiteltiin kaikkia ohjelma-arvioinnin tavoitteita. Keskustelujen muistiot toimivat aineistona arvioinnin seuraavassa vaiheessa.

Yhteiskunnallisen vaikuttavuuden arviointi

Toisessa vaiheessa tavoitteena oli ymmärtää STN-ohjelmien yhteiskunnallista ulottuvuutta. Yhteiskunnallisen vaikuttavuuden arviointia lähestyttiin IOOI (input-output-outcome-impact) viitekehyksestä käsin. Huomiota kiinnitettiin moninaisiin vaikuttavuuspolkuihin, erityisesti ohjelmien sidosryhmäverkostoissa tehtyyn vuorovaikutukseen ja verkostojen muutoksiin. Yhteiskunnallisen vaikuttavuuden arvioinnin toteutti ulkopuolinen arvioija, Gaia-Consulting Oy.

Tieteellisen toiminnan arviointi

Ohjelma-arvioinnin kolmannessa vaiheessa arvioitiin ohjelmien monitieteisyyttä, tieteellistä laatua sekä tutkimuksen ja yhteiskunnallisen vaikuttavuuden yhteyksiä. Arvioinnissa hyödynnettiin monipuolista aineistoa. Arvioinnin toteutti ulkopuolinen asiantuntijapaneeli.

• Näkymätöntä näkyväksi tekemässä – strategisen tutkimuksen vaikuttavuus, Katri Mäkinen-Rostedt, Aleksi Husso ja Katri Huutoniemi 20.11.2024
• Strategisen tutkimuksen rahoitus vahvistaa suomalaisten julkaisujen vaikuttavuutta, Katri Huutoniemi 18.9.2024
• Strateginen tutkimus on tieteellisesti vaikuttavaa ja aidosti monitieteistä, Katri Huutoniemi 26.2.2024
• CITIZEN-ohjelman arviointi: demokratiakokeiluista vauhtia hallinnan kulttuurimuutokseen, Kaisa Lähteenmäki-Smith ja Katri Mäkinen-Rostedt 25.9.2023
• TECH-ohjelmassa rakennetut osaamis- ja innovaatioyhteisöt ovat hyvä perusta kestävän kasvun ja hyvinvoinnin edistämiselle, Mervi Karikorpi 25.9.2023
• PIHI-ohjelma edisti laaja-alaista siirtymää hiilineutraaliin ja resurssiniukkaan yhteiskuntaan, Mari Pantsar ja Katri Huutoniemi 25.9.2023
• Ohjelma-arviointi: strateginen tutkimus on vahvistanut poikkitieteellistä tutkimusta ja yhteiskehittämisen valmiuksia, Uutinen 25.9.2023
• Neljä STN-ohjelmaa on nyt puolivälissä – miten hankkeet ovat edistyneet?, Katri Huutoniemi ja Otto Auranen 6.9.2022
• Strateginen tutkimus: Mitä siitä seuraa?, Kyösti Husso ja Jyrki Hakapää 21.9.2021
• Arviointi: monitieteinen strateginen tutkimus tukee koko yhteiskuntaa, Uutinen 14.6.2021
• Strategisen tutkimuksen ohjelmien yhteiskunnallista vaikuttavuutta arvioitiin ensimmäistä kertaa, Uutinen 3.2.2021
• Arviointi: strategisen tutkimuksen rahoitus tuonut lisäarvoa tutkimukseen ja yhteiskuntaan, Uutinen 28.1.2021
• Kohti tutkimus- ja vuorovaikutustyön kokonaisvaltaista arviointia, Kyösti Husso 7.4.2020
• Strategisen tutkimuksen tulosten jäljillä, Jyrki Hakapää 22.8.2019