Vid slutet av sommaren har den strategiska forskningens femåriga vandring kommit fram till en situation där de första programmen i den strategiska forskningen tar slut. Under kommande år förverkligas för första gången en programutvärdering av strategisk forskning. Målet är att förstå den samhälleliga effekten av de strategiska forskningsprogrammen samt att utveckla finansieringsformen.

Ny typ av utvärderingsarbete 

När rådet för strategisk forskning (RSF) började sin verksamhet fick den en ny slags förpliktelse att både följa och utvärdera verksamheten i forskningsprojekten som de finansierar (Finlex). Förpliktelsen som sådan var ny och krävde därmed nytt förfarande för forskningsfinansiering. Det fanns inga tidigare exempel som skulle ha varit lätta att ta i bruk, eftersom målen för den strategiska forskningen att hitta lösningar på samhälleliga utmaningar samt att utveckla kommunikationen mellan vetenskap och samhällets beslutsfattare är relativt unika i sin egen kontext för forskningsfinansiering som man konkurrerar om.

Det har ju för all del satsats på forskningens samhälleliga effekt, både på arbetet för den och på resultaten av den under en längre tid, såväl internationellt som i Finland. RSF och sekretariatet som stöder det i Finlands Akademi har redan från början varit tursamma då många forskare som är intresserade av både forskningens samhälleliga effekt och av utvärderingen av den finns bland de utvalda till finansieringsformen. En del projekt har i anknytning till målen till och med utarbetat tydliga och mångsidiga sätt att följa hur målen uppnås. Beslutsfattarna och tjänstemännen har på så sätt sina sparringpartner med vilka man har haft många konstruktiva diskussioner.

Utvärderingen av den strategiska forskningens projekt och program är ändå unik. Forskningens samhälleliga effekt har dock reflekterats och förverkligats tidigare, men mycket sällan har den varit programgrund för forskningsfinansieringen. Ännu mer sällan har uppföljningen av effekten grundats på behandlingen av en samhällelig utmaning som definierats i förväg. Även det allmänna målet för finansieringsformen att skapa nya tvärvetenskapliga helheter och samhälleliga nätverk utvidgar målen för forskningsverksamheten exceptionellt långt.

Det är heller inte enbart en fråga om forskningsprojektens verksamhet. Till en början är det egentligen rättvist att begrunda hur bra RSF med stöd av statsrådets temabeslut om strategisk forskning har kunnat skapa ett lämpligt program med sina programutlysningar och finansieringsbeslut med tanke på finansieringsformen samt att skaffa finansieringen som behövs. Mot slutet måste man återigen fundera över forskarnas och forskningsprojektens möjligheter att överhuvudtaget få samhällets beslutsfattare, aktörer eller vid behov hela samhället övertygade om resultaten från sitt arbete – och har dessa aktörer kunnat lösa samhälleliga utmaningar såsom de presenteras i forskningsprogrammet. Själva utvärderingsarbetet har också sina egna karaktärsdrag: det gäller ju inte akademisk forskning utan ett utvärderingsarbete som verkställs av en offentlig forskningsfinansiär. Samtidigt med detta har det varit glädjande att se på senare tid att många forskare har fördjupat sig i undersökning av möjligheter och sätt att genomföra effekten av strategisk forskning – men också av vetenskap överhuvudtaget.

Vad observeras som samhällelig effekt av forskningen

När man utreder forskningsarbetets samhälleliga effekt är det fråga om en invecklad härva vars resultat man långt ifrån alltid kan påvisa eller bevisa. Samhälleliga effekter av forskningsarbetet uppstår ännu många år efter att forskningsprojektet har avslutats. Forskningsarbetet och effekten blandas ofta in i helheten av många olika projekt och åtgärder.

Tidigare har utredningen av dessa härvor lett till att man i utvärderingsarbetet har kunnat påvisa effekter av insatser som känns konkreta och som snabbt kan genomföras. Strategisk forskning är dock mycket mångsidig och det gäller även insatserna och resultaten för att möjliggöra och förverkliga den samhälleliga effekten. För en överblick av helheten kan man inte fokusera på enstaka indikatorer eller exempel som påvisar effekt. Tvärtom krävs både observation av genomförandet av interaktionsarbetet, förståelse av arbetets effekt, reflektioner av effektens möjligheter i framtiden och slutligen även förmåga att fundera över misslyckanden och områden där effekt har visat sig omöjlig att åstadkomma.

RSF har bestämt ramarna för utvärderingsarbetet i sina finansieringsprinciper (pdf). Rådet har beslutat att fokusera speciellt på uppföljning av programnivån. Syftet med arbetet är att bedöma den samhälleliga effekten som förverkligats eller som möjligen förverkligas i framtiden av den finansierade forsknings- och interaktionsverksamheten samt att utveckla funktionen i den strategiska forskningens finansieringsinstrument.

Fokus på programverksamheten tvingar till att komma ihåg att varje program i strategisk forskning är en egen helhet både vad gäller tema, finansiering och genomförande. Programmens åtgärder och resultat ska betraktas med programspecifik förståelse istället för en inbördes jämförelse av hur programmen har lyckats. Möjligheterna att svara på olika utmaningar skiftar, likaså de samhälleliga rollerna för olika vetenskapsgrenar.

Rådet har förbundit sig vid öppenhet och ansvarstagande i utvärderingsarbetet. Åtagandet som Finlands Akademi gjorde förra sommaren att beakta DORA-deklarationen i utvärderingsarbetet stämmer bra överens med programutvärderingens behov. Exempelvis den tvärvetenskapliga karaktären i strategisk forskning och betoningen av nya kompetenskombinationer innebär att utvärderingen av forskningsarbetets kvalitet inte kan grundas på enstaka vetenskapsgrenars bedömning av de bästa publiceringssätten.

Utvärderingsarbetets tre delar

Programutvärderingen (pdf, på finska) består av tre olika faser: först gör man en självutvärdering där projekten som deltagit i programmet reflekterar över hur projekten och programverksamheten har lyckats som helhet, programrelaterade utmaningar samt hur verksamheten motsvarar programbeskrivningen. För att förstå programkaraktären behövs aspekter och verbalisering av dem som genomför programmet så att ett externt utvärderingsarbete kan förstå aktörernas motiv och insatser.

Därefter fokuserar den externa expertutvärderingen på förståelse och bedömning av den samhälleliga effekten och genomförbarheten. I det här skedet fokuserar utvärderingsarbetet på hur forskningsprojektens samarbetspartner deltar i projekten samt på sätt att förstå omvärlden och agera i den, vilka härrör från forskningsresultaten: hur såg interaktionen egentligen ut från deras synvinkel, hur bra fick man med dem i programverksamheten och hur löste de slutligen i och med forskningsresultaten – eller kanske kan lösa i framtiden – de samhälleliga utmaningarna som fanns under arbete? Det finns ingen anledning att vid sidan av enskilda beslutsfattare och institutioner åsidosätta främjandet av den offentliga diskussionen som en arena för samhällelig effekt.

Slutligen sätter sig den externa vetenskapliga utvärderingen in i en bedömning av resultaten från programmets forskningsprojekt. Detta skede fokuserar speciellt på att observera sambandet mellan projektets forskningsarbete och -resultat med interaktionsarbetet som det alstrat samt med resultaten av den samhälleliga effekten. Samtidigt behandlar det även speciella drag i tvärvetenskapligt forskningsarbete, framgång och utmaningar. Vi behöver högklassig forskning för att lösa samhälleliga utmaningar och samtidigt behöver vi information om hur just denna finansieringsform kan skapa sådan.

Utvärderingsarbetet börjar efter slutrapporten av projekten som finansierats i programmet. Resultaten av utvärderingsarbetet kumuleras i ovan nämnda ordning. Utvärderingsrapporterna från fyra program i strategisk forskning som tar slut i augusti 2019 (pdf, på finska) väntas bli färdiga under slutet av år 2020.

Projekten har under de senaste månaderna publicerat sammanställningar och sammanfattningar av slutresultaten och insatserna i sitt forskningsarbete. Det första urvalet av resultat finns tillgängliga i den strategiska forskningens nyhetsbrev i augusti, och sammanställningar och presentationer av insatserna kan göras i större omfattning redan under de närmaste månaderna. Med tanke på finansieringsformen och överhuvudtaget forskningens samhälleliga effekt ger ett mer omfattande och varaktigt utvärderingsarbete en huvudsaklig möjlighet att förstå och tolka den strategiska forskningens verksamhet och insatser.