När man bearbetar forskningsfinansieringens metoder och fördelning är det också skäl att stanna upp och fundera på vad som är bra med det nya arrangemanget. Sedan 2015 har en ny typ av finansiering för strategisk forskning delats ut. Projekten och programmen har redan från början berättat på ett omfattande sätt om sin verksamhet och sina framgångar i offentligheten. Även rådet för strategisk forskning (RSF) och Finlands Akademis tjänstemän som stöder rådet har strävat efter transparens och berättat på ett omfattande sätt om sina egna åtgärder och grunderna för dem. De första heltäckande svaren har dock kommit in först under det gångna året i och med de första programutvärderingarna av strategisk forskning. Vad lärde man sig av utvärderingarna?

Förväntningarna på programutvärderingen

Vad bör programutvärderingen för strategisk forskning fokusera på? Vem eller vilka skulle behöva denna utvärderingsinformation? Hur skulle förväntningarna på utvärderingen kunna uppfyllas med de resurser som finns tillgängliga? Man började reflektera över sådana här frågor när man började fundera på genomförandet av programutvärderingen år 2018. Den första programutvärderingen omfattade fyra RSF-program som avslutades hösten 2019. Dessa forskningsprogram var undantagsvis treåriga jämfört med de övriga RSF-programmen.

Efter beredningsarbetet skrev RSF i sina finansieringsprinciper våren 2019 att programutvärderingens uppgift skulle vara att uttryckligen fokusera på utvärdering av programmens samhälleliga genomslag. Samtidigt fastställdes att utvärderingsresultaten borde tilltala både forskarsamhället och statsförvaltningens representanter. Resultaten bör också gynna framtida projekt för strategisk forskning och verksamheten i rådet för strategisk forskning. Huvudmålet var att förstå mångfalden i den strategiska forskningens verksamhet och dess samhälleliga genomslag: i RSF-programmen handlade det ju om en helt ny sammanföring av tvärvetenskaplig forskning och samarbete med intressentgrupper, och det fanns inga entydiga mått för utvärderingen av detta. Inledningsvis var man därför tvungen att lära sig att förstå vad som är värdefullt i den strategiska forskningens verksamhet och varför, och först därefter kunde man utvärdera verksamheten.

En utvärderingsfråga som gällde alla forskningsprogram var hur forsknings- och växelverkansarbetet inom projekten och programmen påverkade de övriga parterna. Hade viktiga aktörer med tanke på lösningar på samhälleliga utmaningar fått nya vetenskapliga grunder för sina åtgärder eller ändrat sin verksamhet för att lösa aktuella utmaningar? Forskarna och projekten ansågs möjliggöra genomslag, eftersom uppnåendet av samhälleliga förändringar i stor utsträckning beror på olika samhälleliga aktörer. Forskarna och forskningsprojekten ansågs dock ha ansvar för att möjliggöra samhälleligt genomslag: av projekten väntade man sig nya forskningsrön som stöd för det samhälleliga beslutsfattandet samt förmedling av information på sådana sätt som skulle stöda utnyttjandet av informationen så bra som möjligt. I enlighet med målen för strategisk forskning ansågs ett tvärvetenskapligt och innovativt forskningsarbete av hög kvalitet vara ett väsentligt sätt att stöda användningen av information.

Eftersom det var fråga om en ny finansieringsform, och endast aktörerna inom forskningsprogrammen hade förstahandsinformation om sin verksamhet, var det vettigt att bjuda in programprojekten och programledarna för att delta i utvärderingen. Efter självutvärderingen var det dags för Gaia Consulting, som känner det finländska samhället och forskarsamhället, att utvärdera vilket samhälleligt genomslag som hade uppnåtts eller möjliggjorts i programmen. Slutligen utvärderades den vetenskapliga verksamheten och resultaten i utvärderingspaneler bestående av internationella experter.

Ökad förståelse och utvecklade verksamhetsmodeller

Utvärderingarna visar att programmen för strategisk forskning genom sin mångsidiga verksamhet har skapat starka förutsättningar för att skapa samhälleligt genomslag. Effekterna av forsknings- och växelverkansarbetet är bland annat ökad förståelse och samhällsdebatt om de centrala fenomen som forskningsprogrammen omfattade. Utöver ökad förståelse lyckades projekten skapa konkreta praktiska verksamhetsmodeller och lösningar för att möta de utmaningar som identifierats i programmen. En central metod var samutveckling med dem som utnyttjar informationen och med andra intressentgrupper. I utvärderingen identifierades också projektens strävanden att sprida forskningsrön till mer omfattande målgrupper bland annat med hjälp av politiska rekommendationer och allmänna publikationer.

Det är dock klart att det är svårt att verifiera de omfattande forskningsprogrammens samhälleliga genomslag, och konkreta exempel kan bli tydliga först långt i framtiden. När det gäller programmens genomslag kan det vara tydligare att tala om de nätverk av intressentgrupper som skapats och hur deras verksamhet utvecklas framom egentliga samhälleliga förändringar. I och med programutvärderingen har man också utvecklat förståelsen för hur utmanande det är att värdera tvärvetenskapliga forskningsprojekt och framgångar i deras arbete med intressentgrupper.

Flervetenskaplig forskning med genomslag

Det krävdes mångvetenskaplighet av projekten inom forskningsprogrammen. Enligt programutvärderingen syntes detta inte bara i projektens sammansättning utan också i forsknings- och växelverkansarbetets mål, metoder och resultat. Med hjälp av flervetenskapligt samarbete ansågs programmen ha exempelvis gett upphov till en ny slags förståelse och nya begrepp mellan vetenskapsområden samt nya metodologiska initiativ som förenar vetenskapsområden. Utifrån utvärderingen hade forskningsprogrammen också mångsidiga metoder och mål för forsknings- och växelverkansarbetet. De samhälleliga fenomen och forskningsområdesspecifika utgångspunkter som låg bakom programmen påverkade de val som gjordes. I fråga om dessa metoder och mål fanns det betydande skillnader mellan forskningsprogrammen.

Betydelsen av flervetenskapligt samarbete syns bäst i dess institutionella följder. Med hjälp av finansiering av strategisk forskning har forskarna kunnat skapa nya mångvetenskapliga forskarnätverk och växelverkan. Enligt observationerna i programutvärderingen krävde denna uppkomst av samarbete och växelverkan många olika resurser, och vid planeringen av verksamheten måste man beakta olika kostnadsalternativ.  Programmen för strategisk forskning är i regel sexåriga. Å andra sidan konstaterades det till exempel i självutvärderingen att redan tack vare den treåriga finansieringen fick programaktörerna fler möjligheter än tidigare att koncentrera sig särskilt på den tvärvetenskapliga planeringen av forsknings- och växelverkansverksamheten.

Programmen som genomförare av ansvarsfull vetenskap

Principerna för ansvarsfull vetenskap syntes i programmens och projektens verksamhet i form av öppna vetenskapliga publikationer och möjliggörande av fortsatt användning av material. Möjligheten att fortsätta använda material lyftes fram i utvärderingen som ett viktigt utvecklingsobjekt, eftersom det ansågs vara ett av de mest konkreta sätten att främja forskningens kontinuitet efter programperioden. I programutvärderingen sågs också exempel på hur beaktandet av principerna för ansvarsfull vetenskap skapar en grund för förverkligandet av målen för samhälleligt genomslag. Med metoder för sektorsövergripande gemensam utveckling kunde man bland annat integrera grupper i svag samhällelig ställning i forskningsprocesserna. På detta sätt blev de sårbara gruppernas åsikter en del av undersökningens innehåll.

Hur kan utvärderingen utvecklas och hur kan utvärderingen utveckla strategisk forskning?

Den genomförda programutvärderingen ansågs till största delen vara lyckad. Att på ett mångsidigt sätt höra parterna och bedömarna gav en balanserad och omfattande bild av föremålet för utvärderingen. I alla utvärderingsfaser kunde man också se forskarsamhället och de samhälleliga aktörernas stora intresse för utvärderingen och de lärdomar den ger.

Visserligen upplevde man också utmaningar med att ordna utvärderingen. En av dem var utvärderingsmaterialets omfattning. Det utmanade både organiseringen av utvärderingsarbetet och själva utvärderingen. Uppföljningen av projektens verksamhet producerade en stor mängd indikatorinformation och fritt formulerat reflekterande material som var utmanande för vem som helst att hantera. Trots det undrade de experter som gjort utvärderingen ofta om man bättre kunnat ange relevant information och material för att beskriva något delområde i programmens verksamhet på ett bredare eller djupare plan.

De mångsidiga målen för utvärderingsarbetet gjorde helheten svåröverskådlig. Detta underlättades inte heller av att de program som utvärderades skilde sig avsevärt både vad gäller innehåll och projektantal. Den viktigaste allmänna observationen var att programmen ur utvärderingsarbetets synvinkel hade behövt tydligare mål. Samtidigt blev det dock klart att det inte nödvändigtvis är vettigt eller möjligt att ställa upp konkreta mål för genomslag i ett samhälle som ständigt förändras, där förändringar i de politiska maktförhållandena kan förändra behandlingen av många olika samhällsutmaningar.

Programutvärderingen genomfördes under drygt ett år efter att finansieringsperioden för forskningsprogrammen löpt ut. Tidpunkten erbjöd aktörerna i programmet möjlighet att reflektera över den genomförda forsknings- och växelverkansverksamheten genast efter finansieringsperiodens slut. Å andra sidan skapade tidpunkten utmaningar för utvärderingen av resultaten och i synnerhet konsekvenserna, särskilt genomslag. Målen för forsknings- och växelverkansverksamheten är långsiktiga, så det är klart att varken det vetenskapliga eller det samhälleliga genomslaget kunde verifieras entydigt och slutgiltigt utifrån denna utvärdering. Dessa ramvillkor kommer även i fortsättningen att ha en väsentlig inverkan på organiseringen av programutvärderingarna och fastställandet av målen för utvärderingen.

Man kan fråga sig om det lönar sig att göra en systematisk programutvärdering precis efter att varje program har avslutats. Den nuvarande utvärderingsmetoden kan ge en tillförlitlig bild av programmets framgång, kopplad till en specifik tidpunkt för utvärderingen. Å andra sidan skulle en regelbunden och aktuell översikt av åtgärderna i genomförda och pågående program ge en mer övergripande bild av genomslagen för strategisk forskning, och dessutom erbjuda bättre vägledning för att stödja programmens framtid.

Programutvärderingen och dess resultat har väckt intresse från olika håll. Rådet för strategisk forskning och det ansvarsområde som stöder det vid Finlands Akademi strävar efter att fortsätta det värdefulla informationsutbytet och lärandet om utvärdering av tvärvetenskaplig forskning med samhälleligt genomslag.