Transformations to Sustainability -ohjelman loppuarviointi toteutettiin Suomen Akatemian kulttuurin ja yhteiskunnan tutkimuksen (KY) vastuualueella. Tutkimuksen poikkitieteellisyys ja yhteiskunnallinen vaikuttavuus olivat arvioinnin läpileikkaavia teemoja. Raportoidun aineiston koostamisesta vastasivat KY-vastuualueen harjoittelijat.

Suomen Akatemia kuuluu yhteiskuntatieteiden tutkimusta rahoittavaan NORFACE-verkostoon (New Opportunities for Research Funding Agency Cooperation in Europe). Verkoston tavoitteena on kehittää rahoitusyhteistyötä yhteiskuntatieteitä rahoittavien tiedeorganisaatioiden välillä. NORFACE edistää tutkimusrahoituksen yhteistyötä muun muassa tiedonvaihdon, analyysien sekä yhteisten työpajojen ja tutkimusohjelmien avulla.

NORFACE ja globaalia kestävyystutkimusta rahoittava Belmont Forum rahoittivat vuosina 2018–2022 Transformations to Sustainability (T2S) -ohjelmaa, jonka 12 hankkeesta yhdessä (CONVIVA - the convivial conservation research project) oli mukana myös suomalainen tutkimusryhmä.

Suomen Akatemian KY-vastuualueen erityisrooli T2S-ohjelmassa oli ohjelman loppuarvioinnin järjestäminen yhdessä brittiläisen Economic and Social Research Councilin (ESRC) kollegoiden kanssa. Tutkijat raportoivat ohjelman rahoittamien 12 tutkimushankkeen väli- ja loppuraporteissa laajasti erilaisia tuotoksia ja tuloksia.

KY-vastuualueen harjoittelijoiden tärkein työpaketti oli ohjelman tutkimushankkeiden loppuraporttien sisällön muokkaaminen lähestyttäväksi kokonaisuudeksi.

Tutkimushankkeiden sidosryhmäyhteistyö erityistarkastelussa

Yhtenä T2S-ohjelman rahoituskriteerinä oli yhteiskunnallinen vaikuttavuus, jonka toteutumista seurattiin pyytämällä hankkeita raportoimaan omia sidosryhmäyhteistyötapojaan ja -kanaviaan.

Yhteiskunnallista vuorovaikutusta esittelevästä aineistosta muodostui yli sata eri tuloskategoriaa, joita tutkittiin, yhdisteltiin ja jaettiin alaluokkiin. Tuloksena oli nelisenkymmentä alaluokkaa, jotka jakautuivat neljään suurempaan kokonaisuuteen: vuorovaikutustilaisuudet ja esiintymiset; kirjalliset ei-akateemiset julkaisut; mediaesiintymiset ja muu toiminta, kuten esimerkiksi kuvataiteelliset tuotokset. Näin tutkimushankkeiden sidosryhmätoiminnat saatiin jaoteltua tarpeeksi kattaviksi sekä helposti ymmärrettäväksi kategorioiksi. Jaottelun avulla työstettiin myös informatiiviset ja havainnolliset infograafit arviointipanelistien aineistopaketteihin ja loppuraporttiin. Infograafit kertoivat sekä tarkat luvut että näyttivät isomman kuvan sidosryhmäyhteistyöstä.

_{Kuva 1. Akateemiset julkaisut, ei-akateemiset julkaisut, esiintymiset konferensseissa ja julkiset esiintymiset T2S-ohjelman tuloksissa.}

Poikkitieteellisyys ja yhteiskunnallinen vaikuttavuus läpileikkaavia teemoja

Loppuraportin infograafien taustalla olivat T2S-ohjelman läpileikkaavat tavoitteet projekteille: poikkitieteellisyys ja yhteiskunnallinen vaikuttavuus. Datasta etsittiin sitä, mitä projektit tekivät saavuttaakseen kyseiset tavoitteet. Minkä alan tutkijoita ja henkilökuntaa hankkeisiin palkattiin? Minkä tutkimusalan metodeja käytettiin?

Edellä mainittuun yhdistyi yhteiskunnallinen vuorovaikutus: datasta tutkittiin, miten ja keiden kanssa tutkimushankkeet työskentelivät. Kehen tulokset kohdistuvat ja miten heidät on otettu huomioon? Näin jokaisesta hankkeesta saatiin kirjattua tärkeimmät tulokset ohjelman tavoitteisiin vedoten. Kaksi kolmasosaa hankkeista esimerkiksi teki politiikkavaikuttamista joko kansallisella tai kansainvälisellä tasolla, ja tästä vaikuttamistyöstä iso osa oli päätöstentekijöiden kouluttamista.

Havaintoja loppuarviointiaineistosta: epätasapainoa globaalin pohjoisen ja etelän välillä

Eräs havainnollistava esimerkki loppuarvioinnin koontityöstä oli tutkimushankkeiden jäsenten roolien analyysi. Yhdeksi mielenkiintoisimmaksi osaksi analyysiä osoittautui se, että pelkästään tutkimusrooleissa toimineiden henkilöiden suorituspaikkojen tarkastelu ei antanut riittävän tarkkaa kuvaa ohjelmatasolla olleesta Globaali pohjoinen – Globaali etelä -välisestä epätasapainosta.

Tutkijoilta saatiin palautetta, että vaikka ohjelman tutkimushenkilöstö jakautuikin melko tasaisesti globaalin pohjoisen ja etelän välille, oli globaalilla pohjoisella selvä yliedustus tutkimushankkeiden johtotehtävissä. Alla olevat kuvaajat näyttävätkin hyvin, miten samasta datasta voidaan saada kaksi täysin eri kuvaa tasa-arvon toteutumisesta riippuen siitä, miten aineiston esittää.

_{Kuva 2. T2S-ohjelman tutkijoiden maantieteellinen jakauma.}

_{Kuva 3. T2S-ohjelman tutkijoiden suorituspaikkojen jakautuminen globaalisti. Vasemmalla kuvissa ja palkkien yläpuolella henkilömäärät.}

Vaihtelevat raportointityylit haasteena

Aineistoanalyysin yhtenä suurimmista haasteista oli tutkimushankkeiden vaihteleva raportointityyli: osa kertoi huomattavan yksityiskohtaisesti saavutuksistaan, toiset taas listasivat ne varsin tiiviisti. Aineistoa tuli siis tulkita, etsiä lisätietoa ja esittää jokainen hanke tasapuolisesti raporttien erilaisuuksista huolimatta. Tämä olikin yksi vaativimmista työvaiheista.

Toinen suuri haaste oli itsenäinen työskentely aikapaineen alla osana aineistoanalyysiä tehnyttä tiimiä. Aikapaine johtui esimerkiksi hankkeille koronapandemian takia myönnetyistä pidennyksistä, jotka siirsivät niiden loppuraportointiaikaa. Valintoja oli tehtävä ripeästi ja moni mielenkiintoinen, mutta ei niin olennainen osa datasta jäi vähemmälle analyysille.

Kansainvälisiin raportointipohjiin ja eri hallintojärjestelmien tuottamaan dataan paneutuminen aiheutti sekä päänvaivaa että onnistumisen iloa. Lopulta suurin kiitos oli kuitenkin kansainvälisen arviointipaneelin kehut tehdyn työn jäljestä: harjoittelijat olivat osaltaan mahdollistaneet laadukkaan arviointiprosessin toteutumisen.

KY-vastuualueen harjoittelijoista Katariina Flinck keskittyi aineistonanalyysissä projektien ei-akateemisiin julkaisuihin ja sidosryhmätoimintaan. Juhokalle Pekkala puolestaan keskittyi projektien akateemisiin julkaisuihin sekä tutkimushankkeiden henkilöstön koostumukseen.

Harjoittelijoiden työosuus koostui pääsääntöisesti raakadatan analysoinnista ja esittämisestä visuaalisesti sekä taustoittavien tekstien kirjoittamisesta. He kirjoittivat tiivistelmät rahoitetuista tutkimushankkeista sekä loivat laajasta aineistosta kaavioita ja kuvaajia, joiden pohjalta arviointipanelistit arvioivat ohjelman saavutuksia ja aikaansaannoksia.

Datasta piirtyi kuva laajasta ohjelmasta, jonka poikkitieteellinen ulottuvuus sekä yhteiskunnallisen vuorovaikutuksen skaala tekivät vaikutuksen arviointipaneeliin.

Excel-aineistosta koostettiin kaikkiaan 22 erilaista infograafia, kuten tieteellisten julkaisujen ja julkisten esitysten määrät ja kanavat. Tämän koontityön pohjalta arviointipanelistit saivat nopeasti kattavan ja tarkan kuvan projektien henkilöstöstä, sidosryhmäyhteistyöstä sekä tieteellisistä ja muista tuloksista. Arviointipanelistien antaman palautteen perusteella työstetty aineistopaketti oli korvaamattoman tärkeä heidän työssään. Myös T2S-ohjelman johtoryhmä arvosti tehtyä koontia niin paljon, että harjoittelijoiden tuottamat kaaviot liitettiin osaksi EU:n komissiolle lähetettyä loppuarviointiraporttia.