Hakemusten ohella kansainvälisten asiantuntijoiden arviointilausunnot toimivat luottamuselinten keskeisenä materiaalina rahoituspäätösten valmistelussa ja päätöksenteossa. Mitä hakemusten arvioinnilla tarkoitetaan Suomen Akatemian eri rahoitusmuodoissa? Entä miten arviointia kehitetään vastaamaan maailmanlaajuisestikin käynnissä olevia tieteentekemisen ja arviointikäytänteiden muutoksia?

Hakemusten vertaisarviointi on perustavanlaatuinen osa Suomen Akatemian rahoituspäätösten valmistelua ja lopulta kaikkea Akatemian toimintaa. Akatemia rahoittaa tutkimusta ja tukee tutkijoita eri uravaiheissa sekä kehittää tutkimusympäristöjä usealla eri rahoitusmuodolla. Arviointi suhteutetaan kunkin rahoitusmuodon tavoitteisiin. Tällä pyritään siihen, että arviointi olisi rahoitusmuodolle ja sen ominaispiirteille tarkoituksenmukaista. Tämän lisäksi Akatemian strategisen tason sitoumukset, kuten vastuullisen tieteen edistäminen, vaikuttavat kaikkien Akatemian rahoitusmuotojen hakemusten arviointiin.

Akatemian järjestämä arviointi pohjautuu vertaisarviointiin

Tutkimusrahoituspäätösten valmistelussa vertaisarvioinnin hyödyntäminen on tutkimusrahoitukselle erityislaatuinen piirre verrattuna muihin suomalaisiin valtionavustusten myöntöprosesseihin. Tutkimusrahoituspäätösten valmistelussa Suomen Akatemian arviointi pohjautuu laajasti hyödynnettävään kansainväliseen vertaisarviointiin. Vertaisarviointi on arviointia, jossa vastaavassa ympäristössä toimivista arvioijista koostuva ryhmä arvioi organisaation valitsemaa kohdetta tai kohteita.

Akatemian järjestämässä arvioinnissa vertaisarviointiryhminä toimivat asiantuntijapaneelit. Ne kootaan eri alojen tutkimuksen kansainvälisistä asiantuntijoista. Kansainvälisellä arvioinnilla pyritään välttämään tiedostamattoman puolueellisuuden ja esteellisyyden synty (unconscious bias). Puolueellisuuden ja esteellisyyden synty saattaisi olla uhkana, jos arviointi järjestettäisiin ainoastaan kotimaisten asiantuntijoiden voimin, koska suomalainen tiedeyhteisö on kooltaan hyvin pieni. Kansainvälisellä arvioinnilla pyritään myös varmistamaan, että hakemuksia arvioidaan tutkimuksen globaaliin tasoon nähden.

Vertaisarvioinnissa asiantuntijapaneelit muodostavat kokonaisnäkemyksen arvioitavista hakemuksista. Akatemian järjestämien vertaisarviointipaneelien tarkoituksena on tunnistaa tieteellisesti kunnianhimoisimmat ja lupaavimmat tutkimushankkeet ja toimia siten keskeisenä tukena rahoituspäätösten valmistelulle.

Joissakin suomalaista yhteiskuntaa painottavissa rahoitusmuodoissa, kuten strategisen tutkimuksen rahoituksessa, voidaan paneeleissa hyödyntää myös kotimaisia tutkimuksen vaikuttavuuden asiantuntijoita.

Paneeleissa voidaan lisäksi hyödyntää erillisiä yksittäisten asiantuntijoiden lausuntoja, mikäli paneelin tueksi joistakin hakemuksista tarvitaan lisänäkemyksiä. Lopullisessa arviossa Akatemian arviointiasteikko on kuusiportainen (1–6). Tämän lisäksi esimerkiksi syyshaun asiantuntijapaneelit asettavat hakemukset paremmuusjärjestykseen. Lopuksi asiantuntijapaneeli kokoaa kokonaisnäkemyksistään hakemuksien arviointilausunnot. Asiantuntijapaneelien arviointilausunnot ja hakemukset toimivat päätöksentekijöiden keskeisenä materiaalina rahoituspäätösten valmistelussa ja toimeenpanossa. Tämän lisäksi hakijat saavat lausunnoista palautetta hakemuksistaan.

Arviointi sopeutetaan rahoitusmuotojen erilaisiin tavoitteisiin

Akatemian jakama tutkimusrahoitus voidaan jakaa kolmeen kategoriaan, jotka eroavat tavoitteiltaan ja luonteeltaan: tutkijalähtöinen rahoitus, organisaatiolähtöinen rahoitus ja temaattinen rahoitus. Rahoitusmuodon tavoitteet vaikuttavat arviointikriteereihin sekä siihen, miten arviointi järjestetään. Esimerkiksi temaattisissa ohjelmahauissa tieteellisen arvioinnin kriteeristöön sisältyy laadun lisäksi hakemuksien soveltuvuus haettavaan ohjelmaan.

Tutkimussuunnitelmien arvioinnin keskeiset arviointikriteerit ovat tutkimussuunnitelmassa kuvatun tutkimuksen tieteellinen laatu, innovatiivisuus ja uutuusarvo sekä vaikuttavuus tiedeyhteisössä. Tieteellisen arvioinnin kuusiportaisen asteikon korkein arvosana 6 eli ”outstanding” määrittelee tutkimuksen poikkeukselliseksi uutuusarvoltaan ja innovatiivisuudeltaan. Korkeimmalla arvosanan saaneella tutkimuksella nähdään mahdollisuuksia edistää tiedettä myös kansainvälisellä tasolla. Muita tieteellisen ansioiden arvioinnin perusteita ovat hakijan tai tutkimusryhmän pätevyys hankkeen toteuttamiseksi, tutkimussuunnitelman toteuttamiskelpoisuus, tutkimusympäristön ja yhteistyöverkostojen laatu sekä tutkijoiden liikkuvuus ja tutkijankoulutus.

Vaikuttavuutta tarkastellaan laaja-alaisesti tieteellisen vaikuttavuuden lisäksi yhteiskunnallisen vaikuttavuuden näkökulmasta rahoitusmuodon tavoitteiden mukaisesti. Esimerkiksi strategisen tutkimuksen kaksivaiheisessa ohjelmahaussa yhteiskunnallisen vaikuttavuuden potentiaalin tunnistamiseen kiinnitetään erityistä huomiota. Haun toisessa vaiheessa tieteellisen laadun asiantuntijapaneelin lisäksi kokoontuu yhteiskunnallisen relevanssin arviointipaneeli. Relevanssiin keskittyvän paneelin avulla valmistelussa pystytään tuottamaan rahoituspäätösten tekijöille arvokasta tietoa hakemuksien mahdollisuuksista tuottaa yhteiskunnallisesti vaikuttavaa tutkittua tietoa.

Joissakin rahoitusmuodoissa, kuten organisaatiolähtöisten ja temaattisten rahoitusmuotojen arvioinnissa, on myös mahdollisuus hyödyntää suoraa vuorovaikutusta hakijan kanssa. Esimerkiksi lippulaivaohjelmien hakemuksien vertaisarviointia tuetaan hakevan organisaation keskeisten henkilöiden haastatteluilla.

Syyshaun arviointia uudistetaan

Syyshaun hakemuksien arviointia uudistetaan Akatemian keräämän palautteen perusteella. Uudistuksen taustalla on pyrkimys lisätä paneelien käytettävissä olevaa aikaa parhaimpien hakemusten käsittelyyn ja niiden paremmuusjärjestykseen laittamiseen. Asiantuntijoiden antamassa palautteessa on nostettu voimakkaasti esille toive, että kaikista kilpailukykyisimpien hakemusten käsittelyyn tulisi kohdistaa enemmän huomiota ja aikaa. Syyshaun kasvavat hakemusmäärät vaativat etäkokouksilta entistä tehokkaampaa aikataulutusta ja siten myös arvioinnin kehittämistä.

Syyshaun arvioinnin uudistamisen myötä asiantuntijapaneelit keskustelevat jatkossa perusteellisesti paneelikokouksissa hakemuksista, jotka ovat saaneet vähintään yhdeltä arvioitsijalta esiarvosanan 5 (excellent) – 6 (outstanding). Koska myönteisen rahoituspäätöksen saaneet hakemukset sijoittuvat syyshaun arvioinneissa pääosin arvosanoille 5–6, asiantuntijat pystyvät keskittymään entistä paremmin kilpailukykyisimpien hakemusten arviointiin. Panelisteilla on kuitenkin edelleen jatkossa mahdollisuus nostaa lausuntoluonnosten perusteella heikommin menestyneitä hakemuksia keskusteluun, mikäli tämä nähdään arvioinnin kannalta tarpeelliseksi.

Uudistus selkeyttää ja yhdenmukaistaa myös arvosanan 1–4 saaneiden hakemuksien paneeliarviota ja lausuntoja. Loppuarvosanojen osalta uudistuksessa käyttöönotetaan neliportainen skaala, jossa kaikki alle arvosanaan 4 (good) päätyvät hakemukset luokitellaan arvosanan 1–3 (fair to insufficient) -luokan sisälle. Uudistuksen jälkeenkin jokainen hakija saa edelleen paneelilausunnon jätetystä hakemuksestaan.