EN

Kansainvälisiä ratkaisuja hakemusarvioinnin haasteisiin

21.8.2017

Hakemusarviointi ympäri maailmaa painii samojen haasteiden kanssa: Hakemusten määrä on kasvanut, mutta tutkimushankkeiden rahoitukseen käytettävissä olevat rahasummat eivät. Tämä on tarkoittanut lisääntynyttä työmäärää yhä useammille vertaisarvioitsijoille samalla, kun rahoituksen saamisen mahdollisuudet ovat koventuneen kilpailun myötä heikentyneet.

Netherlands Organisation for Scientific Research (NWO) järjesti Amsterdamissa 29.–30.6.2017 kansainvälisen konferenssin, jossa haettiin ratkaisuja hakemusarvioinnin haasteisiin. Osallistujina oli rahoitusorganisaatioiden edustajia eri puolilta maailmaa. Suomen Akatemiasta konferenssiin osallistuivat tiedeasiantuntija Laura Kitti strategisen tutkimuksen yksiköstä ja johtava tiedeasiantuntija Juha Latikka luonnontieteiden ja tekniikan tutkimuksen yksiköstä.

”Yhtä mieltä oltiin siitä, että vertaisarviointi on edelleen paras tapa valita laadukkaimmat tieteelliset hakemukset. Vertaisarvioinnilla on myös tiedeyhteisön luottamus”, Kitti sanoo.

Selkeä trendi on silti se, että rahoitusorganisaatiot eri maissa hakevat tutkimushankkeilta aiempaa enemmän monitieteisyyttä ja yhteiskunnallista vaikuttavuutta. Hyvin riskialttiiden hankkeiden rahoittamiseen toivotaan enemmän uskallusta. Vaikuttavuuden arvioiminen ei kuitenkaan ole yksiselitteistä ja siihen pohdittiin vaihtoehtoja.

”Strategisen tutkimuksen neuvosto arvioi jo nyt systemaattisesti ja avoimesti rahoitettavien hankkeiden yhteiskunnallista vaikuttavuutta. Tämä on eurooppalaisittain lähes ainutlaatuista ja herätti todella paljon kiinnostusta muun muassa OECD:n edustajan taholta.”

Strategisen tutkimuksen hankkeiden arvioinnissa on erikseen tieteellistä laatua arvioiva paneeli ja relavanssipaneeli, joka arvioi yhteiskunnallista vaikuttavuutta hakuilmoituksen arviointikysymysten mukaisesti. Hakemuksen osana tulee olla vuorovaikutussuunnitelma, johon on avattu sitä, miten tutkimustietoa ja ratkaisuja tuotetaan yhdessä käyttäjien kanssa päätöksenteon tueksi. Paneelien arviot ovat samanarvoisia, eli saadakseen rahoituksen hakemuksen pitää olla korkeatasoinen sekä tieteellisen laadun että yhteiskunnallisen vaikuttavuuden mittareilla.

Parhaat käytännöt jakoon

Konferenssissa käytiin läpi hakemusarvioinnin prosesseja eri maissa ja pohdittiin, mistä erot esimerkiksi eripituisissa käsittelyajoissa johtuvat ja mitä toisilta voidaan oppia. ”Kiinnostavinta oli kuulla, miten eri tavoin saman toiminnan voi organisoida”, Kitti naurahtaa.

Kasvavia hakemusmääriä on pyritty rajoittamaan tiukentamalla hakijoiden kriteerejä esimerkiksi liikkuvuusehdoin ja täsmentämällä hakujen tutkimusteemoja ohjelmamuotoisilla hauilla. Nyt pohdittiin myös yliopistojen roolia suhteessa rahoittajiin: Yliopistot voisivat mahdollisesti tehdä hakemuksille esikarsinnan ja lähettää eteenpäin potentiaalisimmat hakemukset.

”Isoin ero Suomen Akatemian toiminnassa verrattuna muihin maihin on ehkä se, että täällä käytetään yleensä ulkomaisia arvioitsijoita. Isommissa maissa kuten Britanniassa jääviys ei muodostu yhtä usein ongelmaksi, jolloin voidaan käyttää kotimaisia panelisteja. Muuten Akatemia toimii hyvin yleiseurooppalaiseen tapaan eikä isoja eroja tullut ilmi.”

Tietotekniikan kehitys tarjoaa uusia mahdollisuuksia prosessien kehittämiseen. Tekoäly pystyy jo löytämään tietokannoista sopivia panelisteja ja tunnistamaan esteellisyydet. Hankkeita voidaan myös määrällisesti vertailla. Varsinaiseen arviointiprosessiin tarvitaan kuitenkin yhä ihmistä eli ulkopuolisia asiantuntijoita. ”Luotettavuus ja läpinäkyvyys ovat tärkeämpiä kuin nopeus”, Kitti tiivistää.

Konferenssissa toteutettua vertaisoppimista pidettiin erittäin hyödyllisenä ja kansainväliseen yhteistyöhön halutaan panostaa jatkossakin. ”Päätimme perustaa yhteistyöverkoston, jossa jaetaan tietoa ja tavataan muutaman vuoden välein tällä samalla porukalla.”

Vaihtoehtoisia menetelmiä testataan

Konferenssissa esiteltiin hakemusarviointiin uusia vaihtoehtoja, joita parhaillaan testataan eri maissa. ”Vertaisarviointia ei pyritä kokonaan korvaamaan, vaan pikemminkin tuomaan sen rinnalle tapauskohtaisempia vaihtoehtoja”, Kitti selventää.

Niin kutsuttua tupla-anonyymiprosessia testataan lähinnä korkean riskin teknologiahankkeissa, joissa onnistumisen todennäköisyys on pieni, mutta mahdolliset tulokset uraauurtavia. Arvioitavaksi lähetetään nimettömänä lyhyt standardoitu hakemus, johon sisältyy itsearviointi hankkeen merkityksestä. Anonyymi paneeli arvioi potentiaalisimmat hakemukset. Kaikki panelistit saavat valita yhden suosikkihankkeen, joka rahoitetaan. Loput valitaan yhdessä normaalien käytäntöjen mukaisesti. Koska paneelissa ei haeta täyttä konsensusta, myös poikkeuksellisen riskialttiilla hankkeilla on paremmat mahdollisuudet tulla rahoitetuiksi.

”Toinen kiinnostava päätöksenteossa testattu menetelmä on lotto, joka on nimensä mukaisesti arvonta. Hakemuksista valitaan ensin rahoitettavaksi parhaat kymmenen prosenttia ja hylätään vastaavasti heikoimmat kymmenen. Jäljelle jääneestä keskikastista rahoitettavat hankkeet arvotaan. Eri rahoittajat testaavat tätä muun muassa Saksassa, Tanskassa ja Uudessa-Seelannissa rinnakkain perinteisen päätöksentekomenetelmän kanssa, jotta tuloksia pystytään myöhemmin vertailemaan.”

Jos tutkijoilta halutaan ratkaisu johonkin tiettyyn ongelmaan, voidaan käyttää Sandpit-menetelmää: Tutkijoita kutsutaan aivoriiheen, jossa he keksivät erilaisia ratkaisuehdotuksia. Sitten he jakautuvat ryhmiin kehittämään ideoita eteenpäin, jonka jälkeen jokainen tiimi yrittää pitchata ratkaisuaan rahoittajille. Tätä menetelmää on sovellettu lähinnä teknologiahankkeisiin.

Yhteiskunnallisemmissa hankkeissa arviointiin on otettu mukaan ihmisiä, joita tutkimus koskee. Esimerkiksi potilaat saattavat arvioida, miltä tutkimushanke terveydenhuollon potilaiden kohtelusta heidän näkökulmastaan kuulostaa. ”Samankaltaista lähestymistapaa on sovellettu myös strategisen tutkimuksen hankkeissa, joiden arviointiin otetaan mukaan edustajia tieteenalan ulkopuolelta”, Kitti huomauttaa.

Sosiaalinen media avaa uusia mahdollisuuksia myös laajempien yleisöjen osallistuttamiseen. Joukkoistamista on esimerkiksi Hollannissa käytetty taidehankkeiden laatuarvioinnissa. ”Jos vaikka teatteriryhmä hakee apurahaa, niin kuka sen taiteellista laatua arvioi? Voidaan ajatella, että ainakin yleisö. Heidät saadaan tavoitettua sosiaalisessa mediassa.”

Arviointimenetelmiä ja niiden muutosten vaikutuksia on tutkittu suhteellisen vähän, joten konferenssissa peräänkuulutettiin lisää aihetta koskevaa tutkimusta. ”Näistä menetelmistä saadaan tuloksia myöhemmin, mutta selkeästi tarvetta on myös lisätutkimukselle. Tietoa tarvitaan, jotta voimme turvata mahdollisimman korkeatasoisen hakemusarvioinnin Suomessa ja muualla maailmassa.”

Teksti: Oona Riitala
Kuva: Marjo Aaltomaa

Viimeksi muokattu 21.8.2017
Seuraa meitä:
FacebookSlideshareTwitterYoutube
VAIHDE 029 533 5000
KIRJAAMO 029 533 5049
FAKSI 029 533 5299
   
SÄHKÖPOSTI etunimi.sukunimi@aka.fi
AUKIOLO Arkisin 8.00-16.15
   
HENKILÖHAKU »
YHTEYSTIEDOT, LASKUTUS  JA
REKISTERISELOSTEET»
KYSYMYKSET JA PALAUTE »