Mikael Fogelholm
Vertaisarviointi ja puutarhanhoito
28.8.2009
Vertaisarviointi (peer review) on tiedemaailman oma juttu, joka on kehittynyt nykyiseen muotoonsa viimeisen 50 vuoden aikana. Tutkijat saavat määrärahansa ja tuloksensa julkaistua lehdissä yleensä vasta sen jälkeen, kun ainakin kaksi tai useampi vertainen eli vähintään yhtä kokenut saman alan tutkija on antanut asiasta myönteisen lausunnon. Järjestelmässä liikkuu vain vähän rahaa, sillä yleensä työ revitään tutkijoiden selkänahasta. Toisaalta peli sisältää vastavuoroisuuden: kun minä tänään arvioin ilmaiseksi, huomenna minua arvioidaan ilmaiseksi.
Vertaisarviointi on kuin puutarhan hoitoa: tarkoitus on karsia rikkaruohot (huonot hakemukset ja käsikirjoitukset) ja nostaa kauniit kukat (tiedettä rikastuttavat, hyvät hakemukset ja käsikirjoitukset) esille. Mutta kuinka hyvä puutarhuri vertaisarviointi itse asiassa on?
Huonojen hakemusten tai käsikirjoitusten löytäminen ja hylkääminen eivät yleensä ole ongelmia silloin, kun tarjokkaita on riittävästi. Suomen Akatemialle osoitetuista hakemuksista vain noin joka viides saa rahaa – tässä joukossa ei ole huonoja hakemuksia. Mutta kun huonot tutkimussuunnitelmat yleensä kuolevat pois, huonot käsikirjoitukset saattavat saada elinkelpoisen maaperän lopulta jossain pikkulehdessä.
Tieteellisiä lehtiä on nykyisin aivan liikaa. Aina löytyy lehti, jolla on suorastaan pula tutkimusraporteista. Niinpä eksponentiaalisesti kasvava julkaisujen määrä sisältää myös yhä enemmän ja enemmän pelkkää paperintäytettä – tutkimuksia, jotka eivät auta ymmärtämään tätä maailmaa yhtään paremmin. Mikä olisi se rikkaruohomyrkky, joka vähitellen näivettäisi huonoimmat lehdet?
Hyvien tutkimusten tunnistaminen onnistuu ainakin silloin, kun tutkimus on selvästi kiinnostava ja hyvin tehty, mutta ei liian radikaali kysymyksenasettelultaan, menetelmiltään tai tuloksiltaan. Vertaisarvioinnin yhtenä ongelmana voi pitää konservatismia – erittäin innovatiivisten hankkeiden helmet jäävät herkästi löytämättä. Tämä on sääli, sillä juuri poikkeavat lähestymistavat ja tulokset vievät tiedettä eteenpäin kaikkein parhaiten.
Julkaisuharha (publication bias) on yksi tieteellisten lehtien arviointijärjestelmässä usein esille nostettu ongelma. Kyseessä on tilanne, jossa positiivinen löydös - havaitaan esimerkiksi jonkun hoidon aiheuttama ero kahden ryhmän välillä - saa suopeamman kohtelun kuin negatiivinen löydös eli kun eroa ei pystytä todentamaan. Toisaalta positiivinenkin löydös voi aiheuttaa näppylöitä arvioitsijalle, jos tulos ei häntä miellytä. Näin voi käydä esimerkiksi silloin, jos joku ryhmä onnistuu kumoamaan arvioitsijan oman havainnon. Tässä tilanteessa arvioitsijalle voi tulla ylivoimainen kiusaus löytää joku syy kirjoituksen hylkäämiseksi.
Tutkimusmäärärahojen haku perustuu erityisesti tietoihin tutkimuksen taustasta, tutkimusasetelmasta sekä käytettävistä tutkimus- ja analyysimenetelmistä. Näillä tiedoilla esimerkiksi Akatemian käyttämät kansainväliset asiantuntijat pisteyttävät hakemusten tieteellisen tason. Tästähän tieteelliset lehdet voisivat ottaa oppia: Minusta lehtien arviointi voisi olla kaksivaiheinen. Ensimmäisessä vaiheessa lähetetään käsikirjoituksen johdanto ja menetelmäosa. Tarpeettomat tai huonosti toteutetut tutkimukset voidaan tällöin nopeasti hylätä, eivätkä tulokset häiritse arvioitsijaa. Vasta tämän vaiheen läpäisseiltä pyydetään täydellinen käsikirjoitus.
Arvioinnin teknisen suorittamisen rinnalla vähintään yhtä tärkeä kysymys on arviointien määrä. Nykyinen järjestelmä alkaa natista liitoksissaan arvioitsijoiden liiallisen työmäärän alla. Kohta suurimat ongelmat eivät ole huonot lehdet tai julkaisuharha, vaan se, ettei kukaan ehdi kasvavan arviointipaineen alla tehdä työtään kunnolla. Mutta niin kauan kun tutkijan ura rakentuu ensisijaisesti julkaisujen määrän varaan, kasvavaa arviointipainetta on todella vaikea vähentää.
Mikael Fogelholm
Kirjoittaja on Suomen Akatemian terveyden tutkimuksen yksikön johtaja.