Hannu Nurmi: Arviointia puun takaa

29.09.2008

Arviointi kuuluu ja on aina kuulunut keskeisesti akateemiseen työhön. Korkeakouluopintoja aloittaessaan akateeminen kansalainen arvioidaan menneen opintomenestyksen ja erilaisten pääsytutkintosuoritusten valossa. Opintojen edetessä tietoja ja taitoja arvioidaan tenttien, harjoitustöiden, esitelmien ja erilaisten projektien valossa.

Maisterin-, lisensiaatin- ja tohtorintutkintojen suorittamiseen liittyy useimmiten laaja kirjallinen työ, jonka arviointi muodostaa keskeisen osan ao. tutkintojen loppuarvostelusta. Näiden opinnäytteiden arviointi on luoteeltaan julkista: opinnäytteen suorittaja tietää, ketkä hänen työtään ovat arvioimassa.

Samoin arvioijat tietävät, kuka on arvioinnin kohteena. Myös arvosteluperusteet ovat, ainakin yleisluontoisesti, kaikkien osapuolten tiedossa. Kaikille osapuolille julkista menettelyä käytetään myös akateemisten virkojen täytössä. Tavoitteena on tietenkin laadunvarmistus. Arvosteluperusteiden tietynlainen yleisluontoisuus takaa tunnetusti sen, ettei näennäisen läpinäkyvä ja objektiivinen järjestelmä silti aina vakuuta kaikkia asianosaisia.

Tieteelliseen toimintaan liittyy myös toisenlaisia arviointi-instituutioita. Erilaiset rahoitustahot pyytävät nykyään usein asiantuntijoita arvioimaan rahoitushakemuksia tai tutkijantehtäviin pyrkiviä ehdokkaita. Monilla aloilla on käytössä arviointipaneeleja, joiden jäsenet pyrkivät yhteiseen näkemykseen arvioitavista hakemuksista. Rahoitustahojen arvioitsijoiden henkilöllisyyttä ei aina paljasteta hakijoille, mutta arvioitsijat kyllä tietävät, kenen hakemuksia ovat arvioimassa.

Suomen Akatemia on julkisen vallan käyttäjänä kuitenkin jo pitkään noudattanut menettelyä, jossa asiantuntijain nimet saatetaan pyydettäessä hakijain tietoon, tosin jälkikäteen.

Tieteellisten julkaisujen, erityisesti aikakauslehtiartikkelien, arviointi on kaikkien vaativinta laadunvarmistusta, onhan kyse siitä, mitä tieteen nimissä maailmalle kerrotaan eri aloilla. Tämä arviointi ei juuri koskaan ole julkista. Ei-julkisuuden aste voi tosin hieman vaihdella: joskus arvioitsija tietää, keiden tekstejä on lukemassa, joskus taas sovelletaan ns. double blind – menettelyä, ts. arvioitsija ei tiedä arvioitsemiaan kirjoittajia eivätkä jälkimmäiset arvioitsijoitaan. Juuri koskaan ei sovelleta menettelyä, jossa arvioitava tietäisi arvioitsijansa.

Keskeisten toimijoiden kannustimet ovat suhteellisen selkeät. Kirjoittajat haluavat artikkelinsa julkisuuteen mahdollisimman arvostelulla foorumilla ja toimittajat haluavat mahdollisimman korkeatasoisia käsikirjoituksia. Arvioitsijoiden osa on hieman monisyisempi. Kyynisesti sanottuna arvioitsija tietää onnistuneensa, kun hänen inboxiinsa saapuu entistä enemmän arviointipyyntöjä niistä lehdistä, joiden arviointitöitä hän on tehnyt.

Tietenkin arvioitsija myös oppii tutkimusalueestaan lukemalla käsikirjoituksia ja onkin tieteenalansa eturintamassa jo pelkästään siksi, että saa tutustua tuloksiin, joiden mahdollinen julkisuus on vasta kuukausien, jopa vuosien päässä. Tästä mahdollisuudesta hän maksaa sen hinnan, että joutuu tutustumaan myös töihin, jotka eivät koskaan päädy arvostettujen foorumien palstoille ja/tai joista ei opi juuri mitään.

Houkutus kieltäytyä arvioimasta huonoja tekstejä on voimakas erityisesti silloin kun arviointipyyntöjen puronen paisuu mahtavaksi kymiksi. Näin käy usein kesä-heinäkuussa, jolloin kirjoittajat lähettelevät tekstejään lehtiin puhdistaessaan pöytää kevätlukukauden saavutuksista. Silti ensi näkemältä huonotkin tekstit edellyttävät vakavaa paneutumista arvioitsijoilta. Kyse on tieteellisen työn ohjauksesta. Toivotonkin kirjoitus ansaitsee asiallisen arvioinnin ja perustelun sille, miksi sitä ei pidä julkaista.

Arvioitsija haluaisi arvioida tekstejä mahdollisimman tärkeille foorumeille, koska arvelee näin saavansa tutustua kaikkein kunnianhimoisimpiin töihin. Tärkeillä foorumeilla myös julkaisukynnykset ovat korkeimmat; vain muutama prosentti toimitukseen saapuneista käsikirjoituksista julkaistaan. Kynnyksen korottamisessa arvioitsijoilla on keskeinen osa. Ei ole tavatonta, että neljästä tai useammasta arvioitsijasta kaikkien pitää suositella julkaisemista ennen kuin korkeatasoisimmat lehdet hyväksyvät artikkelin sivuilleen. Jokainen arvioitsija on siis ns. veto-pelaaja; hän voi estää kirjoituksen julkaisemisen.

Artikkelien arviointi on inhimillistä toimintaa ja monet ihmismielen piirteet saavat ilmaisunsa myös arviointiraporteissa. ”We are dependent on good graces of very busy people” (”olemme riippuvaisia hyvin kiireisten ihmisten suosiollisuudesta”), sanoi muuan päätoimittaja allekirjoittaneelle vuosia sitten tiedusteltuani käsikirjoitukseni kohtaloa lähes vuoden kuluttua siitä, kun olin lähettänyt sen lehteen.

Kokeneemmat tieteenharjoittajat ovat kaikki nähneet tai olleet näkevinään raporteissa paitsi asiallista kritiikkiä myös huolimattomuutta, epäystävällisyyttä, suoranaista pilkkaa ja henkisen stressin oireita. ”Killer-refereet” ovat ammattikuntiensa kauhuja ja monien kaskujen aiheita. Kaikesta rajallisuudestaan huolimatta anonyymi arviointi on korvaamattoman tärkeä osa tieteellistä laadunvarmistusta.

On sääli, ettei arviointityötä juuri anonymiteetin vuoksi oteta huomioon tieteellisenä ansiona. Onhan kyse mitä vaativimmasta tieteellisen työn ohjauksesta koko tiedeyhteisön hyväksi.

Hannu Nurmi
akatemiaprofessori
Turun yliopisto
valtio-oppi

Aiemmin ilmestyneitä blogeja