Uskotko objektiiviseen ja puolueettomaan vertaisarviointiin? Jos vastaat kyllä, jatka lukemista.
Christine Wennerås ja Agnes Wold (1997) tutkivat arvioiko Swedish Medical Research Council (MRC) - yksi biolääketieteellisen tutkimuksen tärkeimmistä rahoittajista Ruotsissa – post doc-rahoitusta hakevia nais- ja miestutkijoita tasapuolisesti. MRC:n post doc –tutkimusrahoituksen hakuprosessi on samantyyppinen kuin Suomen Akatemian tutkijatohtorihaku: hakija toimittaa ansioluettelon, julkaisulistan ja tutkimussuunnitelman. Hakemuksen arvioi jokin eri alojen arviointikomiteoista ja jokaista hakemusta arvioi viisi kyseisen komitean asiantuntijaa. Arviontikriteereinä käytetään tieteellistä pätevyyttä, tutkimussuunnitelman relevanssia ja lähestymistavan tai menetelmien laatua. Lopulliset rahoituspäätökset tekee MRC:n johtokunta.
Wenneråsin ja Woldin tilastollinen analyysi yhdestä MRC:n hausta osoittaa, että naishakijoiden pistekeskiarvo oli mieshakijoita alempi kaikkien kolmen arviontikriteerin kohdalla. Erityisen huonoja pisteitä naishakijat saivat tieteellisestä pätevyydestään, jota mitataan julkaisujen määrällä ja laadulla. Näin ollen tutkijat olettivat, että naishakijat olivat olleet myös mieshakijoita vähemmän tuotteliaita. He päättivät tarkastaa asian määrittämällä kaikkien hakijoiden julkaisuaktiivisuuden ja vertaamalla yhtä aktiivisiksi laskemiensa nais- ja mieshakijoiden saamia pätevyysarvioita.
Tulos oli yllättävä (tai sitten ei): yhtäläisestä tuotteliaisuudesta huolimatta naishakijoiden pätevyys määriteltiin mieshakijoita alhaisemmaksi. Itseasiassa kaikista tuotteliaimmat naishakijat arvioitiin yhtä päteviksi kuin joukon vähiten tuotteliaimmat mieshakijat! Kuilun suuruus havainnollistuu tutkioiden antamassa esimerkissä: jotta naishakija saisi mieshakijan kanssa saman pätevyysarvion, hänellä tulisi olla kolme Nature- tai Science –tasoista paperia enemmän kuin mieshakijalla. Yleisemmin tutkijat arvioivat, että naishakijan tuli olla 2,5 –kertaa keskivertomieshakijaa tuotteliaampi saadakseen hänen kanssaan samat pätevyyspisteet.
Wennerås ja Wold löysivät sukupuolen lisäksi myös toisen muuttujan, jolla oli merkittävä vaikutus arvioon hakijan pätevyydestä: hakijan yhteys johonkin arviointikomitean jäsenistä. Tämän affiliaation merkittävyys oli samaa luokkaa kuin sukupuolen. Niinpä esimerkiksi naishakija, jolla ei ollut yhteyksiä arviointikomitean jäseniin, oli melko mahdottomassa raossa mahdollisesta tuotteliaisuudestaan huolimatta.
Toivottavasti asiassa on tapahtunut kehitystä sitten tämän tutkimuksen julkaisemisen. Se lienee kuitenkin selvää, ettei puolueetonta arviointia ole helppo saavuttaa. Pyrkikäämme siis jokainen pohtimaan, kyseenalaistamaan ja kehittämään omia ja yhteisöjemme toimintatapoja yhdenvertaisempaan suuntaan!
Lähde: Wennerås, C. & Wold, A. (1997) Nepotism and sexism in peer-review. Nature, Vol. 387/22, 341-343. Löytyy täältä.
Puolueeton arviointi on pelkkä ideaali. Tosimaailmassa arviointi on aina enemmän tai vähemmän puolueellista. Vaikka se haluttaisiinkin tehtävän puolueettomasti, aina arvioisijan omat, henkilökohtaiset näkemykset vaikuttavat asiaan.
VastaaPoistaAjatellaampa; mitä on hyvä tiede. Jokaisella meillä on varmaan siitä näkemys. Mutta mihin tämä näkemys perustuu? Miksei hyvä tiede voisi olla jotain poikkeavaa? Kuka määrittää sen, miksi olen sitä mieltä, että hyvä tiede on sitä mitä luulen sen olevan? Aivan... näkemyksiä, näkemyksiä...
Mutta me olemme ihmisiä. Koko maailmankuvamme perustuu näkemyksiin, eikä se mielestäni haittaa. Se on inhimillistä. Se on vain syytä muistaa ja tiedostaa. Ja erityisesti ymmärtää, mitä se tarkoittaa. Silloin ollaan jo aika pitkällä myös ns. "puolueettomassa arvioinnissa".