perjantai 1. marraskuuta 2013

Johdon fetissi

Journaalirankingeilla on yhä suurempi valta ja voima akateemisessa elämässä. Johto rakentaa kaikki päätöksentekokriteerinsä ja johtamisjärjestelmänsä niiden ympärille – siitä huolimatta, että kriittistä tutkimusta journaalirankingeista ja niiden vaikutuksista tutkimuksentekoon tehdään (ja julkaistaan ihan kansainvälisisiä huippulehtiä myöten) yhä enemmän. Siitä huolimatta, että yhä yleisempää on törmätä konferensseissa pääpuhujiin tai kunniapalkintoja saaviin alansa konkareihin, jotka vannovat julkisesti kuinka “all rankings are from hell” (laitaksemme erästä kunniapalkinnon vastaanottanutta kollegaamme). Siitä huolimatta, että yhä useammassa journaalissa toimituskunnan jäsenet sekä uudet tai väistyvät päätoimittajat kirjoittavat nykyisen mittauskulttuurin tiedettä tuhoavista vaikutuksista. Siitä huolimatta, että käytäväpuheissakaan kukaan ei tunnu uskovan rankingien hyödyllisyyteen saati kattavuuteen (ehkä lukuunottamatta niitä, joiden koko ammatillinen identiteetti rakentuu omien rankingpisteiden pohjalta). Kaikelta tältä johto kuitenkin ummistaa silmänsä ja korvansa. Miksi? 

Monet tutkijat kutsuvat sokeaa uskoa “tieteellistä laatua” mittaavien numeroiden autuaaksi tekevään voimaan fetissiksi. Tiettyyn fetissiin vihkiytymättömien silmissä fetisoituun asiaan tai esineeseen ladattu ihailu ja kunnioitus on kummallista, jopa mielipuolista. Näin argumentoi myös Simon Hussain (2013), joka jatkaa journaalirankingeista ja niiden vallasta käytyä kriittistä keskustelua käyttämällä esimerkkinä kauppakorkeakouluissa maailmalla käytettyä “laatulistaa” (ABS-lista). Hän on huolissaan tällaisten laatulistojen vallasta tappaa uusia tutkimusaloja, monitieteisiä lähestymistapoja ja –menetelmiä ja tuhota jopa sukupolven verran tutkimusmaailmalle ominaista moniäänisyyttä ja rikkautta. 

Aika näyttää, mikä on johdon listafetisismistä maksamamme hinta. Sitä odotellessa voimme jatkaa juttujemme vääntämistä väkisin “nelostason” lehtien näköisiksi; osallistua konferensseihin ja seminaareihin, joissa ei niinkään keskustella kuinka tehdä hyvää tutkimusta, vaan kuinka julkaista se mahdollisimman korkean tähtiluokituksen lehdissä; ohjata opiskelijamme aidon ihmettelyn sijaan julkaisustrategioiden äärelle; ihailla kollegoita, joiden ansioita ovat tuoreiden ajatusten sijaan pitkät julkaisulistat; sekä antaa julkaisemisen ohjata tutkimusta, eikä tutkimuksen julkaisemista, kuten Suhaib Riaz kuvaa. Tätä tehdessämme löydämme kenties sen Hussainin kuvaaman graalin maljan, josta löytyy yksi ja yksinkertainen tieteellisen laadun ideaali – jota vielä kaiken lisäksi voidaan mitata helposti numeroilla.  




P.S. Ian Thatcher ruotii tuoreimmassa Yliopisto-lehdessä (8/2013, s. 54) Britanniassa joka kuudes vuosi tehdyn kansallisen tutkimuksen arvioinnin (REF, Research Excellence Framework) vaikutuksia ja toteaa, että siinäkin käytetyt kriteerit johtavat yhdenmukaisuuteen ja varman päälle pelaamiseen. Kyseisessä arvioinnissa oppiainekohtaiset komiteat arvioivat jokaisen tutkijan tuotokset erikseen ja vain parhaille myönnetään rahoitusta jatkossakin. Thatcher kritisoi järjestelmää myös seuraavista syistä:  
  • REF-arvioinnit lisäävät hierarkiaa ja kilpailua tutkimustyöhön, jonka kuuluisi perustua yhteistyöhön ja kunnioitukseen. 
  • Työpaikat tapaavat mennä niille, joilla uskotaan olevan ’parhaat tuotokset’ seuraavassa arvioinnissa, riippumatta laitosten muista tarpeista. 
  • Julkaisupaineet ohjaavat tutkijoita keskittymään artikkeleihin ja muu julkaisutoiminta (esimerkiksi kirjojen kirjoittaminen) tyrehtyy. 
  • Arvioinnit vievät kohtuuttomasti aikaa ja rahaa, jonka voisi käyttää itse tutkimukseen. 
  • Järjestelmä on altis korruptiolle - paneelin jäsenyys ja korkeat arvosanat näyttävät korreloivan keskenään. 
Simon Hussain (2013) Journal list fetishism and the ‘sign of 4’ in the ABS guide: a question of trust? Organization, online ahead of print.
Ian Thatcher (2013) Kilpailu pilaa yhteistyön. Yliopisto 8/2013, s. 54.

1 kommentti:

  1. Myös nämä seikat on muistettava:

    - Ennen REF:iä, hallituksen tutkimusraha meni suoraan ns. huippuyliopistoille (Oxford, Cambridge, UCL); nyt se on sentään kilpailtua rahaa.

    -Ennen REF:iä (ja sen edeltäjiä), virat menivät usein menivät tutuille ja suosikeille, eli suhteiden perusteella, ei tutkimussaavutusten. Vaikka tällaista varmasti vieläkin tapahtuu, räikeimmät tapaukset eivät enää ole mahdollisia.

    -REF tehdään kuuden vuoden välein, ja jokaiselta tutkijalta submittoidaan 4 artikkelia. Nuorien tutkijoiden tarvitsee submittoida vain 2-3 artikkelia, mikäli väittelystä ei ole kuutta vuotta. Äitiyslomat otetaan huomioon, samoin pitkät sairaslomat. Loppujen lopuksi 4 artikkelia kuudessa vuodessa ei ole kovin suuri määrä. On tosin totta että kirjojen kirjoittaminen ei tässä pelissä kannata, tosin ne vissiin vastaavat kahta artikkelia.

    MUTTA ongelmia myös on:

    - On totta, että arvioinnit vievät kohtuuttomasti resursseja. REF:in alkuaikoina submittoitiin 4 julkaisua PER LAITOS, ei per tutkija! Monet ovat sitä mieltä, että 4 laitoksen omasta mielestään parasta julkaisua antavat aivan yhtä hyvän yleiskuvan kuin nykyinen järjestelmä.

    - On hämärän peitossa, miten paneelit käytännössä jakavat arvosanat; vaikka esim impact factoreita ei saisi teoriassa käyttää, niin yleisesti uskotaan että niillä on suuri vaikutus. Yksittäisten tutkijoiden arvosanoja ei saada koskaan tietää.

    - Suuri ongelma on myös se, että laitosten ei ole pakko submittoida kaikkia tutkijoitaan - ainoastaan "research active" tutkijat. Jos arvellaan, että tutkijan julkaisut eivät ole huippuluokkaa (useissa laitoksissa tehdään sisäinen evaluaatio), niin henkilön julkaisuja ei submittoida. Tällainen henkilöstö ei sitten ole "research active", ja seuraus on yleensä se, että opetus/hallintohommat kasvavat, eikä aikaa jää tutkimukselle. Kun muiden hommien määrä kasvaa, tutkimus jää sitten lopullisesti vähemmälle. Ns. Huippuyliopistoissa tällainen väki saa potkut tai kehotetaan lähtemään muualle. Tämä on ollut REF:in suurin seuraus; kuuden vuoden välein käytännössä evaluoidaan tutkijan arvo laitokselle.

    VastaaPoista