perjantai 27. syyskuuta 2013

Rankingit pannaan!

Nancy Adler ja Anne-Wil Harzing (2009) esittävät, että yliopistorankingit asetetetaan välittömästi pannaan - kunnes on osoitettu, että niistä enemmän hyötyä kuin haittaa. Ranking-kulttuurissa yliopistot ovat näet unohtaneet, että keskinäisen kilpailun sijaan niiden tärkein tehtävä on ratkoa yhteiskuntamme monimutkaisimpia kysymyksiä. Pitkäjänteisiin yhteiskunnallisiin päämääriin sitoutumisen sijaan yksittäiset tutkijat pakotetaan kilpailemaan keskenään tavoittelemalla mahdollisimman suuria julkaisumääriä. Samalla opetus kärsii, sillä kukapa opiskelijoihin joutaisi panostaa maineen ja taloudellisten kannusteiden rakentuessa julkaisutoiminnan ympärille (ks. Huippututkimuksesta huippuopetusta?). 

Olemme aiemmin kuvanneet (ks. Hylätty gradu), kuinka rankingit ovat keinotekoisia ja niissä käytetyt kriteerit ristiriitaisia. Joissakin mitataan tuottavuutta (tyypillisesti artikkelien tai huippuartikkelien lukumäärällä mitattuna), toisissa vaikuttavuutta (tyypillisesti viitausten määrällä mitattuna), joskus myös laatua (esimerkiksi asiantuntija-arvioiden perusteella). Adler ja Harzing osoittavat, kuinka erilaiset mittausperusteet johtavat helposti ristiriitaisiin tuloksiin. Tuloksia vääristää myös muiden kuin englanninkielisten artikkelijulkaisujen sivuuttaminen. Esimerkiksi kirjoja, vaikka kuinka merkitykselliä omalla alallaan, hyväksytään harvoin tuottavuus- ja vaikuttavuuslaskelmiin. Kukapa siis enää rustaisi sellaisia yleistajuisia tai poikkitieteellisiä analyysejä, joita julkaistaan ennemmin kirjoissa kuin perinteisissä tieteenalakohtaisissa lehdissä. 

Kieliasiasta Adler ja Harzing käyttävät esimerkkinä erästä ranskalaista tutkijaa, jolla on "vain" 30 viittausta ISI-listatuissa lehdissä. Google scholar sen sijaan laskee viittauksia olevan yli 1000. Mittaustulosten eron selittää se, että suurin osa kyseisen tutkijan viitteistä löytyy ranskankielisistä journaaleista, jotka eivät ole ISI-listattuja. Olisi silti virhearvio mennä sanomaan, ettei kyseisellä tutkijalla ole ollut vaikutusta omaan tiedeyhteisöönsä, josta osoituksena mittava tuotanto omalla äidinkielellä. Yliopistojen ja rankingeja tuottavien tahojen pitäisi myös avata silmänsä sille, ettei englannin asema “tieteen yleiskielenä” ole kiveenhakattu, kun esimerkiksi kiinalaiset yliopistot alkavat suoltaa omalla kielellään yhä korkeatasoisempaa tutkimusta. Myös perinteisten journaalien vuosissa laskettava julkaisusykli on muuttumassa kestämättömäksi, onhan verkossa tarjolla lukuisia ajantasaisia kanavia julkaista uusimpia tutkimustuloksia erilaisissa muodoissa, kirjoittajat huomauttavat. 

Adler ja Harzing ehdottavat, että seuraavan kerran kun kirjoitat biografiaasi tai esittelet kollegaa konferenssissa älä luettele lehtiä, joissa hän on julkaissut, vaan kerro mikä tekee hänen työstään merkityksellistä. He aloittavat ja me lopetamme ytimekkääseen lainaukseen Albert Einsteinilta: 

“Not everything that can be counted counts, 
and not everything that counts can be counted.” 

Adler, Nancy & Anne-Wil Harzing (2009). When knowledge wins: transcending the sense and nonsense of academic rankings. Academy of Management Learning & Education, 8(1), 72-95. Löytyy täältä.

5 kommenttia:

  1. Uskomantonta tosiaan, miten tiedeyhteisö on todella suostunut alistumaan suoraan muutaman kaupallisen suurkustantajan polvien juureen. Muitakin esimerkkejä tällaisesta kummallisesta kumartelusta on, esimerkiksi kuuluisa fantastinen yliopistouudistus, missä työehtoja heikennettiin kerralla ilman suurempaa hälyä. Tässäkin blogissa on asiasta useita esimerkkejä.

    Välillä, kun meininkiä katsoo, tulee sarkastisesti mieleen armeijan sanonta "tyhmä saa olla, muttei tykkimies". Ehkä se pitäisi kääntää yliopistolliseen muotoon "tyhmä saa olla, muttei tutkija". :)

    Itsesarkasmi piristää joskus myös tämän, allekirjoittaneen tutkijan päivää. Hihi.

    VastaaPoista
  2. Kilpailukulttuuri on vaan jotenkin tunkeutunut viimeisen 20-30 vuoden aikana ainakin länsimaiseen yhteiskuntaan. Onko tämä nyt sitten peräisin aasiasta vai onko tämä täysin sisäsyntyistä, siihen en ota kantaa. Mutta se näkyy muun muassa juuri tuhantena rankingina, joita tehdään usein varsin heikoilla perusteilla, kuitenkin hirveä hööki päällä. Ja kun niitä tehdään joka tasolla. Ihan alkaen henkilökohtaisesta palkkauksesta, työsuorituksesta ja siitä laajeten jopa viihdepuolelle asti. Vai mikä muuten selittäisi BB-ohjelmien kaltaisten älyttömyyksien julkitulon...? No varmaan monikin asia, mutta ehkä tämä läpi yhteiskunnan tunkeva kilpailumania on yksi osa sitä selitystä. Kun voidaan laittaa ihmiset vastakkain, on aina hirveän jännää katsoa, kuka voittaa. Ja erityisesti, kuka putoaa.

    VastaaPoista
  3. Tuli vastaan oheinen keskustelu yliopistorankingien suhteuttamisesta kielialueen ja väkiluvun mukaan: http://lappalainen.kapsi.fi/?p=300

    VastaaPoista
  4. Hauskaa miten rimaa on nyt laitettu alemmaksi, jo 3 vuoden jälkeen...

    "Puheessaan Tuula Teeri korosti Aallon tavoitetta olla yliopistojen maailmanluokassa vuoteen 2020 mennessä. Yleisön esittämä kysymys heikoista sijoituksista kansainvälisissä vertailuissa ei saanut häntä hätkähtämään.

    ”Meidän on valittava, millä listoilla haluamme olla. Monet vertailut painottavat luonnontieteitä ja lääketiedettä, mutta taiteilijat ja kauppatieteilijät eivät julkaise Naturessa tai Sciencessa. MIT:llä on vähemmän opiskelijoita kuin meillä ja viisi kertaa enemmän rahaa ja kolme kertaa enemmän professoreita – sen kanssa on siis turha kilpailla. Haluamme olla maailmanluokkaa samoilla resursseilla toimivien yliopistojen, kuten Tanskan DTU:n kanssa”, Teeri selitti."

    Ainahan voi valita listan, mikä näyttää mieleiseltä! Objektiiviesti katsottuna lista olisi pitänyt valita etukäteen..kuten tieteellissessä tutkimuksessa hypoteesit tulevat ennen kokeita, ei jälkeen!

    VastaaPoista
  5. "Yliopistojen ja rankingeja tuottavien tahojen pitäisi myös avata silmänsä sille, ettei englannin asema “tieteen yleiskielenä” ole kiveenhakattu, kun esimerkiksi kiinalaiset yliopistot alkavat suoltaa omalla kielellään yhä korkeatasoisempaa tutkimusta."

    Sama juttu koskee japanin kieltä. Japaniksi on muun muassa tekniikan alalla julkaistu viime vuosikymmeninä todella paljon huippututkimusta. Euroopassa ja USA:ssa monia asioita on vasta tutkittu, kun Japanissa on ollut jo tutkimukset kauan sitten tehtynä ja kaupalliset tuotteetkin jo markkinoilla. Japaniksi julkaistu tutkimus ei kuitenkaan näy yliopistorankingeissa. Pisteet kertyvät jälkijunassa englanniksi samoista aiheista julkaisseille.

    VastaaPoista