Nancy Adler ja Anne-Wil Harzing (2009) esittävät, että yliopistorankingit asetetetaan välittömästi pannaan - kunnes on osoitettu, että niistä enemmän hyötyä kuin haittaa. Ranking-kulttuurissa yliopistot ovat näet unohtaneet, että keskinäisen kilpailun sijaan niiden tärkein tehtävä on ratkoa yhteiskuntamme monimutkaisimpia kysymyksiä. Pitkäjänteisiin yhteiskunnallisiin päämääriin sitoutumisen sijaan yksittäiset tutkijat pakotetaan kilpailemaan keskenään tavoittelemalla mahdollisimman suuria julkaisumääriä. Samalla opetus kärsii, sillä kukapa opiskelijoihin joutaisi panostaa maineen ja taloudellisten kannusteiden rakentuessa julkaisutoiminnan ympärille (ks. Huippututkimuksesta huippuopetusta?).
Olemme aiemmin kuvanneet (ks. Hylätty gradu), kuinka rankingit ovat keinotekoisia ja niissä käytetyt kriteerit ristiriitaisia. Joissakin mitataan tuottavuutta (tyypillisesti artikkelien tai huippuartikkelien lukumäärällä mitattuna), toisissa vaikuttavuutta (tyypillisesti viitausten määrällä mitattuna), joskus myös laatua (esimerkiksi asiantuntija-arvioiden perusteella). Adler ja Harzing osoittavat, kuinka erilaiset mittausperusteet johtavat helposti ristiriitaisiin tuloksiin. Tuloksia vääristää myös muiden kuin englanninkielisten artikkelijulkaisujen sivuuttaminen. Esimerkiksi kirjoja, vaikka kuinka merkitykselliä omalla alallaan, hyväksytään harvoin tuottavuus- ja vaikuttavuuslaskelmiin. Kukapa siis enää rustaisi sellaisia yleistajuisia tai poikkitieteellisiä analyysejä, joita julkaistaan ennemmin kirjoissa kuin perinteisissä tieteenalakohtaisissa lehdissä.
Kieliasiasta Adler ja Harzing käyttävät esimerkkinä erästä ranskalaista tutkijaa, jolla on "vain" 30 viittausta ISI-listatuissa lehdissä. Google scholar sen sijaan laskee viittauksia olevan yli 1000. Mittaustulosten eron selittää se, että suurin osa kyseisen tutkijan viitteistä löytyy ranskankielisistä journaaleista, jotka eivät ole ISI-listattuja. Olisi silti virhearvio mennä sanomaan, ettei kyseisellä tutkijalla ole ollut vaikutusta omaan tiedeyhteisöönsä, josta osoituksena mittava tuotanto omalla äidinkielellä. Yliopistojen ja rankingeja tuottavien tahojen pitäisi myös avata silmänsä sille, ettei englannin asema “tieteen yleiskielenä” ole kiveenhakattu, kun esimerkiksi kiinalaiset yliopistot alkavat suoltaa omalla kielellään yhä korkeatasoisempaa tutkimusta. Myös perinteisten journaalien vuosissa laskettava julkaisusykli on muuttumassa kestämättömäksi, onhan verkossa tarjolla lukuisia ajantasaisia kanavia julkaista uusimpia tutkimustuloksia erilaisissa muodoissa, kirjoittajat huomauttavat.
Adler ja Harzing ehdottavat, että seuraavan kerran kun kirjoitat biografiaasi tai esittelet kollegaa konferenssissa älä luettele lehtiä, joissa hän on julkaissut, vaan kerro mikä tekee hänen työstään merkityksellistä. He aloittavat ja me lopetamme ytimekkääseen lainaukseen Albert Einsteinilta:
“Not everything that can be counted counts,
and not everything that counts can be counted.”
Adler, Nancy & Anne-Wil Harzing (2009). When knowledge wins: transcending the sense and nonsense of academic rankings. Academy of Management Learning & Education, 8(1), 72-95. Löytyy täältä.