sunnuntai 25. elokuuta 2013

Indikaattorionni

Huippuyliopistoblogin lukijoiden suureksi helpotukseksi voimme paljastaa, että yliopistoomme pesiytynyt arviointi- ja mittauskulttuuri ei suinkaan ole mielivaltaista. Yhä useampaan asiaan alkaa nimittäin löytyä liuta yksityiskohtaisen tarkkoja kriteereitä, mittareita ja indikaattoreita. 

Ensimmäinen esimerkkimme ovat Huippuyliopistossa laaditut avainsuoritusindikaattorit (jep, olemme ihan tosissamme tuon sanahirviön kanssa). Avainsuoritusindikaattoreilla mitataan toiminnan laatua ja kehittymistä. Tutkimuksessa strategisia avainsuoritusindikaattoreita ovat muun muassa julkaisujen laatu, kilpailtu tutkimusrahoitus ja palkinnot. Kouluissa on määritelty myös omia, sisäisiä avainsuoritusindikaattoreita, joissa tarkennetaan mitkä journaalirankingit huomioidaan artikkelien laskemisessa. Koulutuksessa strategisiin avainsuoritusindikaattoreihin kuuluu opetuksen laatu, jota mitataan esimerkiksi kurssipalautteen arvosanoilla ja pedagogisen koulutuksen suorittaneiden opettajien osuudella. Koulukohtaisesti mitataan myös tutkintoja ja ulkomaisten vaihto-opiskelijoiden osuutta. Yhteiskunnallisen vaikuttavuuden strategisia avainsuoritusindikaattoreita ovat – kumma kyllä - lähinnä taloudelliset määreet. Koulukohtaisesti yhteiskunnallisesta vaikuttavuudesta kertovat myös opiskelijoiden työllistyminen, palkkataso ja mediaosumien lukumäärä. (Liekö meillä puutteita ymmärryksessämme, mutta emme aivan suoralta kädeltä hahmoita, miten valmistuneiden palkkataso “indikoi” yhteiskunnallista vaikuttavuutta. Myös mediaosumien laskeminen herättää kysymään, mitä mediaosumien lukumäärä lopulta kertoo yhteiskunnallisesta vaikuttavuudesta, jos "osumien" sisältöön ei kiinnitetä huomiota.) 

Toinen esimerkkimme on käsiimme kantautunut luonnos, jossa hahmotellaan tenure track –professoreiden valinta- ja ylennyskriteereitä. Päästäksesi vaikkapa Associate Professoriksi sinua arvioidaan sekä tutkimuksellisen kokonaistuottavuutesi että tutkimuksesi laatutason perusteella. Laatutasosi tulee olla “erittäin hyvä”, joka tarkoittaa esimerkisi kauppakorkeakoulun tapauksessa artikkeleita ABS-listan neloskategoriassa, JUFO-listan kolmostasolla tai autuaaksi tekevällä FT45-listalla. Määrällisesti sinulla tulee olla vähintään kuusi riittävän korkealle rankattua julkaisua. Parhaat rankingtulokset tuplataan ja artikkeli esimerkiksi FT45-listan lehdessä lasketaan kahdeksi julkaisuksi. Jos haluat “erittäin hyvän” sijaan osoittaa “erinomaisuutta”, sinulla tulee olla “useita” julkaisuja arvostetuimmissa journaaleissa. Ehkäpä joku fiksu matemaatikko voisi jopa laatia meille kaavan julkaisupanoksen kätevään optimointiin? 

Selkeät ja läpinäkyvät kriteerit ovat luonnollisesti hieno juttu. Blogiin tulleiden kommenttien ja kertomusten perusteella ehdotamme julkikirjattavaksi myös muutamia päätöksenteon kannalta olennaisia, toistaiseksi virallisista ohjeista puuttuvia indikaattoreita:

  • Tutkimuksesi strateginen painopisteaste, eli kuinka lähellä tutkimuksesi on laitoksella vahvassa asemassa olevien professorien omia tutkimusagendoja.
  • Henkilökohtainen suhdeindikaattori, joka osoittaa kaveruutesi asteen dekaanin tai jonkin muun merkittävän henkilön kanssa, ja siten myös ansaitsemasi kulissientakaisen lobbauksen määrän.
  • Ulkomaalaisuusmuuttuja (mitataan asteikolla 0/1). Huomioithan, että muuttujan arvo 1 kääntyy eduksi tilanteessa, jossa päättävillä tahoilla on intressi saada ulkomaalaisen henkilökunnan osuutta kuvaava prosenttiluku kauniimmaksi. Toisaalta se koituu haitaksi tilanteessa, jossa laitoksella pedataan paikkoja omalle väelle, joka tenure-järjestelmän myötä uhkaa pudota pihalle koko talosta. 
  • Arvokuuliaisuusyhtälö kertoo, kuinka sitoutunut olet yliopistomme arvoihin, visioon ja strategiaan. Olethan siis jo pakannut matkalaukkusi maailmanluokkaan? Ennen lähtöä muista myös kysyä läheisiltäsi, mitä mieltä he ovat tulevista ympäripyöreistä työpäivistäsi.

P.S. Osataan sitä tehdä päätöksiä muuallakin

3 kommenttia:

  1. On jossain määrin surkuhupaisaa, kuinka mittarit ovat rantautuneet myös valtionhallinnon eri toimialoille/alaisiin laitoksiin. Esimiesportaan aika menee lähinnä siihen, että mittarit saadaan näyttämään hyvältä, toiminnasta viis..

    VastaaPoista
  2. Uusin mediaosuma Talouselämästä:

    Aallon rehtori Tuula Teeri: "Opintoraha on luksusta"

    http://www.talouselama.fi/uutiset/aallon+rehtori+tuula+teeri+opintoraha+on+luksusta/a2200029


    Tästä ei yhteiskunnallinen vaikuttavuus enää parane, köyhät kyykkyyn!

    P.S. suurimmat sammakot löytyvät vain painetusta lehdestä esimerkiksi ulkomaisten opiskelijoiden ja tutkijoiden "kotouttamisen" epäonnistumisesta. Niin uskomattomalta kuin se kuulostaakin, niin epäteknisestä korkeakoulusta on tehty nyt myös maahanmuuttopolitiikan väline.

    VastaaPoista
  3. Tällainen mittareiden tuijottaminen tuottaa haittaa jatko-opiskelijoille. On kuulunut juttua että jotkut tutkimukset jäävät kokonaan julkaisematta, koska niitä ei saada huippulehtiin. Tenure-trackissä olevat professorit eivät halua julkaista niitä, koska heille on tärkeää julkaistu nimekkäissä lehdissä (sillä tällä mittarilla heitä arviodaan, kun päätetään, vakinaistetaanko positio). Jos tulee hylky jostain "kovasta" journalista niin sitten tutkimus saattaa jäädä julkaisematta kokonaan. Sääliksi käy sitä jatko-opiskelijaa jolle näin käy; ihan hyvä tutkimus ei ehkä koskaan näe päivänvaloa, tai jos näkee, niin pitkällä viivellä. Tällä on myös muita vaikutuksia. Se ohjaa tutkimusta muotialoille, joissa on helpompaa julkaista; se vähentää riskinottoa, sillä uuden tutkimuslinjan kehittäminen vie pitkän aikaan, ja se ei välttämttä tuota tulosta. Mene sitten tenure-komitean eteen ja selitä, miksei ole julkaissut huippulehdissä. Selitykset että olet yrittänyt luoda jotain ihan uutta eivät varmaan kiinnosta komiteaa.

    Kaippa se peli on samanlaista yhdysvaltojen huippuyliopistossa, minulla ei ole tästä kokemusta. En myöskään osaa sanoa, onko tällainen välttämöntä sille, että päästään maailman huipulle. Ehkäpä se on, mutta ei se oikein istu suomalaiseen ajatusmaailmaan. Varmaankin minun oma asenteeni on tässä väärä, mutta pitääkö huipulle päästä hinnalla millä hyvänsä?

    VastaaPoista