Tarinat ja julkaisut

20.11.2015

Arvoituksellinen arviointi

Hakemusten arviointi näyttäytyi varsin mystisenä toimintana ollessani perustutkinto- ja jatko-opiskelija. Arvioijat jäivät nimettömiksi, ja päätöksiä harvemmin perusteltiin.

Yliopistomaailma on noista vuosista muuttunut kuitenkin paljon. Nykyään tarjolla on koulutusta niin tutkimusetiikasta, yliopistopedagogiikasta kuin työ- ja apurahahakemusten laatimisesta. Opiskelijat tekevät myös vertaisarviointeja eli tarkastelevat kriittisesti toisten opiskelijoiden kirjoittamia tekstejä. Silti hakemusten arviointia ei edelleenkään opeteta, eikä arviointiprosessista muutoinkaan käydä laajaa keskustelua. Seuraavassa pyrin hieman valottamaan sitä arvioijan kannalta ja millaisiin ongelmakohtiin niissä monesti törmään.

Oma harjaantumiseni arviointiin on tapahtunut niitä tekemällä ja keskustelemalla arviointiperiaatteista kollegoiden kanssa. Kokemuksen myötä itsevarmuuteni arvioinnin suhteen on karttunut. Arvioinnista on muodostunut enemmän tai vähemmän jäsentynyt käytäntö.

Aloitan tutustumalla rahoittajan ohjeistukseen. Millaisia periaatteita minun halutaan arvioinnissa noudattavan?

Koneen Säätiöön tapauksessa ohjenuora on selvä. Se etsii rohkeita ja ennakkoluulottomia avauksia sekä tieteenalojen rajoja ylittäviä hankkeita.

Ohjeistuksen jälkeen luen hakemusten otsikot ja tiivistelmät yleiskuvan saamiseksi. Haluan käsityksen siitä, olenko mahdollisesti jäävi ja mitä aiheita hakemukset käsittelevät. Millainen kirjo on odotettavissa? Tiivistelmissä toistuvat taajaan rahoittajan hakujulistuksessaan painottamat sanat, Koneen tapauksessa “rohkeus”, “innovatiivisuus” ja “monitieteisyys”. Yksittäisen sanan mainitseminen ei minua arvioijana kuitenkaan hetkauta – sellaisen käyttö ei takaa mitään. Pohdin pikemminkin, toteutuvatko periaatteet hakemuksen kokonaisuudessa. Vaikka mielikuvat hakemusten laadusta alkavat jo orastaa, tässä vaiheessa en vielä lyö lukkoon käsityksiäni.

Toisella lukukierroksella keskityn tutkimussuunnitelmiin. Esitän jokaista lukiessa saman kysymyssarjan: mitä tutkitaan, miksi tutkitaan, miten tutkitaan ja onko hakijalla edellytykset saavuttaa haluamansa sekä mitkä ovat hankkeen oletetut tulokset. Hankekuvauksista teen kustakin muistiinpanot. Listaan jokaisesta hyviä ja huonoja piirteitä.

Tutkimuskysymyksen eli sen määrittely ”mitä tutkitaan” täytyy olla kristallinkirkas.

Sen pitää kiteytyä yhdeksi ajatukseksi, ehkäpä jopa yhdeksi lauseeksi. Turhan usein hakija jättää keskeisen tutkimuskysymyksen määrittelyn vähäiseksi ja porhaltaa jo osakysymyksiin. Pienempien kysymysten pitäisi kuitenkin juontua pääkysymyksestä ja tukea siihen vastaamista.

”Mitä tutkitaan” on läheisessä yhteydessä siihen, ”miksi tutkitaan”. Hakemuksen on osoitettava, mitä aiemmasta tutkimuksesta puuttuu ja minkä aukon kyseinen hakemus tieteenalallaan täyttää. Hakijan on tunnettava tieteenalansa perinne ja hankkeeseen liittyvä aiempi tutkimustyö.

Hakemus, joka korskeasti väittää, ettei tätä tai tuota asiaa ole tutkittu ”koskaan aiemmin”, herättää epäilykseni.

Noin ehdoton väittämä harvoin pitää paikkaansa. Etenkin humanistisen tutkimuksen maailmassa tuskin on asiaa, jota joku aiempi tutkija ei olisi jossain määrin sivunnut. Ehkä hakija ei riittävästi tunne tutkimusperinnettä ja alan senhetkistä tilaa? Edeltävää tutkimusta voi olla niukasti, se saattaa olla vääränlaista tai hankkeella on tuore näkökulma, ja tästä hakemuksen täytyy minut vakuuttaa.

Kysymys siitä, ”miten tutkitaan”, liittyy menetelmiin. Hyvä hakemus voi nojata vakiintuneisiin metodeihin, mutta alallani, arkeologiassa, monet tieteelliset läpimurrot perustuvat uusien soveltamiseen. Erityisesti luonnontieteelliset menetelmät ovat nykyarkeologiassa tärkeässä asemassa. Tärkeä kysymys ei enää olekaan se, onko hankkeessa jokin uusi luonnontieteellinen metodi, vaan se, kuinka tulokset yhdistetään humanistiseen tulkintaan. Arvioinnissani suosin suunnitelmia, joissa tieteiden väliset rajat onnistutaan ylittämään niin, että humanistinen osuus on yhtä vahva kuin luonnontieteellinen. Vaihtoehtoisesti olen pitänyt tärkeinä hankkeita, jotka keskittyvät korkeatasoiseen luonnontieteellisten tutkimusmenetelmien kehittämiseen siten, että tuloksilla on selkeää, kansainvälistä merkittävyyttä.

Tarkastelen tutkimussuunnitelmissa myös sitä, onko hakijalla edellytykset toteuttaa hankkeensa. Tämä todistetaan tutkimuspaikan ja tutkijaverkoston ohella ansio- ja julkaisuluetteloin. Ne voivat olla pitkiä ja vaikuttavia tai sitten osoittaa, että tutkija on vasta aivan uransa alussa. Keskeistä on kuitenkin se, onko hakijalla sellaisia taitoja, joita suunnitelma edellyttää. Pystyykö hän soveltamaan menetelmiään? Tunteeko hän aihepiirin ja tutkimusaineistot?

Miksi juuri tämä henkilö tai ryhmä olisi oikea hanketta toteuttamaan?

Toisinaan postdoc-rahoitusta hakevilla ongelmana on juuttua väitöskirjan tulosten esittelyyn. Minua ei kuitenkaan ensisijaisesti kiinnosta se, mitä hakija on aiemmin tehnyt, vaan se, mitä hän aikoo väitöskirjan jälkeen tehdä. Kyse on uudesta hankkeesta, jonka on seisottava omilla jaloillaan. Väitöskirja on usein sen pohjana, mutta ei pääroolissa, eikä postdoc-hanke voi olla vain väitöskirjasta ylijääneiden rönsyjen siivoamista.

Viimeisessä arviointivaiheessa muistutan itseäni rahoittajan määrittelemistä periaatteista. Käyn muistiinpanoni läpi ja pohdin, miten kukin hanke suhteutuu rahoittajan pyrkimyksiin.

Hakemuksista on varsin helppo erottaa kolme ryhmää eli parhaat, heikot ja näiden kahden välimaastoon jäävät. Vaikeinta on laittaa parhaimmisto keskinäiseen arvojärjestykseen.

Tätä tehdessä joutuu punnitsemaan rahoittajan periaatteita, tutkimuskysymyksen selkeyttä, hankkeiden kansallista ja kansainvälistä vaikuttavuutta sekä toteuttamisen edellytyksiä. Aivan viimeiseksi annan kullekin hankkeelle myös numeerisen arvion.

Lopputuloksena hankkeista syntyy perusteltu lista, joka asettaa ne paremmuusjärjestykseen. Sen toimitin elektronisesti Koneen Säätiölle. Varsinaiset rahoituspäätökset ovat sitten muiden harteilla.

Kirjoittaja

Kirjoittaja arvioi apurahahakemuksia syksyllä 2015.