Itsearviointi käsitteenä on moniselitteinen, ja sitä käytetään hyvin monenlaisista arvioinneista. Itsearviointia voidaan tehdä eri tarpeista ja eri käyttäjille, jolloin myös sen käyttötarkoitus on erilainen. Suuri osa itsearvioinneista tehdään itse asiassa muille kuin ”itselle”, eli usein niiden tilaajana on jokin ulkopuolinen taho.
Kaikissa Suomen ammattikorkeakouluissa on kautta niiden historian tehty lukuisia itsearviointeja eri tarkoituksiin. Ensimmäiset itsearvioinnit liittyivät ammattikorkeakoulujen toimilupien hakuprosesseihin, ja niitä tehtiin 1990-luvun alkupuolella ja puolivälin tienoilla. Kaikki korkeakoulut ovat myös tehneet Korkeakoulujen arviointineuvoston (KKA) ja 1.5.2014 alkaen Kansallisen koulutuksen arviointikeskuksen (Karvi) toteuttamiin laatujärjestelmäauditointeihin liittyvät itsearvioinnit. Monen korkeakoulun laatujärjestelmään sisältyy omaehtoisia itsearviointeja, joita tehdään enemmän tai vähemmän säännöllisesti.
Itsearviointi on työkalu toiminnan kehittämiseen.
Karvin mukaan itsearvioinnilla tarkoitetaan korkeakoulun omaan toimintaan ja sen kehittämiseen kohdistuvaa arviointia. Kehittävän arvioinnin mukaisesti itsearviointi toimii työkaluna toiminnan kehittämiseen. Omien vahvuuksien ja erityisesti kehittämiskohteiden tunnistaminen on osoitus kypsästä laatukulttuurista. (Korkeakoulujen auditointikäsikirja 2018–2024, 22)
Itsearvioinnissa voidaan käyttää erilaisia valmiita viitekehyksiä. Oman mallin kehittämisen koetaan vaativan liian paljon aikaa. Oman mallin avulla ei myöskään voi vertailla organisaation toimintaa ja tuloksia muiden samalla tai eri alalla toimivien organisaatioiden kanssa. Monet koulutusorganisaatiot ovat muokanneet valmiita malleja tai yhdistäneet niitä omia tarpeitaan paremmin palveleviksi.
Suomessa viitekehyksistä yleisimmin käytössä ovat EFQM- ja CAF-mallit. Xamkissa itsearvioinnin viitekehykseksi on valittu CAF eli Common Assessment Framework. Se on EU-jäsenmaiden yhteistyönä kehitetty julkisen sektorin organisaatioiden laadunarviointimalli. Malli sisältää viisi toimintaa kuvaavaa arviointialuetta: 1) johtajuus, 2) strategia ja toiminnan suunnittelu, 3) henkilöstö, 4) kumppanuudet ja resurssit sekä 5) prosessit.
Tuloksia arvioidaan neljällä arviointialueella: 6) asiakas- ja kansalaistulokset, 7) henkilöstötulokset, 8) yhteiskuntavastuutulokset ja 9) keskeiset suorituskykytulokset. CAF on tarkoitettu helppokäyttöiseksi työkaluksi organisaatioiden suorituskyvyn arviointiin ja kehittämiseen. Itsearviointityökaluna CAF kuuluu samaan ryhmään muiden kokonaisvaltaisen laadunarvioinnin työkalujen, erityisesti EFQM-mallin kanssa. (CAF 2013.)
Xamkin CAF-malli ja -prosessi
CAF-malli on muokattu Xamkin tarpeisiin sopivaksi. Xamkin laatujärjestelmän mukaan ammattikorkeakoulun johto eli johtajat ja esimiesasemassa olevat päälliköt tekevät kokonaisarvioinnin CAF-mallin pohjalta joka kolmas–viides vuosi. CAF-itsearviointi toteutetaan Xamkissa pääosin sähköisin menetelmin. Arviointipohja on tehty Webropoliin ja se lähetetään osallistujille sähköpostitse. Arviointi on avoinna noin kaksi viikkoa ja sinä aikana jokainen osallistuja voi työskennellä oman aikataulunsa mukaan. Webropoliin liitetään arviointia helpottavaa tausta-aineistoa seuraavan kuvan osoittamalla tavalla.
Itsearviointi, johon osallistuu useita henkilöitä tai jopa koko organisaatio, on suunnittelua ja ennakkovalmistautumista vaativa prosessi. Xamkin CAF2017-itsearviointiprosessin vaiheet olivat seuraavan kuvan mukaiset.
Miksi Xamkissa päätettiin tehdä itsearviointi juuri syksyllä 2017, vaikka fuusioammattikorkeakoulu oli toiminut vasta vajaan vuoden? Uusi organisaatio oli kuitenkin toiminut jo 1.1.2016 alkaen. Tavoitteena oli saada tietoa organisaation nykytilasta, sen vahvuuksista ja kehittämiskohteista, jotta osattaisiin suunnata kehittämispanokset oikeisiin kohteisiin. Itsearviointi toimii myös perehdyttämisen työkaluna, ja tätä pidettiin tärkeänä, koska eri toimintojen vastuuhenkilöt eivät välttämättä vielä niin hyvin tunne kaikkia Xamkin toimintoja. Itsearviointi myös sitouttaa tekijänsä ja antaa mahdollisuuden päästä keskustelemaan organisaation toiminnasta ja tuloksista. Mutta koska Xamkin toiminta on vielä alkuvaiheessa, kaikkein parhaita arvioita ei sen vuoksi edes odotettu. Toimintatavat on kyllä pääosin suunniteltu ja käyttöönotettu, mutta ei ehkä vielä arvioitu tai arviointien pohjalta parannettu. Seuraavassa itsearvioinnissa vuonna 2020 nähdään sitten kehitys.
CAF2017-itsearvioinnin tuloksia
Xamkin esimiehet osalllistuivat CAF-itsearviointiin erittäin sitoutuneesti. Yhteensä 46:sta esimiehestä kaksi oli arvioinnin aikana työlomalla, kaksi ei osallistunut info- ja perehdyttämistilaisuuteen ja vain yksi jätti arvioinnin tekemättä. Arvioinnin tulokset käsiteltiin 30.10.2017 konsensuskokouksessa, johon osallistui 39 eli 88,6 prosenttia arvioijista.
Xamkissa käytetty arviointiasteikko oli 0–5 tutumman 1–5 -asteikon sijaan. Nyt käytetyssä asteikossa 2,5 on keskimääräinen arvosana kolmen sijaan. Tästä johtuen arvosanat saattavat vaikuttaa totuttua alhaisemmilta. Alin arvosana eli nolla annetaan, jos asiassa ei ole toimittu aktiivisesti ja järjestelmällisesti tai jos tuloksia ei ole mitattu. Korkein arvosana edellyttää, että toimintatavat on suunniteltu, käyttöönotettu ja niitä on säännöllisten arviointien pohjalta parannettu, lisäksi tehdään vertailukehittämistä järjestelmällisesti tai että erinomaisia tuloksia on saavutettu jatkuvasti ja organisaation keskeisimmät tulokset verrattuna vastaaviin organisaatioihin ovat muita parempia. Arviointialueiden kokonaiskeskiarvot esitetään seuraavassa taulukossa:
| Toimintatavat | Ka | Tulokset | Ka |
| Prosessit | 2,94 | Keskeiset suorituskykytulokset | 3,20 |
| Johtajuus | 2,74 | Henkilöstötulokset | 2,93 |
| Strategia ja toiminnan suunnittelu | 2,61 | Opiskelija- ja asiakastulokset | 2,91 |
| Henkilöstö | 2,48 | Yhteiskuntavastuutulokset | 2,78 |
| Kumppanuudet ja resurssit | 2,41 |
Yksittäisten väittämien keskiarvojen vaihteluväli oli 2,61–3,31. Kuten arviointialueiden keskiarvoista voi päätellä, tulokset-arviointialueiden keskiarvot olivat pääosin parempia kuin toimintatavat-arviointialueiden. Molempien arviointialueiden parhaita ja huonoimpia keskiarvoja olivat seuraavat:
- Opiskelijatyytyväisyystuloksia mitataan säännöllisesti. (3,31)
- Keskeiset prosessit on tunnistettu, kuvattu ja dokumentoitu. (3,28)
- Olemme parantaneet tuloksellisuuttamme. (3,26)
- Organisaation toiminnan vaikuttavuudesta on näyttöä. (3,21)
- Organisaatio on aktiivinen alueen kehittäjä. (3,21)
— - Tieto- ja informaatiojärjestelmät tukevat johtamista ja ydintehtävän suorittamista. (2,16)
- Ympäristötulokset (ilmastonmuutoksen hillintä) on saavutettu hyvin. (2,19)
- Strategia viestitään henkilöstölle ymmärrettävästi niin, että se muuttuu käytännön toiminnaksi. (2,29)
- Innovaatioita ja muutoksia suunnitellaan, toteutetaan ja arvioidaan. (2,34)
Keskiarvojen lisäksi arvioinnissa tarkasteltiin kunkin arviointialueen vahvuuksia ja kehittämiskohteita. Esimerkkejä vahvuuksista ovat koulutettu, osaava ja sitoutunut henkilöstö, selkiytynyt strategia, prosessien kuvaaminen, toimiva opiskelijapalautejärjestelmä, vahva TKI-toiminta ja Xamkin aluekehitysrooli. Esimerkkejä kehittämiskohteista ovat muutosjohtaminen, henkilöstön osallistuminen strategian laadintaan, henkilöstön osaamisen tunnistaminen, tieto- ja informaatiojärjestelmien kehittäminen, prosessien arviointi ja kehittäminen, tulosten hyödyntäminen ja vastuullisuusohjelman käyttöönotto.
Keskiarvojen, vahvuuksien ja kehittämiskohteiden perusteella konsensuskokouksessa äänestettiin alustavista kehittämishankeaihioista. Arviointi johtaa strategisiin kehittämishankkeisiin, joille varataan tarvittaessa erilliset resurssit. Johtoryhmä päätti toteutettavista kehittämishankkeista 15.11.2017. Toteutettavaksi valittiin kolme kehittämishanketta, joille nimettiin vastuuhenkilöt. Vastuuhenkilöt laativat hankesuunnitelman, jossa on kerrottu hankkeen nimi, vastuuhenkilö tai -henkilöt, projektiryhmä, mahdollinen ohjausryhmä, toteutusaika, hankkeen tavoitteet ja toimenpiteet, hankkeen mittarit ja seuranta sekä eritelty kustannusarvio.
Valitut kehittämishankkeet olivat 1) Tieto- ja informaatiojärjestelmät tiedolla johtamisen mahdollistajana, 2) Osaamisen johtamisen toimintamallin kehittäminen ja 3) Strategiaprosessin kuvaaminen ja kehittäminen. Hankkeiden toteutumista seurataan vuosittain johtoryhmässä ja hallituksessa. Kehittämisen onnistumista mitataan myös seuraavassa, vuodelle 2020 suunnitellussa CAF-itsearvioinnissa.
LÄHTEET
Korkeakoulujen auditointikäsikirja 2018–2024. Kansallinen koulutuksen arviointikeskus. Julkaisuja 18:2017. Tampere: Juvenus Print – Suomen Yliopistopaino Oy.
CAF 2013. Yhteinen arviointimalli. The Common Assessment Framework (CAF). Organisaation kehittäminen itsearvioinnin avulla. Pdf-dokumentti. http://www.valtiokonttori.fi/fi-FI/Virastoille_ja_laitoksille/Taloushallintoa_ja_johtamista_tukevat_palvelut/CAFlaatutyo/CAFtukimateriaalia_ja_tietoa. Ei päivitystietoja. Luettu 7.11.2017.