Mitä kannattaa mitata, milloin ja millä työkalulla?
Tekoälymuutoksen hyödyt näkyvät yleensä vasta viiveellä. Ennen euroja, tunteja tai läpimenoaikoja muuttuvat ihmisten kokemus, osaaminen ja tapa tehdä työtä. Siksi mittaamisen pitää alkaa jo silloin, kun uusi ratkaisu viedään ensimmäistä kertaa osaksi arkea.
Hyvä palaute ei vielä kerro muutoksesta
Eläkeliitolle toteuttamissamme AI-työpajoissa osallistujapalaute oli hyvä ja NPS-tulos 50. Palautteessa kiitettiin selkeää ohjausta ja hyödyllisiä harjoituksia. Tiesimme siis, että osallistujat kokivat työpajan onnistuneeksi ja sisällön tarpeelliseksi. Se on arvokasta tietoa, mutta kertoo vasta ensimmäisestä vaiheesta.
Työpajan jälkeen emme vielä tiedä, käyttikö osallistuja tekoälyä kahden viikon kuluttua, muuttuiko jokin työvaihe tai säästyikö aikaa. Sama aukko näkyy monessa organisaatiossa. Johto näkee lisenssit, kirjautumiset ja koulutuksiin osallistuneet, mutta arjen kitka, epävarmuus ja ylimääräinen tarkistustyö eivät välttämättä näy missään. Jos mittaaminen alkaa vasta liiketoimintatuloksista, ongelma huomataan helposti liian myöhään.
Kolme näkymää samaan muutokseen
Tekoälyn käyttöönottoa kannattaa seurata kolmelta tasolta: kokemuksena, toimintana ja vaikutuksena. Tasot liittyvät toisiinsa, mutta ne eivät ole sama asia eikä yhden mittarin tulos todista automaattisesti toista. Hyvä kokemus voi ennakoida käyttöä, mutta se ei takaa pysyvää muutosta. Vastaavasti suuri käyttömäärä voi syntyä ilman, että työn laatu tai tuottavuus paranee.
1. Kokemus kertoo varhaisista esteistä
Kokemusmittarilla selvitetään, miten ihmiset kokevat uuden työtavan. Hyviä kysymyksiä ovat esimerkiksi: auttaako tekoäly sovitussa tehtävässä, tiedänkö missä työvaiheessa sitä käytetään, osaanko tarkistaa tuotoksen ja saanko apua ongelmatilanteessa. Mukaan kannattaa ottaa myös se, onko ihmisillä aikaa harjoitella ja uskaltavatko he nostaa virheet esiin. Näistä asioista ei yleensä saada luotettavaa kuvaa käyttölogeista.
Koettu hyödyllisyys ja helppous ovat teknologian hyväksymistä koskevassa tutkimuksessa pitkään käytettyjä muuttujia. Tekoälymuutoksessa niiden rinnalle tarvitaan kuitenkin tehtäväkohtainen selkeys, tarkistusvarmuus ja psykologinen turvallisuus. Kokemusmittaus toimii silloin aikaisena signaalina: se kertoo, mihin käyttöönotossa pitää puuttua ennen kuin käyttöaste tai tulokset ehtivät laskea. Siksi pulssin pitäisi olla lyhyt, toistuva ja sidottu konkreettiseen työtehtävään.
2. Toimintamittari kertoo, muuttuiko työ
Toimintamittari siirtää huomion mielipiteestä tekemiseen. Seuraa esimerkiksi toistuvaa käyttöastetta, tekoälyä hyödyntävien työtehtävien osuutta, sovitun työnkulun noudattamista ja ihmistarkistuksen toteutumista. Oleellista on rajata, missä tehtävässä käyttöä odotetaan. Pelkkä promptien, keskustelujen tai kirjautumisten määrä ei kerro, onko prosessi muuttunut tavoitteiden mukaisesti.
Käyttödataa kannattaa täydentää pienellä laatuotannalla. Jo 20 tapauksen säännöllinen tarkastus voi paljastaa, ohitetaanko sovittuja vaiheita, missä uudelleentyö syntyy ja toteutuuko ihmisen vastuu käytännössä. Jos kokemus on myönteinen mutta toiminta ei muutu, syy voi olla epäselvässä prosessissa, puuttuvissa käyttöoikeuksissa tai siinä, ettei harjoittelulle ole varattu aikaa. Silloin lisäkoulutus ei välttämättä ole ensimmäinen ratkaisu.
3. Vaikutusmittari todentaa hyödyn ja haitan
Vaikutusmittari kertoo, saavutettiinko se hyöty, jota varten ratkaisu hankittiin. Mittareiksi sopivat esimerkiksi läpimenoaika, kerralla hyväksyttyjen tuotosten osuus, uudelleentyö, laatupoikkeamat, kustannus tapausta kohti ja varmennettu säästetty työaika. Nopeutta ei pidä seurata ilman laatua, koska paikallinen aikasäästö voi siirtää työn tarkistajalle tai seuraavaan prosessivaiheeseen. Hyödyn rinnalla pitää seurata myös olennaisia virheitä ja läheltä piti -havaintoja.
Vaikutusta voidaan arvioida vasta, kun lähtötilanne on mitattu samalla tavalla ennen muutosta. Jos lähtötilanteesta ei ole tietoa, jälkeenpäin on vaikea osoittaa, mikä muuttui ja mistä syystä. Säästettyä aikaa kannattaa arvioida aikaleimoista tai otannasta ja kertoa tulos toteutuneella työmäärällä. Käyttäjän oma arvio ajansäästöstä voi täydentää kuvaa, mutta sitä ei kannata käyttää ainoana hyötylaskelmana.
Mittaa eri asioita eri rytmissä
Ennen pilotin alkua tarvitaan kahdesta neljään viikkoa nykyisen prosessin lähtötietoja. Samalla kannattaa tehdä ensimmäinen kokemuspulssi ja sopia tavoitetaso 6–10 valitulle mittarille. Mittareita ei kannata ottaa kaikkia mahdollisia, vaan kahdesta neljään kustakin tasosta riittää useimmissa piloteissa. Tärkeintä on, että jokaisella mittarilla on omistaja, tietolähde ja sovittu päätös, johon tulos vaikuttaa.
Kokemusta kannattaa mitata viikoilla 2, 4, 8 ja 12, alussa tiheämmin ja myöhemmin harvemmin. Käyttöä ja työnkulun noudattamista voidaan seurata viikoittain, jos data syntyy automaattisesti, tai kuukausittain otannalla. Ensimmäinen varsinainen hyötyvertailu kannattaa tehdä noin 8–12 viikon kohdalla, kun tapauksia on kertynyt riittävästi. Kuukausien 4–6 aikana nähdään jo paremmin, onko uusi tapa vakiintumassa vai jäikö pilotti irralliseksi kokeiluksi.
Kun käyttö on vakiintunut, kokemuspulssi voidaan tehdä neljännesvuosittain ja toimintamittarit automatisoida kuukausiseurantaan. Vaikutuksia seurataan mittarin luonteesta riippuen kuukausittain tai kvartaalittain. Mittausväliä ei siis päätetä yhdellä kertaa kaikille mittareille. Varhainen kokemus tarvitsee nopean palauterytmin, kun taas taloudellisten vaikutusten todentaminen vaatii aikaa ja riittävän suuren aineiston.
Kevyt työkalupaketti riittää pitkälle
Pienessä pilotissa ei tarvita erillistä mittausalustaa. Microsoft Forms tai Google Forms riittää kokemuspulssiin, tekoälytyökalun oma raportti käyttödataan ja Excel prosessi- sekä hyötyseurantaan. Prosessin tiedot kannattaa hakea ensisijaisesti järjestelmästä, jossa työ muutenkin tehdään. Näin mittaamisesta ei synny uutta raskasta raportointiprosessia.
Kun tiimejä, työtehtäviä tai tietolähteitä on useita, sama rakenne voidaan siirtää Power BI -näkymään. Microsoft 365 Copilotin käyttäjille Copilot Dashboard tarjoaa valmiita näkymiä valmiuteen, käyttöön, vaikutuksiin ja käyttäjien kokemukseen. Sekään ei poista oman prosessidatan tarvetta, koska yleinen käyttöraportti ei tiedä, mitä organisaation olisi pitänyt saada aikaan. Työkalun tehtävä on yhdistää tieto, ei määritellä tavoitetta puolestamme.
Kirkpatrick auttaa jäsentämään, mutta ei todista syy-seurausta
Kirkpatrickin neljän tason mallia käytetään paljon koulutusten arvioinnissa. Malli jakaa arvioinnin reaktioon, oppimiseen, käyttäytymiseen ja tuloksiin, ja se syntyi jo 1950-luvulla. Tekoälymuutoksen mittaamisessa se on hyödyllinen muistutus siitä, ettei onnistunutta koulutuspäivää pidä sekoittaa muuttuneeseen toimintaan tai liiketoimintahyötyyn. Malli ei kuitenkaan tarkoita, että tasojen välillä olisi aina vahva tai automaattinen korrelaatio.
Mittaristo ei ole raportti vaan ohjausväline
Hyvä mittaristo auttaa tekemään päätöksiä pilotin aikana, ei vain esittelemään tuloksia sen jälkeen. Älä ota liian montaa mittaria käyttöön pilottiin. Mittauksen tarkoituksena on nähdä, jos kokemus heikkenee, jolloin poistetaan käytön este. Jos toiminta ei muutu viikkoon 8 mennessä, tarkistetaan prosessi, osaaminen ja tuki. Jos toiminta muuttuu mutta vaikutus ei, työtehtävä, lähtötilanne tai tavoite pitää arvioida uudelleen.
Tekoälymuutoksen todellinen hyöty syntyy vasta, kun ihmiset osaavat käyttää ratkaisua, työnkulku muuttuu ja muutos näkyy laadussa, ajassa tai kustannuksissa. Yksi mittari ei pysty näyttämään koko ketjua. Siksi kokemusta, toimintaa ja vaikutusta pitää seurata rinnakkain, vaikka ne näkyvät eri aikaan. Mittaamisen tarkoitus ei ole todistaa, että hankinta oli onnistunut, vaan auttaa tekemään käyttöönotosta onnistunut.
Suunnittelun laadunvarmistuksessa mittaamisen kysymykset ovat konkreettisia: löytyvätkö puutteet aikaisemmin, väheneekö tarkastustyö ja kuinka paljon virheellisiä hälytyksiä syntyy? Samat kysymykset pitää esittää myös uusille tekoälyratkaisuille. Seuraavassa kirjoituksessa tarkastelen ODA:n MCP-ratkaisuja ja sitä, millaisia mahdollisuuksia ne avaavat CAD- ja BIM-aineistojen tekoälyavusteiseen tarkastukseen.
Aineistot
🎥 Katso YouTube Shorts: Tekoälymuutoksen mittaaminen
📊 Lataa tekoälymuutoksen mittaripohja (tehty AI:lla)
Aiheeseen liittyy myös aiempi kirjoitukseni AI piloteista käyttöönottoon.
Haluatko rakentaa teille sopivan mittariston?
Mittarit kannattaa valita sen mukaan, mitä työvaihetta tekoälyllä halutaan muuttaa ja millaista hyötyä tavoitellaan. Voimme käydä yhdessä läpi työtehtävän, nykyisen prosessin, saatavilla olevan datan ja sen, mitä kannattaa seurata ensimmäisten kuukausien aikana. Varaa maksuton 30 minuutin kartoitus, jos haluat sparrata mittaustavan ennen pilotin käynnistämistä tai korjata jo käynnissä olevan käyttöönoton seurantaa.
Taustalähteitä
Kirkpatrick Partners: The Kirkpatrick Model
Alliger ym. (1997): Meta-analysis of the relations among training criteria
Davis (1989): Perceived usefulness, ease of use and user acceptance
Aiheet
