Tööalase õppimise mõju hindamine
Õppimine muutuste kiirusel ja uute oskuste omandamine koos töökohal rakendamisega aitab organisatsioonidel muutuvates oludes kohanduda ja konkurentsis püsida. Õppimis- ja kohanemisvõimet saame tööandjatena soodustada luues õppimist toetava keskkonna. Et teada saada, kas meie õpilahendused jäävad toreda meelelahutuse tasemele või toetavad sisuliselt äriliste väljakutsete lahendamist, saame kasutada erinevaid analüüsi ja hindamise mudeleid.
Aastakümneid on kasutatud tööalase koolituse mõju hindamisel Kirkpatrick-Katzell’i 4-astmelist mudelit:
õppija reaktsioon,
õpitulemus,
õpitu rakendamine,
organisatsiooni tulemus.
Kahjuks praktikas piirdutakse sageli vaid õppijate reaktsiooni ja rahulolu mõõtmisega või teadmiste kontrolliga vahetult peale koolitust, ehk tasemed üks ja kaks. Nii saame teada, kas koolitus meeldis ja kas õppijad teemast aru said. Mida nende andmetega peale hakata? Koolituse meeldimine ja omandatud teadmiste hulk on paraku viletsad töösoorituse muutuse ennustajad. Läbitud koolituste arv, teadmiste testi skoor ja rahulolu koolitusega ei ole head argumendid, et juhte tööalase õppimise tõhususes veenda. Need andmed ei aita paremaid juhtimisotsuseid teha, efektiivseid õpilahendusi disainida ega lahenduste sisulist mõju hinnata.
Levinud praktika on, et koolituse tagasisidet küsitakse vahetult koolituse lõppedes Likerti-skaala tüüpi küsimustega.
Näiteks: Kuidas jäid koolitusega rahule?
Oleme ilmselt kõik selliseid pisut tüütuid küsitlusvorme täitnud ja võimalusel ka täitmata jätnud. Sellise tagasiside väärtus on kahtluse alla seatud eelkõige seetõttu, et:
koolituse lõpus kogutud tagasiside ei ennusta oskuste rakendamist töökohal,
Likerti-skaala on vastaja jaoks eksitav,
ilma kontekstita on see sisutu hinnang.
Tööalase koolituse hindamisel on turundusest üle võetud ja koolituse tagasisidestamisel kasutama hakatud ka soovitusindeksi-tüüpi küsimuse (NPS) küsimist.
Näiteks: Kui tõenäoliselt soovitaksid seda koolitusprogrammi oma kolleegile?
Skaala: (Ei ole tõenäoline) 0 1 2 3 4 5 6 7 8 9 10 (Väga tõenäoline)
Will Thalheimer PhD toob uuringutele toetudes välja mitu põhjust, miks soovitusindeksi küsimust tööalase õppe tagasisidestamisel mitte kasutada:
õppijatelt üldise soovituse küsimine annab meile kallutatud informatsiooni (õppijad ei oska koolituse efektiivsust vahetult peale koolitust hinnata),
NPS põhineb sisult Likert-i skaalal ja keskendub liialt üldisele rahulolule, mis ei anna sisukat infot otsuste tegemiseks,
NPS keskendub koolituse reputatsioonile, aga õppimine on oluliselt keerukam protsess, mille mõju ühe dimensiooni järgi hinnata ei saa.
Jack Phillips’i ROI metoodikas on õpilahenduse mõju hindamiseks 4-tasandilisele mudelile lisatud viies tase, ehk rahalise tasuvuse hindamine. ROI arvutamine, ei muuda hindamist sisukamaks, kui me hindame üksikut koolitussündmust või proovime tasuvuse välja arvutada iga koolitusprogrammi kohta. ROI Instituut toob välja, et ainult 5% koolitusprogrammidest väärivad sellel tasemel andmete kogumist. Näiteks kui tegu on strateegiliselt väga olulise ja kalli programmiga, tasub kaaluda põhjalikku 12-astmelise hindamisprotsessi rakendamist.
Personaliarenduse valdkonna eksperdid viitavad sageli ka Brinkerhoff’i hindamismudelile Success Case Method, mis aitab kiirelt leida selle, mis arendusprogrammis töötab ja mis mitte. Meetod on kasutatav juhtudel, kus peamiselt saame edukaima ja mitte eduka juhtumi kohta kvalitatiivsed andmed. Näiteks on see rakendatav pehmete oskuste õpetamisel ja liidrite arendamisel.
Ühe uuema mudelina on populaarsust kogumas Will Thalheimeri poolt välja töötanud LTEM (Learning Transfer Evaluation Model), mis autori enda sõnul on loodud asendama Kirkpatrick-Katzell’i 4-tasandilist koolituse mõju hindamise mudelit. Oma värskes raamatus „Performance Focused Learner Surveys” toob Thalheimer välja 4-tasandilise mudeli puudused ja pakub tööalase õppimise mõju hindamiseks välja LTEM-mudeli:
Tasand 1 – Osalemine. Osales programmis ja lõpetas x tasemel (ei tõenda õppimist)
Tasand 2 – Tegevus. Tähelepanu, huvi, osavõtt, haaratus (ei tõenda õppimist)
Tasand 3 – Õppija taju. Õppimise tõhususe tunnetus (ei tõenda õppimist)
Tasand 4 – Teadmised. Omandatud teadmised (lühiajaliselt mõõtes ei tõenda õppimist)
Tasand 5 – Otsustuspädevus. Võib viia õpitu rakendamiseni kui säilib ka peale õppimist
Tasand 6 – Ülesande pädevus. Õppijal on võimalus vastu võtta otsuseid ja tegutseda õpitule vastavalt
Tasand 7 – Ülekanne. Fookus töösooritusel, mitte õppetegevustel
Tasand 8 – Ülekande mõju. Mõõdab tulemust (innovaatilised teenused, müügitulu suurenemine, pädevuse saavutamise lühem aeg, ärikriitiliste oskuste olemasolu organisatsioonis, voolavuse vähenemine, ohutusjuhtumite vähenemine vms). Avaldab mõju sidusrühmadele (õppija, meeskond, organisatsioon, kogukond).
Koolituse mõju hindamisel ei peaks me piirduma õppijate küsitlemisega ja teadmiste testimisega. Kui need on peamised õpitulemuse hindamise tööriistad, siis jäävad juba õpilahenduse disainimisel tähelepanuta sügavamat õppimist toetavad tegevused. Õppimine ei võrdu teadmiste omandamise või teadlikuks saamisega. LTEM mudeli kontekstis tähendab ülekanne õpitu rakendamist töökohal või ka elus laiemalt. Sellel tasandil mõjutab õpitu rakendamist ja töösoorituse tulemust rida muid tegureid, mis ei ole otseselt õppetegevuse osa. Näiteks kolleegide või juhi tugi töökohal, vajadusel juhendmaterjalide kättesaadavus, organisatsioonikultuur, töökeskkonnast tingitud piirangud vms.
Igal eelneval hindamismudelil on oma head ja vead. Et enda ettevõtte konteksti sobiv mudel leida, on kasulik alustada ärilise väljakutse määratlemisest koostöös seotud huvigruppidega. Lähtuvalt ärilisest eesmärgist saame otsustada millisel tasandil on vajalik õppetegevuse mõju hindamine läbi viia. Üksiku õpisündmuse korral võib olla mõistlik piirduda sisuka tagasiside küsitlemisega. Mahukamate programmide ja töötajate õpiteekonna kujundamisel tasub liikuda mõju hindamise kõrgematele tasanditele. Oluline, et hindamine tooks välja andmed, mis aitavad teha sisulisi juhtimisotsuseid ja disainida töösooritusele mõju avaldavaid õpilahendusi.
Soovitused:
Alusta ärilise väljakutse määratlemisest, mitte andmete kogumisest ja analüüsist sellepärast, et mõni mudel on popp või mõnes infosüsteemis andmed lihtsalt leitavad.
Alusta väikselt, testi mudeli sobivust oma organisatsiooni kontekstist lähtuvalt ja kaasa huvigrupid. Hinda huvi ja valmisolekut ning siis skaleeri.
Õpilahenduste disainimisel ja mõju hindamisel tasub võtta laiem, funktsioonideülene lähenemine, et näha arendusprogrammide ja õpilahenduste mõju laiemalt kui ametikoha või funktsiooni piires.
Õppetegevuse mõju hindamiseks kogu andmed ärilise väljakutse kontekstist lähtuvalt. Andmete demokratiseerimine ja valdkondadeülene ligipääs andmetele tuleb kasuks.
Artikli autor
Tuuli Perolainen
Allikad:
Brinkerhoff, R.O. (2003) The Success Case Method: Find Out Quickly What’s Working and What’s Not. Berret-Koehler Publishers
Phillips, P.P. (2002) Understanding the Basics of Return on Investment in Training. Kogan Page
Thalheimer, W. (2022) Performance Focused Learner Surveys: Using Distinctive Questioning to Get Actionable Data and Guide Learning Effectiveness. Work-Learning Press
Thalheimer, W. The Learning-Transfer Evaluation Model