培訓(xùn)效果評價技術(shù)
1. 對培訓(xùn)項(xiàng)目進(jìn)行評價的原因
許多公司已經(jīng)開始在培訓(xùn)方面投入數(shù)百萬美元的經(jīng)費(fèi)來幫助自己贏得競爭優(yōu)勢。那些采取高層次培訓(xùn)實(shí)踐的企業(yè)不僅將大量的資金投入到培訓(xùn)項(xiàng)目的開發(fā)和管理工作之中,而且在培訓(xùn)項(xiàng)目的評價方面也頗費(fèi)心思。那么為什么要對培訓(xùn)項(xiàng)目進(jìn)行評價呢?原因主要有以下幾點(diǎn):
發(fā)現(xiàn)培訓(xùn)項(xiàng)目的優(yōu)點(diǎn)和缺點(diǎn)。其中包括評價項(xiàng)目是否達(dá)到了學(xué)習(xí)的目標(biāo);學(xué)習(xí)環(huán)境的質(zhì)量如何;培訓(xùn)的成果是否被轉(zhuǎn)化到了實(shí)際工作之中。
評價培訓(xùn)項(xiàng)目的內(nèi)容、組織以及管理(包括時間安排、住宿、培訓(xùn)者以及材料等幾個方面)是否有助于學(xué)習(xí)和培訓(xùn)內(nèi)容在實(shí)際工作中的運(yùn)用。 找出那一位受訓(xùn)者從培訓(xùn)項(xiàng)目中獲益最大或最小。 通過搜集以下幾個方面的信息來幫助企業(yè)推銷培訓(xùn)計劃:培訓(xùn)項(xiàng)目的參加者是否會向其他人推薦該項(xiàng)目;為什么他們會參加這一培訓(xùn)項(xiàng)目;他們對該項(xiàng)目的滿意程度等。同時幫助企業(yè)分析培訓(xùn)項(xiàng)目在經(jīng)濟(jì)上的收益和成本。
將培訓(xùn)成本和收益與其他非培訓(xùn)投資(比如工作再設(shè)計或更好的員工甄選系統(tǒng)等)進(jìn)行比較。
對不同的培訓(xùn)項(xiàng)目的成本和收益進(jìn)行比較,以選出最好的培訓(xùn)項(xiàng)目來。
2. 培訓(xùn)項(xiàng)目產(chǎn)生的結(jié)果
檢查一個培訓(xùn)項(xiàng)目所產(chǎn)生的結(jié)果有助于我們對其有效性進(jìn)行評價。這些結(jié)果應(yīng)當(dāng)是與培訓(xùn)項(xiàng)目的目標(biāo)相關(guān)的,因?yàn)檫@種目標(biāo)是幫助受訓(xùn)者理解培訓(xùn)項(xiàng)目目的的。培訓(xùn)結(jié)果可分為五種:認(rèn)知結(jié)果、技能結(jié)果、情感結(jié)果、效果、投資凈收益。
1) 認(rèn)知結(jié)果
認(rèn)知結(jié)果被用來判斷受訓(xùn)者對于培訓(xùn)項(xiàng)目所強(qiáng)調(diào)的原則、事實(shí)、技術(shù)、程序或流程的熟悉程度。它是衡量受訓(xùn)者在培訓(xùn)項(xiàng)目中學(xué)到了那些知識的一種指標(biāo)。通常情況下,都是用書面測驗(yàn)的方法來評價培訓(xùn)的認(rèn)知結(jié)果的。
2) 技能結(jié)果
技能結(jié)果是用來評價受訓(xùn)者的技術(shù)或運(yùn)動運(yùn)動技能水平及其行為的一種指標(biāo)。技能結(jié)果包括技能的獲得或?qū)W習(xí)以及技能的在職應(yīng)用(技能轉(zhuǎn)化)兩個方面的內(nèi)容。在對受訓(xùn)者學(xué)習(xí)到的技能進(jìn)行評價時,可以通過觀察他們在工作樣本比如模擬情景中的業(yè)績表現(xiàn)來得出結(jié)論。對技能轉(zhuǎn)化的評價通常也是通過觀察來進(jìn)行的。例如,一位準(zhǔn)備成為住院醫(yī)生的醫(yī)學(xué)院學(xué)生可能會在外科醫(yī)生的仔細(xì)觀察下做外科手術(shù),外科醫(yī)生會在需要的時候隨時提出建議和提供幫助。此外,受訓(xùn)者的同事以及上級管理人員也可以被要求通過他們的觀察給受訓(xùn)者的行為和技能打分。
3) 情感結(jié)果
情感結(jié)果包括受訓(xùn)者的態(tài)度和動機(jī)兩個方面的內(nèi)容。情感結(jié)果的一種類型是受訓(xùn)者對培訓(xùn)項(xiàng)目的反應(yīng)。反應(yīng)性結(jié)果是指受訓(xùn)者對于項(xiàng)目,包括培訓(xùn)設(shè)施、培訓(xùn)者以及培訓(xùn)內(nèi)容的感知。(反應(yīng)性結(jié)果常常被當(dāng)作是衡量“物質(zhì)享受”的一個指標(biāo)。)這種信息通常是在培訓(xùn)結(jié)束的時候搜集。反應(yīng)性結(jié)果對于確定受訓(xùn)者認(rèn)為那些因素有利于學(xué)習(xí),而那些因素又會阻礙學(xué)習(xí)是非常有用的。
反應(yīng)性結(jié)果方面的信息通??梢酝ㄟ^讓受訓(xùn)者填寫問卷來搜集。問卷中經(jīng)常會問這樣一些問題:“你對本培訓(xùn)項(xiàng)目的滿意程度如何?”“這一期培訓(xùn)達(dá)到你原來期望的效果了嗎?”“你覺得在這個教室里接受培訓(xùn)舒服嗎?”需要記住的是,盡管反應(yīng)性結(jié)果能夠?yàn)槲覀兲峁┯杏玫男畔?,但是它與學(xué)習(xí)或者培訓(xùn)成果的轉(zhuǎn)化之間常常只有非常微弱的關(guān)系。
其他一些可以通過培訓(xùn)評價搜集的情感結(jié)果還包括對多元化的容忍度、學(xué)習(xí)的動機(jī)、對安全的態(tài)度以及在顧客服務(wù)中的定向。對于情感性結(jié)果可以通過調(diào)查來進(jìn)行衡量。受訓(xùn)者對于培訓(xùn)項(xiàng)目感興趣的程度取決于培訓(xùn)項(xiàng)目的目標(biāo)本身。比如,在評價某個多元化培訓(xùn)項(xiàng)目時,受訓(xùn)者對于公平就業(yè)機(jī)會法的態(tài)度就可以作為一個很好的結(jié)果性指標(biāo)。
4) 效果
效果被用來判斷培訓(xùn)項(xiàng)目給企業(yè)帶來的回報,效果性結(jié)果的例子包括與雇員的流動率降低或事故減少相聯(lián)系的成本節(jié)約、產(chǎn)量的增加以及產(chǎn)品或顧客服務(wù)質(zhì)量的改善。例如,聯(lián)邦快遞公司為了評價一項(xiàng)專門向公司汽車駕駛員傳授安全駕駛經(jīng)驗(yàn)的培訓(xùn)項(xiàng)目所產(chǎn)生的效果,在培訓(xùn)結(jié)束90天之內(nèi)對受訓(xùn)的司機(jī)們所發(fā)生的事故和傷殘情況進(jìn)行了跟蹤記錄。
5) 投資凈收益
投資凈收益(ROI)是指對培訓(xùn)所產(chǎn)生的貨幣收益與培訓(xùn)的成本進(jìn)行比較之后的凈得收益。直接成本包括參加培訓(xùn)的所有雇員,包括受訓(xùn)者、培訓(xùn)者、顧問以及培訓(xùn)方案設(shè)計者的薪資和福利;培訓(xùn)項(xiàng)目中所使用的原材料及其他培訓(xùn)用品;設(shè)備或教室的租賃或購置費(fèi)用;差旅費(fèi)等。間接成本則是與培訓(xùn)項(xiàng)目的設(shè)計、開發(fā)或者提供不具有直接聯(lián)系的一些費(fèi)用。主要包括一般性的辦公用品、辦公設(shè)施、設(shè)備以及相關(guān)費(fèi)用;無法計入某一個培訓(xùn)項(xiàng)目的差旅費(fèi)及其他費(fèi)用;不直接與任何一個培訓(xùn)項(xiàng)目聯(lián)系在一起的培訓(xùn)部門管理人員和工作人員的薪資;支持性管理人員和一般員工的薪資。而凈收益則是指企業(yè)從培訓(xùn)項(xiàng)目中所獲得的價值。
那么用那種培訓(xùn)結(jié)果來評價培訓(xùn)項(xiàng)目最好呢?答案取決于培訓(xùn)的目標(biāo)。例如,如果培訓(xùn)目標(biāo)所強(qiáng)調(diào)的是與經(jīng)營有關(guān)的結(jié)果,比如顧客服務(wù)水平或產(chǎn)品質(zhì)量的改善,那么在評價對象中就應(yīng)當(dāng)包括效果性結(jié)果。反應(yīng)性結(jié)果和認(rèn)知結(jié)果的信息通常是在受訓(xùn)者結(jié)束培訓(xùn)離開培訓(xùn)地點(diǎn)之前進(jìn)行搜集的。因此,這些衡量標(biāo)準(zhǔn)并不能反映受訓(xùn)者實(shí)際工作中到底在多大程度上應(yīng)用了培訓(xùn)的內(nèi)容(培訓(xùn)成果的轉(zhuǎn)化)。而在培訓(xùn)之后所進(jìn)行的對技能結(jié)果、情感結(jié)果、效果性結(jié)果的衡量則可以被用來判斷培訓(xùn)成果的應(yīng)用情況——也就是說,培訓(xùn)在多大程度上導(dǎo)致了受訓(xùn)者的行為、技能或者態(tài)度發(fā)生了變化,或者在多大程度上能夠衡量公司有效性的一些指標(biāo)(如銷售額)產(chǎn)生了直接影響。
3. 評價設(shè)計
有大量的各不相同的評價設(shè)計可以被運(yùn)用到對培訓(xùn)項(xiàng)目進(jìn)行評價方面。
1) 與對比小組進(jìn)行培訓(xùn)前和培訓(xùn)后比較。這種方法是將一組經(jīng)過培訓(xùn)的雇員與一組沒有接受培訓(xùn)的雇員進(jìn)行比較。對培訓(xùn)結(jié)果方面的信息要在培訓(xùn)之前和培訓(xùn)之后分別針對兩個小組進(jìn)行搜集。如果培訓(xùn)小組的績效改進(jìn)比對比小組要大得多,則說明培訓(xùn)確實(shí)導(dǎo)致了績效改進(jìn)。
2) 培訓(xùn)前測試和培訓(xùn)后測試。這一方法與上面那種方法類似,但是卻有一個主要的區(qū)別:這就是沒有使用對比小組。不使用對比小組會使得很難將經(jīng)營條件或其他要素對于績效變化所發(fā)生的影響排除掉。這種評價設(shè)計通常被這樣一些企業(yè)所采用:他們想評價某一培訓(xùn)項(xiàng)目,但是又不愿意讓一部分雇員被排除在培訓(xùn)之外,或者僅僅需要對一小部分雇員進(jìn)行培訓(xùn)。
3) 培訓(xùn)后測試。在這一評價方法中,只需要搜集培訓(xùn)的結(jié)果信息。這種評價設(shè)計如果能夠再加上一個對比小組(這種做法有助于排除其他一些也能夠?qū)ψ兓陌l(fā)生做出解釋的因素),則其可靠性會進(jìn)一步得到加強(qiáng)。當(dāng)受訓(xùn)者(以及對比小組——如果使用了的話)在接受培訓(xùn)之前具有類似的知識、行為或者效果性結(jié)果(比如相同的銷售額以及都了解如何結(jié)束一次推銷)的情況下,培訓(xùn)后測試這種評價設(shè)計就是比較恰當(dāng)?shù)摹?
4) 時間序列分析。在時間序列法中,關(guān)于培訓(xùn)結(jié)果的信息是在培訓(xùn)之前以及培訓(xùn)之后根據(jù)既定的時間間隔來搜集的。(在我們已討論過的其他評價設(shè)計中,關(guān)于培訓(xùn)結(jié)果的信息只是在培訓(xùn)之前和培訓(xùn)之后各搜集一次。)在進(jìn)行時間序列評價設(shè)計的時候,也同樣可以使用比較小組。時間序列設(shè)計的優(yōu)點(diǎn)之一是,它使得評價者能夠?qū)ε嘤?xùn)結(jié)果在一段時間內(nèi)的穩(wěn)定性進(jìn)行分析。這種類型的評價設(shè)計經(jīng)常被用來評價會隨時間發(fā)生變化的一些可觀察性結(jié)果(比如事故率、生產(chǎn)率以及缺勤率等)。
盡管十全十美的培訓(xùn)項(xiàng)目評價方案是并不存在的。但是在選擇一種評價方案之前,有幾個方面的因素卻是要考慮的:
培訓(xùn)項(xiàng)目的規(guī)模。 培訓(xùn)的目的。 如果培訓(xùn)項(xiàng)目不起作用,那么會產(chǎn)生何種影響? 公司對于培訓(xùn)項(xiàng)目評價的看法。 設(shè)計和組織一次培訓(xùn)項(xiàng)目評價的成本。 在獲取培訓(xùn)項(xiàng)目的有效性信息方面的速度需要。
4. 確定投資的凈收益
成本-收益分析是一種運(yùn)用會計學(xué)的方法來計算培訓(xùn)項(xiàng)目的經(jīng)濟(jì)收益的程序。確定培訓(xùn)的經(jīng)濟(jì)收益的過程包括確定培訓(xùn)的成本和培訓(xùn)的收益兩部分內(nèi)容。對于以下幾個方面的需要來說,關(guān)于培訓(xùn)成本的信息是很重要的:
了解培訓(xùn)的總成本,包括直接成本和間接成本。 比較不同培訓(xùn)項(xiàng)目之間的成本差異。 評價在培訓(xùn)項(xiàng)目之間的成本差異。
評價在培訓(xùn)項(xiàng)目開發(fā)、管理以及評價方面的資金投入比例,比較用于不同雇員群體(比如受勞工法豁免的雇員和不受勞工法豁免的雇員)身上的培訓(xùn)資金數(shù)量。
控制成本。
1) 確定成本
培訓(xùn)的成本包括直接成本和間接成本。直接成本包括參加培訓(xùn)的所有雇員,包括受訓(xùn)者、培訓(xùn)者、顧問以及培訓(xùn)方案設(shè)計者的薪資和福利;培訓(xùn)項(xiàng)目中所使用的原材料及其他培訓(xùn)用品;設(shè)備或教室的租賃或購置費(fèi)用;差旅費(fèi)等。間接成本則是與培訓(xùn)項(xiàng)目的設(shè)計、開發(fā)或者提供不具有直接聯(lián)系的一些費(fèi)用。主要包括一般性的辦公用品、辦公設(shè)施、設(shè)備以及相關(guān)費(fèi)用;無法計入某一個培訓(xùn)項(xiàng)目的差旅費(fèi)及其他費(fèi)用;不直接與任何一個培訓(xùn)項(xiàng)目聯(lián)系在一起的培訓(xùn)部門管理人員和工作人員的薪資;支持性管理人員和一般員工的薪資。
對不同培訓(xùn)項(xiàng)目的成本進(jìn)行比較的方法之一是資源要求模型。這一模型對培訓(xùn)的不同階段(培訓(xùn)設(shè)計、培訓(xùn)執(zhí)行、培訓(xùn)需求評價、培訓(xùn)項(xiàng)目開發(fā)以及評價)所需要的設(shè)備、設(shè)施、人員和材料成本進(jìn)行了比較。運(yùn)用資源要求模型有助于企業(yè)確定不同培訓(xùn)項(xiàng)目之間的整體成本差異。此外,還可以對不同培訓(xùn)項(xiàng)目在培訓(xùn)過程的每一個不同階段上所發(fā)生的成本進(jìn)行比較。
2) 確定收益
為了確定培訓(xùn)的潛在收益,企業(yè)必須從當(dāng)初進(jìn)行培訓(xùn)的原因進(jìn)行考察。例如,當(dāng)初企業(yè)進(jìn)行培訓(xùn)的目的可能是為了降低生產(chǎn)成本或加班費(fèi),或者是增加重復(fù)性業(yè)務(wù)的數(shù)量。有很多方法可以幫助企業(yè)確定培訓(xùn)的收益:
技術(shù)人員、學(xué)術(shù)研究人員以及實(shí)踐部門的工作人員所撰寫的文獻(xiàn)總結(jié)出了與某一特定的培訓(xùn)項(xiàng)目有關(guān)的收益。
在公司大規(guī)模地向培訓(xùn)項(xiàng)目投入資源之前,先對一小組受訓(xùn)者進(jìn)行實(shí)驗(yàn)性培訓(xùn),然后評價培訓(xùn)項(xiàng)目的收益。
對成功的工作執(zhí)行者進(jìn)行觀察可以幫助企業(yè)找出成功的工作執(zhí)行者與不成功的工作執(zhí)行者之間的不同到底在哪里。
3) 進(jìn)行分析
對于培訓(xùn)的成本-收益分析,我們最好是用一個例子來加以說明。一家木材加工廠的主要業(yè)務(wù)是生產(chǎn)建筑承包商所使用的建筑用木板。它一共雇傭了300名員工、48名監(jiān)督人員、7位輪班負(fù)責(zé)人、1位工廠管理者。這家工廠面臨著三個問題。首先,每天生產(chǎn)出來的木板中有2%因?yàn)橘|(zhì)量不過關(guān)而被退回。第二,生產(chǎn)區(qū)管理混亂,例如不合理地堆在一起的木板成品會隨時砸在員工身上。第三,發(fā)生的可預(yù)防事故數(shù)量高于同行業(yè)平均水平。為糾正這些問題,該工廠專門對監(jiān)督人員舉辦了一次培訓(xùn),培訓(xùn)的內(nèi)容包括:如何進(jìn)行績效管理;處理與產(chǎn)品質(zhì)量問題以及雇員的不良工作習(xí)慣有關(guān)的事務(wù)時需要哪些人際關(guān)系技巧;對于績效有所改善的雇員如何進(jìn)行獎勵等等。監(jiān)督人員、輪班負(fù)責(zé)人、工廠的管理者都參加了培訓(xùn)。培訓(xùn)是在位于工廠附近的一家飯店舉辦的。培訓(xùn)內(nèi)容是從一家咨詢公司購買的,培訓(xùn)是以錄像的形式提供的。培訓(xùn)師也是一位咨詢?nèi)藛T。此次培訓(xùn)的成本在表1中顯示了出來。
表1
而培訓(xùn)的收益則是根據(jù)企業(yè)為什么組織培訓(xùn)(木板質(zhì)量、生產(chǎn)區(qū)管理、事故)來進(jìn)行界定的。表2列舉出了培訓(xùn)所產(chǎn)生的收益。
表 2