國立臺灣大學教學資源網-[評鑑雙月刊] 初探新版柯氏學習評估模式

在開始談「新版柯氏學習評估模式」(The New World Kirkpatrick Model，簡稱新柯氏) ... 滿意度調查問卷，應以學生為中心來設計，讓學生在填寫問卷時能確認學習的成果。

課程規劃 教材收集準備 班級管理與經營 多元化課程運用及應用 參與式學習之運用 TA培訓及運用 有效的評量方式 教學與評鑑 延續性教學設計(大學部->研究所) 教學專題   首頁>教學資料庫  本文章點閱 次 [評鑑雙月刊]初探新版柯氏學習評估模式 文章來源【http://epaper.heeact.edu.tw/archive/2017/06/29/6789.aspx】 文／鍾佩君　財團法人中國生產力中心人力資本發展組副管理師                                     　2017.7 評鑑雙月刊第68期   在開始談「新版柯氏學習評估模式」(TheNewWorldKirkpatrickModel，簡稱新柯氏)之前，我們先問一個問題：「您如何證明您所實施的學習方案是有效的?」這不只是最常被挑戰的一句話，對於從事教學的老師們來說更是需要思考。

成人學習理論相信大家都不陌生，然而，如何確保教學方式或學習方案是有效的，卻往往在證明上少了些力道。

如何證明學習方案有效? 學習評估可以證明所實施的訓練或學習方案是否有效，不僅如此，在評估的過程與結果中，還可以描述學習方案的價值、為了最大化學習方案成效而增加學習遷移、改善學習方案、避免已發生的錯誤、減少未可知的錯誤、更有效運用方案的預算及開銷，以及定義出學習與績效之間的差距等。

說了這麼多，無非就是增加對學習評估的重視。

全球耳熟能詳的學習評估模式非常多，從今(2017)年美國培訓雜誌(Training)所舉辦的第17屆卓越人力資本獎(TrainingTop125)(註1)中，可以看出得獎者經常使用的學習評估模式，包括：學習投資報酬率(ReturnonInvestment,ROI)、平衡計分卡(BalancedScorecard,BSC)、六標準差(6σ)與柯氏學習評估模式(KirkpatrickModel，簡稱柯氏)，其中，運用柯氏的「四層級」(FourLevel®)(註2)評估學習成效的比例為100%。

而在臺灣，除了大專校院人力資源用書都會提到柯氏之外，自2005年實施人才發展品質管理系統(TaiwanTrainQualiSystem,TTQS)以來，在評鑑構面也顯而易見看到相關蹤影，由此亦可看出柯氏在全球學習評估領域的普及性。

全球應用最廣泛的學習評估模式 柯氏學習評估模式是DonaldL.Kirkpatrick於1954年針對學習到底有沒有效這件事所提出的一套歸納，演變到現在已經成為世界上應用最廣泛的學習評估模式。

此一風靡全球近一甲子的Kirkpatrick學習評估模式概念簡要說明如下(如圖一)： ●層級一(Level1)──反應層級(Reactions)：學習者對於本次學習反應如何，也就是學習者喜不喜歡這次的學習活動。

●層級二(Level2)──學習層級(Learning)：學習者從本次的學習活動或方案中學到了哪些知識、技能或心態上的轉變。

●層級三(Level3)──行為層級(Behavior)：學習者要如何運用本次學習活動中所學習到的知識、技能或態度，也就是如何將所學轉化成行動並展現出來(學習遷移)。

●層級四(Level4)──成果層級(Results)：本次的學習活動或方案中產生了哪些影響或結果。

以終為始 找出績效需求 歷經近60年的實證，柯氏學習評估模式不斷修正與進步，在2010年美國人才發展協會(AssociationforTalentDevelopment)的國際年會中進一步提出以終為始的想法，JimKirkpatrick(Donald的長子)也正式發表「新柯氏學習評估模式」，如圖二。

過往在談學習方案的設計，最先想到的是找出確切的學習需求，因為老師都希望所設計的學習方案或相關活動能被學生喜歡；但在以終為始概念提出後，新柯氏顯示一個很重要的概念，即所有的學習方案若想看到與績效有所連結，就必須找出「績效需求」(PerformanceNeeds)。

換言之，對於學習領域方面的從業人員(不僅限於學校老師)而言，不能只光看學習者需求，更應注意的是「績效需求」；以研究所碩士班課程為例，我們會期望從研究所學習基本的兩年課程後，畢業時能成為一位在某個領域學理上的專業人士，因此在設計課程時，就應以領域所應學習、發展與必要展現的行為專業來規劃課程。

以下便針對「四層級」評估模式做探討，在往下看每個層級時，不妨先思考三個問題： 1.為什麼這個層級(Level)很重要? 2.目前都使用哪些方法或工具來評估這個層級? 3.對於這個層級，可能會有哪些問題或困難需要克服? 層級四：成果 一般人對於層級四都會產生一種朦朧美，主要是不知如何真正去表達成果。

在DonaldKirkpatrick提出學習評估模式後，這60年來學習領域的探討與設計主要著墨在如何展現出層級一(反應層級)與層級二(學習層級)，其中包括訓練需求評估等理論，這也是為何我們在設計學習方案時，花很多時間在針對學員的背景做了解，而非針對辦理這場學習方案的真正原因做剖析。

不論在臺灣或其他國家，都有一個很有趣的現象，大部分的人認為：成功是自己努力得來的，而失敗都是因為老師教不好的關係。

例如，我們很難說哪位成功人士是因為學校教育所帶來的成就；就算大家這麼說，但心裡也不見得認同。

那麼，到底要如何決定層級四?JimKirkpatrick於2010年在美國人才發展協會年會上提出以終為始的觀念時，同時也提出「期望回報」(ReturnonExpectation,ROE)的觀點。

有別於投資報酬率的強迫計算，我們並不需要自己設計期望，可以從既有的關係人渴望達到的預期成果(DesiredResults)「借」過來分析，找出真正屬於學習方案可以解決的指標，作為層級四想看到的成果。

通常這些指標都已經被設定好了，只要稍微修改一下就是很好的預期成果或指標；當然，相關資料一定會有很多，建議大家可從設計小一點的指標開始，比較容易成功，也相對容易持續並獲得支持，再開始往下依序設計層級三、二、一，這樣才能得到較強大的連結關係。

從相關人員的期望到學習需求，最主要目的還是須找出層級四的領先指標(Leadingindicators)及預期產出成果(outcomes)。

預期指標是短期的觀察或關鍵行為對於渴望達成預期成果的影響，同時也是檢核點，確保預期結果能真正被產出。

預期產出結果則可分為外部及內部因素來看，外部構面的因素包括：顧客(學生或學生家長)、學校評價與觀感等，內部構面則包括：每個個人(老師)、團隊(系所)、部門(學院)與組織(學校)方面等因素。

層級三：行為 當有了明確的成果，代表對於學習成效的目標有了共識，接著就要看看在層次三可以做出什麼努力。

其實，層級三最主要就是定義出可以影響最終成果的「關鍵行為」(CriticalBehavior)。

然而，要能真正展現關鍵行為，必須有相關的驅動因子(RequiredDrivers)，包括強化、鼓勵、獎勵與監控等機制的互相配合與有效運作(如圖三)，才能成功。

因此，層級三也可稱為「需要努力的層級」(LevelofEffort，如圖四)。

設計層級三時，除了考量學習者的關鍵行為是否能確實展現，也就是如何促成學習遷移(或稱訓練移轉)，以期能強烈連結或影響到層級四所要展現的學習成果之外，和相關利益關係人的溝通協調亦不可或缺。

也就是說，如果您想要讓自己的學習方案能夠被大家承認是有效的，就必須讓「大家」(所有利益關係人)一起來努力。

至於什麼是關鍵行為呢?指的是少數且關鍵，並可以讓學生持續運用或展現個人成就(績效)以達成目標的行為，這也是在行動方案中所應設計的主要內容。

我們可以說，關鍵行為必須是能展現出成效的行為，因此要很聚焦、可以觀察、可以被衡量，並且能夠明確指出預期會有哪些行為展現，寫法有點像目標管理的原則。

當與利益關係人溝通協調、確認相關的關鍵行為之後，要確保能真正有效果，就須有相關或應該有的驅動因子配合。

換言之，相關利益關係人(學生、老師、家長、系所團隊等)對於學習成效，不該只是坐著等結果，而是應有相關的機制(強化、監控、鼓勵與獎酬)影響關鍵行為的實踐，進而產生學習成效。

至於驅動因子或相關機制的設計，其實與馬斯洛需求理論相符合，因為生活中處處都與人性有關，在組織行為中，很多時候看似不合理或是不理解的情況，其實都是人性因素的影響，故我們可以做的是：找出相關原因，歸納後設計出對應的機制以滿足或消除它。

表一是Kirkpatrick針對驅動因子所做的一些整理與建議，可提供教師在設計學習方案或活動時參考。

層級二：學習 層級二主要是確認學習目的，但必須依據層級四與層級三而來，才能確實定義出希望學習者完成後要產生的關鍵行為是什麼。

回到上述層級四的討論，對於「學習目的」需要思考的是，利益關係人想要看到的「結果」是什麼，因此學習層級所應該具備的概念簡述如次： 1.知識：「我知道……」；想讓學習者知道什麼必須表達清楚，因為知識是學習活動的基礎。

2.技能：「我現在馬上就能運用它／操作它／做出……」；讓學習者在上完課程之後，對於學習的技能目標能確實做到。

3.態度：「我相信這次的學習活動對於未來工作或生活是很有幫助的……」；讓學習者相信所學能被使用，才能搭起往層級三的橋梁。

4.信心：「我想我能運用本次的○○○學習內容……」；當學習者有信心能有效使用，它才有被使用的可能，因此，這部分應在課堂中，透過練習展現會運用的信心。

5.承諾：「我將會在○○○中運用它……」；當學習者願意承諾並提出行動方案，才有機會獲得支持，並進而展現出關鍵行為而達到期望的成果。

這裡有一個很重要的觀念，在選擇評估方法時，都應先思考背後的用意或目的是什麼；如果採取的評估方法是測驗(這也是老師最常使用的期中／期末評量)，必須要有這個認知：「沒有前測，後測是沒有任何意義的；單就選擇測驗這項評估方法，應該要具備特別的目的，設計時不必拘泥於非得使用筆試測驗不可。

」因為我們無法確認學生是否是因為本次的學習活動而得到測驗成果，又或者學生本身早就具備了相關的知識或技能。

層級一：反應 原柯氏學習評估模式中在層級一的評估就很著重學生滿意度，在新柯氏中進一步被重新省思調整，層級一不再單指學生滿意度，還應包括學生在學習活動過程中的參與程度，以及學習方案對於學生在未來可以運用的相關程度。

既從層級四倒過來設計整個學習活動方案，學習活動也必須與實際生活或未來工作有高度相關，才能促使學習者在回到現實生活或未來工作時能夠運用(展現層級三)，進而看到成果(達成層級四)。

因此，層級一所應具備的概念簡述如次： 1.學生滿意度：學生喜不喜歡這堂課。

2.學生參與度：學生對於課堂的參與及投入的程度；這部分應該在教學設計中多一些努力，設計相關的教學方式甚至是教學活動，讓學生在不偏離主題的情況下，能夠有最大的參與及投入，也就是以學生為中心的教學設計；而評估方式包括在過程中可透過老師觀察、學習者互相觀察，以及有節奏的確認(可運用卡片或相關道具，於課中隔一段落就詢問學員相關性)等。

3.課程關聯性：這次的學習活動或方案對於現實生活或未來工作的關聯程度。

此也是為了讓後續的層級三能夠有明確的行動計畫(層級二)來展現。

也就是說，在層級一最常實施的課後滿意度調查問卷，應以學生為中心來設計，讓學生在填寫問卷時能確認學習的成果。

學習評估如登山 先有目標才能規劃實踐 從層級四開始往下探討到層級一，這過程很像登山。

登山前要先了解登山的相關資訊，知道自己要先登哪一座山(層級四)，初學者從小山開始(也就是選擇小一點的指標開始)，在準備登山(層級三)之前，應先學習登山的基本知識、技能與態度後，感覺有信心可以去登山了(層級二)，接著一步一步踏上登山的旅途，目標是在某一座山頂插上自己的旗幟(層級四)，路途中的每一面小旗幟都是小的學習成效指標，從山下開始插旗，過程中應準備哪些工具、如何穿著、了解交通或天氣資訊等，都應先做好功課(層級一)，目的是希望自己能達成目標，到達山頂則是學校或組織希望我們最終能夠達成的成果。

◎附註 1.美國培訓雜誌所舉辦之TrainingTop125為評鑑卓越人力資本公司的唯一報告，本文數據為培訓雜誌於2017年1月31日所公開發表之文章〈2017培訓頂尖125名組織排名〉(TrainingMagazineRanks2017TrainingTop125Organizations)，網址為https://trainingmag.com/training-magazine-ranks-2017-training-top-125-organizations。

2.「四層級」(FourLevel®)已被柯氏公司(KirkpatrickPartners,LLC)所註冊，專指柯氏學習評估模式。

◎後記 感謝財團法人中國生產力中心對於學習的鼓勵與支持，讓筆者有幸參與由柯氏公司合作開辦的認證課程，文中所闡述之觀點皆是在該認證課程當中與JimKirkpatrick及WendyKirkpatrick討論後之觀點與心得，希望對於在學習領域中努力耕耘的夥伴們有所助益。

◎參考資料 Kirkpatrick,J.D.,&Kirkpatrick,W.K.(2010). ROE’sRisingStar.Retrievedfrom https://www.td.org/Publications/Magazines/TD/TD-Archive/2010/08/ROES-Rising-Star Kirkpatrick,J.D.,&Kirkpatrick,W.K.(2016). Kirkpatrickfourlevels® evaluationcertificateprogram.Orlando,FL:Training2017Conference&ExpoPublishers.