评监人员.ppt

1、評鑑人員,國立台北科技大學 技職所曾淑惠,2001/3/24,台北科大 技職所 曾淑惠,2,評鑑人員,評鑑人員的型態評鑑人員的專業素養評鑑人員的專業活動評鑑人員的專業能力評鑑人員的指引原則評鑑人員的選擇評鑑人員的認證,2001/3/24,台北科大 技職所 曾淑惠,3,評鑑人員的型態,外部評鑑人員內部評鑑人員內部評鑑人員 + 外部諮商人員,2001/3/24,台北科大 技職所 曾淑惠,4,評鑑人員的專業活動,藉由幫助人們瞭解評鑑結果及其應用，來幫助人們改進方案設計能滿足不同客戶目的的評鑑，包括要求績效責任的客戶撰寫評鑑計畫與客戶協商評鑑的設計與結果教授學生、行政人員、方案參予者有關評鑑的技能,實

2、地執行評鑑工作解釋資料蒐集的結果，通常要使用統計且或質的分析方法，並解釋結果準備並向客戶、財務提供者、評鑑專業同儕等，發表評鑑報告Scriven (1999),2001/3/24,台北科大 技職所 曾淑惠,5,評鑑人員的專業能力,具有評鑑理論與方法論的知識可區別研究與評鑑的程序可以計畫、設計、並建構一項評鑑工作有知識與能力去統計分析資料有知識與能力管理維護一個資料庫有能力撰寫並編輯簡要的說明報告有建構評鑑的經驗可以與方案或評鑑工作有關人員做清楚、有效的溝通有能力區分何種資訊適合單一的計畫、單一的需求瞭解並可回答形成性評鑑及總結性評鑑的問題Rossi及Freeman (1993),2001/3/

3、24,台北科大 技職所 曾淑惠,6,評鑑人員的專業能力(二),方案計畫與評鑑所需的特定知識能發展所要評鑑特定問題的計畫能找到、閱讀並整合相關研究的文獻能界定評鑑的目標與適當格式的資料庫需求能對已存在的評鑑研究設計仔細評估能將理論模式與真實生活的需求相關連能將輸入變項、處理變項及輸出變項相關連在與評鑑團體及方案執行人員一起工作時，能展示適切的人際關係技巧能區別橫斷面與縱斷面研究的優點與缺點,2001/3/24,台北科大 技職所 曾淑惠,7,評鑑人員的專業能力(二),管理系統、功能，並做功能分析設計有效的測驗管理系統在電腦程式設計師或資料處理團體中描述評鑑的設計及分析的需求界定選擇或發展評鑑工具的

4、參考標準應用適當的資料蒐集與分析程序為一個方案或計畫進行成本效益分析使用與方案或計畫的評鑑資訊來做決策管理一個評鑑單元的活動,2001/3/24,台北科大 技職所 曾淑惠,8,評鑑人員的專業能力(二),設計一個可描述格式、責任、程序、接受者及時程的資料呈現系統在前一循環資料代表意義的基礎上，重新設計或修正評鑑系統產生溝通用的報告Payne (1994),2001/3/24,台北科大 技職所 曾淑惠,9,評鑑人員的專業能力(三),2001/3/24,台北科大 技職所 曾淑惠,10,評鑑人員的指引原則,系統化的詢問在建構評鑑時必須堅持最適當的技術標準，不論其工作在本質上是屬於質或量的，都要增加評鑑

5、資訊的精確度與可信度在評鑑的各種問題上同時探求客戶的優點與缺點，而且要用不同的方法回答這些問題,在報告評鑑者的工作事項時，必須精確地說明所採用的方法或方法論，並充份、仔細地允許每個人瞭解、解釋及評論；清楚地界定評鑑及其結果的限制，以脈胳性的、適當的方式，討論這些價值、假定、理論、方法、結果等議題，分析並解釋評鑑發現與評鑑影響的重要程度,2001/3/24,台北科大 技職所 曾淑惠,11,評鑑人員的指引原則(續),能力有適切的教育、能力、技能及經驗，以便於執行評鑑所需的工作任務在其專業訓練與能力的限制下從事實務工作，而且必須謝絕超過這些限制的評鑑行為。當謝絕委託或需求是不可能或不適當的，評鑑人員

6、必須釐清任何評鑑可能導致的所有限制，也必須十分努力地直接或經由他人的幫助來獲得所需的能力,必須持續地尋求維護並改進本身的能力，以提供在評鑑中更高層次的成就。這個持續性的專業發展，可能包括正式的課程、工作坊、自我研究、自我評鑑、及向其他評鑑人員學習技能與專業等,2001/3/24,台北科大 技職所 曾淑惠,12,評鑑人員的指引原則(續),完整誠實必須誠實地與客戶及相關關係人，協商有關費用、工作任務、方法論的限制、獲致結果的範圍、結果資料的使用等議題，先提出這些議題的初步構想以供討論及界定,必須記錄與原先協商的計畫不同的所有改變與改變的原因，如果這些改變將對評鑑的範圍與可能的結果有重大的影嚮，評鑑

7、人員必須立刻通知客戶及財務提供者，有關這些變化以及可能造成衝擊的訊息,2001/3/24,台北科大 技職所 曾淑惠,13,評鑑人員的指引原則(續),必須適當、明確地尋求有關其本身、客戶、與其他財務提供者對評鑑行為與成果等相關議題的決策無論評鑑什麼，均必須揭示任何評鑑中相關的角色或關係在興趣上的衝突，這些衝突必須在評鑑結果的報告中提及,必須報告在合理的限制之下的實施程序、資料或發現等訊息，以避免或校正別人對評鑑人員工作實際上的誤解與誤用除了引人注目的理由外，評鑑人員必須揭露所有評鑑的財務支援，以及對評鑑所有要求的來源。,2001/3/24,台北科大 技職所 曾淑惠,14,評鑑人員的指引原則(續)

8、,如果評鑑人員所決定的特定程序或活動，可能產生易受誤解的評鑑資訊或結論，評鑑人員有責任與客戶溝通所關切之處及其原因如果與客戶的討論不能解決這些問題，評鑑人員必須合法的婉拒實施這個令人迷惑的評鑑，如果不能婉拒，評鑑人員必須向同僚或相關的關係人諮詢有關執行上適當的途徑,2001/3/24,台北科大 技職所 曾淑惠,15,評鑑人員的指引原則(續),尊敬人們在所有用得到的地方，評鑑人員必須遵守現有的專業倫理與標準，重視評鑑中可能產生的危機、傷害與負擔，重視評鑑參予人員的知情同意，重視對評鑑參予者有關信賴度範圍與限制的通知,必須對評鑑中可能傷害客戶或財務提供者興趣的結果，做一些在評鑑中負面判斷或結論評鑑

9、明確的陳述。在這種情況下必須尋求對可能受傷害者最大的優勢，並降低不必要傷害發生機會，而這並不代表在評鑑發現的完整性上要作任何妥協，因此必須很小心地下判斷，可能的話這些類似的問題在評鑑的過程中，就以協商的方式加以解決,2001/3/24,台北科大 技職所 曾淑惠,16,評鑑人員的指引原則(續),在己知評鑑會給一些財務提供者的興趣帶來負面影響時，評鑑者必須妥善地管理評鑑，並以十分尊敬財務提供者尊嚴與價值的方法，來溝通結果必須注意促進評鑑中的社會平等，使對評鑑有貢獻的人都能得到有益的回報。,評鑑人員有責任去定義並尊重參予者間的差異，如宗教、種族、文化、性別、年齡等，並在評鑑的計畫、管理、分析及報告等

10、方面，留心這些差異的潛在關連,2001/3/24,台北科大 技職所 曾淑惠,17,評鑑人員的指引原則(續),對一般及公眾的福祉負責在規劃及報告評鑑時，必須考慮所有受評對象及財務提供者的興趣與觀點，小心地考慮當省略某一部份的價值觀或某一群體的看法時，所遇到的公平性的問題,不只要考慮評鑑的立即作業與結果，更要考慮評鑑小組的假定、含意與潛在的邊際效應如果有相反的強制性理由，評鑑人員必須允許相關的評鑑關係人取得評鑑資訊，而且在資訊來源允許之下，將資訊主動傳播給評鑑關係人,2001/3/24,台北科大 技職所 曾淑惠,18,評鑑人員的指引原則(續),必須在客戶需求與其他需求間維持平衡，與提供資金的客戶及

11、要求評鑑的客戶維持一個特定的關係有義務要考量對公共興趣與有益的福祉上，這些義務在由公共基金所支援的評鑑上更為重要,美國評鑑學會, 1998,2001/3/24,台北科大 技職所 曾淑惠,19,評鑑人員的專業素養,包含教育、研究法、評鑑、及一般(經濟、政治、心理等)等四領域的知識與技能需要專業發展上各階段的歷練,那一個人具有評鑑人員所有應具備的能力？如何解決現階段評鑑人員能力不足的問題?,2001/3/24,台北科大 技職所 曾淑惠,20,評鑑人員的選擇,資格條件學位相關工作經驗具有特定的知識、技能與能力任務依需求而有不同,2001/3/24,台北科大 技職所 曾淑惠,21,評鑑人員選擇的檢核問

12、題,在評鑑方面具有什麼樣的經驗？在與我們的方案，與我們類似的基金提供者或參予者類似的評鑑，具有什麼樣的經驗？你對像我們這種方案、方案參予者、或基金提供者的評鑑，具有那些知識庫？對於我們的評鑑，你有何建議的評鑑方法？還有那些方法你不準備用於我們的評鑑，理由是什麼？,2001/3/24,台北科大 技職所 曾淑惠,22,評鑑人員選擇的檢核問題,你對你所提供的服務是否要訂定契約？你能摘要列出契約的內容供我們參考嗎？你在評鑑時的指導方針是什麼？你對一份好的或是不好的評鑑，是從那些觀點來考量？我們的預算不多，你是否考慮成為我們的一員？為什麼？你以前有沒有這樣做過？我們應該知道有關你的潛在獲益與苦惱有那些？

13、,2001/3/24,台北科大 技職所 曾淑惠,23,評鑑人員選擇的檢核問題,如果我們與你訂定合約，實際上會是誰在執行這項評鑑工作？我們能看你以前做過的例子嗎？你能從類似我們這樣的評鑑代理商，提出一些採用你的建議的佐證資料以供參考嗎？你的待遇如何？,2001/3/24,台北科大 技職所 曾淑惠,24,評鑑人員的認證,檢定(certification)涉及完成專業任務時個人的能力，而證照代表執行任務的合法權利,資格認定(credentials)、是一個人必須完成一套專業課程，包含場地經驗或實習講課,2001/3/24,台北科大 技職所 曾淑惠,25,評鑑人員的認證(續),持有執照(licensu

14、re)一種獲得去做某事的正式允許；由法律特別授權去執行一些特定事務,認可(accreditation)是一個由可識別的專業團體，以預先設定的參考標準(criteria)或標準(standard)評鑑一個教學方案，然後在其後的某一段特定期間內這個教學方案被認可或不被認可,2001/3/24,台北科大 技職所 曾淑惠,26,評鑑人員的認證(續),困難原因社會上的訴訟案件增加，由於法律上的合法過程是民主的，經由合法觀眾的多數判決就能將錯誤的變成正確的，而不會去理會專業上的深入考量缺乏對評鑑人員核心能力的共識,2001/3/24,台北科大 技職所 曾淑惠,27,評鑑人員的認證(續),檢定面臨的挑戰決定

15、採用那一種基本的檢定途徑植基於正式的訓練(formal training)植基於評鑑的經驗(evaluation experience)植基於成就(performance)植基於能力(competencies)在評鑑是什麼，以及評鑑人員應具備的核心能力上達成共識建立專業的，在法律上可解釋的檢定程序與檢定分級工具獲得強制檢定程序的支持,2001/3/24,台北科大 技職所 曾淑惠,28,資格認定成功的例子,加拿大評鑑人員認證系統採用專業發展(含確認個人的知識與技能，並能堅持實務上的專業標準與倫理準則)及法規(含個人能執行專業實務的證照)兩種途徑共實施四天的訓練課程,路易斯安納州的評鑑人員認證系統必備的條件包括先前的學位、方法論的訓練、特定的工作經驗、再加上參予四個整天的評鑑標準工作坊最後經由學校學區官的推薦函才能獲得評鑑人員的資格認定,