1、紙筆測驗的編製與實施,台北科技大學技術及職業教育研究所曾淑惠,技專校院北區教學資源中心技職專業英文評量設計工作坊中華民國九十九年五月十四日,第一場次工作坊的時間分配,講解說明：60分鐘討論試題邏輯審查檢核表：10分鐘個別編製測驗試題：20分鐘個別設計並製作雙向細目表：10分鐘分組，試題卷交付同儕審查：20分鐘 （含評選組內優良試卷）試卷展示與綜合討論：25分鐘第二場次工作坊預備工作說明：5分鐘,2018/10/6,2,命題者應具備的特質,了解教學目標及教材了解學生能力及經驗精確流暢的文字表達能力了解題型及命題原則開放的心胸及創造能力研究的精神,2018/10/6,3,測驗命題的基本概念,測驗本
2、身是一種評量工具只有經過良好設計且使用適當，才能成為促進教學歷程的有效工具即使設計良好的測驗也可能被濫用提醒自己：我要測驗什麼?如何測驗?測驗結果準確嗎?測驗結果要做什麼用？,2018/10/6,4,教學評量的基本原則,事先告知評量內容與範圍依據教學目標兼顧多重目的採用多元方法進行多次評量,尋求合作並改進評量技術兼顧歷程與結果力求評量的客觀與精確尊重學生隱私權提供師生立即回饋善用評量結果,2018/10/6,5,教學目標引導測驗評量的規畫,測驗評量引導教學的進行,測驗評量引導教學？,2018/10/6,6,事實上,測驗評量不只是紙筆測驗，還有：卷宗評量實作評量過關評量 另類評量面試(口語)評量
3、,2018/10/6,7,測驗的用途,對老師的教學協助擬定教學計畫評定成績診斷教學過程選擇學生安置學生諮商與輔導改進命題的技巧作為補救教學依據作為改進教學參考確保教學目標達成,對學生的學習瞭解學生起點行為評定學生學習成果診斷學生的學習激勵學生學習動機幫助學生的記憶與學習遷移,2018/10/6,8,英語測驗的類型,根據測驗目的分類成就測驗(achievement test)學力測驗(proficiency test)兩種測驗的分別如下：Whereas an achievement test look back on what should have been learned, the prof
4、iciency test looks forward, defining a students language proficiency with reference to a particular task which he or she will be required to perform.A good achievement test should reflect the particular approach to learning and teaching that has previously been adopted.The proficiency test is concer
5、ned simply with measuring a students control of the language in the light of what he or she will be expected to do with it in the future performance of a particular task.(J.B.Heaton,1990)診斷性測驗(diagnostic test),2018/10/6,9,英語測驗的類型,根據學習過程分類安置測驗(placement test)形成性測驗(progress test)總結性測驗(final test)根據測驗規
6、模分類標準化測驗(standardized test)課堂測驗(classroom test)根據評估標準分類常模參照測驗(norm-referenced test)標準參照測驗(criterion-referenced test),2018/10/6,10,英語測驗的類型,根據評分方式分類主觀測驗(subjective test)客觀測驗(objective test)要測試不同的語言能力可採合適的評量方式，不需非得”客觀”不可。引用下列文字供大家參考：Objective tests need not by confined to any one particular skill or el
7、ement. In one or two well-known tests in the past, attempts have even been made to measure writing ability by a series of objective test items. However, certain skills and areas of language may be tested far more effectively by one method than by another. Reading and vocabulary, for example, often l
8、end themselves to objective methods of assessment. Clearly, the ability requiring the student to write can only be satisfactorily tested by a subjective examination requiring the student to perform a writing task similar to that required in real life. (J.B.Heaton,1990),2018/10/6,11,紙筆測驗編製的程序,了解各類紙筆測
9、驗題型的編製原則準備測驗編製計畫研訂試題審查的工具編擬測驗試題試題的審查實施預試試題分析修正試題定稿付印,2018/10/6,12,全國性的大型測驗與課室內的成就測驗有不同的考量,各類紙筆測驗題型的一般性命題原則,是非題 易選擇題配合題 選擇型試題填充題解釋題簡答題限制反應題申論題 補充型試題論文題 難,2018/10/6,13,是非題的命題原則,用來測量較低層次認知能力命題技巧每一題只包含一個重要概念敘述力求簡潔明確儘量少用否定敘述句避免使用暗示性語句對與錯的題數應對等並以隨機方式排列避免使用如“常常”,“多數”等語意不清的詞語意見性的敘述須指出參考性資料來源,2018/10/6,14,選擇
10、題的命題原則,可以測量各種不同程度的學習成果，適用於不同學科教材，作為測量認知能力的測驗每一題項分題幹與選項兩部份依題幹的完整性分完全問句與不完全敘述句兩類依答案型態分正確答案與最佳答案兩種類型命題技巧每個試題的題項數應保持一致問題的描述或複雜度必須切合學生程度題幹敘述應簡潔明確，避免過長或過短題幹避免被選項分割成兩個部份選項宜保持簡潔，必要且相同的字詞宜放在題幹中錯誤選項的敘述應發揮應有的誘答功能,2018/10/6,15,選擇題的命題原則,儘量在題幹中使用肯定的敘述題幹與選項中的敘述應避免暗示正確答案的線索錯誤選項應避免“以上皆是”或“以上皆非”各選項為答案的題數宜相當以隨機方式調整正確答
11、案出現的位置保持同一試卷中每個試題各自獨立試題不宜過多，避免變成速度測驗題號用數字，選項用文字,2018/10/6,16,配合題的命題原則,基本構造由兩部份組成，一為題幹敘述(前提)，一為選項(反應項目)命題技巧前提敘述宜列在左邊，反應項目列在右邊)配對題數以10-15題為原則，並列於同頁上作答方式在測驗指導語中應載明清楚反應項目數宜多於前提敘述數反應項目宜作有系統的排列,2018/10/6,17,填充題的命題原則,基本命題格式是從一完整敘述句中，刻意省略重要字詞、片語或重要關鍵概念，再由學生填入，以完成原完整敘述命題技巧一個空格只有一個答案，且答案愈短愈好所要填寫的字詞必需是重要概念同一題中
12、待填的空格不宜太多數字型的答案應清楚標明數值的精確度待填的空格宜放在末端或最前端,2018/10/6,18,解釋題的命題原則,通常用來測量高層次認知能力(理解、推理、辨識假設與訊息關連性、認知圖表)常以題組的型式呈現測驗方式是給學生一篇導論文章，要求學生依該文章所提供或隱含的訊息，再一串編擬好的問題上作答導論文章(interpretive exercise)，可以為敘述性文字、圖表、公式、符號、模擬的情境等命題技巧導論文章的挑選必須依據教學目標，且符合學生程度依導論文章所編擬的試題要能測得複雜的學習結果導論文章內容必須新穎、簡短、具可讀性問題數宜與導論文章長短成正比問題分類必需獨立互斥,201
13、8/10/6,19,補充型試題的命題原則,用於測量學生的組織與表達能力依問題性質分回憶(選擇式或評鑑式)、比較兩事件、因果、贊成或反對、分析、摘要、解釋、分類、提出例證、事實重組、討論、推論思考、應用舊規則於新情境等命題技巧用於較複雜或高層次學習結果的評量問題與所要測量的學習結果有關連明確敘述問題，使學生都清楚瞭解問題的要求給與學生充份作答時間儘量避免可讓學生從中選題作答,2018/10/6,20,測驗編製計畫的要素,測驗目的及預計測量的特質測驗對象測驗時間施測方式測驗內容題型及其數量分配試題的心理計量特質審查及篩選試題的方法版面設計及印製測驗的計分方式,2018/10/6,21,編擬測驗試題
14、,程序：選定測驗的取材範圍列舉行為目標設計雙向細目表指定教材範圍才可作為命題範圍雙向細目表邊緣細格中的數字不可為O可依命題或計分習慣, 選擇題型, 變化題數決定題型種類及特徵選擇及排列試題,2018/10/6,22,編擬測驗試題,原則除語文測驗外，應降低字彙的難度與句子的複雜度試題取材均勻，具有教材的代表性試題敘述力求簡明扼要，題意明確同類型的試題，語法前後一致試題宜彼此獨立，互不牽涉試題應有公認的正確答案凡具較爭議性的試題，應註明參考資料來源撰寫試題時應隨時參考各類題型的命題原則命題勿超過單元教學的評量目標提早命題，以預留時間進行試題審查或修正建立題庫，以備不時之需,2018/10/6,23
15、,編擬測驗試題,編輯考量測驗長度(題數): 測驗目的、問題類型、學生年齡、學生能力、作答時限試題難度試題排列: 依難度、依類型、依內容順序、依目標測驗指導語,2018/10/6,24,試題的審查,邏輯審查(通常以專家判斷法輔以試題檢核表及雙向細目表實施)答案的正確性題意的明確性試題的難易度內容的重要性與測驗計畫的符合性與課程及教學的關聯性實證審查預試試題分析難易度鑑別度信效度誘答力,2018/10/6,25,使用檢核表的試題邏輯審查例,2018/10/6,26,使用檢核表的試題邏輯審查例-預試後審查,_ 1. 是否符合測驗目標？_ 2. 各選文是否有不同主題、風格、體裁？_ 3. 選文是否兼顧
16、教育性、知識性、趣味性，並符合考生之生活、學習經驗及認知能力？_ 4. 選文難易是否適中？_ 5. 是否已避免在選文的首句及末句安置空格？_ 6. 每個空格是否有足夠之解題線索？_ 7. 考題分配是否整體理解與局部理解並重，並兼顧語意及語法？_ 8. 選項是否符合句法結構，拼字、用詞是否正確；若為單字或片語測驗，是否詞性一致？_ 9. 各個誘答選項是否具誘答力？_10. 答案是否明確、唯一，以免引起困擾與爭議？,資料來源： 140.117.12.91/data/files/sigdoc/SIG00009/20080224125919testing.ppt,2018/10/6,27,使用檢核表的
17、試題邏輯審查例-預試前審查,測驗計畫標示每個教學目標與教學內容的重要性題型適合測量學生的學習成果題型分配適當題目陳述清楚無誤題目的作答說明(測驗指導語)清晰題目的取樣對教學目標而言具有代表性句法結構一致，拼字、用詞正確答案明確、唯一各選項為答案的題數宜相當且以隨機方式調整正確答案出現的位置整份試卷實際的作答時間與預定的時間相符,2018/10/6,28,預試前後邏輯審查的優缺點,預試前審查優：試題先確立專家效度，避免偏離測驗的要求缺：預試後若有不適切的題目，可能還需專家協助修改後的確認預試後審查優：審查時可就試題分析所有資訊進行綜合研判與試題修正缺：若原先測驗的編製已偏離測驗的要求，即應重新編
18、製一份,2018/10/6,29,雙向細目表設計原則,依據教學目標、教材內容重點、課程內容難易與重要性，決定表中的試題數目與比重視情況增減表中教學目標與教材內容、及試題數目與比重未教學過的教材範圍，不應有試題出現試題比重避免為零(表示無適當試題代表)針對教師自己的命題及評分習慣，選定表中測驗題型，增減試題數目,2018/10/6,30,Bloom的教育目標分類,-cognitive domainKnowledgeComprehensionApplicationAnalysisEvaluationCreate-affective domain-psychomotor domain,2018/10
19、/6,31,雙向細目表實例,2018/10/6,32,雙向細目表實例,資料來源： 140.117.12.91/data/files/sigdoc/SIG00009/20080224125919testing.ppt,國中英文科段考試卷試題分析雙向細目表,2018/10/6,33,測驗的實施步驟,測驗前選擇評量工具信度效度誘答率鑑別度難易度公平性實用性排定測驗時間、地點向學生公布測驗訊息教導學生應試技巧熟習測驗材料及施測程序布置及檢查測驗場地預防作弊及意外干擾事先規範違規及意外事件處理原則,2018/10/6,34,測驗的實施步驟,測驗中發收測驗材料依規定宣布公告事項計時施測監考及紀錄特殊事件測
20、驗結束整理清點送繳,2018/10/6,35,注意異常事件的紀錄與反應凡走過必留痕跡,依據教學目標範例-97指考試題分析,36,閱讀題型與課程標準,詞彙 (10%)綜合測驗 (20%)文意選填 (10%)篇章結構 (10%)閱讀測驗 (22%),能以正確自然的發音及語調朗讀課文。能於課前預習課文並了解其大意。能於課後完全了解課文內容及情節。能利用字詞結構、上下文、文法結構及篇章組織推測字詞意義或句子內容。能熟悉閱讀技巧，並有效應用於實際閱讀中。能藉助字典或其他工具書，自行閱讀與課文難度相當之課外教材。能了解及欣賞不同體裁、不同主題之文章。,資料來源：163.30.83.53/gf1/page1
21、/97test/2.ppt,2018/10/6,依據教學目標範例-97指考試題分析,37,寫作題型與課程標準,英文翻譯(8%)英文作文(20%),能運用學過的詞彙或句型寫出正確的句子。能寫出針對課文內容所問的問題之答案。能寫課文摘要。能寫出與課文內容相關的短文。能寫簡單的書信、故事、便條、劇本、心得感想等。,資料來源：163.30.83.53/gf1/page1/97test/2.ppt,2018/10/6,97指考英文科測驗目標,詞彙題：高中常用實詞詞彙（content words）的構詞、語意、搭配詞（collocation）。綜合測驗：參酌篇章上下文，掌握各種詞彙（含實詞、虛詞、慣用語及
22、轉折詞等）及句法結構。文意選填：依據篇章段落的上下文，掌握實詞詞彙（含慣用語）的運用。篇章結構：理解與組織的能力。閱讀測驗：綜合運用詞彙、慣用語、語意、語法、語用的知識，以了解整篇或局部文意之能力，以及分析與推理的能力。單句翻譯：將中文句子譯成正確、通順、達意英文的能力。主題寫作：運用所學詞彙、句法寫出切合主題，並具有統一性與連貫性短文。,資料來源：163.30.83.53/gf1/page1/97test/2.ppt,2018/10/6,38,大學入學測驗英文考科試題命題原則,字彙慣用語 所測之詞彙（含選項）為大考中心公佈之英文常用辭彙測驗之詞彙皆為實詞 題幹的上下文語義明確，並提供充分的解
23、題線索題幹長度適中（20字以內為原則）正答及各選項字母數及難易相近正答及各選項詞類相同正答及各選項難易度屬相同層級選項誘答力平均，並避免二個以上可能答案。,資料來源： http:/.tw/Teach/exam_info/ana_1.htm,2018/10/6,39,大學入學測驗英文考科試題命題原則,綜合測驗 測驗重點包括虛詞、慣用語、轉折詞、字詞搭配、語法、句子結構、文意、篇章結構等，測驗方式應包含測驗考生的局部理解能力與整體理解能力測驗內容避免與其他題型重複選文兼顧不同主題、風格與體裁選文兼顧教育性、知識性及趣味性，並配合學生的生活、學習經驗與認知能力 選文長度適中，選文難易適中 避免以首尾
24、句命題，以減少考生作答焦慮，並藉此提供較多文意線索 空格之間具相當之間隔每個空格有足夠解題線索 每個選項應該性質相同選項避免拼字、用詞或文法錯誤選項避免爭議性或不適當的誘答，選項誘答力平均。,資料來源： http:/.tw/Teach/exam_info/ana_1.htm,2018/10/6,40,大學入學測驗英文考科試題命題原則,閱讀測驗選文內容具教育性、知識性、趣味性選文內容符合考生的生活體驗和任之範圍，並符合一般思考模式選文難易適中長短合宜（約300字）選文長度與問題數目相配合問題避免太常識性或獨立性，不用閱讀選文即可作答問題的設計以對文章的理解為考量主要考量避免單獨測驗單字片語與與法
25、知識問題除一般理解外，還能測驗考生引申、推理的能力問題的推理避免太深奧，非一般考生思考能力所及測驗語言能力為主，避免以運算等其他能力為主選文下之問題及選項文字重新設計，避免與選文文字完全相同各問題涵蓋選文的重要內容各選項長度與難易度相近 選項誘答力平均，並避免二個以上可能答案。,資料來源： http:/.tw/Teach/exam_info/ana_1.htm,2018/10/6,41,編擬測驗試題例,閱讀能力指標Use correct grammar in a speech context.（在對話中使用正確的文法）Recognize meanings of sentences. (能辨認單
26、句的意義)Use proper words or phrases in a speech context.（在對話中使用適合之單詞或片語）Use graphic references (e.g. diagrams, drawings etc.) to locate required information. (能藉由圖、表找出所需資訊)Recognize relations between parts of a text through lexical and grammatical cohesion devices (synonyms, repetitions, anaphoric refe
27、rence, logical connecters, etc.) (能掌握上下文意，指出文章各部分的關係)Infer implicit information. (能推論文中隱含的訊息).(資料來源: http:/210.240.55.2/t311/reference/testrule.hlm),2018/10/6,42,編製測驗試題例,辨認單句的意義：Victorias little daughter has beautiful big eyes. Everyone says she is just like a pretty .(A) ball(B) doll(C) pair(D) pos
28、ter 在對話中使用正確的文法：Susan: Oh, no! The door and the window !Victor: Who could have done this?Susan: Go in quickly and see if weve lost anything.(A) are breaking(B) have broken(C) were broken(D) will break 在對話中使用適合之單字或片語：Jason: Whens your ?Cindy: At two oclock.Jason: Then you have to hurry! Its one-thirt
29、y already. It takes about 25 minutes to get to the station!(A) train(B) flight(C) lunch time(D) new semester(資料來源: http:/210.240.55.2/t311/reference/testrule.hlm),2018/10/6,43,編製與審查試題實作,決定測驗的取材範圍依課程目標(能力指標)與測驗目標規畫試題類型決定試題計分的方式與配分比例依命題原則選編試題(考量測驗目的、問題類型、學生年齡、學生能力、作答時限，決定測驗長度(題數與數量分配)及難度)依難度、依類型、依內容順序
30、、依目標排列試題,2018/10/6,44,編製與審查試題實作(一),設計試題邏輯審查檢核表設計雙向細目表完成雙向細目表的細格內容檢驗雙向細目表是否符合雙向細目表編製原則編寫測驗指導語編排各類型試題的位置及版面安排(如上下左右邊界、頁碼、是否翻頁作答等),2018/10/6,45,編製與審查試題實作(二),試題內容與答案校對依試題邏輯審查檢核表自行初步檢驗將完成之雙向細目表、試卷及試題邏輯審查檢核表送交審查依據審查意見修正試卷,2018/10/6,46,請留意檢核理論上測驗編製計畫要素是否皆已納入測驗編製的考量,參考網站,http:/ (英語測驗評量：談命題、試題分析與結果詮釋)http:/.
31、tw/Teach/exam_info/ana_1.htm(93 年度大學入學測驗英文考科試題分析與學校命題原則)http:/ 140.117.12.91/data/files/sigdoc/SIG00009/20080224125919testing.ppt(國中英語科能力指標解讀與試題編製原則),2018/10/6,47,想一想,補考試卷與正式試卷間的關係？從題庫中挑選試題組成一份試卷的考量？那些是測驗評量的其他熱門議題？,2018/10/6,48,第二場次工作坊預備工作說明,選定一個班級，依測驗計畫實施預試登錄檔案：以TESTER for windows v.2.0為例第一列輸入資料控制列
32、第二列輸入每一道試題的正確答案第三列輸入每道試題的選項數第四列輸入每一試題所屬的分測驗代碼,2018/10/6,49,第二場次工作坊預備工作說明,第五列起輸入學生的資料(每位學生一列資料，依序為：學生身分識別碼學生在每道試題的原始作答反應資料學生效標分數存成純文字檔以上程序參見課本p.197-199,小叮嚀：試卷上各題的選項是A,B,C,D輸入檔案時，記得轉換成1,2,3,4,2018/10/6,50,預試注意事項,樣本取自正式測驗擬用的族群，要注意代表性與數量情境應與正式測驗相近似作答時間應更充分，以得到更可靠的結果預試過程應隨時紀錄，以取得對題目更清楚的資訊,2018/10/6,51,See you next time !,？,tsengshntut.edu.tw,
