1、量表編製的信效度統計考驗,高師大師培中心凃金堂2016.11.23,量表是量化研究重要研究工具,量表(scale)是指包含一套題目組合的測量工具，大部分的量化研究，都是採用量表來蒐集所需要的資料，故量表的品質將影響研究結果的品質。,量表是量化研究重要研究工具,最常被採用的量表型態是Likert五點量表，即根據題目的敘述，請受試者勾選非常不同意(1分)、不同意(2分) 、沒意見(3分) 、同意(4分) 、非常同意(5分)等五個選項。,信效度是量表重要評判指標,一份適切的量表，必須同時具有良好信度與良好效度。信度是指測量結果的一致性，較常用來評估量表的信度是Cronbach的係數。效度是指測量結果
2、的有效推論性，較常用來評估量表的效度是內容效度、效標關聯效度、建構效度等三類。,信效度是量表重要評判指標,內容效度的檢驗方式：請專家協助審題。效標關聯效度的檢驗方式：積差相關係數。建構效度的檢驗方式：因素分析 。信度的檢驗方式：Cronbach的係數。,信效度是量表重要評判指標,採用現成量表時，需考慮的事項,一、現成量表是否符合自己的研究目的？ 二、現成量表是否具有良好信度與效度？ 三、現成量表的適用對象，是否符合自己 研究的對象？ 四、現成量表的編製年代是否很久遠？ 五、現成量表是否容易取得授權使用？,自編量表時，需考慮的事項,一、自編量表需要那些測驗與統計基本概 念？ 二、自編量表需要使用
3、哪些統計方法？ 三、自編量表通常需要多久的時間？ 四、是否有相似的現成量表可供參考？五、這份量表的評量內容是採用單向度( 只有一個總量表)？或多向度(包含幾 個分量表)？,量表的編製歷程,進行預試應注意的事項,一、進行量表預試時，應選取具代表性的樣本二、不適合以非母群體的樣本，進行量表的預試三、預試受試者的人數數量(一)、只進行探索性因素分析1.人數與題數的比例:3:1、5:1、10:12.最低人數:100人、150人至200人、300人以上,進行預試應注意的事項,(二)、同時進行探索性與驗證性因素分析 最好人數高於450人以上，200人進行探索性因素分析，250人進行驗證性因素分析。四、預試
4、的樣本資料，不能與正式施測的樣本資 料混合使用。,進行項目分析,進行項目分析主要在於挑選合適的題目，項目分析的項目主要包括下列7個指標 1.遺漏值數量2.題目的平均數3.題目的變異數4.題目的偏態5.題目的高低分組獨立樣本t考驗6.修正後題目與總分之相關7.刪除該題後的係數。,題目若出現許多遺漏值，顯示該題可能有問題,當受試者未填答或漏答某道題目時，則以遺漏值來表示受試者沒有回答該題。 進行試題分析時，一道題目的遺漏值數量，可作為判斷試題品質的參考依據。倘若題目的遺漏值數量過多，則該題可能是有問題的題目。,題目的平均數太高或太低時，顯示該試題品質可能不佳,題目的平均數若太高或太低，顯示所有受試
5、者在該題的填答結果過於一致，此題便缺乏鑑別力，無法區辨出不同屬性受試者的差異情形。,題目的變異數太小時，顯示試題品質可能不佳,當題目的變異數太小時，顯示所有受試者的填答結果很一致，便會出現如同題目平均數太高或太低的情形一樣，無法有效鑑別出不同受試者得分的差異情形。,變異數的性質,變異數的性質,題目得分呈正偏態或負偏態，顯示試題品質可能不佳,題目得分情形呈現正偏態時，顯示所有受試者的填答結果偏向低分的選項（例如非常不同意的選項）；當題目得分情形呈現負偏態時，顯示所有受試者的填答結果偏向高分的選項（例如非常同意的選項）。如此便會出現如同題目平均數太高或太低的情形一樣，無法有效鑑別出不同受試者得分的
6、差異情形。,題目高低分組獨立樣本t考驗，未達顯著差異，顯示試題品質可能不佳,以高分組與低分組受試者在該題的得分情形，進行獨立樣本 t 考驗，以考驗高低分組的受試者在該題得分是否有顯著性差異，也被稱為決斷值(critical ratio)。 當該題在高低分組的獨立樣本t考驗沒有顯著性差異時，顯示該題不具有鑑別效果，顯示該題可能是不良題目。,修正後題目與總分之相關太低時，顯示試題品質可能不佳,對於題目與量表總分之積差相關的計算方式，可分成題目與總分之相關（item-total correlation）與修正後題目與總分之相關（corrected item-total correlation）兩類。
7、 當修正後題目與總分之相關係數低於 .3時，則該題可能是不良題目。,刪除該題係數提高，顯示該題與其他題目不是測同向度的構念,量表某題與其他題目若是測量相同向度的構念，則增加該題會提高量表的信度。相反地，量表某題與其他題目不是測量相同向度的構念時，則包含該題的量表，反而會降低量表的信度。,項目分析的評判指標,探索性因素分析的基本概念,V1 V2 V3 V4 V5 V6 V7 V8 V11.00 V2.8461.00 V3.805.8811.00 V4.859.826.8011.00 V5.009.007.001.0041.00 V6.001.001.005.005.7621.00 V7.003.
8、002.007.009.730.7831.00 V8.002.006.009.003.729.777.7391.00,探索性因素分析的基本概念,V1 V2 V3 V4 V5 V6 V7 V8 V11.00 V2.8461.00 V3.805.8811.00 V4.859.826.8011.00 V5.009.007.001.0041.00 V6.001.001.005.005.7621.00 V7.003.002.007.009.730.7831.00 V8.002.006.009.003.729.777.7391.00,探索性因素分析的基本概念,探索性因素分析,探索性因素分析為何可作為建構效
9、度考驗? 假設老師一份綜合測驗，包括5題國文題，5題數學題，這10題的相關係數如下:,探索性因素分析的積差相關係數,探索性因素分析的因素負荷矩陣,資料是否適合進行探索性因素分析的檢核,1.檢視資料是否適合進行因素分析的檢驗方式，可透過KMO與Bartelet檢定。2. KMO的數值介於0與1之間，當KMO越接近1，顯示所蒐集的資料越適合進行因素分析。Kaiser(1974)建議KMO數值最好不要低於 .7。3. Barttlett球形檢定的顯著性考驗p .05，代表所蒐集的資料不是單元矩陣，適合進行探索性因素分析。,該採主成份分析或共同因素分析,該採主成份分析(principle compon
10、ents analysis )或共同因素分析(common factor analysis )? 主成份分析的主要目的是進行資料縮減，共同因素分析的主要目的是探討題目與因素之間的關係。 評估量表的構念效度時，採用共同因素分析是比較合適的選擇。,主成份分析、因素分析的概念圖,該選用何種保留因素個數的方式,1.Kaiser提出的挑選特徵值大於1的因素此種方法大家最常用，但統計學者最不建議使用。,該選用何種保留因素個數的方式,2.Cattell所提的陡坡圖,3.抽取所有題目的變異量百分比Lattin, Carroll, Green(2003)主張至少應該抽取50%的變異量才比較合適。,該選用何種保留
11、因素個數的方式,該選用何種保留因素個數的方式,4. Horn所提的平行分析法（parallel analysis） 目前有些知名的心理計量期刊（例Educational and Psychological Measurement），則是建議投稿論文若採用探索性因素分析時，應該要使用平行分析法作為決定因素個數的方法（Thompson & Daniel, 1996）。,該選用何種保留因素個數的方式,該採直交轉軸法或斜交轉軸法,直交轉軸假定因素與因素之間的積差相關為零，以幾何空間呈現時，因素與因素呈900直角的相交狀態；斜交轉軸假定因素與因素之間的積差相關不為零，在幾何空間中，因素與因素不是呈900
12、直角的相交狀態。,該採直交轉軸法或斜交轉軸法,對該採直交轉軸法或斜交轉軸法的問題，雖然許多研究者較喜歡採直交轉軸法，但採斜交轉軸是較合理的選擇，斜交轉軸法也是比較多測驗評量學者所推薦的轉軸方式 。 採直交轉軸只會獲得一個因素負荷量矩陣；採斜交轉軸會獲得樣式矩陣與結構矩陣等兩個矩陣。,如何解釋因素分析的結果,1.當某道題目的所有因素負荷量，只有一個因素負荷量高於 .4，其他因素負荷量皆低於 .4，則該題即歸屬因素負荷量高於 .4的那個因素。2.當某道題目的所有因素負荷量皆低於 .4，顯示 沒有任何一個因素與該題有密切的關係，若保留 該題易降低量表的構念效度，故應刪除該題。3.當某道題目的所有因素
13、負荷量，有兩個以上的因素負荷量高於 .4，顯示該題同時歸屬兩個因素，若保留該題易降低量表的區辨效度（discriminant validity），故應刪除該題。,如何解釋因素分析的結果,信度要多大，才屬於良好的信度,係數的定義公式,n ：整份量表的題數 ：所有題目變異數的總和 ：所有受試者量表總得分的變異數,係數與其95%信賴區間,近年來，有許多測驗學界的學者（Fan Onwuegbuzie & Daniel, 2002）主張在呈現量表的係數時，也應同時呈現係數的95%信賴區間。知名心理計量期刊Educational and Psychological Measurement於2001年，建議
14、投稿者在呈現量表的係數時，也需同時呈現係數的95%信賴區間（Fan & Thompson, 2001）。,係數與其95%信賴區間,可能出現係數為負的情況,理論上信度係數應該不會有負數的情況。在實際的測驗編製上，卻有可能因不良的試題，而推估出負數的信度係數。此種不合理的情形，較常出現在係數的信度估算方法中。遇到信度為負數狀況時，建議先檢視是否有資料輸入錯誤，或是統計軟體操作錯誤的情形，若無上述的錯誤，則有可能是不良的試題所致，或是該測驗的試題彼此異質性過大，建議重新編寫試題。,可能出現係數為負的情況,可能出現係數為負的情況,以數學態度量表為例,項目分析(遺漏值、平均數、變異數、偏態之SPSS操作
15、步驟),SPSS的遺漏値統計結果,SPSS的平均數、變異數、偏態統計結果,項目分析(獨立樣本t考驗之SPSS操作步驟1:決定高低組別的切割點),項目分析(獨立樣本t考驗之SPSS操作步驟2:分配高低組別),項目分析(獨立樣本t考驗之SPSS操作步驟3:進行獨立樣本t考驗),SPSS的高低分組獨立樣本t考驗統計結果,項目分析(修正後題目與總分相關之SPSS操作步驟,SPSS的修正後題目與總分相關統計結果,因素分析之SPSS操作步驟,因素分析之SPSS操作步驟,SPSS的因素分析統計結果,信度分析之SPSS操作步驟,SPSS的係數與其95%信賴區間,tangnknu.edu.twThank you for your listening,
