质性与量化研究方法序列分析工作坊.ppt

1、2016/9/5政治大學圖書資訊與檔案學研究所 數位圖書館與數位學習實驗室 陳勇汀puddingnccu.edu.tw投影片網址 http:/l.pulipuli.info/16/9/sa/slide,質性與量化研究方法序列分析工作坊,前言：為什麼要做序列分析？Part 1. 使用與開發編碼表Part 2. 行為觀察與記錄Part 3. 觀察者內部一致性信度檢定Part 4. 序列分析原理與計算Part 5. 序列分析工具Part 6. 應用：如何更容易出現顯著？Part 7. 應用：比較與深入分析,大綱,2,為什麼要做序列分析？,前言：淺談數位學習研究設計,3,準實驗研究法於數位學習的應用,

2、Experimental Group實驗組,Control Group控制組,4,研究者(教師),研究設計,研究場域,依變項,實驗組,控制組,依變項,依變項,依變項,自變項,實施策略,維持原樣,前測,後側,比較：統計分析,5,依變項的觀測,?,行為的改變,認知的改變,6,實施教學策略,行為模式分析,序列分析介紹Bakeman, R. & Gottman, J. M. (1997),7,Bakeman, R., & Gottman, J. M. (1997). Observing interaction: an introduction to sequential analysis. Cambr

3、idge: University Press.,Bakeman(1986)序列分析介紹目錄,介紹開發編碼表(coding scheme)記錄行為序列 (behavioral sequences)評估觀察者一致性 (observer agreement)呈現觀察資料,分析序列資料: 第1步分析事件序列 (event sequences)分析時間序列 (time sequences)分析跨分類事件 (cross-classified events)結語,8,Bakeman, R., & Gottman, J. M. (1986). Observing interaction: an introdu

4、ction to sequential analysis. Cambridge: University Press.,觀察外顯行為的轉變,9,https:/ 1.,10,?,依變項的選擇,11,實施教學策略,B. 知識建構層次,C. 問題解決討論,A. 認知分類架構,A. 認知分類架構表 (1/3),19491953年，布魯姆(Bloom)等人藉用生物學的分類法觀念將教育目標分類。1960年提出認知領域的教育目標分類表，將認知領域的教學目標的類別，由最簡單到最複雜，由具體到抽象，排成六個層次，依序為知識、理解、應用、分析、綜合與評鑑，每一個較簡單的類別都是想掌握下一個較複雜的類別的先決條件。因

5、應教育理論的演進，布魯姆教育分類法也在2001年出刊修訂版，先依知識向度和認知歷程向度形成一個二維矩陣後，再進行教育目標的分析。,Anderson, L. W., & Krathwohl, D. R. (2001). A taxonomy for learning, teaching, and assessing: a revision of Blooms taxonomy of educational objectives. New York: Longman.,12,A. 認知分類架構表 (2/3),13,鄭蕙如、林世華（2004）。Bloom 認知領域教育目標分類修訂版理論與實務之探討

6、以九年一貫課程數學領域分段能力指標為例。臺東大學教育學報，15（2），247274。,A. 認知分類架構表 (3/3),認知分類架構表(Revised Blooms Taxonomy),14,B. 互動分析模型 (1/2),Gunawardena, Lowe和Anderson等人，於1997年提出互動分析模型(Interaction Analysis Model)，簡稱IAM很多研究證明使用IAM這一套編碼系統能夠有效地分析線上平台的討論內容，也增加了量化內容分析研究的有效性，許多關於非同步線上討論平台的研究，也都使用IAM為編碼方案從1997年至今，IAM這一套內容分析工具已經成為探討線上討

7、論內容深度和模式的一個重要依據。,Gunawardena, C. N., Lowe, C. A., & Anderson, T. (1997). Analysis of a Global Online Debate and the Development of an Interaction Analysis Model for Examining Social Construction of Knowledge in Computer Conferencing. Journal of Educational Computing Research, 17(4), 397-431.,15,B. 互

8、動分析模型 (2/2),互動分析模型(Interaction Analysis Model，IAM),16,C. 問題解決討論行為編碼表 (1/2),為觀察成員在小組封閉式學習社群環境中合作學習討程，用Hou等人(2008)提出問題解決討為序分析編碼表，來解合作學習討為程之差該編碼係依據探討問題解決為程相關研究（Mayer, 1992; DZurilla & Goldfried, 1971），歸納出研究共同之處，形成問題解決為編碼表。,17,Hou, H.-T., Chang, K.-E., & Sung, Y.-T. (2008). Analysis of Problem-Solving-B

9、ased Online Asynchronous Discussion Pattern. Educational Technology & Society, 11(1), 17-28.,C. 問題解決討論行為編碼表 (2/2),問題解決行為歷程序列分析編碼表,18,觀察行為的記錄,Part 2.,19,數位學習的行為記錄,20,現場觀察與記錄,同步討論記錄,非同步討論記錄,學習歷程記錄,Morea,TechSmith Morae,Morae RecorderMorae ObserverMorae Manager,21,xAPI (eXperience API),xAPI定義了學習記錄儲存與追蹤

10、的介面格式規範學習者在學習平台(LMS)的學習經驗記錄(或其他動作)能儲存在學習記錄資料庫(LRS)中，儲存在LRS上的學習資料可以在不同LRS上流通。,22,LMS,xAPI,LRS,學習記錄,電子書櫃,教學活動,學習分析,學習記錄,數位學習服務,LMS,xAPI,LMS,xAPI,在LRS上的xAPI記錄,23,Anonymous主詞: 操作者,joined world動詞: 事件編碼,Example Scene受詞: 動作細節,遊戲記錄,24,Hou, H.-T. (2012). Exploring the behavioral patterns of learners in an ed

11、ucational massively multiple online role-playing game (MMORPG). Computers & Education, 58(4), 1225-1233. doi:10.1016/pedu.2011.11.015,紐約說話島 Talking Islandhttps:/ 行為記錄是否受到介入？,25,老師要介入嗎？,彙整行為記錄,26,同步討論,非同步討論,時間早,晚,個人資料匿名處理,多資料來源的處理方法,27,早,晚,例子：行為記錄與編碼表格,28,匿名,實作：編碼練習,29,http:/l.pulipuli.info/160905,觀察

12、者內部一致性信度檢定,Part 3.,30,行為編碼的流程,31,2. 編碼表,1. 行為記錄,3. 研究者,4. 行為編碼,6. 編碼結果,5. 調整編碼表,兩位編碼者的意見衝突,32,這應該是P3編碼,這一定是P2編碼,鳥山明，,P2?P3?,符合百分比,33,兩位評估者獨立診斷比例分佈的假設舉例,唐万、胡俊、张晖、吴攀、贺华（2015）。Kappa 系数: 一种衡量评估者间一致性的常用方法。上海精神医学，27（1）。上網日期：2015年5月31日，檢自：http:/www.shanghaiarchivesofpsychiatry.org/cn/assets/215010cn.pdf,Co

13、hens Kappa,Cohens Kappa係數是對編碼者間在分類編碼上符合性的一種統計方法。Cohen排除了隨機編碼可能的偶然吻合，因此比單純統計符合百分比還要有說服力。Kappa係數介於-11之間：,34,Cohen, J. (1960). A coefficient of agreement for nominal scale. Educational and Psychological Measurement, 20(1), 3746. doi:10.1177/001316446002000104,Cohens Kappa,35,觀測一致性：測量結果一致的百分比,期望一致性：測量結果

14、預期相同的機率,兩位評估者獨立診斷比例分佈的假設舉例,唐万、胡俊、张晖、吴攀、贺华（2015）。Kappa 系数: 一种衡量评估者间一致性的常用方法。上海精神医学，27（1）。上網日期：2015年5月31日，檢自：http:/www.shanghaiarchivesofpsychiatry.org/cn/assets/215010cn.pdf,Cohens Kappa計算器,36,http:/j.mp/2015-kappa,輸入,結果,編碼者內部不一致的原因,37,鳥山明，,1. 編碼表的問題不同的編碼者對這份編碼表的認知不一致修正編碼表,2. 編碼者的問題編碼處理過程分心、看錯比對編碼有差異

15、的行為，重新編碼,是P2!,整合最後編碼結果,38,編碼結果轉序列編碼工具,39,ABBCBBCAAC,http:/j.mp/2015-code-to-seq,序列分析原理與計算,Part 4.,40,滯後序列分析,滯後序列分析最早是由Sackett,G.P於1974年首次提出。1997年，Bakman和Gottman出版Observing interaction的書中介紹在觀察研究過程中，如何選擇每一個細節，每種不同類別的方法適合甚麼樣的研究情境，也說明了研究結果應該使用何種統計方法。滯後序列分析法比其他研究方法更能推論整體線上學習的整體序列模式，學習行為之間的順序關係是否達到統計顯著性。,

16、41,觀察序列樣本,N：觀察樣本的編碼次數 (10)Ns：觀察樣本中，雙事件序列的次數 (9)也就是兩兩成對的事件頻率，計算如下：AB BB BC CB BB BC CA AA AC,ABBCBBCAAC,42,轉換頻率表,從橫列往直欄去看例如第一列、第二欄是為A到B的轉換頻率,43,ABBCBBCAAC,我的眼睛都看到了！,44,B-C轉換頻率是否顯著？,45,二項式分佈檢定,46,標準誤修正,實際B-C序列轉換出現次數,B-C序列轉換出現期望值,H0: x NPB-C出現頻率低於或等於出現期望值H1: x NPB-C出現頻率大於出現期望值,Allison & Liker (1982) z分

17、數算法,意義,xf(g,t)：欲觀察轉換序列(給定編碼g-目標編碼t)的頻率(frequency)Nf(g)：給定編碼(given code, g)出現的頻率Pp(t)：目標編碼(target code, t)出現的機率 (probability)Q1 - p(t)p(g)：給定編碼出現的機率z：序列轉換的顯著程度超過1.95即達到顯著性(同等於單尾右側檢定中的p C沒有顯著轉換,所以B-C很常出現是,52,B-C轉換頻率為何不顯著？,53,調整後的殘差表,54,Bakeman書中的例子,55,事件轉換圖 Behavioral transfer diagram,56,解釋事件轉換圖的注意事項,

18、57,G到T有顯著轉換T到P有顯著轉換,G到T到P有顯著轉換,序列分析工具,Part 5.,58,GSEQ,GSEQ(Generalized Sequential Querier)是一套電腦統計軟體。Roger Bakeman & Vicen Quera在1992年的滯後序列分析中發展的相對應軟體，用以計算觀察得到資料。目前GSEQ已經發展到5.1版。除了介面簡化及功能增加外，它的特色在於輸入文字型態的原始碼後，就可以分析其順序關係，如：variety、frequencies、rate、durations、proportion(percentages)，資料的kappa值等等。,59,http

19、:/www2.gsu.edu/psyrab/gseq/index.htm,MEPA,http:/edugate.fss.uu.nl/mepa/ MEPA是荷蘭最古老大學之一烏特勒支大學教育科學系的Gijsbert Erkens所開發的互動分析軟體MEPA是一個用於標註、對於一些口語或行為觀察資料進行編碼的工具，可以用來製作觀察行為資料的編碼系統，也可以用來針對已經編碼的口語或行為資料進行各種質性與量化的分析分析方法包括滯後序列分析 Lag Sequential Analysis操作說明：http:/l.pulipuli.info/160905-mepa,60,布丁自製工具,Cohens Kap

20、pa計算器 http:/j.mp/2015-kappa 編碼結果轉序列編碼工具 http:/j.mp/2015-code-to-seq 序列分析工具 PHP 版本http:/l.pulipuli.info/160905-sa-php-temp (原始碼：http:/l.pulipuli.info/16/9/sa/php-source ),61,序列分析工具PHP版 (1/2),62,http:/l.pulipuli.info/160905-sa-php-temp,貼上序列編碼,送出,序列分析工具PHP版 (2/2),63,調整後殘差表紅字表示z 1.95,編碼標籤列表,編碼轉換頻率表,顯著編碼

21、轉換,實作看看,編碼編碼 編碼結果比較 隨機亂數結果編碼結果轉序列編碼工具 http:/j.mp/2015-code-to-seq 序列分析工具 PHP 版本http:/l.pulipuli.info/160905-sa-php-temp,64,如何更容易出現顯著？,Part 6. 序列分析的進階應用,65,轉換都不顯著怎麼辦？,出現顯著性的基本原則 = 足夠的樣本數量如果鄰近編碼可重複，則需要更多樣本允許B-B，則表示可以重複編碼表中的編碼越多，則需要更多樣本A,B,C - U,S,P,T,G你要觀察的序列越長，則需要更多樣本lag 2 - lag 3需要更多樣本,66,鄰近編碼可重複,可重

22、複ABBCBBCAAC,67,N = 10, Ns = 9,A,B,B,C,鄰近編碼不可重複,68,A,B,C,不可重複ABBCBBCAAC,N = 7, Ns = 6,目標編碼出現機率p(t)的算法,69,鄰近編碼可重複,鄰近編碼不可重複,f(t)：目標編碼出現在lag 1的頻率，f(t) = f(C) = 3Ns：序列次數， Ns=9可重複p(t) = 3 / 9 = 0.33,Ns：不重複時序列次數， Ns=6f(g)：給定編碼在lag 0位置的出現頻率，f(B) = 2不可重複 p(t) = 3 / (6-2) = 0.43,鄰近編碼重複對z分數的影響,鄰近編碼可重複,70,鄰近編碼不

23、可重複,ABBCBBCAAC, Ns=9,ABCBCAC, Ns=6,減少要觀察的編碼：合併,71,A,B,C,D,合併,A,B,C,C,減少要觀察的編碼：刪除,72,A,B,C,D,刪除,A,B,D,更多觀察樣本：片段(1/2),73,ABBCBBCAA,ABCCBBCAB,更多觀察樣本：片段(2/2),74,ABBCBBCAA,ABCCBBCAB,觀察樣本片段 (Break),N = 18 編碼總次數breaks = 2 片段數 Ns = 16 編碼序列次數 (18-2)雙事件序列：AB BB BC CB BB BC CA AAAB BC CC CB BB BC CA AB注意片段之間的A

24、-A不納入計算,75,ABBCBBCAAABCCBBCAB,Part 7. 序列分析的進階應用,76,比較與深入分析,加入單一行為比例的描述資料,77,除了觀察序列行為的事件轉換之外，通常還會加入各行為的比例描述來補充,范蔚敏（2011）。基於學習社群角色行為特徵之網路合作式學習分組策略及其討論歷程評估研究（碩士論文）。國立政治大學圖書資訊與檔案學研究所，國立政 治大學。上網日期：2015年5月31日，檢自：http:/ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi /ccd=X5LsV5/record?r1=1&h1=1,比較不同組別的行為模式 (1/2),實

25、驗組的觀察序列,78,控制組的觀察序列,ABBCBBCAAABCCBBCABABCBCBCCB.,ACACBCABAABBCABCACACCBBCACB.,比較不同組別的行為模式 (2/2),實驗組的觀察序列,79,控制組的觀察序列,切割時間區間,第一階段,第二階段,80,范蔚敏（2011）。基於學習社群角色行為特徵之網路合作式學習分組策略及其討論歷程評估研究（碩士論文）。國立政治大學圖書資訊與檔案學研究所，國立政 治大學。上網日期：2015年5月31日，檢自：http:/ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi /ccd=X5LsV5/record?r1

26、=1&h1=1,深入分析不同研究對象 (1/2),81,B,C,13.58,B,C,8.93,0.53,各別分析男女不同性別的序列轉換，發現男性的序列轉換顯著程度高於女性。,深入分析不同研究對象 (2/2),82,Hou, H.-T. (2012). Exploring the behavioral patterns of learners in an educational massively multiple online role-playing game (MMORPG). Computers & Education, 58(4), 1225-1233. doi:10.1016/pedu.2011.11.015,BLOG: 布丁布丁吃什麼？http:/blog.pulipuli.info/,83,