1、第 1 章,資料與統計,本章內容,1.1 商業與經濟上的應用1.2 資料1.3 資料來源1.4 敘述統計1.5 統計推論1.6 分析,2,本章內容,1.7 大數據與資料探勘1.8 電腦與統計分析1.9 統計實務的倫理守則,3,何謂統計？,統計 (statistics) 一詞可以稱作數值資料，如平均值、中位數、百分比和最大值，有助於我們瞭解各種商業和經濟狀況。廣義來說，統計學是一門蒐集、分析、呈現及解釋資料的藝術和科學。,4,第1章 資料與統計 第3頁,1.1商業與經濟上的應用,會計上的應用財務上的應用行銷上的應用生產上的應用經濟上的應用資訊系統,第1章 資料與統計 第3-4頁,5,會計上的應用
2、,會計師事務所為顧客做帳目稽核時，會利用統計抽樣程序。例如，審計員的一般作法是選擇一部分帳目，稱之為樣本。在檢閱這些樣本帳目的正確性後，審計員便做出資產負債表上的應收帳款總數是否可以接受的決定。,6,第1章 資料與統計 第3頁,財務上的應用,財務分析師運用各種統計資訊做為投資建議的依據。例如，根據華爾街日報的報導，標準普爾500 (S&P 500) 的公司平均股息收益率是 2%。微軟 (Microsoft) 的股息收益率是 1.95%。有關微軟的相關資訊可以幫助財務分析師針對微軟之股票，做出買進、賣出或繼續持股的建議。,第1章 資料與統計 第4頁,行銷上的應用,在行銷研究實務中，經常利用結帳櫃
3、台的電子掃描器來蒐集市場資料。例如，在檢閱銷貨資料及促銷活動的統計資料後，品牌經理能更瞭解促銷活動和銷售量之間的關係。這樣的分析可以為未來眾多商品建立更有效的行銷策略。,第1章 資料與統計 第4頁,8,生產上的應用,由於對品質的強調，使得品質管理成為統計學在生產作業的重要應用之一。琳琅滿目的統計品質管制圖常被用來監控生產製程的產出。假設有部機器用於裝填容量 12 盎司的飲料，生產線上的作業人員定期抽取罐裝飲料為樣本，並計算樣本的平均容量。經由適當地解釋， x-bar 圖可以幫助判斷是否必須修正製程。,第1章 資料與統計 第4頁,9,經濟上的應用,經濟學家通常要預測未來的經濟狀況或相關發展趨勢，
4、他們運用許多統計資訊進行這方面的預測。例如，經濟學家運用諸如生產者物價指數、失業率和產能使用率等統計指標來預估通貨膨脹率。將這些統計指標輸入可以預測通貨膨脹率的電腦預測模型，以得到預測值。,第1章 資料與統計 第4頁,10,資訊系統,各式各樣的統計資訊可協助系統管理者評估電腦網絡的效能，包括區域網絡、廣域網絡、網段、企業內部網路及其他通訊系統。有助於系統管理者更瞭解電腦網路，也可進行更好的管理。,第1章 資料與統計 第4-5頁,11,1.2 資料,資料(data)是指經由蒐集、分析及彙總而得的，做為說明與解釋之用的事實與數值。為特定研究目的蒐集的所有資料可稱為資料集(data set)。,第1
5、章 資料與統計 第5頁,12,元素、變數及觀察值,元素(element)指的是資料蒐集的實體 (entities)。變數(variable)代表元素中某個屬性。資料是由研究中所蒐集個別元素的所有變數之衡量值，對特定元素所蒐集的一組衡量值就稱為觀察值(observation)。,第1章 資料與統計 第5頁,13,衡量尺度,名目尺度(nominal scale)順序尺度(ordinal scale)區間尺度(interval scale)比例尺度(ratio scale),第1章 資料與統計 第7頁,14,名目尺度,當變數的資料是用來表示元素屬性的標記或名稱時，稱此衡量尺度是名目尺度(nomina
6、l scale)。例如，表 1.1 的變數 WTO 狀態就是名目尺度的變數，因為這個變數的值如Member與Observer都是標記，用來表示該國在世界貿易組織的會員狀態。,15,第1章 資料與統計 第7頁,名目尺度,為了方便蒐集資料，以及日後將資料輸入電腦的方便考量，我們可以用 1 來表示 WTO 的會員， 2 表示 WTO 觀察員。即使以數值符號形式來表示資料，但仍是名目尺度。,16,第1章 資料與統計 第7頁,順序尺度,如果變數具有名目尺度的特性，而且資料的順序是有意義的，此衡量尺度是順序尺度(ordinal scale)。例如，參考表 1.1的資料，惠譽國際信用平等的衡量值就是順序尺度
7、。從 AAA到 F的評等標記可以由表示最佳評比的 AAA排序到最差的 F。評等所用的字母標記具有名目尺度的特性。,17,第1章 資料與統計 第7頁,順序尺度,此外，資料還可排序或根據評等排出高低，因此，這是順序尺度。請注意，順序尺度的資料常以數值符號來表示。例如，你的班級在校內的評比。,第1章 資料與統計 第7頁,18,區間尺度,如果變數具有順序尺度的特性，而且觀察值之間的間隔有固定的衡量單位，這個變數的衡量尺度是區間尺度(interval scale)。區間尺度的資料一定以數值表示。例如，大學入學申請時的重要參考學業成就測驗 (Scholastic Aptitude Test, SAT) 的
8、分數就是區間尺度的資料。,第1章 資料與統計 第7頁,19,區間尺度,例如，三個學生的 SAT 分數分別是 620、550 及 470。我們可以由高到低依序排列，所以它們具有順序尺度的特性。同時，分數間的差距也有意義。例如，第一位學生的成績高於第二位學生 70 分 (62055070)，第二位學生的成績高於第三位學生 80 分 (55047080) 。,第1章 資料與統計 第7頁,20,比例尺度,如果變數具有區間尺度的特性，而且觀察值之間的比例是有意義的，則此變數的衡量尺度是比例尺度(ratio scale)。與距離、高度、重量及時間有關的變數都是使用比例尺度。這種尺度的條件之一是必須包含零值
9、。零值表示在零點時，該變數不包含任何東西。,第1章 資料與統計 第7頁,21,比例尺度,例如，汽車成本即是一例。成本為零表示汽車沒有成本，是免費的。此外，如果比較兩部汽車的成本，例如，第一部是 $30,000，第二部是 $15,000，我們可以說第一部汽車的成本是第二部汽車的30,000/15,000 = 2倍。,第1章 資料與統計 第7頁,22,類別及定量資料,資料分成類別資料或定量資料。根據某特定類別將資料集合成群的稱為類別資料(categorical data) 。類別資料使用名目或順序尺度，可以是數值也可以是非數值。使用數值表示數量多少的是定量資料 (quantitative data
10、)。定量資料則使用區間或比例尺度。,第1章 資料與統計 第8頁,23,類別和定量資料,類別變數(categorical variable) 是有類別資料的變數，定量變數(quantitative variable) 是有定量資料的變數。對特定變數而言的統計方法，視資料屬性是類別或定量而定。如果是類別變數，可以使用的統計分析相當有限。我們可以將觀察值分類，計算每個類別的觀察值個數，或計算各個類別觀察值個數占整體觀察值個數的比例。,第1章 資料與統計 第8頁,24,類別和定量資料,即使類別資料以數值表示，諸如加、減、乘、除等算術運算都沒有意義。算術運算對定量變數是有意義的。例如，可以將定量資料相加
11、，再除以觀察值個數，即得出平均數。這個平均數通常是有意義的，而且容易解釋。一般而言，資料屬性是定量時，有較多的統計分析方法可供選擇。,第1章 資料與統計 第8頁,25,第1章 資料與統計,衡量尺度,類別資料,定量資料,數值,數值,非數值,資料,名目尺度,順序尺度,名目尺度,順序尺度,區間尺度,比例尺度,26,橫斷面和時間序列資料,橫斷面資料 (cross-sectional data)是在相同或幾乎相同時點所蒐集的資料。表 1.1 中的資料是相同時點的 60 個世界貿易組織成員國的五個變數的資料，所以是橫斷面資料。,27,第1章 資料與統計 第8頁,橫斷面和時間序列資料,時間序列資料 (tim
12、e series data) 則是數個不同時期的資料。圖 1.1 顯示 2009 年到 2014 年間，一般汽油的每加侖平均價格。2009 年1 月到 2011 年 5 月間的油價穩定上漲，之後價格有較多波動，2014 年 10 月每加侖平均價格 $3.12。,28,第1章 資料與統計 第8頁,橫斷面和時間序列資料,第1章 資料與統計 第9頁,29,評註,觀察值是資料集的每個元素的一組測量值，所以觀察值個數一定等於元素個數。每一元素的測量值個數等於其變數個數。因此，資料集裡資料值的總個數等於資料集的元素個數乘上變數個數。定量資料可能是離散 (discrete) 或連續 (continuous)
13、 。定量資料衡量的數值若是可數 (例如，5 分鐘內的來電數)，就是離散的；定量資料衡量的數值若為不可數 (例如，重量或時間)，則為連續的，因為任兩個可能數值間都不是斷開的，也就是說可以在任兩個數值間找到其他可能的數值。,30,第1章 資料與統計 第9頁,1.3 資料來源,第1章 資料與統計 第11頁,31,既有資料,1.3 資料來源,第1章 資料與統計 第11頁,32,既有資料,圖1.3 美國勞工統計局首頁,第1章 資料與統計 第12頁,33,觀察研究,在觀察研究 (observational study) 中，只是觀察特定環境中發生的事情，對一個或更多感興趣的變數記錄資料，再對資料進行統計分
14、析。調查 (survey) 及公共意見民調也是常見的觀察研究。對抽菸者與非抽菸者的研究是一種觀察研究，因為研究人員並未決定或控制誰是抽菸者或誰是非抽菸者。,34,第1章 資料與統計 第12頁,實驗,觀察研究與實驗的關鍵差異在於實驗必須在控制的條件下進行。因此，與既有來源或觀察研究得到的資料相比，由設計良好的實驗得到的資料，通常能提供更多資訊。統計學處理的實驗類型，通常是由判定感興趣的變數開始。找出一個或更多的變數並加以控制，因此可以得到其他變數如何影響研究人員感興趣的主要變數的相關資料。,第1章 資料與統計 第12-13頁,35,時間與成本的議題,想利用資料與統計分析來幫助制定決策，必須清楚取
15、得資料所需花費的時間與成本。若時間緊迫，則利用既有資料較可行。若重要資料無法得自既有來源，就必須考慮獲取資料額外所需花費的時間與成本。一般而言，決策者應該考慮統計分析對決策過程的貢獻。取得資料與隨之而來的統計分析所花費的成本，不應超過協助決策時所創造的效益。,36,第1章 資料與統計 第13頁,資料取得的錯誤,管理者應該隨時注意統計研究中資料錯誤的可能性。使用錯誤資料比完全不使用這些資料來得更糟。只要取得之資料值與經過正確程序取得的真實資料值不符合，就發生資料取得的錯誤。此類錯誤有幾種可能，例如，訪談員可能記錄錯誤，把 24 歲記成 42 歲，或是受訪者誤解題意而做出不切題的回答。有經驗的資料
16、分析人員會很謹慎地蒐集與記錄資料，以防止錯誤發生。可藉由特別程序來檢查資料的內部一致性。,第1章 資料與統計 第13頁,37,1.4敘述統計,以表格、圖形或數字彙總的資料，稱為敘述統計 (descriptive statistics)。,第1章 資料與統計 第13頁,38,實例,表 1.1 的資料集，其中有 60 個世界貿易組織成員國的相關資料。我們可利用敘述統計的方法彙總此資料集。例如，變數之一的惠譽信用評等展望是表示該成員國在未來 2 年國家信用評等的可能走向。惠譽信用評等展望可以是負向、穩定或正向。表 1.4 將此變數的資料以表格形式彙總，相同資料的圖形表示在圖 1.4，稱為長條圖。以表
17、格與圖形彙總資料可使資料更容易解釋。從表 1.4 與圖 1.4 可以看出，約 65% 的成員國的惠譽評等展望是穩定，展望為負向或正向的國家則大致相同，各占 18.3% 及 16.7%。,第1章 資料與統計 第13-14頁,39,實例,第1章 資料與統計 第14頁,40,第1章 資料與統計 第14頁,圖1.4 60個世界貿易組織成員國的惠譽信用評等展望的長條圖,41,第1章 資料與統計 第14頁,圖1.5 60 個世界貿易組織成員國的平均每人生產毛額的直方圖,42,實例,表 1.1 的定量變數，即平均每人生產毛額的圖形彙整如圖 1.5，稱為直方圖。可以由直方圖清楚地看出， 60 個成員國的平均每
18、人生產毛額介於 $0 到 $60,000，高度集中於 $10,000 到 $20,000。只有一個成員國超過 $50,000。,第1章 資料與統計 第14-15頁,43,實例,除了表格與圖形之外，亦常使用數值的敘述統計來彙總資料。最常用的衡量值是平均數(average 或mean)。我們可以計算表 1.1 中 60 個成員國的平均每人生產毛額，只要加總 60 個成員國的平均每人生產毛額後，再除以 60，即可得到 60 個成員國的平均每人生產毛額為$21,387 。平均數可顯示資料集的中央趨勢或資料集的中央位置。,第1章 資料與統計 第15頁,44,1.5統計推論,母體(population)是
19、研究中所有元素所成之集合。樣本(sample)是母體的部分集合。統計學的主要貢獻之一是利用由樣本所得的資料對母體特性做估計與假設檢定，這種程序就是統計推論(statistical inference)。蒐集整個母體的資料進行調查，稱為普查(census)。蒐集樣本的資料進行調查，稱為抽樣調查(sample survey)。,第1章 資料與統計 第15頁,45,圖1.6 以 Norris 電子公司為例的統計推論過程,第1章 資料與統計 第16頁,46,1.6 分析,分析(analytics) 是種科學程序，將資料轉換為制定更佳決策的洞察力。分析工具可由資料創造洞見、提升預測能力、幫助量化風險、找
20、出更好的決策方案。一般而言，分析方法分為三大類：敘述分析、預測分析，以及規範分析。 敘述分析(descriptive analytics) 是描述發生於過去的事實的分析技術，如資料查詢、報告、敘述統計、資料可視化、資料儀表板，以及基本的 what-if 工作表模式。預測分析(predictive analytics) 的技術是以模型建構過去資料來預測未來，或評估一個變數對其他變數的影響。規範分析(prescriptive analytics) 是一組可以幫助找到最佳行動方案的技術。,第1章 資料與統計 第16-17頁,47,1.7 資料探勘,借助讀卡機、條碼掃描器及銷售時點系統，許多公司每天都
21、可以獲取大量統計資料。即使是運用觸控螢幕來處理顧客點餐及結帳的地區型小餐廳，蒐集到的資料也很可觀。對大型的零售公司而言，要完成將蒐集的資料概念化，並瞭解如何運用這些資料以提升獲利的可能，是一大挑戰。,第1章 資料與統計 第17頁,48,1.7 大數據與資料探勘,諸如沃爾瑪的大型零售店，每天的交易資料有 2000 萬到 3000 萬筆；電信公司如法國電信 (France Telecom)及 AT&T，每天則有 3 億筆通信紀錄；威士卡(Visa)信用卡組織每秒處理的信用卡交易達6,800 筆，約是每天 6800 萬筆紀錄。,第1章 資料與統計 第17頁,49,1.7 大數據與資料探勘,現在常將較
22、大型且複雜的資料集合稱為大數據 (big data) 。許多資料分析師將大數據定義為具有3V 性質的資料：數量 (volume) 是指可用資料的總量速度 (velocity) 是指蒐集與處理資料的速率多樣性 (variety) 則是指不同的資料類型,50,第1章 資料與統計 第18頁,1.7 大數據與資料探勘,資料倉儲 (data warehousing) 一詞是指取得、儲存與維護資料的程序。分析倉儲中的資料可能獲得產生新策略，並使組織獲得更高利潤的決定。,51,第1章 資料與統計 第18頁,1.7 大數據與資料探勘,資料探勘 (data mining) 是一種方法，可以運用在大量資料庫中以開
23、發出有利決策的資訊運用來自統計、數學及電腦科學的綜合程序，分析人員探勘倉庫中的資料(mine the data)，並將之轉換成有用的資訊，因此名為資料探勘。雖然使用者只用最一般甚至模糊的提問，但最有效率的資料探勘系統可運用自動程序由資料庫中萃取資訊。而且資料探勘軟體將發現隱藏的預測性資訊的程序予以自動化，過去這些程序需要人員來進行分析。,第1章 資料與統計 第18頁,52,1.7 大數據與資料探勘,資料探勘的主要運用者是非常以顧客為中心的公司，例如，零售事業、金融機構及溝通公司。資料探勘已成功地協助諸如亞馬遜 (Amazon) 及邦諾書店 (Barnes & Noble) 找出已購買某種商品的
24、顧客可能會購買的其他相關商品。當一名顧客登入公司網站並購買商品後，網站使用彈出式視窗提醒顧客可能願意加購的商品。另一個資料探勘的應用則是，辨識出在某特定的購物行程中可能花費超過 $20 的顧客。這些顧客可能會收到特別的電子郵件或是定期的郵件折扣優惠，以鼓勵他們在折扣期結束前再次進行採購。,第1章 資料與統計 第18頁,53,1.7 大數據與資料探勘,資料探勘的技術相當依賴諸如多元迴歸、羅吉斯迴歸及相關性等統計方法。但是，它將這些方法與涉及人工智慧和機器學習的資訊科學做了創造性的整合，使資料探勘變得有效率。要建置由甲骨文 (Oracle)、Teradata 及SAS 等公司開發的商用資料探勘套裝
25、軟體需要投入相當的時間與金錢。,第1章 資料與統計 第18頁,54,1.7 大數據與資料探勘,找到一個適用於某特定統計樣本的模型，不必然表示此模型也能可靠地適用於其他樣本。評估模型可靠度的常用統計方法是將樣本一分為二，分為：訓練資料集及檢驗資料集。另一方面，關於資料探勘應用的警告是，由於有如此大量的可用資料，會有過度配適模型的風險，以致出現誤導的關聯或因果關係的結論。謹慎地解釋資料探勘的結果，並且進行附加的檢驗將可避免此一陷阱。,第1章 資料與統計 第18-19頁,55,1.8 電腦與統計分析,統計學家常使用電腦軟體進行需要大量資料的統計運算。例如，計算 Norris 電子公司 200 個燈泡
26、的平均壽命 (見表 1.5)，如果沒有電腦的幫忙，計算過程相當繁瑣。章末的附錄裡會逐步說明如何使用 Excel 進行該章所介紹的統計分析。,第1章 資料與統計 第19頁,56,1.9 統計實務的倫理守則,在統計研究中有各種不同形式的不道德行為，包括：不適當的抽樣不適當的資料分析誤導人的圖形不適當的彙整統計資料統計結果的偏差解釋,第1章 資料與統計 第19頁,57,1.9 統計實務的倫理守則,當你開始自己的統計工作時，我們鼓勵你在蒐集資料、進行分析、口頭報告及書面報告時都能公平、詳盡、客觀和中立。做為統計資料的消費者，你也應該能瞭解其他人可能出現的不道德統計行為。,第1章 資料與統計 第19頁,
27、58,1.9 統計實務的倫理守則,美國的最重要的統計專業組織美國統計學會 (American Statistical Association) 建立了名為統計實務的倫理守則 (Ethical Guidelines for Statistical Practice) 的報告，以協助統計實務工作者進行合乎道德的決策，並協助學生學習如何負責任地執行統計工作。,第1章 資料與統計 第19頁,59,1.8統計實務的倫理守則,該報告包含八大領域的 67 條守則。八大領域包含：專業主義；對出資者、客戶及雇主的責任；對出版品及證據的責任；對研究主體的責任；對研究同僚的責任；對其他統計學者及統計工作者的責任；對不當行為指控的責任；對雇主的責任，雇主包括組織、個人、律師或其他僱用統計工作者客戶。,第1章 資料與統計 第19-20頁,60,End of Chapter 1,61,
