大数据分析 -市场、营销数据分析高级应用 唐晓彬 对外经济贸易大学统计学院一、数据分析必备基础知识 1.什么是数据分析 数据分析是指用适当的统计方法对收集 来的大量第一手资料和第二手资料进行分 析,以求最大化地开发数据资料的功能, 发挥数据的作用。是为了提取有用信息和 形成结论而对数据加以详细研究和概括总 结的过程。2.逻辑树的分析方式3.定性分析与定量分析 定性分析 定量分析4.统计数据的内在规律 通过统计描述和统计推断的方法探索数据 内在规律 描述统计 推断统计5.数据尺度及基本度量方法 为了选择一个恰当的统计方法来描述和分 析数据,我们需要区分不同的度量尺度( measurementscales)或者说是测量标准。 所有数据都会用下面四种度量尺度之一进 行度量:名义型、顺序型、区间型或者比 率型。6.数据的预处理和“脏”数据处理7数据检查的主要步骤 基本检查 属性检查 拓扑关系检查 逻辑一致性检查 完整性检查8提取数据应注意的关键环节 目标性 需求性 方法性9.合适的方法处理特异值 直接删除法 暂且保留,待结合整体模型综合分析法 如果样本量很小,可以考虑使用均值或其他统 计量取代