数据挖掘技术在美国院校研究中的应用.DOC

1、数据挖掘技术在美国院校研究中的应用数据挖掘（data mining）是一项新兴技术。作为商业智能（business intelligence）的重要组成部分，它已被广泛应用于企业及金融领域，成为产品分析、市场预测、欺诈防范等工作流程中举足轻重的技术手段，并取得了卓著的成效。近年来，随着高校数据收集量的不断增加以及教育决策对量化分析结果的愈加依赖，数据挖掘在美国高校管理中的应用呈显著上升趋势。本文将简要介绍数据挖掘技术及其在美国高校管理中的应用现状，并通过个案分析，详细阐述数据挖掘建模步骤。一、数据挖掘技术：定义与方法（一）数据挖掘技术数据挖掘是集数据库结构、统计学原理、机器学习、高性能计算等为

2、一体的复杂技术融合体，是通过抽样、整合处理、建模、评估等一系列科学运作，从数据中探寻隐藏的信息和知识的过程。这些知识和信息可能体现了挖掘对象的个体特征，也可能反映了研究群体的发展变化趋势，等等。例如，我们可利用数据挖掘技术将具有共同或者相近属性的案例分群、分类，也可估算和预测未来某种事件发生的可能性，亦可探究某些事件发生的规律。（二）数据处理与整合数据处理与整合是数据挖掘的关键步骤之一。数据不准确、不完整都会导致分析挖掘结果的误差，从而影响获取暗藏在数据中的有用知识和信息。目前，绝大多数用于挖掘的数据都来自于数据库。但由于数据往往来自于不同的组织或者数据库，变量的定义不尽相同，也没有可以用来合

3、并数据集的通用变量，因此，挖掘人员在建模之前必须对数据进行整合，并检查变量值的类别、分布状况，等等。在许多挖掘项目中，处理数据所花费的时间比建模的时间花费要多几倍。在处理数据时，常见的棘手问题是对数据集缺失值的填补和对偏态分布变量值的转换。处理缺失值有许多方法。一种是在分析数据时只包括具有完整数据的个体。但这种方法的弊端是有时缺失值本身反映了数据的某种特征，因此删除具有缺失值的个体会影响研究结果；另外，如果数据集含有非常多的缺失值，那么删除缺失值将使研究个体数量锐减，同样会影响研究结果。另一种方法是填充缺失值。有许多统计方法可用来完成这项工作，比如平均值、中值、回归方程预测等等。数据挖掘软件通

4、常提供多种方法供研究人员根据数据的特点选择使用。处理偏态分布或含有游离值的连续性变量同样有多种可选择的方法。当然，建模者要根据使用的建模方法决定是否需要对这些变量进行数据转换。如果决定需要对某些变量进行转换，建模者必须根据变量的分布状态选择转换方法。（三）数据挖掘方法数据挖掘技术包括许多不同的方法，其中常用的有决策树(Decision Tree)、神经网络(Neural Network)、回归(Regression)、逻 辑 回 归 (Logistic Regression)、关 联(Association Rules)、聚类(Clustering)、集成(Ensemble)等。回归和逻辑回归

5、方法和传统统计方法完全相同。本文仅对第三部分个案分析中使用的决策树、神经网络和集成方法予以简单阐述。决策树是利用一系列的决策规则将庞大的数据集分割成较小的具有同等或者非常相近属性的子数据集。图 1 显示了决策树的生成过程。个案从根节点进入决策树，然后由函数变量和测试方法决定个案所归属的下一个子节点或叶节点。类似的程序重复循环直到所有个案归属于某个叶节点。从根节点到每一个叶节点的路径形成一条“规则” 。这些规则被用来对目标数据集进行预测分类。例如，图 1 所显示的决策树含有五个路径，分别代表一条规则。神经网络通过模拟人的神经活动程序来处理一系列信息。它是由类似于神经元的许多元素精密连接形成的网络

6、，通常包括三个层次：输入层、隐藏层和输出层（图 2） 。输入层是将原始数据输入到神经网络。隐藏层包含许多类似于“神经元”的节点。这些节点是通过对输入变量之间及其与目标变量之间关系进行复杂运算产生“权重”结果。输出层所包含的变量可能是单一性的，也可能是多重性的。它们是通过对隐藏层上的神经元和输出值之间的“权重”进行计算得到。集成模型以其他挖掘方法建立的模型为基础构建而成。如果预测变量是分类型，集成模型是通过对预测变量的百分比进行平均得到新的集成模型的预测百分比；如果预测变量是连续型，集成模型则是通过对预测值进行平均得到新的集成模型的预测值。常用的建立集成模型的方法有两种：一种是从原始数据集中抽取

7、不同的子数据集，然后利用同一种挖掘方法建立不同的模型，并将这些模型综合建立集成模型；另一种方法是用同一个数据集，利用不同的挖掘方法建立模型，然后再将这些模型综合建立集成模型。图 1 决策树生成示意图图 2 神经网络生成示意图（四）模型的建立与评估建模时，通常需要将数据集分割(data partition)成运行(training)、确认(validation)和测试(test) 三个子数据集。运行数据集是用来建立最基本的数据模型；确认数据集是用来监测和调整利用运行数据样本所建立的模型，以避免过分拟合（overfitting） ，同时用来对模型进行评价；测试数据集顾名思义是用来对模型进行测试，其

8、本身并无优化模型之功用，但通过测试，建模者对模型的评价参数有了进一步了解，因此有机会决定是否需要重新对数据进行处理或者选择建模方法。当然，是否需要将原始数据集分割成三个子数据集以及每个子数据集所含案例的多少取决于原始数据集的大小。如果原始数据集不够大，亦可不进行分割，但建模效果可能会受到影响。建立一个高准确度的模型不仅取决于数据集的质量，同时受建模参数和标准的影响。所有建模方法都有各自不同的参数和标准。例如，利用决策树建模时，建模者需要决定个案“叶节点” 、 “归属”或“分支”评定标准（splitting rule） ，每个“叶节点”所含有的最少个案数，等等。又如，建立集成模型时，可以选择平均

9、概率，亦可选择最大概率作为分类标准。这些都需要建模者预先制定。当然，建模者可以反复尝试，选取最佳方案。由于数据挖掘提供了多种建模方法以及技巧，因此模型评估和比较是建模不可或缺的程序。几乎所有数据挖掘工具都提供了多元化和可视化的模型评估以及比较方法。这也是数据挖掘技术与传统统计方法相比的优势之一。本文第三部分将结合个案分析对有关评估与比较方法予以介绍。二、数据挖掘技术在美国院校研究中的应用：领域与效果近年来，数据挖掘技术在美国高校管理及院校研究中的应用越来越广泛，例如，预估大学入学人数、优化课程设置、预测学生保留及毕业情况、评估学生的学习成果、研究学生学习生活经历，等等。下面略述数据挖掘技术在院

10、校研究中最常用的五个领域。（一）大学入学预测美国大学招生由学校自主实施，每位申请学生可能被多所大学录取，从而导致大学入学率都很低。例如，2007 年加州大学伯克利的新生入学率为 41%，其他分校的入学率仅为 20%左右。这种招生方法虽然有利于学生，但给大学招生、入学管理、课程安排、财务计划等造成了许多困难。因此，为了有效地制定有关政策，做好学前准备，许多大学在招生结束后都会根据学生的个人背景信息以及学业成绩对入学情况进行预测。近年来，越来越多的管理人员利用数据挖掘方法，如分类回归树(C&RT) 、神经网络、逻辑回归对学生的入学情况进行研究和预测。有研究表明学生来源地区、学校和学生之间的联系方式

11、等对学生的入学决定有显著影响。这些结果促使学校重新考虑鼓励学生入学的方法，并加强这方面的投入，最终对提高入学率有一定效果。（二）学生保留与毕业预测“宽进严出” 、 “自由转学”是美国大学的特点之一。无论在久负盛名的“常春藤”大学，还是在闻名遐迩的伯克利、弗吉尼亚、密西根等公立大学，甚至在普通的本科大学和社区学院，学生的保留率和毕业率都很难达到 100%。学生离开的原因很多，例如为了寻求自己理想的大学而转学、学习成绩达不到要求而辍学、家庭经济出现困境而弃学，等等。这对学校的办学质量有着不可估量的影响。因此许多大学采取多种措施来提高保留率和毕业率。其中之一就是通过对学生的学习成绩以及有关调查信息进

12、行分析来了解学生离开的原因，并预测具有高风险辍学的学生，然后采取有效补救措施，帮助他们渡过难关（提高学习成绩、提供经济资助、排除心理障碍、进行专业调整，等等） ，使他们圆满完成大学学业。近些年来，数据挖掘技术在类似研究中的应用越来越广泛。这些研究表明，数据挖掘技术的预测准确率明显高于传统统计方法。（三）学习成果评估随着大学教学模式由传统的“行为主义”方式向“构建主义”教学过渡，如何更有效地对学生成绩进行评估也成为广大教师和评估工作人员面临的挑战之一。除了利用传统的考试方法对学生所学知识进行考核外，越来越多的授课教师侧重对学生的学习行为进行评价，譬如合作意识、创新精神、实践能力，等等。这些评价结

13、果更有利于帮助学生提高学习效率，特别是应用知识的能力。但靠传统的评价方法很难有效地完成类似的评估工作，或者说评估结果的可靠性难以得到保证。近几年来，许多学者尝试利用数据挖掘技术提高评估效度。哈佛大学的研究人员娇蒂克拉克（Jody Clark）和克里斯戴迪（Chris Dede）在这方面的尝试非常值得借鉴和参考。他们通过复杂的教育媒体收集丰富的与学生学习行为有关的数据，然后利用数据挖掘技术对其进行分析和研究。其评估价值体现在：1）完成对学生的形成性评估，为教师及时提供信息反馈；2）完成对学生的总结性评估，以真实的实践表现为基础了解学生最终掌握知识的情况；3）根据学生的个性特征，深层了解学生的学习

14、行为以及学习成效；4 ）合理评判学生合作学习和解决问题的能力；5）通过对学生的学习行为规律和学习成效之间的“路径”关系进行“挖掘” ，洞察学生的学习动态。（四）学生大学生活经历问卷调查研究利用调查问卷对学生的学习生活经历进行调查研究是美国大学评估重要的组成部分。比如，2007 年使用 NSSE 的大学有 610 所，加州大学每两年使用 UCUES 对本科学生的经历进行调查评估。多年的经验早已证明，调查结果对学校制定相关政策，并采取措施来丰富学生校园文化生活有着非常重要的意义。但在进行问卷调查时，各大学面临的一个共同问题是问卷回收率都比较低，例如，加州大学 2006 年的调查，平均问卷回收率仅为

15、 38%，有的分校甚至更低。亚利桑那州立大学的研究人员利用数据挖掘技术（分类树等）对影响问卷回收率的因素进行了研究。他们发现学生的级别、性别以及种族并不是影响问卷回收率的关键因素；相反，调查内容以及方法（如网络方法与信函方法）对学生决定是否回复问卷影响更大。（五）募集资金在美国大学教育经费来源中，捐赠款占相当大的比例，特别是在私立大学，校友以及社会友人的捐款更是不容小窥。近几年来，美国经济衰退，政府给教育的拨款连年压缩，公立大学的生存遭到前所未有的威胁。例如，加州州政府对加州大学的拨款已从 1990 年的生均15860 美元降至 2008 年的 9560 美元（以 1990 年货币值计算） ，

16、降幅达 40%。面对如此严峻的形式，各个学校都尽其所能，吸引社会力量和个人捐赠来弥补预算缺额，以提高学校生存和继续发展的能力。在这项棘手的工作中，数据挖掘自然成为众多大学管理与研究人员青睐的技术工具。他们利用挖掘方法通过对历史性捐款数据的分析来预测未来可能给学校捐赠的人员，从而有的放矢的进行宣传和说服。贝勒大学就是其中利用这项技术的一个范例。他们利用决策树、神经网络以及回归方法以 2004 年的数据为基础构建了捐款预测模型，然后用此模型预测可能在未来提供捐款的人员，然后进行针对性的宣传和激励，效果颇为显著。 三、数据挖掘技术在加州大学本科招生中的应用：个案介绍数据挖掘通常包括六个步骤：(1)理

17、解商业运行机制，包括长期规划、需要解决的问题、项目目的等；(2) 理解数据，包括了解数据收集过程、熟悉数据结构、判别数据质量以及识别对隐藏信息有用的元素等；(3) 描述数据，包括变量选择、数据整理、缺失值补充以及数据转换等；(4) 建模，包括建模方法选择、参数确定等；(5)评估模型，包括对单个模型的评价以及多项模型的比较等；(6) 模型的应用。下面通过介绍加州大学本科招生数据挖掘项目对各个步骤予以阐述。（一）加州大学招生简述及项目目标加州大学 9 所分校在校长办公室的统一协调下通过“综合评审”的原则招收本科生。“综合评审”包括两个步骤：第一步是对申请学生的合格性通过多种方法进行确定；第二步是对

18、合格学生的所有背景、特征及技能进行综合评定，并以此为标准做出录取决定。加州大学虽然保证录取所有合格的学生，但由于有的分校或专业竞争激烈，例如伯克利分校、工程专业等，因此不能保证完全按学生的报考志愿录取。在这种情况下，所有合格、但未被报考分校录取的学生，将被推荐到两所加州大学制定的分校，以确保尽可能录取每位合格的学生。另一方面，这两所分校也通过录取这些“落榜”的学生来增加其入学人数。由于加州大学的录取审核工作是由各分校负责进行，招生的最后决定到四月初才能见分晓。这时许多学生可能同时接到其他大学的录取通知，并需要在短期内选择自己要上的大学。因此，从吸引合格学生入学的角度来说，这时再向学生推荐这两所

19、大学为时已晚。为了提前做好这一工作，校长办公室招办在一月份申请截止日期之后就对申请学生的录取情况进行预测，并将这些合格但极有可能被拒的学生名单提供给这两所分校，供他们提前向学生宣传学校的情况，鼓励学生来这两所学校就读。校长办公室用来完成这项预测分析研究的工具就是 SAS Enterprise Miner 数据挖掘技术。（二）数据理解及其描述建模数据包括 2007 年申请加州大学的大约 4.5 万合格学生。预测对象是申请 2008 年秋季入学的大约 4.8 万合格学生。这些数据都储存在加州大学学生数据库中。被预测的变量是是否能被申请学校录取。自变量包括学生的个人信息、学习成绩、家庭信息以及就读学

20、校信息（表 1） 。其中家庭收入、高中成绩以及入学标准化成绩为连续性变量，且都有缺失值存在。此项目利用决策树、神经网络和回归建立预测模型。为了确保三种模型的可比性，建模数据具有同等数量的研究对象非常重要。因此，必须对缺失值进行补充。经过多种尝试，平均值方法被证明在此项目中最为有效。另外，家庭收入偏态分布显著，且含有许多游离值。虽然决策树和神经网络方法都不要求变量必须呈现正态分布，但对逻辑回归方法来说，如果变量偏态分布显著，极小一部分案例可能对挖掘结果产生很大影响。因此，对家庭收入变量进行数据转换很有必要。根据数据分布特征，平方根在此项目中是最有效的转换方法。缺失值的补充和家庭收入变量值的转换分

21、别通过图 3 中显示的“缺失值填充节点”(Impute) 和“数值转换节点”(Transform Variables)完成。（三）建模及模型评估图 3 中的第一个节点是用于建模的 2007 年数据集节点，通过这个节点可以观察原始数据集的分布情况。利用数据分割（Data Partition）节点通过随意抽样方法将建模数据集分为运行、确认和测试数据集，运行数据集占总数据集的 40%，确认和测试数据集各占30%。运行决策树、神经网络、逻辑回归节点以及集成节点分别生成四个模型。前面已经提到，在运行每一个节点之前需确定相应的建模标准。当然，可以通过多次尝试，选择最佳方案。SAS 挖掘工具提供了多种不同的

22、评估模型的方法。这些方法既可用来对单个模型进行评估，也可用来对所有模型进行比较。通过运行图 3 中显示的模型比较节点(Model Comparison with Ensemble)即可得到比较结果。 ROC(The Receiver Operating Characteristic)曲线（图 4）是一种常见的比较模型准确度的方法。纵坐标显示的是预测到的“事件”除以真实发生的“事件”总和，被称之为敏感度(Sensitivity)。横坐标显示的是 1 减去特指度(Specificity)。特制度是由预测到的 “非事件”数除以真实存在的“非事件”数的总和。当敏感度和特指度越高，ROC 曲线向左上方推

23、进越大，模型的准确度也越高。图 4 中的对角线代表了基准度。如果模型的 ROC 曲线和基准线重叠，那么这个模型将毫无预测效果。四个模型中，集成、神经网络和逻辑回归的 ROC 曲线几乎重叠，准确度非常相近。但决策树的 ROC 曲线明显向右下方倾斜，因此准确度最低。模型的准确度也可用曲线右下方所占整个坐标区域面积的百分比表示，被称之为 ROC 指标(ROC Index)。ROC 指标越高，模型的准确度越高。ROC 指标显示集成模型的准确度最高（表 2） 。图 5 显示了测试数据集模型预测“事件”发生累计(Cumulative % Captured Responses)曲线分组比较结果。这种比较方法

24、是先将研究对象按照预测“事件”发生概率从大到小排列，然后分成相同的若干组，再察看不同模型在相同组内所预测到的“事件”占所有真实“事件”的比例。例如，从图 5 我们可以看出，集成、回归以及神经网络模型都能够在前 20 组内或者说排名在前 20%的研究对象中成功预测到所有“事件”的大约 80%；相反，决策树在相同的组内只能预测到大约 65%的“事件” 。就此项目而言，这些比较结果告诉我们，如果我们选择集成模型，并对 2008 年合格学生按预测概率排序的前 20%的学生进行宣传，那么我们可以预测到 80%的最终被推荐到两所分校的学生。表 2 是 SAS 数据挖掘工具提供的部分模型比较统计方法以及结果

25、。错误分类比率是错误分类的个案数除以个案总数。显然，错误分类比率越小，模型的分类准确率越高。集成模型在三个数集上的错误分类比率最低，其次是神经网络。均方差是个案考察结果（“事件”1 ；“非事件”0）和其被预测“事件”发生的概率之差的平方和除以考察个案总数。均方差越小，模型越准确。神经网络模型的均方差在所有三个数集上的均方差最小。需要注意的是，由于每一种统计方法从不同的角度考察模型的准确性，因此，它们评价的结果不一定完全相同。建模者要根据各自的项目目的，选择合适的模型评价方法，以及最终用于对未来数据进行预测的模型。此研究项目的目的是将学生分类，即是否被录取，因此，选择“错误分类比率”作为确定最佳

26、模型的方法。也就是说，集成模型是本项目最终选用的模型。另外，通过对每个模型的单独考察，还可以进一步了解每个变量在建模中所起的作用。图 6 显示了逻辑回归方程中变量系数绝对值的排序，第一个直条代表回归方程中的常数。第二个直条代表高中 GPA，在建模中作用最重要，表明高中 GPA 在加州大学本科招生中的影响力最大，GPA 越高，被拒绝的可能性越小。图 7 显示了决策树的根节点和第一级的分支变量及其统计数据。首先，和上面提到的回归方程一样，决策树图表明高中 GPA 在决策树建模中具有最重要的作用。其次，从叶节点中我们还可以看到，当申请学生的 GPA 等于或大于 3.6 时，他们被申请学校拒绝的概率仅

27、为 7%。换句话说，在这种情况下，仅有 7%的学表生被推荐到加州大学的两所分校。相反，如果申请学生的 GPA 小于 3.6，有 37%的学生有可能被申请学校拒绝。进一步考察决策树全图，我们可以了解所有影响构建决策树的变量以及分支数值和有关统计结果。（四）预测结果及其应用选定最佳模型后，可以利用图 3 中显示的积分节点（Score ）生成 SAS 程序，用来计算预测数据集个案“事件”发生的概率。通过集成模型计算，2008 年的 4.8 万学生中有 7770 名学生将被预测推荐到加州大学的两所分校。根据实际招收结果，共有 8460 名学生被推荐到这两所分校。预测被推荐的学生数占实际被推荐学生数的

28、92%。表 3 还列举了预测被推荐的学生人数和实际被推荐的学生人数之间在不同预测概率区间上的比较。例如，如果选择预测概率在 50%或者以上的学生作为被推荐对象，那么总共被预测推荐的学生数将为 6659，其中 4597 名学生最终包括在被预测推荐的学生中，准确率为 69%。从预测人数占所有用于预测的群体的百分比累计以及实际被推荐人数占所有被推荐学生百分比累计来说，如果最低概率是 40%，那么，65%的实际被推荐学生将来自于 17%的所有被预测群体。两所分校分别对预测概率等于或高于 40%的学生进行了宣传和意见征求。最后根据学生的反馈意见录取了 1099 名学生(表 4)。这些学生中最终选择就读这

29、两所分校的学生有 241，入学率接近 22%，相当于普通推荐学生入学率的三倍多。和前几年比较，2008 年被推荐学生的入学率提高 1.6-1.9 个百分点，被推荐学生的入学人数占所有入学人数的比例也上升了大约 2.5-3.2 个百分点。这些统计数据表明，预测模型有效地帮助这两所分校提高了被推荐学生的入学率。四、结语综上所述，数据挖掘技术在美国高校管理和院校研究中的应用已非常广泛。它能帮助大学管理人员更好地分析数据，从而获取潜藏的、有用的信息和知识，最终提高决策效率。众所周知，高等教育，特别是公立大学正在面临前所未有的挑战，例如，全球化竞争日趋激烈、政府拨款占经费开支的比率逐年降低、社会对大学办

30、学质量的质疑和问责愈加强烈、毕业生就业难度越来越大，等等。为了能在这些竞争中取胜，大学决策必须以科学的研究和分析为基础。就像企业早已凭借商业智能来提高管理绩效一样，大学管理也必然向院校智能(institutional intelligence)化模式发展。因此，院校研究所探索的问题除了包括“是什么”， “怎么样”外，应更加重视“为什么”以及将来“怎么办” ，等等。显然，单纯靠“经验”是很难确切地回答这些问题。只有通过积累数据，构建完善的信息系统，利用科学先进的统计分析工具，如挖掘技术对数据进行深度探索，进而增进院校智能强度，才有可能更加科学客观地解答这些难题。常桐善（美国加州大学 校长办公室）