基于ＸＭＬ的电子商务Ｗｅｂ数据采掘技术的应用.doc

1、基于的电子商务数据采掘技术的应用摘要 本文简述了 XML 语言的特点,并对电子商务 Web 数据采掘技术的方法进行了分析,探讨了基于 XML 的电子商务 Web 数据采掘技术的应用，为企业有效地确认目标市场、改进决策获得更大的竞争优势提供帮助。 关键词 XML 电子商务 数据采掘 一、引言 家用计算机的普及、互联网及网络通信的迅猛发展已经将人类社会带入了网络经济时代。电子商务以其具有的成本、效率和创新优势，在商务活动中占据了一席之地，并不断地为越来越多的企业及个人所接受和采用。 在电子商务活动中，每个客户都会有自己的消费习惯，并对信得过的商品有一定的忠诚度，分析客户的需求信息和购物行为特征就成

2、了商家必做的功课。基于网络技术的电子商务的发展，使得商家 Web 服务器上积累了大量的客户信息数据，这些数据为从事电子商务的商家提供了深入了解客户需求，改进经营现状和提供更好的服务的可能性。从网络上得到的大量信息数据中提取有用的信息和知识，为商家创造更多潜在的利润，在这样的商业背景下出现了电子商务 Web 环境中的数据采掘技术。目前，数字采掘技术作为电子商务领域的重要应用技术之一，为商业决策提供着强有力的支持和保证，已经逐渐成为电子商务的重要工具。二、XML 与数据采掘 XML 是 The Extensible Markup Language(可扩展标识语言)的简写。XML 是一套用来标记文档

3、的语法，它是由 SGML 发展而来，由 W3C(World Wide Web Consortium 万维网联盟)制定标准。其目标是统一未来跨平台数据交换的格式，并取代现有的 HTML 成为下一代 Web 页的标准。 XML 是一种跨平台的语言，因规范简单、良好的可扩展性、传输内容与传输方式相隔离、具有自我描述能力等优异特性而在全世界范围内得到了越来越多的认可,成为众多商家与用户争相开发及采用的技术。 数据采掘又称数据挖掘，就是从大量的、不完全的未知数据中提取隐含在其中的对使用者的分析有用的信息和规律。数据采掘的主要任务是对数据进行描述和预测，描述数据的特性，对数据进行合并分组，并进行推断预测。

4、 数据采掘应用于商业中，它是一种新的商业信息处理技术，主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理，从中提取辅助商业决策的关键性数据。 三、电子商务 Web 数据采掘技术 客户在互联网上漫游时，其浏览信息会被网站服务器自动收集并保存在访问日志、引用日志、代理日志中。通过对这些信息的有针对性的分析，可以揭示其中的关联关系、时序关系、被频繁访问的页面和路径等等。 1.数据动态采集与预处理 在开发 Web 使用记录采掘技术中，首先要对日志文件进行预处理数据，预处理的方法包括：数据清理、数据集成和转换、数据归约。数据清理可以去掉数据中的噪音，纠正不一致。数据集成将数据由多

5、个源合并成一致的数据存储，如数据仓库或数据方。数据转换（如规范化）可以改进涉及距离度量的挖掘算法的精度和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来压缩数据。数据预处理在数据采掘之前使用，以便改进数据的质量，提高其后的采掘过程的精度和性能，降低实际采掘所需要的时间。 2.Web 数据采掘的基本方法 Web 数据采掘(Web Data Mining)，是数据采掘技术在 Web 环境下的应用，是从大量的 Web 文档集合和在站点内进行浏览的相关数据中发现潜在的、有用的模式或信息。对应于不同的 Web 数据，Web 采掘分成三类：Web 内容采掘、Web 结构采掘和 Web 使用模式采掘

6、。 Web 内容采掘是指从 Web 上的文件内容及其描述信息中获取潜在的、有价值的知识或模式的过程。Web 结构采掘就是对 Web 文档的结构进行采掘。对于给定的 Web 文档集合，应该能够通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映文档之间的包含、引用或者从属关系。 Web 使用模式采掘(Web Usage Mining)是对用户访问 Web 时在服务器方留下的访问记录进行采掘,通过采掘 Web 日志记录，分析和探究 Web 日志记录中的规律，可以识别电子商务的潜在客户，增强对最终用户的网上信息服务的质量和交付，改进 Web 服务器系统的性能。其主要特点是对用户信息数据进行抽

7、取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 数据采掘通过数据采掘器进行，其主要功能是进行实际的采掘操作，从经过预处理的数据中发现模式和规则，借助 OLAP 引擎和相关算法实现动态更新。 在 Web 日志记录上可以进行数据采掘，用于找出关联模式，序列模式，和 Web 访问趋势等。 3.Web 数据采掘的主要技术 适用于电子商务数据采掘的主要技术有关联分析、序列模式分析、分类分析和聚类分析等。数据采掘器按照数据采掘的技术方法进行设计，每种采掘技术包含一些不同的具体实现算法，构成在功能上相互独立的子模块，存放在采掘算法库中。采掘算法库包括： 关联分析：应用已有关联规则算法侧重

8、进行兴趣关联规则分析，找出或判断出客户对网站进行访问的相关关系，揭示数据间的内在联系，可据此调整站点的结构。 序列模式分析：采掘出数据的前后时间顺序关系，分析其是否存在一定的趋势，以预测未来的行为（访问，浏览等） 。 分类分析：通过对数据的分析，给出数据间类的公共属性描述，为每个类别做出准确的描述或建立分析模型或采掘出分类规则，然后用这个分类规则对其它数据库中的记录进行分类。 聚类分析：分类分析的逆过程，按照“类内相似性最大，类间相似性最小”的原则，对数据进行类的聚集。通过分组聚类找出具有相似行为的客户，分析其共同特点，据此可向客户提供更为合适的服务。 路径分析：通过对日志文件中的数据进行分析

9、，寻找到被访问最频繁的路径。 借助图形学和图像处理技术，将通过数据采掘获得的数据模式，以图表或可视性文本的形式呈现给使用者，以利于具有不同知识背景的使用者能够快速地从采掘结果中得到有效信息，从而尽快做出决策。 4.数据采掘面临的问题 利用数据采掘技术可以帮助获得决策所需的多种知识。但是随着数据采掘研究的深入，需要解决面临的问题:(1)数据预处理是一个比较烦琐的过程，每个数据库描述数据的格式几乎都是不同的；(2)不同来源数据的集成问题的存在，搜索多样的不兼容的数据库实际上也是不可能的；(3)客户端采用不同的应用程序，不同的系统间在编程语言、操作系统、网络协议等方面存在异构性，使系统的可移植性、可

10、重用性和互操作性受到限制。 随着结构化标记语言 XML 越来越被人们接受和采纳，将会有大量的 Web 页面用 XML 书写，可以促进不同 Web 站点间的信息交换，方便构造多层次 Web 信息库的信息提取。我们可以利用 XML 语言的优异特性来解决数据采掘中面临的困难。 四、基于 XML 的电子商务 Web 数据采掘技术的应用 XML 是一种非常适于应用程序之间数据交换的格式，特别是松耦合的应用程序。XML 能够使不同来源的结构化的数据很容易地结合在一起，可以促进应用程序代码的重用，提高应用系统在面对需求和程序变化时的适应能力。 1.XML 格式转换器 在源数据端，数据可以是多种格式的，XML

11、 仅仅起到中间数据表示和消息传输的作用。 在数据预处理前，将源数据直接进入一个 XML 格式转换器，转换器是由 XML 格式分析模块、XML 格式转换模块、XML 格式生成模块构成，其中 XML 格式分析模块对进入的数据进行分析，判断进入的数据格式。XML 格式转换模块中存储了相应的格式转换程序，加入智能搜索引擎机制，用来把其他的数据格式转换为 XML 格式，能够自动地进行格式匹配和格式转换，该模块是整个转换器的中枢。XML 格式生成模块则把格式转换结果进行整理，经过 XML 格式转换器处理过的数据为统一、清洁的数据，具有规范的格式，能够被用来进行高效的数据采掘。这样就大大简化了数据预处理操作

12、。 XML 格式转换器的思想就是通过统一访问接口和不同访问实现异构数据源互连，数据源的异构性从而被屏蔽，可以改善应用的可移植性。 2.在电子商务 Web 数据采掘中的应用 在电子商务活动中，XML 简化了商家与消费者、商家与商家之间的数据交换过程。Web 数据采掘是为了从数据中发现模式。XML 具有很大的灵活性，为 Web 数据带来了结构化、智能化和互操作性，可使使用者共同享有标准的信息，也可根据他们商务应用程序的特定参数来采纳信息。 3.客户购买行为分析 通过对客户购买行为的分析，可以发现客户的购买习惯、爱好模式和需求趋势，便于商家改进服务质量，设计出更好的网页服务界面和销售策略，动态地调整

13、 Web 页面以满足客户的需要。提高满意度，保持忠诚度，并通过信息共享和优化商业流程有效地降低经营成本。 通过用户在网站上的浏览行为分析，发现潜在客户群体并对这类客户实施一定的策略，使他们尽快成为注册客户群体，增加网站经济和社会效益。 4.优化 Web 站点链接结构 通过对日志的采掘，发现用户访问页面的相关性，从而对密切联系的网页之间增加链接，方便用户使用。利用路径分析技术判定在一个 Web站点中最频繁的访问路径，可以考虑把重要的商品信息放在这些页面中，改进页面和网站结构的设计，增强对客户的吸引力。通过对 Web 日志的采掘，发现用户的期望位置，实现对 Web 站点结构的优化。 推荐系统采用聚

14、类算法，按照客户的特点进行分类，根据客户的基本信息和购买经历、习惯、爱好等，进行个性化的商品推荐。聚类技术可以将具有相似特征、购买经历、购买习惯的客户分配到相同的组中。同类的客户具有一定的相似性，聚类产生后，就可以在推荐商品时借鉴这类客户的特点和爱好，推荐更合适这类客户特点的商品，取得客户更多好感、树立良好的商家形象的同时也对客户有了更进一步的了解。 五、结束语 在开放的 Internet 平台上进行电子商务活动时，基于 XML 的电子商务 Web 数据采掘技术应用，可以大大简化数据的交换过程， XML 为电子商务 Web 数据采掘提供了巨大的潜在效益。 参考文献： 1(美)贝尔森，史密斯，西瑞林著；贺奇等译. 构件面向 CRM 的数据挖掘应用M.人民邮电出版社,200108 2刘君强，王勋，孙晓莹智能型数据挖掘工具的设计与实现J.计算机工程与应用,2003，39（17）：195197 3仇丽青;王敏;赵庆祯:面向 Web 的数据仓库体系设计J.计算机应用研究,2004,09 4岑琴赵建民朱信忠:基于 Multi_Agent 与数据挖掘的电子商务系统J.计算机科学,2006，33（8）：269272