Ｗｅｂ日志挖掘与电子商务.doc

1、日志挖掘与电子商务摘要 在电子商务中，根据客户的访问数据挖掘出有价值的信息，进而划分客户群体和发现潜在的客户，从而提升业绩，对电子商务网站有重要的意义。Web 日志挖掘是数据挖掘在 Web 页面上的应用，文章对 Web日志挖掘进行了介绍，给出了 Web 日志挖掘的步骤和方法，对 Web 日子挖掘工具进行了分析，并介绍了其在电子商务网站中的应用。 关键词 电子商务 数据挖掘 Web 日志挖掘 一、引言 随着计算机技术、通信技术和网络技术的飞速发展，电子商务的发展也有了越来越好的技术平台，许多公司都建立了自己的网站，这是公司的门户和电子商务进行的所在。Web 数据挖掘是当前最前沿的研究领域，是把

2、Internet 和数据挖掘结合起来的一种新兴技术。Web 数据挖掘是知识发现的特定步骤,也是最核心的部分。Web 日志挖掘是 Web 挖掘的重要内容，其技术和方法在电子商务中有着巨大的应用空间和应用价值。如发现有价值的信息、寻找潜在客户和提供个性化服务等。 二、Web 挖掘及 Web 日志挖掘 Web 挖掘是将数据挖掘的思想和方法应用到 Web 页面内容、页面之间的结构、用户访问信息等各种 Web 数据中，从中抽取隐含的、以前未知的、具有潜在应用价值的信息。根据挖掘的对象不同，Web 挖掘可分为Web 内容挖掘、Web 结构挖掘和 Web 日志挖掘。 1.Web 内容挖掘 Web 内容挖掘主

3、要从 Web 文档的内容中抽取出有用的知识。由于 Web文档的绝大部分内容是以文本的形式存在，所以 Web 内容挖掘主要针对的是 Web 文档的文本部分，文本挖掘主要包括对 Web 文档文本的总结、分类、聚类、关联分析等。除了文本挖掘以外，Web 内容挖掘还包括 Web上的声音、图形、图像信息的挖掘、数据库中的数据挖掘和信息获取等。2.Web 结构挖掘 Web 结构挖掘主要通过 Web 页的组织结构和超链接关系以及 Web 文档自身的结构信息（如 Title, Heading, Anchor 标记等）推导出 Web 内容以外的知识，可分为超链挖掘、内部结构挖掘和 URL 挖掘。 3.Web 日

4、志挖掘 Web 日志挖掘即 Web 使用记录挖掘，是从用户的访问记录中抽取具有意义的模式。其数据源有服务器的日志、用户注册数据、跟踪文件的数据记录、用户访问期间的事务、用户查询、书签数据和鼠标移动点击的信息。Web 日志记录挖掘应用的技术主要有路径分析、关联规则分析、序列模式分析、聚类分析、统计分析等。Web 使用记录挖掘可以发现潜在的用户、改进电子商务网站的建设、增加个性化服务等。 三、Web 日志挖掘的步骤 Web 日志挖掘步骤主要分为源数据收集、数据预处理、模式发现、模式分析个阶段。 1.源数据收集 源数据收集主要是 Web 日志文件的收集。对于一个电子商务网站来说，经过一段时间后，用户

5、会在网站上积累大量有用的信息（如访问日志、注册信息、需求信息、定单信息、交流信息等） ，采用 Web 日志挖掘技术就可以充分利用这些有用信息，帮助电子商务网站的建设和发展。 Web 日志文件主要包括以下 3 种类型：服务器日志文件、错误日志文件和 Cookies。 2.数据预处理 Web 日志挖掘首先要对日志中的原始数据进行预处理，因为从用户的访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理。因此，需要通过日志清理，去除无用的记录。预处理过程是保证 Web 日志挖掘质量的关键步骤，下面我们来阐述数据预处理的过程。 （1）数据净化。指删除 Web 服务器日志中与挖掘算法无关的数据。大

6、多数情况，只有日志中 HTML 文件与用户会话相关，所以通过检查 URL 的后缀删除认为不相关的数据。 （2）识别用户。由于本地缓存、代理服务器和防火墙的存在，使得识别用户的任务变得很复杂，可以使用一些启发式规则帮助识别用户。（3）识别用户会话。用户会话是指用户对服务器的一次有效访问，通过其连续请求的页面，我们可以获得他在网站中的访问行为和浏览兴趣。 （4）识别片段。在识别用户会话过程中的另一个问题是确定访问日志中是否有重要的请求没有被记录。如果当前请求页与用户上一次请求页之间没有超文本链接，那么用户很可能使用了浏览器上的“BACK”按钮调用缓存在本机中的页面。检查引用日志确定当前请求来自哪一

7、页，如果在用户的历史访问记录上有多个页面都包含与当前请求页的链接，则将请求时间最接近当前请求页的页面作为当前请求的来源。 3.模式发现 模式发现是运用各种算法和技术对预处理后的数据进行挖掘，生成模式。这些技术包括人工智能、数据挖掘、统计理论、信息论等多领域的成熟技术。可以运用数据挖掘中的常用技术如路径分析，关联规则、序列模式以及分类聚类等。 （1）路径分析。它可以被用于判定在一个站点中最频繁访问的路径，还有一些其它的有关路径的信息通过路径分析可以得出。利用这些信息就可以改进站点的设计结构。 （2）关联规则。使用关联规则发现方法，可以从 Web 的访问事务中找到相关性。利用这些相关性，可以更好的

8、组织站点的 Web 空间。 （3）序列模式。在时间戳有序的事务集中，序列模式的发现就是指那些如“一些项跟随另一个项”这样的内部事务模式。发现序列模式，能够便于预测读者的访问模式，开展有针对性的服务。 （4）分类和聚类。发现分类规则可以给出识别一个特殊群体的公共属性的描述，这种描述可以用于分类的读者。聚类分析可以从 Web 访问信息数据中聚类出具有相似特性的读者，在 Web 事务日志中，聚类读者信息或数据项能够便于开发和设计未来的服务模式和服务群体。 4.模式分析 该阶段实现对用户访问模式的分析，基本作用是排除模式发现中没有价值的规则模式，从而将有价值的模式提取出来。 四、Web 日志挖掘在电子

9、商务网站中的应用 1.电子商务网站中 Web 日志挖掘内容 （1）网站的概要统计。网站的概要统计包括分析覆盖的时间、总的页面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨日访问等结果集。 （2）内容访问分析。内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。 （3）客户信息分析。客户信息分析包括访问者的来源省份统计、访问者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的IP 地址以及访问者使用的搜索引擎。 （4）访问者活动周期行为分析。访问者活动周期行为分析包括一周7 天的访问行为、一天 24 小时的访问行为、每周的最多的访

10、问日、每天的最多访问时段等。 （5）主要访问错误分析。主要访问错误分析包括服务端错误、页面找不到错误等。 （6）网站栏目分析。网站栏目分析包括定制的频道和栏目设定，统计出各个栏目的访问情况，并进行分析。 （7）商务网站扩展分析。商务网站扩展分析是专门针对专题或多媒体文件或下载等内容的访问分析。 2.Web 日志挖掘工具 已经有部分公司开发出了商用的网站用户访问分析系统，如WebTrends 公司的 CommerceTrends 3.0,它能够让电子商务网站更好地理解其网站访问者的行为，帮助网站采取一些行动来将这些访问者变为顾客。CommerceTrends 主要由 3 部分组成：Report

11、Generation Server、Campain Analyzer 和 Webhouse Builder。 还有 Accrue 公司的 Accrue Insight，它是一个综合性的 Web 分析工具,它能够对网站的运行状况有个深入、细致和准确的分析，通过分析顾客的行为模式，帮助网站采取措施来提高顾客对于网站的忠诚度，从而建立长期的顾客关系。 五、结束语 电子商务在快速增长，有非常好的前景。Web 日志挖掘是数据挖掘中的前沿技术，应用 Web 日志挖掘技术，能使电子商务网站资源的配置更合理化，能发现隐含的有价值的信息，改进网站设计，找到潜在的客户、为已有客户提供更好的个性化服务。Web 日志挖掘技术和 Web 内容挖掘技术、Web 结构挖掘技术的结合使用可进一步完善和提高电子商务网站的功能，这是我们今后所要探讨的。