ImageVerifierCode 换一换
格式:DOC , 页数:115 ,大小:1.40MB ,
资源ID:1051960      下载积分:20 文钱
快捷下载
登录下载
邮箱/手机:
温馨提示:
快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。 如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

加入VIP,省得不是一点点
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.wenke99.com/d-1051960.html】到电脑端继续下载(重复下载不扣费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: QQ登录   微博登录 

下载须知

1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
2: 试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
3: 文件的所有权益归上传用户所有。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

本文(北京大学博士研究生学位论文.DOC)为本站会员(国***)主动上传,文客久久仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知文客久久(发送邮件至hr@wenke99.com或直接QQ联系客服),我们立即给予删除!

北京大学博士研究生学位论文.DOC

1、北 京 大 学 博 士 研 究 生 学 位 论 文题 目 : 搜 索 引 擎 检 索 系 统 的 效 率 优 化与 效 果 评 估 研 究姓 名 : 彭 波学 号 : 10108808院 系 : 计 算 机 科 学 技 术 系专 业 : 计 算 机 系 统 结 构研 究 方 向 : 计 算 机 网 络 与 分 布 式 系 统导 师 : 李 晓 明 教 授2004 年 5 月On Efficiency Optimization and Effectiveness Evaluation of Search Engine Retrieval SystemDissertation Submitted

2、toPeking Universityin partial fulfillment of the requirementFor the degree ofDoctor of Natural ScienceByPeng Bo( Computer Science and Technology )Dissertation Supervisor: Professor Xiaoming LIMay, 2004版 权 声 明任 何 收 存 和 保 管 本 论 文 各 种 版 本 的 单 位 和 个 人 , 未 经 本 论 文作 者 同 意 , 不 得 将 本 论 文 转 借 他 人 , 亦 不 得 随 意

3、 复 制 、 抄 录 、 拍照 或 以 任 何 方 式 传 播 。 否 则 , 引 起 有 碍 作 者 著 作 权 之 问 题 , 将 可能 承 担 法 律 责 任 。 i 摘 要本 文 研 究 工 作 是 国 家 重 点 基 础 研 究 发 展 规 划 项 目 “网 络 环 境 下 海 量 信息 组 织 与 处 理 的 理 论 与 方 法 研 究 ”的 一 部 分 ; 针 对 Web 搜 索 引 擎 应 用 背 景 ,以 构 建 大 规 模 、 高 性 能 搜 索 引 擎 的 检 索 系 统 为 目 标 , 系 统 地 研 究 了 检 索 系 统的 效 率 问 题 和 效 果 评 估 问 题

4、 , 提 出 了 若 干 关 键 技 术 , 在 大 量 实 验 和 真 实 数 据分 析 的 基 础 上 , 得 到 了 如 下 研 究 成 果 和 结 论 :1) 提 出 了 一 种 混 合 索 引 技 术 。 该 技 术 针 对 中 文 信 息 检 索 索 引 词 选 择 的问 题 , 通 过 结 合 中 文 自 动 分 词 与 未 登 录 词 识 别 技 术 , 把 基 本 分 词 结 果 与 在 识别 生 成 的 扩 展 词 典 上 的 分 词 结 果 都 选 择 作 为 索 引 词 。 通 过 在 实 际 系 统 的 应 用实 践 , 表 明 该 技 术 能 有 效 提 高 短 语

5、 检 索 效 率 。2) 提 出 了 一 种 倒 排 文 件 分 块 组 织 方 法 , 它 兼 顾 了 文 档 编 号 序 列 和 文 档权 值 序 列 在 检 索 系 统 性 能 中 的 不 同 作 用 , 为 综 合 优 化 系 统 性 能 提 供 了 一 个 可操 作 的 框 架 。 和 已 有 相 关 工 作 相 比 , 这 一 研 究 基 于 搜 索 引 擎 应 用 背 景 , 通 过搜 索 引 擎 系 统 的 实 际 数 据 , 建 立 了 一 个 检 索 性 能 模 型 , 在 此 模 型 基 础 上 研究 分 块 组 织 策 略 对 性 能 的 影 响 和 分 块 参 数 的

6、 优 选 。 研 究 结 果 表 明 , 这 一 分 块组 织 策 略 可 以 有 效 提 高 检 索 效 率 。3) 倒 排 文 件 缓 存 是 检 索 系 统 效 率 优 化 的 重 要 技 术 。 结 合 到 大 规 模 检 索过 程 中 磁 盘 I/O 以 及 操 作 系 统 页 面 调 度 的 特 点 , 本 文 研 究 了 倒 排 文 件 缓 存 优化 设 计 中 的 性 能 指 标 选 择 、 替 换 算 法 、 页 面 大 小 和 倒 排 文 件 组 织 方 式 对 缓 存性 能 影 响 等 问 题 。 研 究 结 果 为 倒 排 文 件 缓 存 优 化 设 计 提 供 了 指

7、 导 。4) 针 对 搜 索 引 擎 检 索 系 统 效 果 评 估 中 的 若 干 问 题 , 设 计 并 实 现 了 一 个搜 索 引 擎 检 索 系 统 检 索 效 果 评 估 的 实 验 环 境 。 基 于 搜 索 引 擎 的 用 户 查 询 日 志 ,按 查 询 类 别 构 建 了 用 户 查 询 集 合 。 对 不 同 搜 索 引 擎 搜 集 系 统 搜 集 网 页 集 合 的差 异 、 评 测 员 结 果 之 间 的 差 异 对 评 估 实 验 的 稳 定 性 、 连 续 性 的 相 关 度 评 分 分值 以 及 对 应 的 评 估 指 标 、 查 询 集 合 大 小 对 评 估

8、 实 验 的 稳 定 性 等 问 题 进 行 了 研究 , 结 果 对 于 进 行 有 效 的 检 索 评 估 实 验 有 重 要 指 导 意 义 。5) 基 于 对 搜 索 引 擎 用 户 点 击 日 志 数 据 的 分 析 , 提 出 了 一 种 自 动 构 建 评估 实 验 相 关 结 果 集 合 与 进 行 自 动 评 估 实 验 的 方 法 。 实 验 显 示 这 一 自 动 方 法 得 ii 到 的 结 果 和 人 工 评 估 实 验 结 果 保 持 一 致 , 并 且 对 不 同 查 询 集 合 保 持 稳 定 。 这一 方 法 为 解 决 大 规 模 数 据 集 上 检 索 系

9、 统 评 估 的 可 扩 展 性 问 题 提 供 了 一 条 有 效的 途 径 。关 键 词 : 万 维 网 , 搜 索 引 擎 , 信 息 检 索 , 检 索 效 率 , 性 能 , 评 估 iii AbstractSearch engine is now an infrastructure of the information society. In this dissertation, we studied the performance of large-scale retrieval system of search engine; especially focused on eff

10、iciency optimization and effectiveness evaluation. The main contributions include:1. A mixture index term selection method is proposed. By integrating the techniques of Chinese automatic word segmentation and unknown word detection, we select both the results of word segmentation on the basic dictio

11、nary and the results on the extended dictionary consisting of detected words as index terms. This method can improve the efficiency of phrase query and is successfully applied in the Tianwang search engine system.2. A block organization of inverted file is proposed. It integrates the effects of the

12、document identifier data and document weight data to improve the efficiency of retrieving process. A performance model of retrieval system was build based on the real data of Tianwang search engine, and then the block organization was studied by simulations on this model. The results show that this

13、method improves the efficiency of retrieving process.3. Inverted file cache is an important technique for system performance optimization. We studied some important problems in the optimal design of inverted file cache, which include the performance metrics selection, replacement algorithms comparis

14、ons, the effects of page size and physical organization of inverted file, etc. The results give a good guide for implementation of cache system.4. Aiming at the problems in effectiveness evaluation of the retrieval system in search engine, we designed and implemented an evaluation experiment platfor

15、m. We constructed a query set with query types and studied many problems of the evaluation on Web search, which include the effects of the continuous relevance scores and the evaluation stableness on the iv difference of relevance assessors, measures and query set size. The results are important for

16、 guiding effective evaluation experiments.5. An automatic evaluation method is proposed based on analyzing the click log of search engine. The results of experiments based on this automatic evaluation method are consistent with the results of the one on the manual judgment, and keep stable to different query sets. This automatic evaluation method is a promising answer for the scalability problem of the evaluation on large-scale Web search system.Keywords: Worldwide Web, Search Engine, Information Retrieval, Retrieval Efficiency, Performance, Evaluation

Copyright © 2018-2021 Wenke99.com All rights reserved

工信部备案号浙ICP备20026746号-2  

公安局备案号:浙公网安备33038302330469号

本站为C2C交文档易平台,即用户上传的文档直接卖给下载用户,本站只是网络服务中间平台,所有原创文档下载所得归上传人所有,若您发现上传作品侵犯了您的权利,请立刻联系网站客服并提供证据,平台将在3个工作日内予以改正。