机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc

上传人:天*** 文档编号:916114 上传时间:2018-11-06 格式:DOC 页数:6 大小:64.50KB
下载 相关 举报
机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc_第1页
第1页 / 共6页
机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc_第2页
第2页 / 共6页
机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc_第3页
第3页 / 共6页
机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc_第4页
第4页 / 共6页
机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc_第5页
第5页 / 共6页
点击查看更多>>
资源描述

1、机 器 翻 译 评 测 大 纲一 、 评 测 对 象本 次 评 测 的 对 象 包 括 :汉 英 、英 汉 、汉 日 、日 汉 机 器 翻 译 系 统 中 的核 心 技 术 。二 、 评 测 内 容本 次 评 测 组 织 两 种 语 料 的 评 测 ,一 种 是 篇 章 语 料 ,一 种 是 对 话 语 料 。领 域是 面 向 奥 运 的 相 关 领 域 ,包 括 体 育 赛 事 、天 气 预 报 、交 通 住 宿 、旅 游 餐 饮 等 。本次评测的评 测 指 标 包 括 译 文 质 量 和 翻 译 速 度 。三 、 评 测 方 法1. 评 测 方 式本 次 评 测 为 现 场 评 测 。采

2、用 的 是 以 人 工 评 测 为 主 ,人 工 评 测 和 自 动 评 测 相结 合 的 方 式 。人 工 评 测 方 式 是 :由 评 测 组 织 单 位 将 各 个 评 测 单 位 提 交 的 评 测 结 果 汇 总 在一 起 ,然 后 用 计 算 机 随 机 打 乱 译 文 句 子 的 排 列 顺 序 。再 将 所 有 译 文 句 子 提 交 给多 位 专 家 进 行 人 工 评 测 。将 专 家 评 测 的 结 果 汇 总 ,用 计 算 机 还 原 成 原 来 的 排 列顺 序 ,分 别 计 算 出 各 个 评 测 单 位 的 总 得 分 。2. 评 测 步 骤 在 评 测 单 位

3、统 一 提 供 的 评 测 环 境 上 安 装 被 测 系 统 评 测 单 位 给 出 评 测 数 据 被 测 单 位 运 行 系 统 ,提 交 评 测 结 果 评 测 单 位 运 行 自 动 评 测 程 序 ,得 出 自 动 评 测 结 果 评 测 单 位 事 后 进 行 人 工 评 测 公 布 评 测 结 果3. 评 测 标 准( 1) 自 动 评 测 标 准机 器 翻 译 的 自 动 评 测 目 前 比 较 成 熟 的 标 准 有 BLEU 标 准 、NIST 标 准 等 。本 次 评 测 采 用 NIST 标 准 。具 体 评 测 标 准 见 附 件 。( 2) 人 工 评 测 标 准

4、本 次 评 测 按 0 - 6 个 等 级 层 次 打 分 ,最 后 采 用 百 分 制 换 算 评 测 结 果 。等 级 分 得 分 标 准 译 文 可 理 解 率0 完 全 没 有 译 出 来 。 0%1 看 了 译 文 不 知 所 云 或 者 意 思 完 全 不 对 。不 过 有 小部 分 词 语 是 译 对 了 的 。20%2 译 文 有 一 部 分 符 合 原 文 的 一 部 分 意 思 ,或 者 全 句没 有 译 对 ,但 是 关 键 的 词 都 孤 立 地 译 出 来 了 ,对人 工 编 辑 有 点 用 处 。40%3 译 文 大 致 表 达 了 原 文 的 意 思 ,局 部 与

5、 原 文 有 出 入 ,一 般 情 况 下 需 要 参 照 原 文 才 能 改 正 。有 些 情 况 即使 无 需 参 照 原 文 也 能 猜 到 原 文 的 意 思 ,但 译 文 的不 妥 明 显 是 由 于 翻 译 程 序 的 缺 陷 造 成 的 。60%4 译 文 传 达 了 原 文 的 信 息 。不 用 参 照 原 文 ,就 能 明白 译 文 的 意 思 ,但 是 部 分 译 文 在 词 形 变 化 ,词 序 ,译 词 选 择 ,地 道 性 等 方 面 多 少 有 些 问 题 ,需 要 修改 。不 过 这 种 修 改 无 需 参 照 原 文 也 能 有 把 握 地 进行 ,且 修 改

6、也 较 容 易 。80%5 译 文 流 畅 地 表 达 了 原 文 的 信 息 ,语 法 结 构 基 本 正确 ,但 个 别 译 文 在 词 形 变 化 ,词 序 ,译 词 选 择 ,地道 性 等 方 面 有 点 问 题 ,需 小 修 改 。90%6 译 文 准 确 流 畅 地 传 达 了 原 文 的 信 息 ,语 法 结 构 正确 ,除 个 别 错 别 字 、小 品 词 、单 复 数 等 小 问 题 外 ,无 需 修 改 。100%总的可理解率 =(T1*20%+T2*40%+T3*60%+T4*80%+T5*90%+T6*100%)/ 总句数 其中:Ti 为被评为第 i 等级的句数。( 3

7、) 翻 译 速 度 评 测 标 准由 主 持 评 测 的 工 作 人 员 现 场 记 录 翻 译 时 间 ,各 系 统 自 动 显 示 从 第 一 个 句子 翻 译 开 始 到 所 有 句 子 翻 译 完 毕 所 用 的 时 间 (不 计 系 统 初 始 化 所 用 时 间 ,只 记开 始 翻 译 到 所 有 句 子 翻 译 完 毕 所 用 时 间 )。4. 输 入 输 出 文 件 格 式下面以汉英机器翻译为例,说明输入输出文件格式。其中 p 标签为段落标记,s 标签为 句子标记。输入文件中每个 s 标签内部为一个句子。输出文件中每个 s标签与输入文件中的 s 标签一一对应。由于一个源语言句子

8、可能翻译成一个或多个目标语言句子,所以输出文件中每个 s 标签内部可以有不只一个句子。Lang 为语言代码,汉语用“zh”表示,英 语用“en” 表示,日 语用“ja”表示。汉语、英语、日 语的输入和输出文件统一采用 GBK 编码。( 1) 输 入 文 件 格 式 :玻 利 维 亚 举 行 总 统 与 国 会 选 举 (法 新 社 玻 利 维 亚 拉 巴 斯 电 )玻 利 维 亚 今 天 举 行 总 统 与 国 会 选 举 , 投 票 率比 预 期 更 高 , 选 民 希 望 选 出 的 新 领 导 阶 层 能 够 振 兴 经 济 , 改 善 人 民 的 生 活 水 准 ,抑 制 这 个 南

9、美 洲 最 贫 穷 国 家 的 劳 工 骚 动 。 投 票 所 于 下 午 四 时 (台 北 时 间 七 月 一 日 清 晨 四 时 )关 闭 , 选 务 人 员 说 ,选 举 结 果 将 于 两 小 时 之 后 开 始 发 布 。 稍 早 , 玻 利 维 亚 总 统 与 参 与 选 举 的 候 选 人 援 引 巴 西 赢 得 世 足 赛 冠 军 为例 , 鼓 励 民 众 踊 跃 投 票 , 虽 然 联 邦 法 律 规 定 , 凡 达 投 票 年 龄 的 玻 利 维 亚 人 都 必 须投 票 。 任 期 即 将 届 满 的 玻 利 维 亚 总 统 吉 洛 卡 说 : 巴 西 队 在 横 滨 以

10、 二 比 击败 德 国 队 , 我 们 玻 利 维 亚 人 必 须 击 败 那 些 不 出 来 投 票 的 人 。 全 国 执 勤 的 三 万 名 军 人 与 警 察 奉 命 投 票 日 必 须 禁 止 卖 酒 , 也 禁 止 群 众聚 会 , 但 随 着 邻 国 巴 西 赢 得 第 五 次 世 足 赛 冠 军 的 消 息 上 午 传 抵 此 间 , 玻 利 维 亚 人同 样 欣 喜 若 狂 , 集 体 狂 欢 , 军 警 根 本 无 法 执 行 上 述 禁 令 。 美 洲 国 家 组 织 派 遣 五 十 名 观 察 员 监 督 玻 利 维 亚 恢 复 民 主 统 治 以 来 的 第五 次 大

11、 选 。 政 府 官 员 说 , 边 界 已 经 关 闭 以 防 止 选 举 舞 弊 。 ( 2) 输 出 文 件 格 式 :Bolivia Holds Presidential and Parliament Elections (AFP, La Paz, Bolivia) Bolivia held its presidential and parliament elections today. With a higher than expected turn-out rate, voters hope the newly elected leadership can revitalize t

12、he economy, improve the peoples living standards and control the labor unrest in this poorest country in South America. The polling stations closed at 4 p.m. (4 a.m. on July 1, Taipei time). The polling staff said that the results of the elections will be released within two hours. Earlier, the Boli

13、vian president and candidates in the elections, citing Brazils championship at the World Cup soccer tournament, encouraged the public to actively participate in the elections even though every Bolivian who has reached the voting age is required by the federal law to vote. The Bolivian President Quir

14、oga, whose term soon expires, said: “The Brazilian team defeated the German team 2-0 in Yokohama; we the Bolivians must defeat those who do not come out to vote.“ 30,000 soldiers and police on duty nationwide were ordered to ban sales of alcoholic drinks and mass gatherings on the election day. Yet,

15、 as the news of the neighboring Brazil winning the fifth championship at World Cup soccer tournament reached here this morning, Bolivians were equally overjoyed and indulged themselves in revelry, making the ban practically unenforceable by the soldiers and police. The Organization of American State

16、s has sent 50 observers to monitor the fifth general election since Bolivia restored its democratic rule. Government officials said that the border has been closed so as to prevent any election frauds. 四、评测环境本 次 评 测 环 境 包 括 :操 作 系 统 为 Windows2000,硬 件 配 置 不 低 于 :P4 1GHz,256M 内 存 ,40G IDE 硬 盘 。附录机 器 翻

17、 译 的 自 动 评 测 方 法1.BLEU 评 测 方 法 简 介BLEU是 由 IBM 首 先 提 出 的 方 法 。 这 是 一 种 基 于 N-Gram的 自 动 评 测 方 法 , 它 通 过 对译 文 跟 参 考 译 文 进 行 N-Gram的 比 较 综 合 而 得 出 译 文 的 好 坏 的 评 价 分 数 。 这 种 基 于 N-Gram共 现 的 统 计 方 法 中 , 一 元 词 的 共 现 代 表 了 翻 译 的 忠 实 度 , 它 表 征 了 原 文 里 面 有 多 少单 词 被 翻 译 了 过 来 ; 而 二 元 以 上 的 共 现 词 汇 代 表 了 目 标 语

18、言 的 流 利 程 度 , 阶 数 高 的 N元词 的 匹 配 度 越 高 , 系 统 译 文 的 可 读 性 就 越 好 。其 基 本 计 算 公 式 为)logexp(1NnnpwBPScor),1minLsyrf其 中 ,pn = 被 测 译 文 中 与 参 考 答 案 匹 配 的 ngram 总 数 / 被 测 译 文 中 ngram 总 数BP = 长 度 惩 罚 因 子Lref = 与 被 测 句 子 长 度 最 接 近 的 答 案 长 度 ;Lsys = 被 评 测 句 子 的 长 度 ;N = 最 大 ngram 长 度 ;Wn = ngram 的 权 重 ;2.NIST 评

19、测 方 法 简 介NIST 在 BLEU 标 准 基 础 上 提 出 的 一 个 改 进 方 案 , 称 为 NIST 评 测 标 准 。NIST 方 法 采 用 各 阶 N-Gram 的 算 术 平 均 而 不 是 几 何 平 均 , 使 得 总 体 评 价 结 果 更 偏 重于 忠 实 度 , 而 且 也 不 至 于 因 为 某 一 阶 N-Gram 的 匹 配 率 为 零 导 致 总 体 评 价 为 零 。 另 外 ,NIST 考 虑 到 每 一 个 N-Gram 在 多 个 参 考 译 文 中 出 现 的 次 数 不 同 能 够 表 现 出 该 词 的 重 要 性 ,因 此 根 据 其

20、 在 多 个 参 考 译 文 中 出 现 的 次 数 而 给 每 一 个 N-Gram 赋 予 一 个 权 值 。 实 验 证 明 ,NIST 在 敏 感 性 ( 对 被 测 系 统 的 区 分 程 度 ) 方 面 高 于 BLEU。下 面 是 NIST 的 基 本 公 式 : 1,inlogexp )1(21ocur-tha wl outp syinwal1 refsyn LIfscoren fcre f#telg121 nnIf 是 一 个 常 数 , 是 一 个 经 验 阈 值 , 使 得 在 Lsys/Lref=2/3 时 , 使 得 长 度 罚 分 率 为0.5;是 参 考 答 案 的 平 均 长 度 ;refL其 余 参 数 意 义 与 BLEU 相 同 。

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 重点行业资料库 > 1

Copyright © 2018-2021 Wenke99.com All rights reserved

工信部备案号浙ICP备20026746号-2  

公安局备案号:浙公网安备33038302330469号

本站为C2C交文档易平台,即用户上传的文档直接卖给下载用户,本站只是网络服务中间平台,所有原创文档下载所得归上传人所有,若您发现上传作品侵犯了您的权利,请立刻联系网站客服并提供证据,平台将在3个工作日内予以改正。