机器翻译测试大纲 - 欢迎来到中科院计算所自然语言 .doc

1、机 器 翻 译 评 测 大 纲一 、 评 测 对 象本 次 评 测 的 对 象 包 括 ：汉 英 、英 汉 、汉 日 、日 汉 机 器 翻 译 系 统 中 的核 心 技 术 。二 、 评 测 内 容本 次 评 测 组 织 两 种 语 料 的 评 测 ，一 种 是 篇 章 语 料 ，一 种 是 对 话 语 料 。领 域是 面 向 奥 运 的 相 关 领 域 ，包 括 体 育 赛 事 、天 气 预 报 、交 通 住 宿 、旅 游 餐 饮 等 。本次评测的评 测 指 标 包 括 译 文 质 量 和 翻 译 速 度 。三 、 评 测 方 法1. 评 测 方 式本 次 评 测 为 现 场 评 测 。采

2、用 的 是 以 人 工 评 测 为 主 ，人 工 评 测 和 自 动 评 测 相结 合 的 方 式 。人 工 评 测 方 式 是 ：由 评 测 组 织 单 位 将 各 个 评 测 单 位 提 交 的 评 测 结 果 汇 总 在一 起 ，然 后 用 计 算 机 随 机 打 乱 译 文 句 子 的 排 列 顺 序 。再 将 所 有 译 文 句 子 提 交 给多 位 专 家 进 行 人 工 评 测 。将 专 家 评 测 的 结 果 汇 总 ，用 计 算 机 还 原 成 原 来 的 排 列顺 序 ，分 别 计 算 出 各 个 评 测 单 位 的 总 得 分 。2. 评 测 步 骤 在 评 测 单 位

3、统 一 提 供 的 评 测 环 境 上 安 装 被 测 系 统 评 测 单 位 给 出 评 测 数 据 被 测 单 位 运 行 系 统 ，提 交 评 测 结 果 评 测 单 位 运 行 自 动 评 测 程 序 ，得 出 自 动 评 测 结 果 评 测 单 位 事 后 进 行 人 工 评 测 公 布 评 测 结 果3. 评 测 标 准（ 1） 自 动 评 测 标 准机 器 翻 译 的 自 动 评 测 目 前 比 较 成 熟 的 标 准 有 BLEU 标 准 、NIST 标 准 等 。本 次 评 测 采 用 NIST 标 准 。具 体 评 测 标 准 见 附 件 。（ 2） 人 工 评 测 标 准

4、本 次 评 测 按 0 - 6 个 等 级 层 次 打 分 ，最 后 采 用 百 分 制 换 算 评 测 结 果 。等 级 分 得 分 标 准 译 文 可 理 解 率0 完 全 没 有 译 出 来 。 0%1 看 了 译 文 不 知 所 云 或 者 意 思 完 全 不 对 。不 过 有 小部 分 词 语 是 译 对 了 的 。20%2 译 文 有 一 部 分 符 合 原 文 的 一 部 分 意 思 ，或 者 全 句没 有 译 对 ，但 是 关 键 的 词 都 孤 立 地 译 出 来 了 ，对人 工 编 辑 有 点 用 处 。40%3 译 文 大 致 表 达 了 原 文 的 意 思 ，局 部 与

5、 原 文 有 出 入 ，一 般 情 况 下 需 要 参 照 原 文 才 能 改 正 。有 些 情 况 即使 无 需 参 照 原 文 也 能 猜 到 原 文 的 意 思 ，但 译 文 的不 妥 明 显 是 由 于 翻 译 程 序 的 缺 陷 造 成 的 。60%4 译 文 传 达 了 原 文 的 信 息 。不 用 参 照 原 文 ，就 能 明白 译 文 的 意 思 ，但 是 部 分 译 文 在 词 形 变 化 ，词 序 ，译 词 选 择 ，地 道 性 等 方 面 多 少 有 些 问 题 ，需 要 修改 。不 过 这 种 修 改 无 需 参 照 原 文 也 能 有 把 握 地 进行 ，且 修 改

6、也 较 容 易 。80%5 译 文 流 畅 地 表 达 了 原 文 的 信 息 ，语 法 结 构 基 本 正确 ，但 个 别 译 文 在 词 形 变 化 ，词 序 ，译 词 选 择 ，地道 性 等 方 面 有 点 问 题 ，需 小 修 改 。90%6 译 文 准 确 流 畅 地 传 达 了 原 文 的 信 息 ，语 法 结 构 正确 ，除 个 别 错 别 字 、小 品 词 、单 复 数 等 小 问 题 外 ，无 需 修 改 。100%总的可理解率 =（T1*20%+T2*40%+T3*60%+T4*80%+T5*90%+T6*100%）/ 总句数 其中：Ti 为被评为第 i 等级的句数。（ 3

7、） 翻 译 速 度 评 测 标 准由 主 持 评 测 的 工 作 人 员 现 场 记 录 翻 译 时 间 ，各 系 统 自 动 显 示 从 第 一 个 句子 翻 译 开 始 到 所 有 句 子 翻 译 完 毕 所 用 的 时 间 （不 计 系 统 初 始 化 所 用 时 间 ，只 记开 始 翻 译 到 所 有 句 子 翻 译 完 毕 所 用 时 间 ）。4. 输 入 输 出 文 件 格 式下面以汉英机器翻译为例，说明输入输出文件格式。其中 p 标签为段落标记，s 标签为 句子标记。输入文件中每个 s 标签内部为一个句子。输出文件中每个 s标签与输入文件中的 s 标签一一对应。由于一个源语言句子

8、可能翻译成一个或多个目标语言句子，所以输出文件中每个 s 标签内部可以有不只一个句子。Lang 为语言代码，汉语用“zh”表示，英 语用“en” 表示，日 语用“ja”表示。汉语、英语、日 语的输入和输出文件统一采用 GBK 编码。（ 1） 输 入 文 件 格 式 ：玻 利 维 亚 举 行 总 统 与 国 会 选 举 (法 新 社 玻 利 维 亚 拉 巴 斯 电 )玻 利 维 亚 今 天 举 行 总 统 与 国 会 选 举 ， 投 票 率比 预 期 更 高 ， 选 民 希 望 选 出 的 新 领 导 阶 层 能 够 振 兴 经 济 ， 改 善 人 民 的 生 活 水 准 ，抑 制 这 个 南

9、美 洲 最 贫 穷 国 家 的 劳 工 骚 动 。 投 票 所 于 下 午 四 时 (台 北 时 间 七 月 一 日 清 晨 四 时 )关 闭 ， 选 务 人 员 说 ，选 举 结 果 将 于 两 小 时 之 后 开 始 发 布 。 稍 早 ， 玻 利 维 亚 总 统 与 参 与 选 举 的 候 选 人 援 引 巴 西 赢 得 世 足 赛 冠 军 为例 ， 鼓 励 民 众 踊 跃 投 票 ， 虽 然 联 邦 法 律 规 定 ， 凡 达 投 票 年 龄 的 玻 利 维 亚 人 都 必 须投 票 。 任 期 即 将 届 满 的 玻 利 维 亚 总 统 吉 洛 卡 说 ： 巴 西 队 在 横 滨 以

10、 二 比 击败 德 国 队 ， 我 们 玻 利 维 亚 人 必 须 击 败 那 些 不 出 来 投 票 的 人 。 全 国 执 勤 的 三 万 名 军 人 与 警 察 奉 命 投 票 日 必 须 禁 止 卖 酒 ， 也 禁 止 群 众聚 会 ， 但 随 着 邻 国 巴 西 赢 得 第 五 次 世 足 赛 冠 军 的 消 息 上 午 传 抵 此 间 ， 玻 利 维 亚 人同 样 欣 喜 若 狂 ， 集 体 狂 欢 ， 军 警 根 本 无 法 执 行 上 述 禁 令 。 美 洲 国 家 组 织 派 遣 五 十 名 观 察 员 监 督 玻 利 维 亚 恢 复 民 主 统 治 以 来 的 第五 次 大

11、 选 。 政 府 官 员 说 ， 边 界 已 经 关 闭 以 防 止 选 举 舞 弊 。 （ 2） 输 出 文 件 格 式 ：Bolivia Holds Presidential and Parliament Elections (AFP, La Paz, Bolivia) Bolivia held its presidential and parliament elections today. With a higher than expected turn-out rate, voters hope the newly elected leadership can revitalize t

12、he economy, improve the peoples living standards and control the labor unrest in this poorest country in South America. The polling stations closed at 4 p.m. (4 a.m. on July 1, Taipei time). The polling staff said that the results of the elections will be released within two hours. Earlier, the Boli

13、vian president and candidates in the elections, citing Brazils championship at the World Cup soccer tournament, encouraged the public to actively participate in the elections even though every Bolivian who has reached the voting age is required by the federal law to vote. The Bolivian President Quir

14、oga, whose term soon expires, said: “The Brazilian team defeated the German team 2-0 in Yokohama; we the Bolivians must defeat those who do not come out to vote.“ 30,000 soldiers and police on duty nationwide were ordered to ban sales of alcoholic drinks and mass gatherings on the election day. Yet,

15、 as the news of the neighboring Brazil winning the fifth championship at World Cup soccer tournament reached here this morning, Bolivians were equally overjoyed and indulged themselves in revelry, making the ban practically unenforceable by the soldiers and police. The Organization of American State

16、s has sent 50 observers to monitor the fifth general election since Bolivia restored its democratic rule. Government officials said that the border has been closed so as to prevent any election frauds. 四、评测环境本 次 评 测 环 境 包 括 ：操 作 系 统 为 Windows2000，硬 件 配 置 不 低 于 ：P4 1GHz，256M 内 存 ，40G IDE 硬 盘 。附录机 器 翻

17、 译 的 自 动 评 测 方 法1.BLEU 评 测 方 法 简 介BLEU是 由 IBM 首 先 提 出 的 方 法 。 这 是 一 种 基 于 N-Gram的 自 动 评 测 方 法 ， 它 通 过 对译 文 跟 参 考 译 文 进 行 N-Gram的 比 较 综 合 而 得 出 译 文 的 好 坏 的 评 价 分 数 。 这 种 基 于 N-Gram共 现 的 统 计 方 法 中 ， 一 元 词 的 共 现 代 表 了 翻 译 的 忠 实 度 ， 它 表 征 了 原 文 里 面 有 多 少单 词 被 翻 译 了 过 来 ； 而 二 元 以 上 的 共 现 词 汇 代 表 了 目 标 语

18、言 的 流 利 程 度 ， 阶 数 高 的 N元词 的 匹 配 度 越 高 ， 系 统 译 文 的 可 读 性 就 越 好 。其 基 本 计 算 公 式 为)logexp(1NnnpwBPScor),1minLsyrf其 中 ，pn = 被 测 译 文 中 与 参 考 答 案 匹 配 的 ngram 总 数 / 被 测 译 文 中 ngram 总 数BP = 长 度 惩 罚 因 子Lref = 与 被 测 句 子 长 度 最 接 近 的 答 案 长 度 ;Lsys = 被 评 测 句 子 的 长 度 ;N = 最 大 ngram 长 度 ;Wn = ngram 的 权 重 ;2.NIST 评

19、测 方 法 简 介NIST 在 BLEU 标 准 基 础 上 提 出 的 一 个 改 进 方 案 ， 称 为 NIST 评 测 标 准 。NIST 方 法 采 用 各 阶 N-Gram 的 算 术 平 均 而 不 是 几 何 平 均 ， 使 得 总 体 评 价 结 果 更 偏 重于 忠 实 度 ， 而 且 也 不 至 于 因 为 某 一 阶 N-Gram 的 匹 配 率 为 零 导 致 总 体 评 价 为 零 。 另 外 ，NIST 考 虑 到 每 一 个 N-Gram 在 多 个 参 考 译 文 中 出 现 的 次 数 不 同 能 够 表 现 出 该 词 的 重 要 性 ，因 此 根 据 其

20、 在 多 个 参 考 译 文 中 出 现 的 次 数 而 给 每 一 个 N-Gram 赋 予 一 个 权 值 。 实 验 证 明 ，NIST 在 敏 感 性 （ 对 被 测 系 统 的 区 分 程 度 ） 方 面 高 于 BLEU。下 面 是 NIST 的 基 本 公 式 ： 1,inlogexp )1(21ocur-tha wl outp syinwal1 refsyn LIfscoren fcre f#telg121 nnIf 是 一 个 常 数 ， 是 一 个 经 验 阈 值 ， 使 得 在 Lsys/Lref=2/3 时 ， 使 得 长 度 罚 分 率 为0.5；是 参 考 答 案 的 平 均 长 度 ；refL其 余 参 数 意 义 与 BLEU 相 同 。