1、2004 年 度 机 器 翻 译 评 测 大 纲一 、 评 测 对 象本 次 评 测 的 对 象 包 括 :汉 英 、英 汉 、汉 日 、日 汉 、汉 法 、法 汉 、汉 法 机 器 翻 译 系 统 中 的 核 心 技 术 。二 、 评 测 内 容本 次 评 测 组 织 两 种 语 料 的 评 测 ,一 种 是 篇 章 语 料 ,一 种 是 对 话 语 料 。领 域是 通 用 领 域 和 面 向 奥 运 的 相 关 领 域 ,包 括 体 育 赛 事 、天 气 预 报 、交 通 住 宿 、旅游 餐 饮 等 。本 次 评 测 的 评 测 指 标 包 括 译 文 质 量 和 翻 译 速 度 。三 、
2、 评 测 方 法1. 评 测 方 式本 次 评 测 为 现 场 评 测 。结 果 评 估 采 用 的 是 以 人 工 评 估 为 主 、自 动 评 估 为 辅 方 式 。人 工 评 估 采 用 可 理 解 率 指 标 。评 估 方 式 是 :由 评 测 组 织 单 位 将 提 交 的 评 测结 果 汇 总 在 一 起 ,然 后 用 计 算 机 随 机 打 乱 译 文 句 子 的 排 列 顺 序 。再 将 所 有 译 文句 子 提 交 给 多 位 专 家 进 行 可 理 解 率 的 人 工 评 测 评 估 。将 专 家 评 测 的 结 果 汇 总 ,用 计 算 机 还 原 成 原 来 的 排 列
3、 顺 序 ,计 算 出 总 得 分 的 可 理 解 率 。自 动 评 测 采 用 基 于 n 元 语 法 的 BLEU 和 NIST 方 法 。2. 评 测 步 骤(1) 在 评 测 单 位 统 一 提 供 的 评 测 环 境 上 安 装 被 测 系 统 。系 统 应 安 装 在 指 定的 目 录 中 。(2) 评 测 单 位 给 出 评 测 数 据 。评 测 数 据 存 放 在 指 定 目 录 中 。给 出 评 测 数 据以 后 被 测 单 位 不 得 再 更 改 系 统 参 数 。(3) 被 测 单 位 运 行 系 统 ,提 交 评 测 结 果 。被 测 单 位 应 指 导 评 测 人 员
4、 学 会 操作 方 法 ,所 有 操 作 由 评 测 人 员 进 行 ,系 统 运 行 时 各 单 位 人 员 应 离 场 。系 统 的 运行 应 该 是 批 处 理 方 式 的 ,系 统 读 入 一 个 脚 本 文 件 (格 式 后 面 说 明 ),脚 本 中 存 放输 入 文 件 名 和 对 应 的 输 出 文 件 名 。(4) 评 测 单 位 事 后 进 行 人 工 评 估 。(5) 公 布 评 测 结 果 。3. 评 测 标 准( 1) 人 工 评 测 标 准本 次 评 测 按 0.0 5.0 分 打 分 ,可 含 一 位 小 数 ,最 后 采 用 百 分 制 换 算 评测 结 果 。
5、等 级 分 得 分 标 准 译 文 可 理 解 率0 完 全 没 有 译 出 来 。 0%1 看 了 译 文 不 知 所 云 或 者 意 思 完 全 不 对 。 不 过 有 小 部 分 词语 是 译 对 了 的 。20%2 译 文 有 一 部 分 符 合 原 文 的 一 部 分 意 思 , 或 者 全 句 没 有 译对 , 但 是 关 键 的 词 都 孤 立 地 译 出 来 了 , 对 人 工 编 辑 有 点用 处 。40%3 译 文 大 致 表 达 了 原 文 的 意 思 , 局 部 与 原 文 有 出 入 , 一 般情 况 下 需 要 参 照 原 文 才 能 改 正 。 有 些 情 况 即
6、 使 无 需 参 照原 文 也 能 猜 到 原 文 的 意 思 , 但 译 文 的 不 妥 明 显 是 由 于 翻译 程 序 的 缺 陷 造 成 的 。60%4 译 文 传 达 了 原 文 的 信 息 。 不 用 参 照 原 文 , 就 能 明 白 译 文的 意 思 , 但 是 部 分 译 文 在 词 形 变 化 , 词 序 , 译 词 选 择 ,地 道 性 等 方 面 多 少 有 些 问 题 , 需 要 修 改 。 不 过 这 种 修 改无 需 参 照 原 文 也 能 有 把 握 地 进 行 , 且 修 改 也 较 容 易 。80%5 译 文 准 确 流 畅 地 传 达 了 原 文 的 信
7、息 , 语 法 结 构 正 确 ,除 个 别 错 别 字 、 小 品 词 、 单 复 数 、 地 道 性 等 小 问 题 外 ,只 需 小 修 改 , 或 者 完 全 无 需 修 改 。100%总 的 可 理 解 率 = 所 有 句 子 得 分 之 和 / 总 句 数 /520 100( 2) 翻 译 速 度 评 测 标 准由 主 持 评 测 的 工 作 人 员 现 场 记 录 翻 译 时 间 ,各 系 统 自 动 显 示 从 第 一 个 句子 翻 译 开 始 到 所 有 句 子 翻 译 完 毕 所 用 的 时 间 (不 计 系 统 初 始 化 所 用 时 间 ,只 记开 始 翻 译 到 所
8、有 句 子 翻 译 完 毕 所 用 时 间 )。4. 输入输出文件格式系 统 首 先 接 受 一 个 脚 本 文 件 作 为 输 入 ,脚 本 文 件 中 给 出 了 一 系 列 机 器 翻译 源 语 言 和 目 标 语 言 文 件 的 文 件 路 径 。系 统 的 源 语 言 文 件 为 一 个 扩 展 名 为 .xml 的 文 本 文 件 ,英 文 、中 文 、日 文 的编 码 分 别 为 ASCII 及 、GBK 和 XXXUnicode。目 标 语 言 文 件 的 格 式 要 求 和 源语 言 文 件 相 同 。下 面 以 汉 英 机 器 翻 译 为 例 ,说 明 脚 本 文 件 、源
9、 语 言 文 件 和 目 标 语 言 文 件 格式 。( 1) 脚 本 文 件 格 式 :脚 本 文 件 是 文 本 文 件 ,由 若 干 行 组 成 。每 行 代 表 一 个 待 翻 译 的 源 语 言文 件 。每 行 分 为 3 个 部 分 ,各 个 部 分 以 空 格 分 开 ,第 一 部 分 为 序 号 ,第 二 部 分为 源 语 言 文 件 名 ,第 三 部 分 为 目 标 语 言 文 件 名 。系 统 的 翻 译 应 按 顺 序 进 行 ,不得 更 改 输 出 文 件 名 。给 出 的 文 件 名 都 是 相 对 于 脚 本 文 件 所 在 目 录 的 。1 d:sourcesrc
10、1.txxmlt d:resultdst1.xmltxt2 d:sourcesrc2.xmltxt d:resultdst2.txxmlt3 ( 2) 源 语 言 文 件 格 式 :源 文 件 采 用 xml 格 式 。每 个 源 语 言 文 件 包 含 一 个 元 素 (由和 括 起 来 的 部 分 ),其 中 元 素 后 面 的 属 性说 明 文 档 相 关 信 息 。docid 给 出 文 档 名 称 ,lang 给 出 文 档 的 源 语 言 ,属 性 值 用 双引 号 引 起 。语 言 代 码 中 ,英 语 用 雍 “en”表 示 ,汉 语 用 “zh”表 示 ,日 语 用 “ja”
11、 表示 ,法 语 用 “fr”表 示 。每 个 段 元 素 由 若 干 个 元 素 (由 和 括 起 来 的 部 分 )组成 ,输 出 中 应 保 持 相 应 结 构 。每 个 元 素 由 若 干 个 元 素 (由 和 括 起 来 的 部 分 )组 成 ,其 中 后 面 元 素 的 属 性 给 出 句 子 的 id 值 ,id 的 值 是 正 整 数 。每 个 元 素 的id 各 不 相 同 ,但 不 一 定 是 连 续 的 数 值 。每 个 元 素 段 可 能 包 含 一 个 或 多 个 句子 。输出中应保持对应的源句子和目标句子的 id 值相同。玻 利 维 亚 举 行 总 统 与 国 会
12、选 举 (法 新 社 玻 利 维 亚 拉 巴 斯 电 )玻 利 维 亚 今 天 举 行 总 统 与 国 会 选 举 , 投 票率 比 预 期 更 高 , 选 民 希 望 选 出 的 新 领 导 阶 层 能 够 振 兴 经 济 , 改 善 人 民 的 生 活 水 准 ,抑 制 这 个 南 美 洲 最 贫 穷 国 家 的 劳 工 骚 动 。 投 票 所 于 下 午 四 时 (台 北 时 间 七 月 一 日 清 晨 四 时 )关 闭 , 选 务 人 员 说 ,选 举 结 果 将 于 两 小 时 之 后 开 始 发 布 。 稍 早 , 玻 利 维 亚 总 统 与 参 与 选 举 的 候 选 人 援 引
13、 巴 西 赢 得 世 足 赛 冠 军为 例 , 鼓 励 民 众 踊 跃 投 票 , 虽 然 联 邦 法 律 规 定 , 凡 达 投 票 年 龄 的 玻 利 维 亚 人 都 必须 投 票 。 ( 3) 目 标 语 言 文 件 格 式 :目 标 语 言 也 采 用 xml 格 式 。目 标 语 言 文 件 的 格 式 与 源 语 言 文 件 相 同 ,其中 DOCdoc 中 要 增 加 一 个 site 属 性 ,给 出 参 评 单 位 名 称 。目 标 语 言 文 件 中 ,元 素 、元 素 、元 素 及 其 组 成 关 系 应 与源 语 言 文 件 一 一 对 应 。对 应 的 元 素 的 d
14、ocid 属 性 和 元 素 的 id 属性 应 与 源 语 言 文 件 相 同 。Bolivia Holds Presidential and Parliament Elections (AFP, La Paz, Bolivia) Bolivia held its presidential and parliament elections today. With a higher than expected turn-out rate, voters hope the newly elected leadership can revitalize the economy, improve t
15、he peoples living standards and control the labor unrest in this poorest country in South America. The polling stations closed at 4 p.m. (4 a.m. on July 1, Taipei time). The polling staff said that the results of the elections will be released within two hours. Earlier, the Bolivian president and ca
16、ndidates in the elections, citing Brazils championship at the World Cup soccer tournament, encouraged the public to actively participate in the elections even though every Bolivian who has reached the voting age is required by the federal law to vote. 四、评测环境本 次 评 测 环 境 包 括 :PC 环 境 ,操 作 系 统 为 Windows2000,硬 件 配 置 不 低 于 :P4 1GHz,256M 内 存 ,40G IDE 硬 盘 ;嵌 入 式 环 境 ,联 想 天 玑 210 PDA,操 作 系统 为 Windows CE 3.0,硬 件 配 置 为 400MHz CPU,64M 内 存 。