1、中国邮政大数据平台工程 Hadoop 软件产品及平台集成实施服务采购项目技术部分（招标编号：0714-EMTC02-5534）中 科 软 科 技 股 份 有 限 公 司2016 年 3 月2目 录1 技术偏离表 .72 技术规范书应答书 .262.1 总体解决方案建议书要求 .262.2 业务功能需求 .312.2.1 系统管理架构 .312.2.2 数据管理 .382.2.3 数据管控 .522.2.4 #数据 ETL.532.2.5 数据分析与挖掘 .542.2.6 数据展现 .572.3 技术要求 .582.3.1 总体要求 .582.3.2 总体架构 .592.3.3 运行环境要求 .
2、612.3.4 客户端要求 .632.3.5 数据要求 .642.3.6 集成要求 .642.3.7 运维要求 .652.3.8 性能要求 .762.3.9 扩展性要求 .772.3.10 可靠性和可用性要求 .792.3.11 开放性和兼容性要求 .842.3.12 安全性要求 .853 技术方案建议 .1023.1 概述 .1023.1.1 项目整体概述 .10233.1.2 平台建设原则 .1053.2 系统技术架构 .1063.2.1 系统架构设计 .1063.2.2 系统硬件和软件配置方案 .1173.3 量收平台应用迁移方案 .1233.3.1 上线范围 .1233.3.2 系统迁
3、移进度安排 .1243.3.3 迁移评估 .1253.3.4 迁移计划 .1263.3.5 测试计划 .1303.3.6 迁移测试 .1313.3.7 迁移实施 .1313.3.8 对外提供数据接口 .1323.3.9 上线应急处理 .1343.4 关键技术 .1343.4.1 大数据平台的核心数据存储与处理 .1343.4.2 基于内存计算的关系型数据库SAP HANA 1403.5 技术方案优势 .1423.5.1 方案整体优势 .1423.5.2 产品优势 .1494 测试及验收 .1604.1 系统测试 .1604.1.1 搭建测试环境 .1604.1.2 建立测试小组 .1604.1
4、.3 制定测试计划 .1604.1.4 制定测试方案 .1604.2 系统集成测试方案 .1674.2.1 网络安全测试用例 .16744.2.2 主机安全测试方案 .1694.2.3 应用安全测试方案 .1714.2.4 数据安全及备份恢复测试方案 .1754.2.5 Hadoop 平台应用软件测试方案 .1764.3 系统验收 .1784.3.1 项目成果交付 .1784.3.2 系统验收总流程图 .1794.3.3 成立验收项目委员会 .1794.3.4 定制验收方案 .1804.3.5 系统上线验收（初验） .1804.3.6 系统试运行后验收（终验） .1804.3.7 上线后运维
5、.1815 项目实施与管理 .1825.1 双方责任与分工界面 .1825.2 项目进度 .1835.3 项目质量管理 .1865.3.1 管理体系 .1865.3.2 管理方法 .1885.4 信息安全保密措施 .2006 人员资质与管理 .2026.1 组织结构与职责 .2026.1.1 项目领导小组 .2026.1.2 专家顾问组 .2036.1.3 质量控制组 .2036.1.4 业务咨询组 .2036.1.5 项目经理 .2036.1.6 需求规划组 .2046.1.7 设计开发组 .20456.1.8 项目实施组 .2056.1.9 项目测试组 .2056.1.10 系统集成与保障
6、组 .2066.2 项目人员介绍 .2076.2.1 项目经理介绍 .2076.2.2 技术负责人介绍 .2106.2.3 项目开发及实施团队人员构成 .2126.2.4 其他项目组成员简历 .2147 知识产权 .2267.1 Cloudera 著作权登记情况 .2267.2 SAP HANA 软件著作权情况 .2288 技术支持及保修 .2338.1 项目技术文档 .2338.1.1 文档列表 .2338.1.2 文档管理 .2348.2 技术支持 .2378.2.1 服务体系 .2378.2.2 项目技术服务 .2388.2.3 售后维护与保障 .2428.2.4 投诉处理 .2508.
7、2.5 保修 .2519 培训服务 .2539.1 培训目的 .2539.2 培训对象 .2539.3 培训人数 .2549.4 培训教师及工作人员 .2549.5 培训教材 .2549.6 培训费用 .25469.7 培训方式 .2559.8 培训内容 .2569.9 培训安排 .2599.10 Hadoop 与 HANA 的专业课程培训 .26010 附录 .26210.1 产品测试报告 .26210.1.1 成都银行 Cloudera CDH 性能测试测试 .26210.1.2 SAP HANA 检测报告 .27210.2 成功案例 .27871 技术偏离表序号招标文件条款号招标文件要求
8、 投标文件条款号投标文件响应 偏离（正/负）偏离说明1 5.1 *乙方所提供的总体解决方案建议书至少包含技术方案、集成实施方案、建议的 Hadoop系统软件产品等内容2.1.1 详细内容参见技术规范书应答书第 24 页无偏离2 5.2 #乙方在解决方案建议书中，需要就需求分析、系统设计、系统开发、系统集成、项目试点以及推广等各阶段所能提供的服务以及各阶段产出物作具体描述。乙方在解决方案建议书中应说明给甲方提供的技术文档、技术支持、技术服务、人员培训等的范围和程度。2.1.2 详细内容参见技术规范书应答书第 24 页无偏离3 5.3 #技术方案至少应包括以下内容：应按照甲方建设的总体要求，结合行
9、业先进经验，提出大数据平台技术建议方案；对整个平台提出安全技术方案；对上述内容相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等提出建议方案。2.1.3 详细内容参见技术规范书应答书第 24 页无偏离4 5.4 #集成实施方案至少包括实施方法、实施步骤、实施进度安排、相关配套系统的改造方案建议、项目实施控制和项目管理、人员组织、培训计划等。2.1.4 详细内容参见技术规范书应答书第 24 页无偏离5 5.5 #对量收系统的功能及数据迁移提出建议方案，包括相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等；提出相应的系统迁移实施方案，包括实施方法、实施步骤、实施进度安排、
10、项目实施控制和项目管理、人员组织、培训计划等，其中：实施进度应满足 2016 年实现主要八大量收功能的时间要求。2.1.5 详细内容参见技术规范书应答书第 25 页无偏离6 5.6 #乙方二次开发的应用软件应采用 SOA 架构设计，在技术方案里详细描述，并提供可服务化封装的功能列表。2.1.6 详细内容参见技术规范书应答书第 25 页无偏离7 5.7 #乙方或所投标软件产品的供应商需提供其 2.1.7 详细内容参见技术规范书 无偏离8大数据平台设计、Hadoop 系统软件产品及其集成实施项目在国内外大型企业的成功案例，结合本次甲方的需求，提出案例分析和建议。案例数量不少于 3 个，需涉及世界
11、500 强企业、国内知名企业，以及邮政行业、金融保险行业或速递物流行业等，以国内案例为主。案例内容包括：项目概况和规模、用户范围和数量、在项目中的角色、各阶段承担的任务、工作内容、所采用的软件及模块、设备配置、人员投入、时间进度、实施步骤、实施效果等内容，提供用户使用报告书、或该项目的中标通知书、验收报告、或使用意见书等相关证明材料复印件，并加盖乙方公章。应答书第 25 页8 5.8 #乙方提供的 Hadoop 系统软件产品应是具有自主知识产权的产品，并独立于硬件平台，能够在不同的主流 x86 服务器、红旗 Linux服务器版操作系统（Red Flag Asianux Server）上安装运行
12、。2.1.8 详细内容参见技术规范书应答书第 25 页无偏离9 5.9 #乙方应提供建议的大数据软件产品、技术服务列表以及相应的测试报告。如需采用第三方产品、开源软件、自主版权软件，包括免费软件，均需明确标注。对于需要通过二次开发手段实现的内容，应明确标注并说明二次开发工作量。测试报告内容要求见7.1.3 节。2.1.9 详细内容参见技术规范书应答书第 26 页无偏离10 5.10 #乙方应明确提出所能提供的项目团队在集成实施各阶段的人员参与数量和分工组成。提供人员的资质、级别以及在项目中的工作时间、工作内容。2.1.10 详细内容参见技术规范书应答书第 27 页无偏离11 5.11 若乙方的
13、方案建议及有关配置符合相关国际或行业标准，则应在应答书中具体说明，并附上相应的详细技术资料。若乙方的软件产品包含自己专用标准，也应在应答书中具体说明，并附上相应的详细技术资料。2.1.11 详细内容参见技术规范书应答书第 27 页无偏离12 6.1.1 #整体架构方面大数据平台支持集团总部、省和地市三级使2.2.1.1 详细内容参见技术规范书应答书第 29 页无偏离9用方式。使用单位还包括下属单位和控股公司等。设计大数据平台整体框架，提出的建设方案应描述大数据平台对外提供的应用服务，平台内部服务组件，各服务组件之间的关系，大数据平台数据流量流向等。实现 Hadoop 系统与甲方现有 Oracl
14、e 数据库及 TeraData 数据仓库的无缝连接。Hadoop 系统应实现主流数据仓库的功能。13 6.1.2 实现大数据平台多应用管理。支持对应用的服务级别管理（SLA） 。实现应用的访问资源控制，支持资源隔离。2.2.1.2 详细内容参见技术规范书应答书第 30 页无偏离14 6.1.3 实现大数据平台的多租户功能，包括但不限于多租户管理、租户的操作员管理、租户的分等分级分组管理、租户的度量管理、租户的角色管理、租户应用授权、租户数据隔离、租户的资源隔离等功能。2.2.1.3 详细内容参见技术规范书应答书第 31 页无偏离15 6.1.4 统一运维监控功能包括但不限于：安全管理、用户管理
15、、监控运维、服务调度、应用部署、资源管理、作业编排、服务接口等。实现图形化监控管理。监控内容包括但不限于：集群节点的运行状态、资源利用情况、网络通讯情况、图形化的启动、停止、删除节点、新增节点、迁移任务、迁移数据等操作。可视化监控管理集群节点。可视化监控管理数据对象。可视化的租户管理。实现平台日志管理。实现平台审计管理。实现告警管理。对问题源及时报警，并提供主动诊断功能。对数据的备份与恢复管理。实现数据处理过程追溯。2.2.1.4 详细内容参见技术规范书应答书第 31 页无偏离16 6.1.5 作业调度管理方面1) 实现统一的作业调度与编排管理功能。使用工作流的可视化的方式对工作任务进行2.2
16、.1.5 详细内容参见技术规范书应答书第 36 页无偏离10统一编排和调度。2) 实现作业的资源管理、流程管理、任务管理、数据管理、应用管理、租户管理、多ETL 调度任务的部署和并行处理等功能。17 6.2.1 *结构化数据管理功能，包括但不限于对结构化数据的采集管理、数据加工管理、数据存储管理、对外接口、实时监控、安全管理、数据重构等功能。2.2.2.1 详细内容参见技术规范书应答书第 36 页无偏离18 6.2.2 *半/非结构化数据管理功能。包括但不限于半/非结构化数据的采集管理、数据内容搜索、数据生命周期管理、数据加工管理、数据存储管理、对外接口、混合查询、实时监控、自然语言查询、智能
17、化知识检索功能。2.2.2.2 详细内容参见技术规范书应答书第 37 页无偏离19 6.2.3 1) 实现数据源管理功能。数据源包括但不限于：各业务系统数据接入、互联网数据采集、合作伙伴系统数据接入、外部临时数据导入支持等。2) 实现大数据平台内各存储区之间的数据交换功能。3) 大数据平台要提供可自定义的对外数据服务接口能力。4) 数据交换功能要支持数据接口热扩展能力。2.2.2.3 详细内容参见技术规范书应答书第 39 页无偏离20 6.2.4 1) 支持多种数据采集方式。采集方式包括但不限于：网上数据填报、流方式、批量导入方式、实时数据采集、外部数据文件导入、异构数据库导入、主动数据抽取、增量追加方式、网上爬虫方式等。2) 支持不同频度、不同形态的企业内外部数据采集。2.2.2.4 详细内容参见技术规范书应答书第 39 页无偏离21 6.2.5 #数据存储方面1) 数据存储管理功能。内容包括但不限于：数据分区划分方式、适用场景、对应计算处理框架、硬件配置推荐等。2) 支持多存储层级，实现数据的多温度管理，能够将数据存储在不同 IO 读写速度的不同介质上。2.2.2.5 详细内容参见技术规范书应答书第 41 页无偏离
