1、项目名称： 网络海量可视媒体智能处理的理论与方法首席科学家： 胡事民 清华大学起止年限： 2011.1至 2015.8依托部门： 教育部二、预期目标3.1 总体目标本项目总体目标是开展网络环境下海量可视媒体智能处理的理论与方法研究，在网络海量内容的视觉 感知高效计算与分析学习、符合人类感知的可视媒体交互、融合与呈现、异构多源可视媒体的关联挖掘等重要方面上取得突破性进展，建立可视媒体的认 知与学习、分析与挖掘、交互与合成、搜索与服务等一整套网络海量可视媒体智能处理理论与方法，支持网络可视媒体高效利用与智能服务、数字内容生成与服 务产业等国家重大需求；同时，培养一批优秀的青年科技人员，形成一支具国
2、 际水平的研究队伍， 为 国家在相关领域的持续发展提供重要的技术支撑。3.2 五年目标五年内，在可视媒体智能处理的基础理论，关 键技术和系统应用平台方面，取得有国际影响的研究成果，争取在以下六个方面取得进展和突破：1）在人类视觉感知和认知计算模型研究上取得进展，提出符合认知行为的认知计算模型和面向可视媒体大规模计算的神经计算方法。2）提出融合结构语义的可视媒体分析学习的新方法，在可视媒体信息的本征表达、高维数据空间到低 维流形空间的映射模型等方面，提出一系列理论和方法，解决海量、复杂可视媒体的分析学习问题。3）基于人类视觉认知先验，构建新的可视媒体视觉信息表达机制，提出融合运动特征和视觉显著特
3、征的运动目标时空关联分析方法和基于上下文信息的跨视域可视媒体语义分析与信息整合机制，解决大范围场景可视媒体智能感知问题。4）提出网络环境下的可视媒体安全新方法，包括可视媒体的质量评价、内容合成检测、源辨识方法等。5）提出基于互联网数据集的可视媒体内容生成与呈现方法，包括面向内容生成的海量可视媒体分类与组织方法，提出非精确标注与交互的分析与匹配方法，以及基于语义的可视媒体一致性编辑与融合算法等。6）提出复杂网络环境下海量可视媒体信息的有效搜索和个性化推荐服务机制，包括基于统计流形学习 的概念建模与检索， 结合网 络环境下的多模态信息和用户群体智能的可视媒体多模态关联挖掘方法。以上成果，预期发表百
4、篇以上有重要影响的国际学术期刊和会议论文；其中，在 ACM SIGGRAPH，IEEE International Conference on Computer Vision 等最高水平的国际会议和 ACM Transactions on Graphics，International Journal of Computer Vision，IEEE Transactions on Pattern Analysis and Machine Intelligence 等顶尖国际刊物上发表重要论文 30 篇以上，授权发明专利 30 项，在国际上产生较大的影响。在优秀人才培养等方面，争取培养一批优秀的博
5、士生，获得全国百篇优秀博士论文、中国计算机学会优 秀博士论文奖和国际学术会议优秀论文奖 3 名以上。参加项目的青年学术骨干中，培养一批优秀的学术带头人，其中教育部长江学者特聘教授、国家杰出青年科学基金获得者或中科院“ 百人计划”获得者等 3 人以上。三、研究方案本项目研究符合网络海量可视媒体智能处理的理论与方法，按照从重大需求归纳科学问题和关键技术问题，从知识创新（理论研究）到技术创新（技术突破）的思路，分解六个课题，通过严格的组织管理、课题间 密切的交流协作、以及高水平的国际合作，争取获得有重要影响的成果。4.1 学术思路本项目研究思路是针对互 联 网 信 息 高 效 利 用 与 智 能 服
6、 务 、面 向 三 网 融 合的 数 字 内 容 产 业 和 泛 在 网 络 视 觉 智 能 感 知 等 国 家 重 大 需 求 ，归 纳 为 可 视 媒体 认 知 的 可 计 算 性 、可 视 媒 体 高 效 表 达 的 结 构 分 析 与 学 习 机 理 、多 源 异 构网 络 可 视 媒 体 的 归 一 化 表 示 的 三 个 关 键 科 学 问 题 。总 体 学 术 思 路 为 ： 按 照 认 知 机 理 、认 知 计 算 模 型 、神 经 网 络 计 算 三 个 层 次 ，借 鉴 人 类视 觉 认 知 机 理 ，面 向 海 量 可 视 媒 体 信 息 ，探 索 高 层 视 觉 特 性
7、 与 底 层 可 视 媒体 刻 画 特 征 的 关 联 关 系 ，构 建 基 于 认 知 行 为 的 计 算 模 型 和 基 于 生 物 感 知 与人 类 认 知 的 神 经 计 算 模 型 ，以 高 效 信 息 处 理 和 减 小 认 知 负 荷 为 目 标 ，提 供认 知 计 算 模 型 和 模 拟 生 物 视 觉 感 知 信 息 处 理 的 神 经 计 算 工 具 。 以 结 构 分 析 为 主 线 ，以 几 何 与 函 数 分 析 方 法 作 为 数 学 工 具 ，从 数 学理 论 基 础 、分 析 学 习 方 法 、交 互 合 成 关 键 技 术 三 个 层 面 开 展 研 究 。探
8、 索 流形 结 构 与 学 习 算 法 本 质 的 数 学 描 述 ，提 出 融 合 高 层 结 构 语 义 分 析 的 可 视 媒体 机 器 学 习 理 论 与 分 析 方 法 ，研 究 可 视 媒 体 认 知 原 型 的 可 视 交 互 、语 义 匹配 与 一 致 性 合 成 ，解 决 可 视 媒 体 符 合 视 觉 感 知 的 高 效 构 建 问 题 。 以 语 义 分 析 为 主 线 ，研 究 可 视 媒 体 信 息 的 视 觉 结 构 语 义 分 析 与 动态 时 空 关 联 分 析 ，实 现 可 视 媒 体 信 息 的 纵 向 语 义 分 析 与 挖 掘 ，探 索 基 于 多模 态
9、 信 息 融 合 的 视 觉 关 联 与 语 义 关 联 之 间 的 转 化 机 制 和 知 识 迁 移 ，形 成 多模 态 特 征 级 融 合 模 型 与 归 一 化 语 义 表 示 方 法 ，提 出 多 模 态 融 合 的 网 络 海 量可 视 媒 体 关 联 计 算 的 基 础 理 论 、数 据 组 织 与 挖 掘 方 法 ，支 持 海 量 可 视 媒 体信 息 的 分 析 整 合 与 有 效 搜 索 。5.2 技术途径本项目的特色是借鉴认知科学的研究成果，以可视媒体的认知计算模型为基础，以分析学习理论为工具，以交互构建和搜索服务为两条主线，支持国家重大需求。从总的技术思路上，我们将注意
10、以下几个关 键环节： 符合认知特性的可视媒体计算理论研究与应用验证平台的研发同步进行。针对 关键科学问题的研究，集中力量重点突破。同时，要尽早搭建“有数字内容安全保障的可视媒体高效构建与搜索服务的系统原型”，作 为理论研究的应用验证，并用于其他课题研究的 验证。 理 论研究与 实践紧密结合。本项目的特点是，有明确重大需求的驱动，可视媒体的高效处理算法，必 须由实践检验其实用性。算法的实践与应用，可以产生新的思路，从实践中提出新的问题，促 进理论研究的深入。 强调不同课题的协同研究，注重项目整体创新。本项目六个课题的研究内容各有侧重，可视媒体认 知计算模型是基础，机器学习方法和语义分析整合是工具
11、，可视媒体安全是保障，构建与交互、搜索与服务面向国家重大共性需求并提供验证手段，从而在整体上构成研究体系。从具体的单元技术上，将研究内容分为“可视媒体认 知计算模型”、 “可视媒体结构分析与高效构建” 、“可视媒体语义表示与搜索服务”三个方面开展研究和技术创新，既聚焦突破关键科学 问题，又直接面向解决国家重大需求。5.3 创新点与可行性1创新点1（ 可视媒体处理的认知计算模型：采用心理物理法研究物理变化量与感知、记忆、分类判断绩效的关系，面向海量可视媒体信息，探索高层视觉特性与底层可视媒体特征的关联，基于视觉显著特征感知、自适应的动态记忆系统和视觉分类判断机理建立可视媒体计算模型（PMJ 模型
12、），提高海量可视媒体智能处理的效率和准确性。 2（ 面向可视媒体的大规模并行神经网络计算: 传统的人工神经网络基于少量的神经元模型，与生物视觉感知不符，也不能适应可视媒体智能处理的需求，本项目基于回复式神经网络，建立基于人类神经系统原理的神经计算模型，研究大规模神经网络求解的并行化和集群环境下的数据表达、传输、可扩展性等实际问题， 实现机器模拟生物视觉感知信息处理的神经网络计算3（ 运动目标时空关联分析及多模态异构可视媒体数据挖掘：利用大脑对运动的感知机制，基于连续吸引性的运动感知神经计算模型，将运动特征和视觉显著特征引入到跨视域运动目标时空关联分析，建立运动对象关联分析的模型，并研究多模态特
13、征级融合模型与归一化语义表示方法以及面向多模态特征描述对象的相似性度量方法，有望在异构可视媒体数据挖掘方面取得突破。4（ 基于结构语义的可视媒体表达与合成: 现有的可视媒体分析与合成方法基本采用底层特征或单个对象，缺乏对高层结构语义的应用。本项目研究基于统计思想的流形学习与分类，以及内隐特征与结构的流形表达，实现可视媒体海量信息结构提取与存储，结合视觉原型的可视交互与语义提取，实现互联网上可视媒体基于结构语义的表达与合成。2研究体系特色本项目以可视媒体为研究对象，借鉴人类视知觉感知机理和神经元工作机理，以可视媒体认知计算模型、可视媒体结构分析理论与机器学习方法、网络可视媒体交互与合成为主线建立
14、可视媒体内容的构建和呈现研究体系;以可视媒体认知计算模型、网络可视媒体语义分析与挖掘、网 络可视 媒体有效搜索与服务为主线构造可视媒体智能服务体系，并通过可视媒体的内容认证、真伪鉴别等的研究为可视媒体提供内容安全保障，形成满足数字内容产业和海量可视媒体搜索及服务等国家重大需求的完整的研究体系。3可行性分析本项目以计算机科学理论为基础，借鉴人脑的组织结构、计算方法及视觉认知等方面的重要研究成果，开展网络海量可视媒体的智能处理理论与方法的研究，研究目标是 基 于 研 究 队 伍 对 可 视 媒 体 智 能 信 息 处 理 和 网 络 技 术 的 长 期研 究 积 累 和 对 信息网络战略性新兴产业
15、国家重大需求的 高 度 凝 练 ，按照从重大需求归纳科学问题和关键技术问题、从知识创新（理论研究）到技术创新（技术突破）的思路，分解成六个紧密协作的课题， 技术方案各部分已经经过充分预研和技术储备，具有较好的研究成果积累。5.4 课题设置课题设置的原则是：理论研究要有新的学术思想、为重大应用需求提供理论基础，应 用平台要实现对理 论和关键技术的验证。本项目研究网络海量可视媒体智能处理的理论和方法。依据以上原则，本项目包括可视媒体的认知计算模型、可视媒体的结构分析与机器学习、网络可视媒体的语义分析与信息整合、网络可视媒体安全、网 络 可视媒体信息的交互与合成、网络可视媒体的有效搜索与服务六个课题
16、。课题间的关系如下图所示：如图所示，项目中六个课题的相互关系总体上可以用三个层次、两条主线、一个保障来概括。从横向看，可以分为三个层次：第一 课题“ 可视媒体的认知计算模型”作为底 层基础向中间层 的第二课题、第三课题 及上层的第四、五、六 课题提供认知方面的理论和方法；中间层的第二课题“可视 媒体的结构分析与机器学习”和第三课题项目“ 网络可视 媒体的语义分析与信息整合” 为上层的第五课题和第六课题提供可视媒体的表达、分析与学习方法；上层的第五、六课题则在此基础上实现“网络 可视媒体信息的交互与合成 ”和“网络可视媒体的有效搜索与服务”。从纵向看，可以分为两条主 线：课题一“可视媒体的 认知
17、计算模型”课题二“可视媒体的结构分析与机器学习”课题五“网络可视媒体的交互与合成”的主线主要为了满足媒体内容生成的重大需求；而课题一“可视媒体的认知计算模型” 课题三“网络可视 媒体的语义分析与信息整合 ”课题六“网络可视媒体的有效搜索与服务”的主线则 主要为了满 足网络智能服务；第四课题“ 网络可视媒体内容安全”则为各课题提供认证取证、真伪鉴别等可视媒体内容安全的保障。各课题的名称、主要研究内容和目标、承担 单位、课题负责 人及经比例如下：1. 可视媒体的认知计算模型负责人：傅小兰承担单位：中国科学院心理研究所、清华大学、四川大学主要研究内容： 视 知 觉 认 知 机 理a. 视 觉 显 著
18、 特 征 的 感 知 机 理b. 自 适 应 的 动 态 记 忆 系 统c. 视 觉 分 类 判 断 机 制 视 觉 计 算 模 型a. 认 知 的 可 计 算 性b. 认 知 可 计 算 模 型c. 视 觉 认 知 负 荷 的 数 学 模 型 神 经 网 络 计 算a. 学 习 记 忆 的 神 经 计 算 模 型b. 面 向 可 视 媒 体 的 大 规 模 神 经 网 络 计 算研 究 目 标 ：提 出 实 现 生 物 感 知 和 人 类 认 知 可 计 算 性 的 认 知 计 算 模 型 ，实现 机 器 模 拟 生 物 视 觉 感 知 信 息 处 理 的 神 经 计 算 工 具 ，为 海
19、量 可 视 媒 体 的 表示 、分 析 和 智 能 处 理 提 供 符 合 认 知 机 理 的 计 算 模 型 。经 费 预 算 ：14%2. 可视媒体的结构分析与机器学习负责人：查红彬承担单位：北京大学、清华大学、 东南大学主要研究内容： 可 视 媒 体 结 构 分 析 计 算 的 基 础 理 论 与 方 法a. 可 视 媒 体 信 息 与 结 构 重 建 的 几 何 计 算b. 可 视 媒 体 几 何 结 构 分 析 的 基 础 理 论 高 维 可 视 媒 体 数 据 的 本 征 表 达a. 内 隐 特 征 与 结 构 的 流 形 表 达b. 基于核映射机制的特征提取和表示 可 视 媒 体
20、 分 析 与 处 理 的 机 器 学 习 方 法a. 融 合 结 构 语 义 的 海 量 可 视 媒 体 机 器 学 习 方 法b. 基 于 流 形 变 换 的 知 识 迁 移 与 内 容 映 射c. 基 于 大 规 模 并 行 神 经 网 络 的 深 层 学 习 方 法研 究 目 标 ：提 出 可 视 媒 体 几 何 结 构 分 析 计 算 方 法 ，解 决 可 视 媒 体 数 据 非线 性 近 似 表 达 的 问 题 ；提 出 保 持 可 视 媒 体 数 据 内 隐 特 征 与 结 构 的 流 形 表 达方 法 ，提 出 融 合 可 视 媒 体 结 构 语 义 的 机 器 学 习 新 方 法 。经 费 预 算 ：15%3. 网络可视媒体的语义分析与信息整合负责人：刘允才承担单位：上海交通大学、清华大学、北京交通大学主要研究内容： 基 于 视 觉 先 验 的 可 视 媒 体 结 构 分 析a. 基 于 视 觉 先 验 的 可 视 媒 体 上 下 文 表 达b. 图 像 与 视 频 内 容 结 构 分 析
