1、图像处理：某些发展动态和问题,邹谋炎, 82625719-8018,中国科学院研究生院 2011年暑期讲座材料,2011年7月6日,Stephane Mallat：“A wavelet Tour of Signal Processing - The Sparse Way”, Third Ed.,Elsevier,2009.,一、从一本书谈起：,Stephane Mallat is Professor in Applied Mathematics at Ecole Polytechnique, Paris, France. From 1986 to 1996 he was a Professor
2、 at the Courant Institute of Mathematical Sciences at New York University, and between 2001 and 2007, he co-founded and became CEO of an image processing semiconductor company.,S. Mallat 书的第二版（1998）中译本 “信号处理的小波引导” 已于2002年由 机械工业出版社出版,“ Preface to the Sparse EditionI cannot help but find striking rese
3、mblances between scientific communities andschools of fish. We interact in conferences and through articles, and we movetogether while a global trajectory emerges from individual contributions. Some ofus like to be at the center of the school, others prefer to wander around, and a fewswim in multipl
4、e directions in front. To avoid dying by starvation in a progressivelynarrower and specialized domain, a scientific community needs also to move on.”,学习和理解一个成功数学教授的心路历程：将应用作为数学研究的归宿,我不禁发现科学界和鱼群之间惊人的相似之处。我们在会议和通过文章相互接触，有人抛出一个贡献时就会出现一个全局性的轨迹，大家往一起凑。我们当中有人喜欢处于鱼群的中心，有人喜欢在周围游荡，也有人在前面朝多个方向游动。在一个越来越狭窄和专门的领
5、域内为了不被饿死，科学界也需要往前凑。计算调和分析仍然非常活跃，因为它超出了小波的范畴。写本书的目的是为了解译群体的轨迹并把一路上发现的珍珠收集起来。小波不再是中心题目。它只是一个重要工具，如同富氏变换那样。稀疏表示和处理当前处于核心位置。 在 80 年代，许多研究人员集中关注建立时频分解，试图绕开不定性屏障，期望找出最终的表示方法。沿着构造小波正交基的路子，通过与物理学家和数学家的合作，开辟了新的前景。设计 X-let 相关的正交基变成了一种流行运动，连带着压缩和噪声抑制应用。近似和稀疏性的联系也变得更加明显。对稀疏性的研究已正当时，引导出新的基地：标准正交基被波形冗余词典所替代。 在过去
6、7 年间我与工业界相遇。带着许多天真，和几个人共建了一个小公司。这让我们花了一点时间去学习到：在3个月内一个良好的工程应该生产出稳健的算法可以实时运算；与此对照，在过去我们习惯于用3年的时间来写那些有发展前景的新思想。是的，我们还活着，因为数学是信号处理工业创新的一个主要源泉。半导体技术提供了惊人的计算能力和灵活性。但是，特定算法常常不易估量，并且数学能够加速凑试发展过程。稀疏性使计算、存贮和数据搬运得以下降。虽然数学理解非常漂亮，但绝不奢侈。它是越来越精妙的信息处理元件所需要的。,S. Mallat 书序言简译：,From Wavelet To X-let ： wavelet contour
7、let surfacelet shearlet ridgelet curvelet bandlet ,关于 X-let 的解读： 这些 X-let 关心信号和图像的表示，特别关心如何表达信号（图像）的不连续性（或奇异性），包括点（灰度）不连续性（wavelet）；线不连续性（ridgelet)；曲线不连续性(contourlet, surfacelet, Curvelet)；流场不连续性（bandlet）；等等 理论要点： 沿袭 wavelet 的理论模式，构造出表达信号或图像的“基”或“标架”，具有以下要求 (1) 有几何规则性，能够逼近图像中任意方向的线、曲线的不连续性；（2）有容易计算的
8、分析（正变换）和综合（反变换）表达；（3）对分析（变换）域的结果有明确的物理解释，便于实施去噪、压缩的近似处理，以及超分辨重建的进一步工作。,1、由可缩放的 Meyer 窗函数V(t)和W(r)来定义。,例：Curvelet by E. Cands, D. Donoho (2003,2004),2、由V(t)和W(r)定义 极坐标窗函数：,3、将Ua内插为直角坐标函数 Ua(), 作为基础 curvelet 小波函数的富氏变换,4、由 的富氏反变换 ，对空间双坐标 x 作旋转和位移变换，得到 curvelet 函数族：,这保证了 在频域 (1,2) 平面有扇形支持域。,例：Curvelet b
9、y E. Cands, D. Donoho (2003,2004) （续）,5、计算 的富氏变换，有,6、连续 Curvelet 变换定义为：,7、逆 curvelet 变换：（略）8、离散 curvelet 函数族：,用类似连续 curvelet 函数族的方法来建立。可以证明，离散 Curvelet 函数族能构成一个紧标架，因此离散 curvelet 变换是可逆的，有重建公式,于是， 在频域(1,2)平面有旋转的扇形支持域。,例：Curvelet by E. Cands, D. Donoho (2003,2004) （续）,几个要点：1、选用具有平滑性的 Meyer 窗函数V(t)和W(r)
10、，分别用来构造射径方向和 角度方向的频域窗。平滑窗的意义在于它的傅里叶变换有近似有限支持。2、用内插方法从极坐标变到直角坐标，便于使用 FFT 计算。3、在直角坐标下引入坐标旋转，使获得的 curvelet 标架具有平移、尺度、 旋转三种表示能力。4、证明 curvelet 标架是紧标架，即 Riesz 基，因此 curvelet变换是可逆的， 有简单的反变换公式。,几何解释：1、在频域上 具有离散小波瓦片，有 抛物型伪极坐标支持，如图所示。2、由于空域图样和频域图样的垂直关系，可以 看出，所构造的小波标架能够覆盖各种取向 和各种尺度的空域棱边。 事实上 和平移量 b 无关，这和富氏变换性质相
11、似。3、频域小波瓦片的全体形成一个紧支持。空域 小波标架 一定是不紧的。离散型 curvelet 标架是高度冗余的。,例：Curvelet by E. Cands, D. Donoho (2003,2004) （续）,应用：,1、去噪 图像 Curvelet 变换 去噪处理 重建算法 输出图像 典型去噪处理算法：硬门限法，特别对高频、低电平小波系数。 基于成像物理的处理方法。2、利用稀疏性的图像数据压缩。 Curvelet 变换能够适应性地表达图像上各种几何取向的棱边。棱边取向 的几何规则性越高，重要的变换系数个数越少，图像可压缩更有效。 因此，对于纹理几何规则性强的图像，适合于用Curvel
12、et 或 Bandlet变换 来实现去噪和压缩。如果图像纹理的几何规则性不强，应该用常规的 Wavelet 变换。 关于稀疏性和压缩后面专门介绍。,基本观察：从 wavelet 到 X-let，人们追求发现更有效的信号（图像）表示方法。目前这些方法的发展带有高度程式化、技巧性、和特定有效性的特征。学习和掌握这些方法和相关理论是有意义的和重要的，沿着类似的思路去寻求突破性的创新是困难的。,二、稀疏性和压缩感知 (Sparsity and Compressive Sensing),各种形态的稀疏性： 信号（图像）本身可能是稀疏的； 信号（图像）在变换域是稀疏的； 信号（图像）中含有内部的相关性、规
13、律性，当用某个数学模型描述时， 只需要少量的模型系数； 信号（图像）的规则性：良好的图像具有卡通模式，噪声和干扰较少，这 意味着具有变差稀疏性或总变差有限性。,压缩采样： 采样是一个线性泛函作用于信号，不限于获得信号的一个瞬时电平。 例：信号 x Rn，将信号与随意选取的 m 个向量 vi 作内积（滤波），m n, 内积结果 y。这种采样可以用一个 mn 代数方程描述： x = y 。 在一般情况下，重建 x 有无穷多解。K-稀疏性解：上述问题中，如果假定已知 x 中至多只有 K 个非零元，求解问题 变成求解 x = y ， 带着附加约束 # supp(x) K。,整数规划问题：求最稀疏解 （
14、P0) min |x|0 ： x = y，x Rn ， 其中 Rmn，y Rm，m n 。 |x|0 = # supp (x) = x 中非零元个数。 （1）解通常不唯一；（2）具有 NP-hard 计算复杂性。,凸松弛规划 （P1) min |x|1 ： x = y，x Rn ， 等价的线性规划问题：多项式时间算法 min ai subject to x = y - a x a,整数规划问题,凸松弛规划,问题 P1 P0 的条件 : 受限等量性质Restricted Isometry Property of Oder k (RIP) E.J. Candes, et al., 2006 ,定义
15、： 假定k m 是一个整数，一个矩阵 Rmn的等量常数k 是指对所有k 稀疏向量 x Rn，满足以下不等式的最小值： (1 - k )| x |l22 |x |l22 (1 - k )| x |l22,大致地说，RIP 是要求 的每个 mk 子矩阵 Sk 是近似单位正交的，即任何一个 SkTSk 的各个特征值不要偏离数值 1 太远。,充分条件（Candes，2006）：如果 2k 2 1, 那么对于所有 k 稀疏向量 x，（P1）问题的解等于（P0）问题的解。,有噪情况：（Candes, 2005） 去噪问题 （P1) min |x|1 : | x y |2 ，x Rn ， 设 给定，且 y
16、x e，| e |2 . 如果2k 2 1，则 | x* - x |2 C0k -1/2k(x)1 + C1,其中 x* 是 （P1）的解，而k(x)1 min z Xk | x z |1 , Xk 是全体 k 稀疏向量集合，C0 和 C1 是两个小数值常数。这个结果表明：解的误差与观测误差在同样的数量等级上 （稳定性）。,离散不定性原理：记,- 信号 f 时域非零点的个数。,- 信号 f 频域非零点的个数。,一个大致的结果是： | T | + | | 2N ， N - 信号长度,典型的信号复原例子： 信号长度 N，频域谱线个数为 K，则在时域使用 M K logN 个样本，用 l1 最小化，
17、可以得到完美的复原。,更一般的稀疏信号重建问题： 如果 f 在某个正交系统 下是稀疏的：有 f = a, #supp a K, 使用 M 个互不相关的“观测序列” k 获得 M 个观测量 yk = , 因此有 y = f 。信号重建问题可以表达为 min | a |1 ：a = y ， 当 M const K log N 时，信号能够被精确地重建。这个结果适用于图像。 找 M 个互不相关的“观测序列” k 是容易的 ！,仍然在发展中的问题：1、如何更准确地估计解的 k-稀疏性和需要的最小量测数 m ？2、如何构造观测矩阵（或称词典矩阵） ？ 使用随机数构造观测矩阵已证明可行，一定条件下能保证
18、RIP 条件。 是否存在通用和对重建计算最有效的构造方法？3、如何将压缩感知的概念和方法应用于更广的图像处理 ？ 1）将常规图像估计问题，改造成带稀疏性限制的估计问题，适合于成像、 图像重建、反降晰、去噪、修复、超分辨，以及分割、配准、识别、 跟踪、分类等。典型地，需要考虑变换域的稀疏性和变差稀疏性。 2）压缩感知原理的物理实现技术。 Rice 大学提出了一个 CS 照相机原型，工业实现仍然有大挑战。4、如何更有效地处理信号重建中遇到的数学规划（优化）问题 ？ 期待发展更加有效的凸优化和非凸优化算法。5、将稀疏性限制作为规整化方法处理更广泛的数学物理反问题。,三、多传感器图像融合 (Multi
19、-Sensor Image Fusion ),1、为什么要关注这个题目？ 1）图像融合技术从70年代起，经30多年，发展缓慢，Why ？ 2）应用方面一直期待进步。（例如对地观测应用） 3）目前的研究兴趣仍然大量地集中在“象元级”图像融合，这类研究的前 景如何 ？有什么基本问题？这需要认真考虑。 4）图像融合的研究方向应该在哪里？,2、对图像融合研究造成影响的一个工作： Pohl, C., Genderen, J. L., 1998, Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications,
20、International Journal of Remote Sensing, 9(5)，823-854. 关于图像融合的定义：“Image fusion is the combination of two or more different images to form a new image by using a certain algorithm”,“形成一个新图像”，这对后续的研究造成了影响 ！Why ？,它将研究集中地引导到象元级融合研究，而这个研究的合理性是值得怀疑的： 1）象元级融合特别关注“分辨率”改善问题，其有效性对应用来说缺乏说服力。应用最需要的是对某个目标的各种属性提供
21、尽量综合和全面的知识。 2）观测图像多于 2 时，象元级融合难以处理和结果表达，这很不合理。 3）象元级图像融合不能一般地与目标的物理属性找到相容性。因为，将目标理解为”一个象元集合“或将图像的一组象元与目标形态建立一一对应关系常常是不正确的。 例： (a) 是多谱图， (b) 是同一地域的红外图；(c) SAR 图像中有飞机，但你看得见任何飞机吗？,又例：（a）V V 极化 SAR 图像； （b）H H 极化 SAR 图像。 注意在两幅图像中，同一个钢架桥的图像有重要不同。,3、图像融合的更准确定义： 多传感器图像融合是基于多传感器图像来了解图像中所含目标信息 的信息融合。 要点： 1）“组
22、合两个或多个不同图像形成一个新图像”对图像融合不是本质的。 2）在多传感器情况下，每个图像应理解为在特定传感器下，一种“目标 的属性分布”（DAO）。 3）特征级图像融合应该处理目标的数据关联。也就是，融合技术应该 能够从每个图像中区分出指定的目标；能够抽取目标的属性；能够 将各个图像中反映同一目标的属性数据关联起来。 4）决策级图像融合应该根据应用需求，利用关联数据产生出关于每个 目标的数值描述。 5）产生一个或多个合成图像；用什么方式来显示原图、合成图像、或 图形示意图；用什么方式来显示目标属性；。这些技术对显示 图像融合结果是重要的，但是技术性的，非概念性的。,4、若干技术关键问题1）多
23、传感器图像配准 多模态图像配准：典型地基于互信息，比较两个图像区域分布模式差异来决定配准。分布模式差异的度量可以用Kullback-Leibler 距离，Bregman距离，或其他广义距离。 配准需要的几何校正可以依据“广义特征点”来实施。 图像融合中需要的配准技术一般不是全局配准，而是区域选择性配准和多幅不同图像的联合配准。典型地，“目标”可能不适合于配准，但要进行描述。2）分割公共感兴趣区域 根据不同的应用需求需要不同的分割技术。感兴趣的区域可以是目标本身，也可以是目标所处的环境。一大类分割技术的依据是属性一致性（灰度电平、纹理统计特征、速度分布等等）。另一大类分割技术基于边界提取和区域属
24、性的人工或自动指派。典型的分割技术是通过最优化一个能量泛函来实现。例如活动围道方法是通过增高泛函维数和水平截集方法来实现拓扑演化。 融合技术中需要的分割技术可能包含提取目标和环境两层，并且是多幅图像联合分割。,4、若干技术关键问题 （续）3）抽取和关联目标的特征属性 典型目标属性：几何或形状特征；灰度特征；色度特征；各种特征的分布模式；不同传感器反映的特征差异；目标的移动属性；等等。 目标属性描述的组织：目标属性描述协议和关联数据库。4）信息融合和自动图像解释 这个技术一定是应用指定的。所谓“图像内容”依从于应用需求。可用的图像融合系统设计必须依据应用需求拟定出研究和发展的具体细则，包括图像和
25、目标的类别、主要特征、希望达到目标的具体描述等等。在这些前提下，信息融合和图像解释才有依据。,有兴趣者可以参考 “Some New Concepts and Key Techniques in Multi-Sensor Image Fusion”，科学网地址： http:/ ，也可以通过关键词从 上找到。,四、几点建议,1、学习和积累 图像处理技术发展很热，要学习的知识多，学习者需要掌握一定的要点： 例如： 努力获取物理概念，为第一要点； 先看数学推演的线条，搞清出发点和结果，再慢慢理解数学演绎过程； 不要限于读一篇文章，而是同时读相关的几篇文章，并且特别要看重最 源头的文章。如果有教科书可
26、参考，可节省时间。 遇新的数学知识，应作为增长数学知识的机会。 更多方面可以参考博文“同工科学生谈谈如何做研究”和“谈谈工科学生如 何学习数学” （可从“科学网”获得）,2、硕士和博士论文研究 硕士生可以在发展现有技术上做研究。博士生则必须争取有明确的创新点。博士生必须审视选题的可发展性，但选题不可能太难太高。例如，研究生论文仍然可以考虑稀疏性、压缩感知的研究，特别是将这些研究与专业应用结合起来。图像分割、配准、多幅超分辨、Retinex、高动态范围成像、基于视频的图像处理、面向医学应用的图像分析和3-D图像处理、面向对地遥感的目标识别和分类，PDE方法，manifold概念的应用，这些题目至
27、今仍然有生命力。也可将 X-let、压缩感知的知识结合到这些应用中。这些仍可作博士论文选题，能产生出有发表希望的结果（但通常不是高度创新性的工作）。 更多方面可以参考博文“同工科学生谈谈如何做研究”（科学网）,四、几点建议 （续）,3、创新性研究 学院式的图像处理研究或者说“纯”的图像处理研究很难产生出重要的创新性工作。只要当图像处理与重要的基础研究结合，才可能从结合中找到重要的位置。例如： 对物理现象出现了新的观测方法或出现了产生新物理现象的技术； 生物医学领域出现了新的敏感机制、新的测量和感应性质； 对物质、物体、地下、水下等出现了新的物理探测感应性质； - 由此发展出新成像原理/机理和技
28、术； 与其他应用学科结合，为重要的应用学科提供新观测处理手段； 图像认知的进展。这是最艰难和最富挑战性的领域。 有志者必须学习交叉学科知识，并有长期累计知识和捕捉灵感的准备。,四、几点建议 （续）,4、图像处理技术的产业发展机会 专用图像处理芯片，始终为有创造性思想的人提供可能性。如何将你 的先进处理方法发展成具有一定普适性、有明确应用目标、适合于硬件 实现，是必须解决的问题。 面向照相、摄像、通信编码的图像处理技术是各个大公司竞争发展的 热点。另一方面，例如高清摄像机的发展对中国国内的小公司已经成为 可行并且应用市场巨大，为图像处理技术提升介入提供了可能性。 遥感应用。通常由政府部门管理，在
29、我国该领域的产业化还未提到日 程。然而，商业化、成熟、和有效的大型处理软件是非常需要的。国内 许多单位目前靠进口。目前尚缺乏机制和能力来从事这项发展。 医学仪器设备。医学成像技术设备是一个大市场。动态医学图像辅助 手术治疗系统在国外是发展热点。对此，在现有成像视频系统基础上， 需要3D配准、分割、分析和测量技术。压缩感知技术能够大大缩短MRI 的采集时间，但图像重建期待加速。实时动态 MRI 有更大的挑战。 某些民用市场，如智能交通、公共安全管理需要图像和视频处理技术。 该市场规模很大，国内有上百家公司以各种方式介入，低水平重复现 象严重，有很大的技术发展空间。,四、几点建议 （续）,附注：本
30、文为中科院研究生院 2011年暑期讲座教材之一。公布于网上是为了 给本领域内更多的学生参考。转载时需保持文件完整，并注明来源 （“科学网”）。 主要参考：1、Mallat, S.: 2008, A Wavelet Tour of Signal Processing, The Sparse Way, 3rd ed., Academic, San Diego, CA.2、 Starck，J., Murtagh, F., and Fadili, J. M., 2010, Sparse Image and Signal Processing: Wavelets, Curvelets, Morpholo
31、gical Diversity，cambridge university press.3、E. Candes, J. Romberg, and T. Tao, “Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information,” IEEE Trans. Inf. Theory, vol. 52, no. 2, pp. 489509, Feb. 2006.4、E. Candes and J. Romberg, “Sparsity and incohere
32、nce in compressive sampling,” Inverse Problems, vol. 23, no. 3, pp. 969985, 2007.5、Elad，M., Sparse and Redundant Representations，Springer，2010.6、Ma, J. W. and Plonka, G., “The curvelet transform，A review of recent applications”, IEEE signal Proc. Magazine, March 2010. 邹谋炎：中科院电子学研究所研究员（退休） 中科院研究生院教授 北京川速微波科技有限公司主管,End,
