1、人类视觉对比度分辨率的非线性补偿原理和方法作者：谢正祥 刘玉红 王志芳 熊兴良 胡琴【摘要】 在对人类视觉对比度分辨率的研究基础上，提出了对暗视觉条件下的人类视觉对比度分辨率进行非线性补偿的思想、方法和应用。将在暗视觉条件下所获得的人类视觉不能分辨的不同灰度的信息，放在恰可分辨(JND)的灰度水平上，进行非线性补偿。经过补偿后，原来人类视觉不能分辨的不同灰度的信息就清楚可辨。因此该方法可望用于构建一种新型的全天候监控系统，改善提高微光夜视系统和反隐形系统的功能。 【关键词】 人类视觉; 对比度分辨率; 非线性补偿; 恰可分辨差异(JND【Abstract】 Based on studying
2、results about human vision contrast resolution, we proposed an idea, technique and application of nonlinear compensation for human vision contrast resolution in a scotopic condition. If the various gray information，which are acquired in a scotopic condition and can not be resolved by human vision is
3、 put to the gray level of the just noticeable difference (JND), the human vision contrast resolution in the scotopic condition can be nonlinearly compensated. Through compensated, the various gray information，which can not be resolved by human vision originally, can be resolved clearly. The method c
4、an wish to be used to establish a new type of roundtheclock monitoring system, to improve the performances of the low light level night vision and the antistealth systems.【Key words】 human vision; contrast resolution; nonlinear compensation; just noticeable difference (JND)1 引言图像与图像处理的生理基础是人类视觉。没有人类
5、视觉也就没有图像，更没有图像处理。人类视觉的分辨率限制的补偿和利用，在一些学科的理论、技术和相关产业的发展中起了决定性的作用。如光是能引起人类视觉的电磁波或光量子，光学学科的存在，完全是因为有人类视觉的存在。世界本无色，色是人类视觉的一种感觉，因此色是一种心理 物理量。在人类视觉生理 物理学文献中，报道了人类视觉的空间分辨率限制(不能分辨视角小于 1的两点)、时间分辨率限制(不能分辨时间间隔小于 0.1出现的两幅不同图像)和频率(波长)分辨率限制(不能分辨波长差小于 5 nm 的两种颜色)，但是没有对比度分辨率限制的测定方法和数据报道，特别是基于计算机数字技术的测定方法和数据报道。人类视觉的时
6、间分辨率限制的利用，奠定了现代影视学理论和技术以及相关产业的视觉生理学基础。没有人类视觉的时间分辨率限制，现代电影、电视、动画等诸多影视技术及相关产业都将成为乌有。人类视觉的空间分辨率限制的补偿，奠定了现代显微学理论和技术以及相关产业的视觉生理学基础。没有人类视觉的空间分辨率限制的存在，现代光学显微、电子显微、原子力显微等诸多显微技术及相关产业也都将成为乌有。可以预料，弥补和利用人类视觉的对比度分辨率限制，也可产生出与之相关的理论、技术和产业，如底层图像挖掘、隐藏和伪装以及反隐身、反隐形和不依赖于红外的夜视系统等1。2 人类视觉的对比度分辨率限制人类视觉分为低照度下的暗视觉(scotopic
7、vision) 和正常照明下的明视觉(photopic vision)以及中间视觉(mesopic visuion)。人类视觉对客观事物感知的基础是图像，而人类视觉对图像信息的感知，需要有适当的同时对比度(simultaneous contrast)。但是，在暗视觉(微光)条件下，人类视觉的对比度分辨率是很低的，有时虽有图像信息，但却不能被人类视觉感知，主要原因是没有达到人类视觉同时对比度分辨率阈值。人类视觉同时对比度分辨率阈值称为 JND 或 MRC.JND 或 MRC是一个容易测量的主观感觉值，是一个心理物理量1。它的意义是主观恰可感觉到灰度的差别，是一个主观感觉量，随之也有一个客观的物理
8、灰度差与之对应。这个客观的物理灰度差称为人类视觉对比度分辨率阈值，是一个客观可测量。我们在人类视觉同时对比度分辨率(阈值)测定的基础上1，提出了对人类视觉同时对比度分辨率进行补偿的思想、方法和应用。经过对人类视觉同时对比度分辨率进行补偿，可大大提高人类在暗视觉条件下的对比度分辨率，使本来不能被人类视觉分辨的图像结构信息变得清晰可辨。该方法可用于微光条件拍摄的图像的底层图像挖掘2，用于提高微光夜视系统和反隐形系统的功能等。2.1 关于对比度对比度分辨率研究的是 JND 与背景灰度的关系，而对比度敏感性研究的是(可分辨的)空间频率与背景灰度的关系3，因此这两个概念是不相同的。在不同的文献中，使用不
9、同的关于对比度的定义1, 46 ，如 Weber 对比度，Cw=Lt-LbLb，Michelson 对比度，Cm=Lt-LbLt+Lb， 投影仪术语中的对比度，Cp=LtLb。在这里我们采用灰度差, Cd=abs(Lt-Lb),作为同时对比度的定义6。对比度可分为同时对比度和分时对比度。Weber 对比度是其研究感觉定律的基础。但对 Weber的感觉对数定律从来就有不同意见7，美国科学院院士，著名心理物理学家 Stevens 在著名杂志SCIENCE上发表文章，对 Weber 感觉定律提出质疑，他们得出了幂定律7， 其关于视觉的研究结果见表 1.表 1 视觉的幂函数率研究结果对比度在背景灰度为
10、 0 时，具有的值。Weber 时代，还没有图像处理这门学科，Weber 对比度不适合作为图像处理中的同时对比度的量度。同样，Michelson 对比度，常用于投影仪的宣传广告中的比值 Lt/Lb 表示的对比度，都不适合用于图像处理中的对比度，如表2 的计算结果所示。 可见，在 100 灰度级附近(100104)，Weber 比在舍入法取两位小数时接近常数 0.01.表 2 不同定义的对比度的计算值比较对于 Michelson 对比度，(Lt-Lb )/ (Lt+Lb )，由表 2 第 3 行的计算数据可见，同样是一个灰度级差的两点，对于不同的背景灰度值不同，这个量不管是用以测量主观对比度还是
11、客观对比度，都可质疑，特别是在背景灰度为 0 灰度级时，具有最大的对比度值，更是不符合实际。因此，不管是主观测量还是客观测量，用绝对灰度差 abs(Lt-Lb)表示的同时对比度最适合用来表示图像中的客观同时对比度1, 6。2.2 人类视觉对比度分辨率人类视觉有明视觉与暗视觉之分，其生理基础是在人类视网膜上存在着视锥细胞和视杆细胞。一幅图像，如果是在微光暗视觉条件下拍摄的人类视觉不能分辨的图像，只要有不同的灰度分布，就含有不同的信息，由于人类视觉对比度分辨率有一定阈值，图像中所含的信息还不能为人类视觉所利用，也就是说图像中的两种结构(最简单的就是两点)要达到一定的灰度差，才能被辨别。恰可分辨的两
12、点间的灰度差就称之为恰可分辨差异(JND：just noticeable difference)。人类认识不同的事物就是认识其差异。这里所讨论的对比度是同时对比度(simultaneous contrast)，是与图像处理中的不同灰度的空间分布有关的对比度。这里引用我们在文献1中报告的基于数字图像处理技术的人类视觉同时对比度分辨率的测量研究结果1, 见(1)、(2)式和图 1.在暗视野条件下：JND(x)=22.982e-0.057x,0x47(1)在明视野条件下：JND(x)=1.683-8.34310-3x+3.37610-5x2,64x255(2)式中，JND(x)表示人类视觉同时对比度
13、分辨率阈值，x 表示背景灰度。图 1 显示出了这种人类视觉对比度分辨率随背景灰度变化的非线性关系图形。图 1 的中心为实验数据直方图。图 1 的左上部为根据实验数据的拟合方程，即式(1)和(2)。由式(1)、(2)和图 1 可知，不管是明视觉或暗视觉，人类视觉同时对比度分辨率阈值随背景灰度 x的变化为非线性关系。图 1 中的拟合曲线 I 为暗视觉环境的负指数函数曲线，图 1 中的拟合曲线为明视觉环境的抛物线函数。(1)、(2)式的意义是：在一定的背景灰度下，需要多少物理对比度(灰度差)才能提供主观感觉上的恰可分辨的灰度差。如果能对人类视觉的对比度分辨率的这种非线性限制(阈值缺陷)进行非线性补偿
14、，则可大大扩展人类视觉的对比度分辨能力，特别是暗视觉条件下的对比度分辨能力。我们对人类视觉同时对比度分辨率阈值的测量是在我们的电磁声光屏蔽的专用电生理实验室内测量的。因为没有发现有人测量过该值，也不能等待国外建立了测量方法和设备我们再模仿, 所以测量方法和设备都是我们建立的，详见文献1的报道。3 人类视觉对比度分辨率限制的非线性补偿原理人类视觉分辨所能分辨的一幅图像中两点的最小灰度差异称为JND(just noticeable difference)或 MRC(minimum resolvable contrast)。由式(1)和图 1 可知，在暗视觉条件下，人类视觉的同时对比度分辨率阈值是很
15、高的，即 JND 是很高的。在灰度级 30 以内，虽有不同的图像灰度，但人类视觉不能分辨，即这部分信息不能为人类视觉所利用。一幅图像中的空间分辨率足够的两点不能为人的视觉分辨为两点就是其灰度差没有达到 JND.为了使人类视觉能分辨这两点，我们提出了一种全新的思想：对暗视觉条件下的人类视觉对比度分辨率进行非线性补偿。现在我们用图 2 说明视觉同时对比度分辨率的非线性补偿原理。由图 3(a)的灰度谱8,9可知，其主要灰度信息在 30 灰度级以内，根据(1)式，该条件属于暗视觉范围(灰度级47)。各背景灰度下的累积灰度距离按(3)式计算：TG(og)=og(x,y),og(x,y)=0og-1i=0
16、JND(i),og(x,y)0 (3)式中，TG(og)表示对应于原始灰度为 og 的像素的补偿后目标灰度。JND(i)表示各级背景灰度 i 上的恰可分辨距离。若 og(i)表示原始前景灰度，则 j= og(i1) 为背景灰度,变化范围 0255.在实际计算中，如果计算值 TG(og)255, 则令 TG(og)=255，使之不超过图像的定义域。在图 2 中，标明 a、b、c、d、e 的灰度谱线，原来只有 1 灰度级的差，见图 3(a)的中部，因此人类视觉不能分辨出不同的信息。原来灰度为 0、1 的 a、b 两线间灰度差为 1，但在完成式(3)的同时对比度的非线性补偿后，a、b 两线间的灰度差
17、变为 JND(0)=22.98 灰度级，已恰可分辨。灰度为 0、2 的 a、c 两线间的原始灰度差为 2 灰度级, 人类视觉不能分辨，经补偿后变成 JND(0)+JND(1)，约为 44.686 8 灰度级，已近明视觉范围。灰度为 0、3 的 a、d 两条线间的灰度差为 3,人类视觉不能分辨，经补偿后变成 JND(0)+ JND(1) + JND(2)，约为 65.190 9 灰度级，已进入明视觉区域，构成了较鲜明的对比度。因而使图像的结构清晰可见，见图 3(b)。灰度谱中 010 灰度级的补偿数据列于表 3. 从表 3 中的数据可看出补偿的非线性特征。对微光暗视觉条件下拍摄的图像视觉对比度非
18、线性补偿的结果见图 3(a)(f)。4 结果图 3 由(a)(f)共 6 幅子图组成，每幅子图又分成上中下 3 个部分。上部为子图图像，中部为子图图像对应的灰度谱，下部为参数说明。其中第 1 项为图像名，如 a2335、two cars、wang.第 2 项为图像的平均对比度，AC0 表示原始图像的平均对比度，AC 表示经补偿后的图像的平均对比度。第 3 项为图像的平均灰度，AG0 表示原始图像的平均灰度，AG表示经补偿后的图像的平均灰度。第 4 项 PG(x,y)为图像的灰度谱的峰参数，x 表示峰位置的灰度级，y 表示峰值(像素数)，PG0(x, y)表示原始图像的灰度谱的峰参数，PG(x,
19、 y)表示经补偿后的图像的灰度谱的峰参数，图 3(a)、(c)和(e)为微光下拍摄的原始图像，人类视觉不易看出图像的不同灰度的结构信息。图 3(b)、(d)和(f)为对应于原始图像的经用(3)式进行视觉同时对比度非线性补偿后的图像，可以看出，平均对比度和平均灰度大大增加，灰度谱的位置向更高灰度方向移动(右移)，但峰值(像素数)不变，图像的视觉质量大大改善，得到适当的图像结构。从每一幅子图中部的灰度谱可以看出，对比度非线性补偿实现了谱分布的非线性扩展，但是主要结构成分，如谱线 011 的每条谱线的像素数没有改变。从每一幅子图的下部的参数数据的第 4 项可知，对比度非线性补偿，只按式(3)的补偿规
20、律非线性地移动了谱峰的位置，并不改变峰灰度的像素数, 其他主要谱线也一样。从每一幅子图的下部的参数数据的第 2 项图像的平均对比度数据可知，对按式(3)的非线性补偿规律完成的视觉对比度非线性补偿，提高了平均对比度，相当于非线性对比度增强器。从每一幅子图的下部的参数数据的第 3 项图像的平均灰度数据可知，对按式(3)的非线性补偿规律完成的视觉对比度非线性补偿，提高了图像的平均灰度，相当于影像增强器。(a)a2335 AC0=1.127 1;AG0=4.775 8;PG0(x, y)=(2,605 257)(b)a2335 AC=22.682 0;AG=102.067 2;PG(x, y)=(64
21、,605 257)(c)Two cars AC0=1.069 8;AG0=3.145 3;PG0(x, y)=(1,73 863)(d) Two cars AC=17.472 5;AG=57.000 4;PG(x, y)=(23,73 863)(e)Wang AC=0.619 0; AG=1.238 6;PG0(x, y)=(1,594 372)(f)Wang AC=14.161 4;AG=28.408 4;PG(x, y)=(23,594 372)图 3 微光条件下获得的图像的视觉对比度分辨率非线性补偿表 3 灰度级 010的补偿数据5 讨论5.1 对比度分辨率与对比度敏感性基于暗视觉条件下
22、人类视觉对比度分辨率低的缺点提出了一种视觉对比度非线性补偿的思想，具有原创性，具有自主知识产权，正在申请国家发明专利。暗视觉条件下人类视觉对比度分辨率阈值测量的思想也是我们提出来的，目前未见有其他报道。前面我们提到过，视觉对比度敏感性的报道，这与对比度分辨率是两回事。暗视觉条件下人类视觉对比度分辨率阈值测量也是我们实验室完成的1。我们公布的实验方法和结果是可重复的，当然也是可改善的，因为就是 CIE(Commission Internationale de LEclairage)标准也在不断改善，也容许别人改善。5.2 对比度分辨率非线性补偿是一种特殊的图像增强技术现有的图像质量增强方法，有硬
23、件的和软件的。硬件方面如用于微光条件下的就是各种夜视系统，包括红外的和微光影像增强的。软件方面，图像质量增强现有很多报道10，对比度拉伸(扩展)和直方图均衡化只是其中两种10，就是直方图均衡化也有很多方法报道1115 。第一线的研究者都知道直方图均衡化图像增强方法存在很多缺点，如过增强和欠增强问题，分段的任意性，如何分段合适都是不确定性问题，甚至存在病态问题等1115 。有人提出粗糙集方法比直方图均衡化方法更好12。现报道的基于直方图均衡化的图像质量增强方法都是在明视觉条件下的图像增强，未见用于微光条件下的人类视觉不能分辨结构的图像的直方图均衡化增强方法报道。对比度分辨率非线性补偿是一种特殊的
24、微光暗视觉条件下的图像增强技术。5.3 关于灰度谱在科技文献中，有很多与谱有关的概念，它们都与事物的某种特性的分布有关。如能谱表示粒子数按能量的分布，质谱表示粒子数按质量的分布，功率谱表示信号功率按频率的分布等等。这里提到的灰度/色度谱，表示图像的像素数按灰度/色度的分布。在灰度/色度的 256 级表示法中，相当于 256 级灰度/色度直方图，虽然很少见到色度直方图的概念。还提出了独特的灰度谱平坦化方法89 ，可无限接近均衡化谱(256 段的灰度直方图)，不但有灰度的，还有彩色的，都可无限接近均衡化。5.4 对比度分辨率补偿的方法的适用范围对于低光照的条件，视觉对比度分辨率补偿的方法是普适的，
25、有很高的应用价值，除了可用于低照度下的监控，还可用于增强夜视效果。对于由于等效反射界面小的隐形技术，也可增强反隐形的效果，因为反射射线少(电磁波或声波)等效于微光条件【参考文献】1 王志芳，刘玉红，谢正祥，等.基于数字图像处理的人类视觉对比度分辨率限制测量J.生物医学工程学杂志,2008, 25(5):9981002.2 谢正祥，王颖，王志芳，等.基于 ZadehX 变换的图像隐藏和挖掘技术J.中国医学物理学杂志,2007, 24(1):1315.3 W N Charman. Spatial frequency content of the Cardiff and related acuity testsJ. Ophthalmic and Physiological
