1、基金项目：广西自然科学基金（2014GXNSFDA118035，2013GXNSFAA019331，2012GXNSFAA053231,2012GXNSFBA053014,2013GXNSFDA019030），广西教育厅科研项目（201202ZD040,201204LX146）作者简介：张顺岚（1974-），女，讲师，硕士，主要研究方向图象信号处理。E-mail：改进的双目视觉三维尺寸测量系统张顺岚 唐望平 莫建文(桂林电子科技大学 信息与通信学院，广西 桂林 541004)摘要：根据双目视觉原理，开 发了基于双目视觉的三维尺寸 测量系统。利用 图像帧差法实现目标物体自动检测；并在此基础上利用
2、立体匹配算法计算出目标物体区域的视差，对生成的初步视差采用基于最小二乘法的视差优化算法，获取目标物体区域的完整 视差图；再将三维点云重投影到二 维平面，利用最小外接矩形完成目 标物体尺寸的自动测量。实验表明，在合适的测量距离下，系统测量精度达到了较好的效果，验证了所设计系统的可行性。关键词：双目视觉；视差优化；最小外接矩形；三维测量中图分类号：TP391.4 文献标志码： AAn improved 3D size measurement system based on binocular visionZhang Shunlan, Tang Wangping, Mo Jianwen(School
3、 of Information and Communication Engineering, Guilin Univ. of Electronic and Technology, Guilin 541004, China)Abstract: The 3D size measurement system is developed according to the principle of binocular vision. Firstly, the target is automatically detected based on frame difference method. And the
4、 stereo disparity is calculated from the image target area by using stereo matching method. Secondly, the initial disparity map is improved by utilizing the least square method. The complete disparity map of the image target area is obtained. And then, the three-dimensional point cloud is re-project
5、ed onto a 2D plane. Finally, The size of the target can be automatically measure by making use of the minimum circumscribed rectangle. Simulation results show that the improved system can achieve good results, and it is feasible.Key words: Binocular vision; disparity optimization; minimum circumscri
6、bed rectangle; three dimensional measurement 0 引 言近年来，机器人自导引、无人驾驶、隐蔽式军事侦察、医学诊断及工业检测等领域的应用日趋广泛，双目立体视觉逐渐成为机器人技术研究中最为活跃分支之一，也是后续技术发展的重要基础。相比于传统的激光、红外等其它测量技术，基于双目立体视觉的测量技术是一种高效的被动式先进检测、测量、识别技术，发展前景可观，应用范围广泛 1-3。当前，双目视觉测量的应用大部分集中在测量距离 4，有一定的局限性；而在测量空间物体的大小尺寸应用方面，需要手动获取目标像素点或者设置特殊的特征点，不能实现物体的自动提取、自动测量，这样阻
7、碍了工业生产的智能化、机械化；而且传统的测量方法中的人工操作步骤，不仅增加了劳动成本而且使步骤更加复杂；在工业检测方面实现的零件合格检测 5，也只是固定场景下的检测，不能实现相对运动物体尺寸大小的自动测量；而且对运动的物体，手动的点取目标像素是很不准确的，也不能实现实时性。更重要的是，由于平滑表面的镜面反射、投影缩减、透视失真、低纹理和重复纹理等对双目匹配的影响，导致手动点取的目标像素点不一定存在有效三维信息6。为克服上述技术的不足，开发了一套基于视差优化算法的双目立体视觉自动测量系统，这种方法不仅简化了双目测量的操作步骤，更能较准确地自动获取目标物体的测量信息，并且对其匹配后产生的视差进行优
8、化，减少平滑表面的镜面反射、投影缩减、透视失真、低纹理和重复纹理等外界影响，使目标物体的三维点云信息更加完整。再将三维点云重投影，利用最小外接矩形法提取目标的包围尺寸，实现自动化智能化测量，极大限度的扩展双目测量的应用范围，为后续的机器人双目视觉提供技术支持。1 双目测量系统结构双目立体视觉作为计算机视觉的重要分支，由不同位置的 2 台或者 1 台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，来获得该点的三维坐标。本系统采用双目相机结构，如图 1 所示。在利用立体视觉获取物体的三维几何信息之前，首先需要对视觉传感器进行标定，计算摄像机的内外参数。双目测量系统流程框图如图
9、 2。图 1 双目相机几何关系标定矫正前景检测立体匹配视差优化 三维点云投影到 x , y平面最小外接矩形框自动显示物体宽 ， 高 ， 远左 ， 右视图三角测量投影模型提取x , y获取目标物体宽高信息基于前景优化物体距离信息形态学处理图 2 系统框图根据系统框图所示，本系统的设计步骤可分为以下几步：步骤一：通过简单的双目相机同时获取两路 RGB彩色图像，利用棋盘标定法对双目摄像头进行标定，获得两个摄像头的内外参数，根据这些参数对双目摄像头进行校正，去除镜头的鱼眼效应以及位置误差等影响，得到校正后的双目视图（左视图和右视图）。步骤二：对步骤一校正后得到的左右视图，利用立体匹配算法(如 BM、S
10、GBM 算法)以左视图为基图进行匹配，得到初步的视差图，该视差图由于镜面反射、投影缩减、透视失真、低纹理和重复纹理等影响产生突变视差或者局部无视差。对于产生的突变误差可以进行阈值筛选，滤除视差中的噪声干扰点；对于局部无视差问题会在接下来的步骤中进行解决。步骤三：对步骤一校正后的左图，利用背景相减法（也叫帧差法，在简单背景下，前景和背景亮度和色彩等相差比较明显，可以用包含前景的后一帧减去只包含背景的那一帧，获得完整的前景区域）提取目标物体，其他非目标区域全为黑。步骤四：根据步骤三提取出来的目标物体区域，对步骤二生成的初步视差图，利用最小二乘法直线拟合对局部无视差区域进行填充，实现视差优化，获得目
11、标物体区域的完整视差图，其他非目标区域不优化，为全黑无效区域。步骤五：对步骤四获得的目标物体区域完整视差图，根据投影模型获得三维点云(包含点的三维坐标、特征信息等信息量)。步骤六：对步骤五生成的三维点云，进行坐标重投影，将三维坐标投影到二维平面，并通过图像处理的方法，把二维平面的世界真实坐标与图片的像素坐标关联起来，用灰度图片具体的显示出重投影后的二维坐标信息。图片中将能看到目标物体重投影后的形状（白色区域），其像素宽度、长度将直接反映出物体的真实宽度和长度。步骤七：对步骤六中生成的坐标关联像素图，利用形态学的方法，采用最小外接矩形将像素图片中的轮廓框住，最小矩形的长度和宽度就是目标物体的长度
12、和宽度。系统框图具体展示了整个系统的实现原理，该系统能有效提取出目标物体，并对其匹配后产生的视差进行优化，三维信息重投影后生成的平面映射图经过形态学处理，能很好的框出目标物体的最小外接矩形，能较准确的自动获取目标物体的测量信息，极大限度的扩展了双目测量的应用范围，并简化了双目测量的操作步骤，基本实现自动化智能化测量，为后续的机器人双目视觉提供技术支持。2 基于前景检测的视差优化算法本文采用的视差优化算法是在传统匹配算法所得视差图的基础上进行优化，所以与一般的双目测距相比较，包括以下共性：(1) 相机标定与校正：通过已知的参考点来求取摄像机的内外参数，从而校正图片。基于便捷性和可操作性考虑，本文
13、采用张正友平面标定法标定相机，也称棋盘法。张正友提出的针对径向畸变标定方法，通过多幅（不同相对位置的）平面模板（棋盘格）图Z wX wY wpC 2C 1Z 1X 1Y 1O 1P 1P 2Z 2X 2Y 2O 2像，利用棋盘格上的角点与图像平面上的像点之间的单应性矩阵，来约束对应摄像机的内参，详细介绍见文献 7。(2) 立体匹配获取视差：通过一定的约束条件找出空间同一点在左右图像平面上的两个投影点，然后利用三角测量原理，计算视差。本文基于实时性考虑采用局部匹配算法。文献8介绍的局部立体匹配（BM）算法主要是采用局部优化方法进行视差值估计，利用局部的信息进行能量最优化，所以得到的视差估计是局部
14、最优，而不是全局最优。该算法是在前景区域内，按行检测出有效视差和无效视差，并记录存取，有效视差作为最小二乘法的已知条件，对无效视差部分进行直线拟合，而有效视差保持不变，达到整个目标物体区域有完整的视差图，并分离出这区域的视差图。该算法是实现自动测量的关键。算法的实现分为两部分，分别是前景区域提取和最小二乘法优化视差。2.1前景区域提取本文涉及的前景检测和提取，采用简单的背景帧差法。背景帧差法具有简单，运动速度快，对缓慢变换的光照不是很敏感等优点，但同时也会有空洞等缺点。基于实时性考虑，帧差法的基本原理就是将前后两帧或者当前帧与固定背景帧图像的对应像素点的灰度值相减，得到帧差灰度图。如果对应像素
15、灰度相差很大就可以认为此处景物为前景。针对帧差法会产生空洞的缺点，以及更好的提取前景物体，本文将得到的帧差灰度图二值化后，利用形态学的取最大连通域法进行处理：（1）利用轮廓提取算法 9找出二值化图片的所有轮廓；（2）对比各轮廓的面积，选择最大的轮廓，并记录当前最大轮廓；（3）填充轮廓内部，去除连通域中的离散黑色斑块，形成较干净的最大连通域（二值化图像中以白色区域呈现）。在基本去除空洞现象后，得到感兴趣区域二值化前景图，最后用掩模法（mask）抠出目标物体，利用生成的前景二值化图与对应时刻的原始 RGB 图进行掩模处理，黑色区域保持不变，白色区域替换成原始RGB 图片的对应区域。前景提取效果如图
16、 3 所示，图 3(a)为帧差法获得的前景二值图，图 3(b)为利用形态学最大连通域法去除前景中黑斑后的效果图，图 3(c)为掩模法提取前景区域真实像素图。由此可见该方法可以较好的提取出前景区域，并保证前景目标的完整性，是后面视差优化算法的前提条件。(a)帧差法获得的 (b)形态学最大连通域法前景二值图 处理后效果图(c)掩模法提取前景区域真实像素图图 3 前景提取过程2.2 最小二乘法优化视差视差优化算法是在传统匹配算法计算得出的视差基础上，在前景区域内利用最小二乘法直线拟合对前景区域内的无效视差进行优化，得到一个比较完整的前景区域视差图。算法实现过程如下：（1）设定前景感兴趣区域内每行白色
17、像素点个数阈值 n；（2）按行扫描，寻找连续白点个数 m；（3）如果 mn，返回（2）继续扫描下一行；否则继续下一步骤；（4）记录这 m 个连续边白色点的坐标，构成点集 V；（5）在视差图中按行读取点集 V 中对应坐标的视差值 d；（6）如果 d 有效，记录有效是差点位置和视差，转第（8）步；（7）记录无效视差点集，用最小二乘法直线拟合生成无效视差点的视差；（8）感兴趣区域没有扫描完，返回第（2）步继续扫描；否则结束算法。算法主要利用无效视差点位置的前后几个（可以根据需求设定）有效视差点作为已知条件，完成直线拟合对无效视差点填充替换成估计值，有效视差点保留原视差值。重复以上步骤，按行优化感兴趣
18、区域的视差，得到较为完整的前景区域视差图。此算法运算复杂度低，能克服纹理性差等因素造成的影响，生成完整的感兴趣区域视差。算法只对视差进行优化，对前面的匹配等过程不造成影响。对比图 4(a)和(b)可见该视差优化算法完全实现了上述要求，而且效果明显。(a)无优化视差 (b)优化后的视差图 4 算法优化对比图3 双目测量实现测量的实现，首先需要求取目标区域的三维空间坐标，然后利用空间两点间的距离公式计算出空间真实距离，对于测量距离（离摄像机的距离）来说，只需要知道该点的深度信息。目前的测量应用大多集中在距离测量，本文利用前景提取、视差优化、空间重投影、形态学等方法，不仅实现了测距、手动点取测量空间
19、两点的距离，还实现了自动识别提取目标物体，自动测量其长、高信息。常见的获取三维空间坐标的方法有两种，一种是基于最小二乘法求解三维坐标 10，另一种是利用视差法求取三维坐标。本文采用视差法求取三维坐标 11。在获取三维信息（即三维点云）后，本文首先对三维点云进行重投影，生成二维平面信息；然后将二维平面信息（即真实平面坐标信息）以一定的转换关系生成二值化像素图像，本文称作坐标关联像素图；最后利用形态学、最小外接矩形、像素转坐标信息等方法实现自动测量。自动测量的实现最重要的两方面为：三维重投影和计算最小外接矩形。3.1 三维重投影在不考虑空间旋转角度的情况下，即以上摄像机图像平面与物体表面平行(可以
20、根据三脚架上面的水平仪确定这种平行关系)。根据空间三维投影到二维平面的简单几何关系，在空间物体的 z（厚度）分量与世界坐标系的 z（光轴方向）分量平行的情况下，三维重投影问题就变成简单的选取三维坐标 x、y、z分量问题，这里我们取 x、y 分量，组成二维 xy 平面，该平面与图像平面重合，在这个过程中我们必须利用滤波器过滤一些噪声点。为了让 xy 平面可视化，必须把这些坐标信息与像素坐标关联起来，本系统采用的关联准则是：1 个像素点对应真实世界的一毫米（这个对应关系是可以根据所测物体和所需精度设置的），那么如果定义一个 640x480 像素的图片，那么就可以对应 640(mm)x480(mm)
21、的矩形大小。在可视化的过程中，x、y 分量的值为多少毫米就将图片对应像素坐标位置的像素值置 255（呈白色），如图 5(c)xy 平面二维坐标图转换为图 5(d)坐标关联像素图所示。(a)前景区域三维点云 (b)重投影到侧平面重建的效果图 (c)重投影到正平面 (d)二值化的坐标关联像素图图 5 重投影及转换演示图针对前面提到的过滤噪声点，本文以深度(z 分量)信息为阈值，深度超过阈值的点全部滤除，如图 5(b)所示，如果深度阈值设为 150，那么深度大于 150 的散乱的点将被全部滤除，对于深度信息小于 150 的散乱杂点，暂时不管，在将过滤后的二维坐标信息生成坐标关联像素图后，二值化图片上
22、深度小于 150 的噪点将产生白色的小斑点，这些白色小斑点就是其噪声点，可以通过图像处理方法处理：寻找最大轮廓，去除周边散斑，形成较完整的二值化图，如图 5(d)所示。图 5 中，图(a)为前景区域三维点云重建的效果图，其中包含噪声散点，图(b)和(c)分别为重投影到侧平面（xz 平面）和正平面（正对摄像机的 xy 平面）的效果图。在 OpenCV 中将二维平面的坐标信息以一定的转换关系（上面提到的关联准则）转换为二值化的坐标关联像素图，如图(d)所示，对比图(c)可以看出滤除了部分噪声点。3.2 计算最小外接矩形框对前面生成的二值化坐标关联像素图，计算其最小外接矩形主要包括两部分：先建立二维
23、点集的凸包，凸包的求取参考文献12，然后利用旋转卡壳算法求取最小外接矩形，最小外接矩形的求取参考文献 13。本系统基于 OpenCV 计算其最小外接矩形，其实现过程如下：(1)利用 2.1 小节介绍的方法提取二值化图片的最大连通域。(2) 利用前面提到的旋转法计算出最大连通域外轮廓的最小外接矩形的 4 个角点（矩形随着平面轮廓的不同有角度变化），并保存其 4 个角点像素坐标（这些坐标值可以直接用来计算外接矩形的旋转角度），最后根据这 4 个角点画出矩形的 4 条边。在图 5(d)中还画了其最小外接椭圆 14作为对比。(3) 在画出最小外接矩形后，矩形的长和宽分别是多少个像素将变得很清晰，因为其
24、 4 个角点像素坐标在前一过程已经求出，所以为了反映物体的真实长和宽，按照 3.1 节所提到的真实坐标信息与像素坐标关联准则，将矩形的长宽像素反转换为真实的长宽信息，并显示在图片上，这样整个自动测量方法完成。本文采用 1 个像素点对应真实世界的一毫米的关联准则，由于像素点是离散的，而尺寸信息是连续的，所以当不满一毫米的部分将不能以像素点显示出来，这样会带来一个 1mm 以内的误差。4 实验过程与结果分析4.1半自动测量半自动测量需要鼠标点击目标点，包括直接测距（目标点离摄像机的距离）和测量空间两点的距离。图 6 中左视图中红色框里面的小车为检测的最近物体，视差图和匹配图中黑色部分为无效视差和非
25、匹配区。(a)左视图 (b)右视图(c)视差图 (d)匹配图图 6 半自动测量示意图手动点击图 6(d)中小车后轮的水平直径，测量两点间的距离。手动标尺测量小车轮胎直径是 10cm，双目测量系统软件测量结果为 9.9870cm。表 1 是多组测量数据及误差。表 1 数据分析（单位：mm）系统测距 标尺测距测距误差(%)系统测两点间距离标尺测两点间距离两点距离误差(%)912.31 910 0.25 49.59 50 0.82923.34 920 0.36 49.65 50 0.70931.21 930 0.13 50.23 50 0.46941.74 940 0.18 49.98 50 0.0
26、4952.92 950 0.31 50.35 50 0.701115.05 1110 0.45 99.87 100 0.131138.77 1130 0.78 100.16 100 0.161159.33 1150 0.81 100.36 100 0.361178.47 1170 0.72 100.03 100 0.031198.26 1190 0.69 99.95 100 0.05从表 1 分析可知在一定范围内，测量精度较高，可以满足需求，在点取两点求取空间距离时，两点可以是深度接近的两点，也可以是深度相差比较大的两点，其误差都在可接受范围内。产生的误差原因可能有多方面：（1）摄像机标定误差
27、的大小会直接影响后面一系列的过程，包括校正、匹配等；（2）摄像头的分辨率也是主要原因，像素太低会导致匹配不准得不到准确视差；（3）匹配算法的缺陷导致匹配不够精确；（4）本身标尺测量就存在误差。4.2 自动测量自动测量无需鼠标点击目标点，当目标物体进入视图后，系统会自动检测和提取目标物体（前景区域）。如图 7 中的匹配图区域只显示前景的小车，而且对比图 6，可以发现前景区域没有黑色无效视差，视差图得到明显优化。通过第 3 节介绍的自动测量方法，其自动测量结果显示如图 7，目标物体的实际尺寸大小跟踪显示在坐标关联像素图中。其中 L 表示宽度，H 表示高度，单位为毫米。“左视图”窗口内红框为检测到的
28、最近物体，中间红色的数字为小车离摄像机的距离，单位为厘米。(a)左视图 (b) 坐标关联像素图(c)视差图 (d)匹配图图 7 自动测量效果图图 7 中车子实际测量（直尺）长度 L：55cm；宽度 W：26cm； 高度 H：17cm 。通过本系统自动测量的数据（以坐标关联像素图右下角显示数据为准）如表2 所示。表 2 自动测量数据小车离摄像头距离（cm ）系统测量小车长度（mm）误差(%) 系统测量小车高度（mm）误差(%)67.0 555.0 0.91 175.0 2.9493.2 555.0 0.91 180.0 5.88106.0 560.0 1.81 175.0 2.94小车离摄像头距
29、离（cm）系统测量小车宽度（mm）误差 系统测量小车高度（mm）误差(%)102.4 262.0 0.76 171.0 0.59132.9 264.8 1.84 166.5 2.05从表 2 数据分析可知，自动测量准确度在可接受范围内，能过达到自动测量的目的。自动测量中误差产生的原因主要有：光照强度影响目标物体的提取进而影响测量精确度，坐标信息转化为像素图片的过程中存在一定误差，对二值化坐标关联像素图的处理以及计算其最小外接矩形过程中存在误差。 5 结 语本文在研究双目立体视觉的基础上提出了一种将三维点云重投影到二维平面，利用最小外接矩形完成目标物体尺寸自动测量系统，利用最小二乘法的视差优化算
30、法改善了立体匹配效果。对所提出的方法进行了实际验证，实验结果表明，在合适的测量物体到摄像头距离下，其测量精度达到了较好的效果，即验证了所设计系统的可行性。在实际应用中，可通过提高摄像头分辨率，调整合适的测量距离，以及调整两摄像头间基线距离，得到跟好的测量效果。参 考 文 献 1 岳亮. 一种基于双目视觉的安全车距测量方法J. 电视技术, 2013，37(15):194-197.2 张顺岚, 莫建文. 基于双目视觉的三维人脸识别算法J. 电视技术, 2014, 38(9):214-217.3 Shih S, Tsai W H. Optimal Design and Placement of Om
31、ni-Cameras in Binocular Vision Systems for Accurate 3D Data MeasurementJ. IEEE Trans. on Circuits and Systems for Video Technology, 2013, 23(11):1911-1926.4 Zhu J, Yuan L, Zheng Y F, et al. Stereo visual tracking within structured environments for measuring vehicle speedJ. IEEE Trans. on Circuits an
32、d Systems for Video Technology, 2012, 22(10): 1471-1484.5 Montilla M, Orjuela-Vargas S A, Philips W. State of the art of 3D scanning systems and inspection of textile surfacesC/IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2014: 90180A-90180A-7.6 Min D, Lu J, Do M. Jo
33、int histogram based cost aggregation for stereo matchingJ. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2013, 35(10): 2539 - 2545.7 Zhang Z Y. A flexible new technique for camera calibrationJ. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.8 Hirschmulle
34、r H, Scharstein D. Evaluation of cost functions for stereo matchingC/Computer Vision and Pattern Recognition, 2007. CVPR07. IEEE Conference on. IEEE, 2007:1-8.9 Zhang Y, Han J, Yue J, et al. Weighted KPCA Degree of Homogeneity Amended Non-classical Receptive Field Inhibition Model for Salient Contou
35、r Extraction in low-light-level ImageJ. IEEE Trans. on Image Processing, 2014,23(6):2732 - 2743.10 Duan Z, Yuan Z, Liao X, et al. 3D Tracking and Positioning of Surgical Instruments in Virtual Surgery SimulationJ. Journal of Multimedia, 2011, 6(6).11 Jen-Shiun Chiang, Chih-Hsien Hsia, Hung-Wei Hsu.
36、A stereo vision-based self-localization systemJ. Sensors Journal, IEEE, 2013,15(5): 1677 - 1689.12 Gao S, Yang J. Saliency-seeded localizing region-based active contour for automatic natural object segmentationC/Pattern Recognition (ICPR), 2012 21st International Conference on. IEEE, 2012: 3644-3647
37、.13 Jiang N, Yang W, Duan L, et al. Acceleration of CT reconstruction for wheat tiller inspection based on adaptive minimum enclosing rectangleJ. Computers and Electronics in Agriculture, 2012, 85: 123-133.14 Cui J W, Lei X Q, Tu X P, et al. Reacher on Ellipticity Error by Use of Minimum Circumscrib
38、ed Ellipse and Maximum Inscribed Ellipse AlgorithmJ. Applied Mechanics and Materials, 2013, 333: 1461-1464.作者简介：张顺岚（1974-），女，讲师，硕士，主要研究方向图像信号处理；唐望平（1988-），男，硕士，研究方向为立体视觉、双目立体测量；莫建文（1972-），男，博士，副教授，主要研究方向为图像信号处理。基金项目：广西自然科学基金（2014GXNSFDA118035-稀疏表示的图像超分辨率重建算法研究；2013GXNSFAA019331-基于深度信息的三维手势交互技术研究；2012GXNSFAA053231-基于众核计算的快速图像拼接方法研究；2012GXNSFBA053014 - 变分 PDE图像恢复建模与快速算法研究； 2013GXNSFDA019030-稀疏表示的图像恢复建模与算法研究）。
