固连双相机多视图重建测量方法设计.DOC

1、1 固连双相机多视图重建测量方法设计 丁少闻 1,2，张小虎 1,2，王洁 1,2，施忠臣 1,2 (1.国防科技大学航天科学与工程学院，湖南 长沙 410073) (2. 国防科技大学图像测量与视觉导航湖南省重点实验室，湖南 长沙 410073) 摘要： 大范围场景光学非接触式测量在工程中具有广泛的应用需求，常规 基于单相机的多视图重建测量方法需要在场景中加入尺度基准，图像采集过程复杂、对图像重合度要求高。为此本文提出一种利用固连双目相机进行多视图重建的方法，既继承多视图重建中测量范围大的优势，同时无需尺度基准，图像采集过 程更简单易实现 ，数据优化 过程 中 还 额外增加 了 双相机固连约

2、束条件 。 具体实现过程中， 首先标定获取安装在固定杆上的两相机的内参数及固连关系，然后使用双相机对待测量区域采集图像并双目交会获取每一时刻的空间点云。计算相邻时刻点云所在坐标系的转换关系，通过传递将所有时刻图像对应相机位姿以及交会点云统一在指定坐标系下，由光束法平差优化相机位姿及点云坐标，由重建点云坐标即可计算待测尺寸 参数 及 形变 信息。经 实验 验证，在 5 米范围内，其测量误差最大 3mm，均值 1mm。该方法可以满足大尺寸物体、 大范围场景的 测量需求，算法稳定可靠。 关 键词 ： 多视图重建 ；固连双相机；大尺寸物体测量 中图分类号： P234.1 文献标识码： A Multi-

3、view Reconstruction Measurement Design Based on Binocular Camera Ding Shao-wen1,2, Zhang Xiao-hu1,2, Wang Jie1,2， Shi Zhong-chen1,2 (1.College of Aerospace Science and Engineering, National University of Defense Technology , Changsha 410073;) (2. Hunan Provincial Key Laboratory of Image Measurement

4、and Vision Navigation, National University of Defense Technology, Changsha 410073;) Abstract: Optical non-contact measurement of large-scale scenes has wide application requirements in Engineering, the multi-view reconstruction based on single camera needs to arrange scale datum into the measurement

5、 area, image acquisition process is complex, and requires a high overlap ratio between adjacent images. In this paper, a method of multi-view reconstruction using binocular cameras is presented, this method not only inherits the advantages of large measurement range in multi-view reconstruction, but

6、 also does not need to arrange scale datum, and the image acquisition process is simpler. Besides， double camera constraint is added in the process of data optimization. Specific methods are as follows, firstly the internal parameters and solid connection of two cameras installed on the fixed rod ar

7、e obtained according to camera calibration. Then we use the binocular cameras to acquire the images of the area to be measured and get the spatial point cloud by binocular intersection. Calculate the transformation relation of the coordinate system of point cloud in adjacent time by the method of po

8、se estimation, and transform the cameras parameters and point clouds coordinate of each moment to the specified coordinate system. The position and pose of the camera and the coordinate of point cloud are optimized by using Bundle adjustment, the size parameters and deformation information can be ca

9、lculated from the point cloud coordinates. The test results show that in the range of 5 meters the measurements error is 3mm, the average error is 1mm. This method is suitable for the measurement of large scale object and scene, the algorithm is stable and reliable. 收稿日期： 2017- 基金项目： 国家自然科学基金资助项目（ 1

10、1272347） ， 国家重大科学仪器设备开发专项 资助项目（ 2013YQ140517） ； 作者简介： 丁少闻（ 1989-） ，男，浙江义乌人，博士研究生， E-mail： 张小虎（ 通信作者 ），男，研究员，博士生导师， Email： 2 Key words: Multi-view reconstruction; Binocular cameras; Large scale object measurement在工业生产中 存在对大尺寸物体、 大范围场景的 尺寸及 形变参数进行测量的需求 。 传统方法分接触式测量与非接触式测量两种 。 受待测物体形状 、大小以及 环境等因素的 制约

11、，测量现场常不具备 接触式方法的测量条件 。 非接触测量可以解决以上问题，但存在测量范围小、测量场景受限、测量设备昂贵等问题。 双目相机交会测量是视觉测量中的最基本方法，但其面对大范围且存在遮挡的复杂场景时，其往往难以满足应用需要。 针对以上情况 ，多组网相机测量方法是常见的测量手段，即在不同视角分别布置相机，利用多视交会方法测量每个待测点的空间位置。但该方法存在 组网 相机内参标定及位姿解算复杂 、 成本高 等 的问题。若待测场景或目标的表面在短时间内不发生变化， 单相机多视图重建测量是 一种解决上述问题的 较好的非接触测量方法， 即使用一台相机，从多个视角采集图像并处理，通过运动结构恢复（

12、 Structure From Motion, SFM）等多视图重建方法获得待测场景点云数据并进行测量。 相比其他非接触式测量方法，其设备相对低廉，测量范围广。 但是这种方法存在的问题是，所重建点云与实际相差一个尺度因子，需要对点云进行尺度恢复，一般解决的办法是在测量区域内放置尺度基准，并在重建点云中找到对 应尺度基准点从而计算尺度缩放因子，这一步骤降低了方法的实用性，尺度恢复的过程也会引入额外不必要的误差。同时，单相机多视图测量的图像采集方位随机性大，不易引导，一旦所采集图像不符合要求，可能出现以下情况：（ 1）某个空间点只被拍摄到一次，无法解算空间点位置；（ 2）确定某一空间点位置的图像拍

13、摄位置非常接近，导致该点坐标的计算因小交会角而误差过大；（ 3）确定某张图像对应相机位置时由于该张图像与其他图像没有足够的公共点，导致相机位置无法确定，该张图像无法参与优化。若为了避免上述问题而增加重建视图数量，又会极大降低重建 效率 1。 若能在不额外加入尺度基准，同时图像采集位置易引导以保证合适的交会条件下完成测量任务，将极大推动多视图重建测量方法的推广，以满足 大尺寸、 大范围景物快速精确测量 的 需要 。为此，本文提出一种利用固连双相机进行多视图重建的方法，即无需在测量视场内放置尺度恢复基准，同时相比单相机多视图测量，拍摄角度更易选取，交会条件有保证，点云重建算法稳定可靠。 1 原理

14、相比单相机多视图重建测量，固连双相机交会点云本身具有尺度信息，因此不需要额外放置尺度基准。但受相机视场角及交会精度约束，固连双相机测量区域有限，因此面对 大尺寸待测物体，需要多次拍摄并对交会点云进行拼接融合。然而多次拼接会引入累计误差，降低点云的重建精度。 本方法的基本思路是，在待测物体表面或待测场景内布置若干标志点，包括待测量位置。 将双相机固定在横杆两端 ， 并对其内参数及固连关系进行标定 。利用标定好的双目相机对待测物体或场景进行拍摄并对公共视场内的标志点进行交会，获得空间点云；多次拍摄保证交会点云覆盖所有待测标志点，同时相邻点云间具有一定的公共区域。通过点云配准，将所有点云及对应相机统

15、一到同一坐标系下，进而利用光束法平差优化所有空间点位置，由标志点重建点云坐 标即可计算获取待测物体或场景的尺寸参数及结构变形信息。 C 1 C 2 T 3T 2T 1P 8P 7P 6P 5P 4P 3P 2P 1.图 1 双相机多视图重建测量原理图 Fig.1 Principle of multi-view reconstruction measurement based on binocular cameras 2 方法设计 基于上述基本思路，对双相机多视图测量方法整体流程设计如图 2 所示。其可分为两个核心3 部分，即所使用的 固连双相机 的安装、设置、标定，和利用该双目相机展开的面向大

16、尺寸物体、大范围场景的双目 多 视图三维重建测量。 双目相机安装与设置相机标定及固连关系计算双目交会标志点布置图像对应相机坐标系统一点云拼接与融合带固连关系约束的光束法平差优化通过重建标志点点云计算待测结构及形变信息多视角图像采集图 2 双相机多视图重建测量流程图 Fig.2 Flowchart of multi-view reconstruction measurement based on binocular cameras 2.1 固连双相机的安装、设置与标定 本文方法所使用图像采集系统由两台定焦单反相机、固定杆件和同步触发器构成。单反相机固定在杆件两端，为保证采集系统的有效工作，相机的

17、安装与设置应注意以下四点： （ 1）两相机光心应有较大间隔，以满足 有效的交会角度； （ 2）控制相机安装姿态，保证相机在拍摄区域内有较大公共视场； （ 3）使用短焦、小光圈镜头，保证相机有较深的景深，即较大范围内的景物都能清晰成像； （ 4）安装同步触发器控制相机同时采图，保证所采集双目交会图像为同一时刻不同视角下的拍摄图像。 相机参数的精确标定是双相机多视图测量中的重要环节，精确求解相机内参数及双目相机间的位置姿态固连关系，是高精度重建测量点云的重要保证。相机标定需要注意以下几个问题： 图 3 标定控制点分布图 Fig.3 Distribution of control points fo

18、r calibration (一 )标定控制点分布 ： 一般而言 ， 待标定的相机 信息包括相机等效焦距 、 主点坐标 、 像差系数 、 相机在参考系中的位置与姿态 。 标定参数的精确求解 ， 与控制点的分布有很大关系 。对于用于标定的空间控制点，需对其进行合理布置，总结下来需确保以下原则：（ 1）相机与控制点间距离，要和待测点与相机间距离（即物距）大致相同。（ 2）标志点应充满整个视场，以利于像差系数的标定。（ 3）控制点应在空间中均匀分布，避免在局部区域过于集中。 (二 )相机内参数计算：布置好控制点后，通过全站仪测量各控制点的 空间位置。控制双相机对控制点分布区域同时采图。利用六个以上异

19、面点计算相机参数初值，再由非线性最小二乘优化进行优化 2，获得精确地相机内参数，以及两相机同时刻在全站仪参考系下的位置姿态。 本文采用的这种标定方法 ，在标定控制点所确定的空间范围内， 双目交会精度 为 亚毫米级 。 (三 )双相机固连关系计算 ： 在计算得到两相机在参考系下的 位置 与姿态后 ， 即可计算相机间的固连关系 。设两相机（为便于说明后文分别注为 1 和 2）在参考系下的旋转和平移矩阵分别为R1、 T1 和 R2、 T2， 则以相机 1 所在相机坐标系为参考系，相机 2 的姿态与位置可 表示为 112 2 1R RR 112 2 2 1 1T T R R T (1) 通过以上标定过

20、程，完成了对双相机内参数及固连关系的计算，以用于后续双目交会及点云优化等的计算。 2.2 面向大尺寸物体、 大范围场景的双目 多视图4 三维重建测量 在完成双相机图像采集系统的准备后，需要对测量场景进行标志点布置。除在待测点处表面布置标志点外，待测区域整体需均匀贴布标志点。每个标志点具有唯一对应编号，以便于图像间像点及点云间空间点的匹配。控制点分布密度 无明确要求，但受双目相机在待测区域的重叠视场大小约束。 由于待测物体和场景尺寸较大 ， 需使用双目相机从不同位置和角度 进行多次 拍摄 ， 确保覆盖整个待测区域的所有标志点 。由于在固定相机前已进行相对姿态调整，因此双目相机前方视场重叠率较高，

21、其重叠视场内的点，可以保证较好的交会条件。在图像采集方位选择时应注意，在控制点密度确定的情况下，应控制双相机重叠视场在相邻时刻之间有三个以上公共点，在此条件下即可保证所有图像参与重建和优化，并获取所有的标志点的空间位置，原因将在后文介绍。 图像采集完成后 ， 对于每一拍摄 时刻，以相机 1 为参考系进行双目交会，相机 1 旋转矩阵为33 的 单位阵 I，平移矩阵为 0,0,0T,相机 2 旋转矩阵为 R12，平移矩阵为 T12，结合标定的内参数及同名像点提点坐标，采用线 线交会的方法4，即可获得相对相机 1 坐标系下的双目相机公共视场测量点三维坐标。 在获取各时刻对应相机 1 坐标系下的双目交

22、会点云后，为满足后续优化条件，需指定参考坐标系 C，计算所有图像对应相机坐标系在参考坐标系 C 下的位姿，并将所有点云拼接在该坐标系下，以获取全场点云（未优化）。以其中某一时刻相机 1 坐标系为参考坐标系，先计算相邻时刻相机 1 坐标系 间的位姿关系，再通过传递关系计算各时刻相机 1 坐标系相对参考坐标系的位姿关系。由于各时刻双目交会点云都建立在对应时刻相机 1 坐标系下，因此获得各时刻相机 1 坐标系相对基准坐标系 C 的位姿关系后，即可将所有点云统一到参考坐标系 C 下，实现各时刻点云的拼接。受各方面误差的影响，同名空间点在不同时刻的点的坐标在统一坐标系后难以完全重合，本文采用计算均值的方

23、法进行融合，初步获得所有标志点的空间坐标，作为后续空间点位置优化的初值。 C 1 C 2C 1 C 2T i + 1T iP i 3P i 2P i 1图 3 相邻时刻交会点云所在坐标系间的位 置姿态关系计算 Fig.3 Calculation of the relationship between the coordinate systems of the point clouds in adjacent time 相邻时刻相机 1 坐标系间的位姿关系计算方法如下，假设 Ti 时刻双目相机交会点云为 Mi，Ti+1 时刻相机 1 观测到的标志点中与 Mi 同名的公共像点集为 Pi+1，由于相

24、机的内参数已标定，因此可将 坐标系 关系计算问题转化为 PNP 问题6。 由 Pi+1 的像点坐标以及其在 Mi 中的对应同名点空间点坐标 ，结 合单目位姿估计算法，可计算得到两时刻 1 号相机坐标系间的关系，即相邻点云 Mi 与 Mi+1 间的旋转平移关系 。由于每组像点 -空间点可列出 2 个共线方程，待求参数为 3 个位置分量和 3 个旋转角，即 6 个未知量， Pi+1的个数的 应大于等于 3，因此，在图像采集阶段，应保证双相机重叠视场在相邻时刻之间有三个以上公共点。 受交会误差、点云间旋转平移计算误差累计等影响，拼接好的空间点云与实际存在一定误差，因此需要对点云位置优化。由于已获得各

25、时刻相机 1 坐标系与参考坐标系 C 的位姿关系，而同一时刻两相机的固连关系标定已知，因此通过传递即可获得参考系下所有视图对应相机的位置与姿态初值，如图 4 所示。 C 1 C 2 T 3T 2T 1 .图 4 相机位姿关系传递示意图 Fig.4 Schematic diagram of cameras transitive relation 5 本文采用光束法平差的方法 8，对空间点云和相机外参数同时进行优化。以各空间点在每个相机相面的 重投影残差和为目标函数，通过残差和的最小化达到优化点云位置的目的。同时，考虑到固连双相机间的相对位姿在图像采集过程中保持不变，因此将其作为约束条件引入优化过

26、程中。通过以上流程，即完成对标志点点云的三维重建。 利用标志点点云重建结果可以对待测 尺寸 参数及形变信息进行计算 。 对于 尺寸 参数 ，只需计算待测量两端点对应标志点在重建点云上的空间距离即可。对于形变量计算，需要在形变前后分别对标志点点云进行重建，以其中三个位置不变标志点为基准点设置基准坐标系 D，分别将重建点云转换到该坐标系下，并对前后两时刻点云中的同名标志点坐 标进行对比计算，获取形变量。基准坐标系 D 的建立如下图所示，设 P1、 P2、P3 为所选不动点，以 P1 点为原点 O，以 P1P2 为X 轴方向并确定 YOZ 平面 ， 以 P1P3 在 YOZ 平面的投影向量为 Y 轴

27、指向 ， 根据右手原则确定 Z 轴指向 。 P1(O)P2P3XYZ图 5 利用固定点建立基准坐标系 D Fig.5 Establish reference coordinate system with fixed points 3 实验结果 为验证本文方法 ，在 空间范围为 5m2m2m的 测试区域 内 布置 若干标志点 ， 以进行空间点云重建及相应测量 。所 使用 固连 双相机的单反相机分辨率为 42882848，焦距固定为 1/28mm，固定杆长 0.7m。由于是定焦相机，为保证全场标志点均能清晰成像，需采用小光圈获得大景深，这里设置为 f/22。 图 6 测试区域 Fig.6 The

28、test scene 按 第 二 节所 设计双目多视图重建测量方法 ，对 标志点 进行重建测量 ， 并以全站仪对各点空间坐标的测量值为真值 ， 与重建测量结果进行比对 。重建点云如下图所示 。 图 7 待测空间点重建结果 Fig.7 The reconstruction results of the points to be measured 为验证测量精度 ， 随机选取任意两点 ， 分别计算该两点在重建点云对应点的距离值 ， 以及全站仪测量真值 ， 并与相同相机条件下双目视觉测量结果进行对比 。由于 组合较多 ，表 1 只 给出 九组结果 。 表 1 尺寸测量精度验证 Tab.1 Preci

29、sion verification of sizes measurement 标志点 标号 距离真值 /m 本文方法测量值 /m 本文误差/mm 双目交会测量值 /m 双目交会误差/mm 1,19 5.4644 5.4617 2.7 - - 2,20 5.6584 5.6568 1.4 - - 4,16 1.9301 1.9292 0.9 1.9352 5.1 11,12 0.8349 0.8365 1.6 0.8316 3.3 15,22 1.2435 1.2459 2.4 1.2484 4.9 16,28 1.7899 17927 2.8 1.7965 6.6 24,29 0.7575 0

30、.7587 0.8 0.7604 2.9 26,27 0.5471 0.5482 1.1 0.5479 0.8 29,30 0.8088 0.8079 0.9 0.8112 2.4 6 均值 1.62 均值 3.71 以上结果可以看出 ， 在 5m2m2m 的 测量范围 ，本文设计的双目多视图重建测量方法， 尺寸测量精度在毫米量级 ， 且优于 传统的双目视觉测量方法。个别点测量误差较大，原因在于观测到该点的视角过少，在进行优化时约束条件不足，相应增加几个视角的采图即可。 为系统 衡量 该方法在不同标志点数量和视角数量下的测量精度 ，分别对以下三类情况的误差极大值和均值进行统计和计算。 表 2

31、不同条件下 尺寸测 量精度比对 Tab.2 Comparison of sizes measurement accuracy in different conditions 14 标志点 9 视角 19 标志点 9 视角 14 标志点 3 视角 Maxmm Meanmm Maxmm Meanmm Maxmm Meanmm 1 2.7 0.8 2.6 0.7 6.4 2.6 2 2.8 0.8 3.1 0.9 7.7 5.7 3 3.5 1.1 3.3 0.7 4.9 3.2 4 2.9 0.9 2.8 0.9 6.6 3.9 5 2.2 0.7 2.1 0.6 4.3 3.1 从第一组结果可以

32、看出， 在 5m2m2m 的 测量范围布置 14 个标志点，从 9 个视角进行采图，利用本文提出的双相机多视图重建测量方法，测量误差最大 3mm，均值 1mm。第一组和第二组的比对表明布置的标志点个数的多少对测量结果影响不大。但最低应满足 2.2 节所述相邻点云有三个公共点的要求。第三组相比第一组，抽稀了视角数，这两组的对比结果表明在条件允许情况下应保证足够的视角，否则来自不同视角的约束条件过少，影响优化效果。 为验证形变测量精度 ， 在测量场景 中布置游标卡尺 ， 在卡尺移动端贴布标志点 。 对场景中的标志点进行重建后 ， 控制卡尺带动标志点移动 ，再次重建获取标志点点云。配准变化前后标志点

33、点云并计算移动点的空间移动距离大小，并与 卡尺示数为真值进行比对 。 结果如表 3 所示。 表 3 形变信息测量结果 Tab.3 Test result of deformation informations measurement 14 标志点 19 标志点 移动真值mm 测量结果mm 误差 mm 测量结果mm 误差 mm 4 3.3 0.7 4.1 0.1 5.1 5.0 0.1 3.8 1.3 7 7.1 0.1 6.9 0.1 9.1 7.2 1.9 7.6 1.6 从上表可以看出 ， 形变测量误差在 0.1mm - 1.9 mm 之间。这里对变形前后所有点表坐标均进行比较并计算距离差

34、均值，可以看出也低于2mm。这就说明， 2mm 是形变量敏感阈值。当形变量大于 2mm 时，可使用本文方法测出其变化。 4 总结 本文设计了一种基于固连双相机的多视图重建测量的方法，用于解决复杂大范围场景或目标表面标志点重建和尺寸、形变等测量。相比普通双目交会测量，其增加了多视角约束，测量精度更高， 测量范围更大。 相比多相机组网测量，其省去了组网相机外参标定的繁琐工作。相比单相机多视图重建，其不用在场景内布置尺度恢复基准，降低点云重建难度，同时在优化过程中增加了固连相机间的约束关系，使结果更贴近实际。该方法可以降低测量人员的专业门槛，仅需工作人员手持已标定好的固连双相机进行随机多位置采图，即

35、可全自动处理获取所需测量参数。本方法精度还有很大提升间，后续还需继续分析影响精度的因素、研究控制误差的方法。 参考文献（ References）1 Zhihua Xu, Lixin Wu, Markus Gerke, et al. Skeletal camera network embedded structure-from-motion for 3D scene reconstruction from UAV imagesJ. ISPRS Journal of Photogrammetry and Remote Sensing, 2016,121(11),113-127 2 陆珏 . 总体最

36、小二乘法在相机标定中的应用 . 测绘工程 ,2016, 25(3) LU J. On total least squares for camera calibrationJ. Engineering of Surveying and Mapping,2016, 25(3) （ in Chinese） 7 3 Thomas Luhmann, Clive Fraser, Hans-Gerd Maas. Sensor modelling and camera calibration for close-range photogrammetryJ. ISPRS Journal of Photogram

37、metry and Remote Sensing, 2016,115(4),37-46 4 王国珲 张传书 . 基于双目视觉的空间点位置测试J.工具技术 ,2016, 50(1) Wang G H, Zhang C S. Test of Space Point Position Based on Binocular VisionJ. Tool Engineering,2015, 23(8) （ in Chinese） 5 陶家园 王克逸 罗国雄 . 用于外场试验的交会测量 J. 光学精密工程 ,2015, 23(8) TAO J Y, WANG K Y,LUO G X.Intersection

38、 measurement for field testsJ.Optics and Precision Engineering,2015, 23(8) （ in Chinese） 6 吴福朝 胡占义 .PnP 问题的线性求解算法 J. 软件学报 ,2003, 14(3) WU F C , HU Z Y . A Linear Method for the PnP ProblemJ. JOURNAL OF SOFTWARE,2003, 14(3) （ in Chinese） 7 景彦哲 刘越 田鸿 牛春风 .适用于 SfM 点云的未标定摄像机注册方法 J.信号处理 ,2013, 29(2) JING

39、 Y Z, LIU Y,TIAN H,NIU C F. Registration method of uncalibrated camera applied to SfM point cloudJ.Signal Processing,2013, 29(2) （ in Chinese） 8 千勃兴 梁晋 郭楠 ,等 . 摄影测量中大量标志点的光束平差求解 J. 光学精密工程2015,23(10):134-139 QIAN B X, LIANG J, GUO N, et al. Solution of plenty of marks in photogrammetry by bundle adjustmentJ. Optics and Precision Engineering,2015,23 (10): 134-139（ in Chinese）