高教社数码相机——论文.doc

1、 1 摘要 本文 通过建立相机线性投影模型实现了数码相机双目标定中物像间坐标的转换，并基于立体视觉中的相关理论对两相机的相对位置进行标定。 针对问题一， 通过对 所涉及的 各坐标系间的转换关系 的刻画 ， 确定出 物像间的投影变换关系 。基于传统的参数标定和自标定算法提出 了相机参数 优化 标定 算法 ， 算法的整体思想是：首先对相机内外参数进行近似估计，然后通过非线性优化，对待定参数进行优化标定。 利用优化出的相机参数所组成的投影变换矩阵，即可唯一确定物平面一点投影在像平面的像点坐标。 针对问题二，基于线性投影模型的相关特性，选定 靶标上任意两圆的共切线所对应的切点作为物平面上的特征点，并使

2、用 ACDSee 软件读取相应像点的像坐标，以此为原始数据带入到线性投影模型中 ，采用微分进化算法对相机的内外参数进 行 优化 标定，优化结果为： 旋转角度 (度 ) 主点坐标 (像素 ) 像点坐标 (像素 ) A B C D E 绕 x 轴 绕 y 轴 绕 z 轴 512 横轴 331 422 635 585 281 78.99 34.8 -51.04 389 纵轴 193 195 199 504 497 特别说明：世界坐标系的原点位于靶标中心， Z 轴垂直于物平面，像坐标系的原点位于像平面的左上角 ，主点表示光轴与像平面的交点。 通过对圆心 A、 B、 C所成像点的共线性以及所有圆心投影像

3、点的近似中心性进行检验，论证了结果的合理性。 针对问题三， 分别 设 计 了三种检验策略：将像距假定为一变量代入到投影模型中进行重新标定，通过对比其优化值和实际值的偏差检验模型的准确性； 引入随机正态白噪声对模型的抗干扰能力进行验证 ，通过用均匀性噪声代替正态白噪声，并对比分析两种不同的噪声引入方式所取得的实验效果，论证出正态白噪声检验策略的合理性 ； 选择不同 数量 的特征点，观察 其 对结果产生的影响，以检验模型的稳定性。 经过上述检验表明：模型的精度较高，且具有较好的稳定性 。 针对问题四， 基于线性代数相关理论， 构建了相机相对位置标定模型，并运用线性法进行求解。 最后，本文针对 畸变

4、模型和 双 目 立体视觉原理 进行了较为深入的讨论，具有一定的实际应用价值。 本文的创新 主要 表现为 ： 借用微分进化算法求解非线性优化，高效适用；检验方法比较有力，具有较强的说服力。 2 关键词： 线性投影模型 相机内外参数标定 微分进化算法 随机正态白噪声检验 相机相对位置的标定 目录 一 问题重述与分析 . 3 问题重述 . 3 问题分析 . 3 问题本质分析 . 3 便利原则的分析 . 3 对投影畸变的分析 . 3 靶标上圆的投影曲面的形状分析 . 4 圆心所成像点的位置分析 . 4 对像图灰度的分析 . 4 二 问题假设 . 4 三 符号说明 . 4 四 模型建立与求解 . 5 4

5、.1 线性投影模型的建立 . 5 4.1.1 坐标系的定义 1 . 5 4.1.2 不同坐标系间的转化 . 6 1. 从世界坐标系到相机坐标系 2. 6 2. 从相机坐标系到像素坐标系的变换 . 7 4.1.3 相机内外参数的标定 . 8 4.1.3.1 参数标定算法概述 . 8 4.1.3.2 参数标定算法的选定 . 8 4.2 线性投影模型在问题二中的应用 . 10 4.2.1 具体算法的流程设计 . 10 4.2.2 微分进化算法 . 12 4.2.3 结果的合理性检验 . 14 4.3 线性投影模型的准确性与稳定性检验 . 15 4.3.1 给定参量 f变量化处理反向检验 . 15 4

6、.3.2 随机噪声检验 . 15 4.3.3 选取不同的特征点个数下优化结果对比分析 . 19 4.4 双相机相对位置自标定模型 12 . 20 4.4.1 基本矩阵的 E 求解 . 22 4.4.2 t 或 T 的求解 . 22 4.4.3 旋转矩阵 R 的求解 . 22 4.4.4 t 和 k 符号的确定 . 22 五 模型的推广与进一步讨论 . 23 畸变模型的讨论 14 . 23 双相机立体视觉原理 的讨论 1. 23 六 模型优缺点 . 25 模型的优点 . 25 模型的缺点 . 25 3 七 参考文献 . 25 八 附录 . 26 Mathematic 软件对微分进化 算法的编程实

7、现： . 26 一 问题重述与分析 问题重述 数码相 机定位 在交通监管（电子警察）等方面有广泛的应用。所谓数码相 机定位 是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。而针对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。 而进行系统标定时，所采用的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何 关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标）

8、，它们的圆心就是几何的点了。而它们的像一般会变形，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。 使用一位置固定的数码相机对设定好的靶标进行拍摄，得到其像。 (1) 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标 , 这里坐标系原点取在该相机的焦点， x-y平面平行于像平面； (2) 针对分别给出的靶标及其像，计算靶 标上圆的圆心在像平面上的像坐标； (3) 设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论； (4) 建立用此靶标给出两部固定相机相对位置的数学模型和方法。 问题分析 问题本质 分析 工程实际中，经常需要利用数码相机对某 物体 进行精确

9、定位，此时首先需要进行系统标定以确定两部照相机 的 相对位置， 而系统标定的关键在于如何 根据 物平面上无几何尺寸的 特征 点 的空间坐标， 准确确定出该点在像平面上的位置。 因此合理的构建投影变换模型以准确刻画出物像之间的转换关系 以及对相机内外参数的确定 至关重要。 便利原则的分析 结合问 题的实际应用背景，研究人员在通过实验进行系统标定时，应当尽可能设计便利快捷的标定方案，因此在确定靶标和两各照相机的相对位置时，应当尽量 保证靶标关于 相机光轴 大致对称，且靶标同相机之间的物距适中 ，这对后文中坐标系的设定有一定的 价值 。 对投影畸变的 分析 结合实际，由于相机制造和工艺等原因，目标像

10、点会发生多种类型的畸变 , 包括径向畸变、切向畸变、薄棱镜畸变 等，但从本问题 客观实际 出发 ， 应当将投影畸变予以忽略予以忽略，原因如下： 1. 畸变模型的引入会使得模型更加复杂 ,非线性更加严重 ,影响求解的准确性； 4 2. 在一个 模型中 ,并 非 考虑的因素越多越好 .只需抓住主要影响因素； 3.不同的相机的畸变参数不同，参数的具体取值无法准确给定。 靶标上圆的投影曲面的形状分析 一般情况下，靶标上的圆经投影之后将会发生不同程度的形变，结合实际，产生形变的原因 是 ： 基于小孔成像原理，物平面上一线段经过小孔 得到的投影直线在长度上将发生一定程度上的伸缩，且 靶标上 一 圆 O在两

11、个 不同 方向上的 直径ijDD、经过一小孔 (半径忽略 )投影到像平面上时， 所发生的伸缩程度不同，从而导致投影曲面的形状发生了改变， 即 由圆面转 变成了一个 形状待定 的曲面。 圆心所成像点的位置分析 经过仔细分析，靶标上圆的圆心 的投影像点，应该与 该圆所对应的闭合投影曲面的中心发生了一定的偏移，但 考虑到 模型的线性特性，偏移量 应当 不会太大。 对像图灰度的分析 在考虑拍摄过程中物点颜色的成像时，我们引入“灰度”的概念。像平面上所成的像点事实上是离散分布的，最小单位为像素，在每一个像素点上，根据其所映射的特征点颜色被分为 0 255 等级的“灰度”，且等级越高，像点越暗， 0为纯白

12、， 255 为纯黑。在实际问题分析中，考虑到靶标上的点都是深黑的点位于浅白的背景中对比明显 ，而所成的像从一定程度上来说也是“黑白分明”的，并且考虑到“灰度”问题的复杂性，我们进行了合理的简化处理，即我们认为，像点上只有黑白两种颜色。 二 问题假设 1. 所给的 靶标 上圆的相对位置以及投影后得到的像图足够精确； 2. 系统是线性的， 不考虑各种畸变； 3. 假设 数码相机拍摄的图像没有灰度，只有黑白两种颜色； 4. 假设 CCD 板上的相邻像素点的物理尺寸的比值为 1； 5. 假设 在 CCD 像 面上的 图像对称性在计算机帧存中同样适用； 三 符号说明 w w wO(x ,y ,z ) 世

13、界坐标系 c c cC(x ,y ,z ) 相机 坐标系 O(x,y) 图像坐标系 O(u,v) 像素坐标系 R 旋转矩阵 T 平移矩阵 f 像距，单位为 mm (u0,vo) 光轴同像平面的交点，单位为像素 相机坐标系相对世界坐标系 x轴的旋转角，单位为度 相机坐标系相对世界坐标系 y轴的旋转角 ，单位为度 相机坐标系相对世界坐标系 z轴的旋转角，单位为度 5 四 模型建立与求解 4.1 线性投影模型 的建立 基于对问题的理解， 欲确定靶标圆心在 CCD 投影面上的投影点， 需 建立 相机成像模型对物像间投影变换关系 进行刻画， 并 通过 标定 相机内外参数 求定像点坐标 。 为了避免复杂的

14、透镜系统，我们采用 线性的 针孔模型来近似成像模型。在针孔 相机中，三维空间一个点的图像是从这个点出发的并经过针孔的光线与 相机 成像平面的交点。在理想情况下，认为从该点发出的光线是理想的直线。用针孔模型来 描述一般成像系统是适合的。 在 线性投影模型 系统中，涉及到多个坐标系，包括图像坐标系， 相机 坐标系，世界坐标系 和像素坐标系 等。标定实际上就是确定这些坐标系之间的变换关系，因此我们首先需要明确给出 模型 涉及的各种坐标系的定义以及它们之间的 转换 关系。 4.1.1 坐标系的定义 1 1. 世界坐标系 世界 坐标系是 用于描述物体空间位置的一个基准绝对坐标系 ，表示为 w w wO(

15、x ,y ,z ) 。相机 所拍摄的内容还取决于 相机 在世界坐标系中的位姿，这个位姿参数就是 相机 的外参数。 在本题中 为方便求解，设定世界坐标系 的原点为正方形靶标的中心，其 Z轴垂直于靶标平面， X轴、 Y 同正方形相邻边分别平行。 2. 相机 坐标系 相机坐标系是以相机的光学中心为原点，以光轴为 z 轴的坐标系， 对应于题中所定义的笛卡尔坐标系， 具体表示为： c c cC(x ,y ,z ) 。 3. 图像坐标系 图像坐标系是定义在相机所采集图像上的直角坐标系，其 XOY 面与光轴垂直， X轴与 XC轴同向， Y轴与 YC轴同向， 具体表示为： O(x,y) 。 4.像素坐标系 坐

16、标系的原点位于图像的 左上角，其 u轴与 XC轴同向， v轴与 YC轴反向 。其单位是象素， 某个象素的坐标是该象 素所处的列数和行数。 坐标值表示为 : O(u,v) 。 四个坐标系在立体图像中可以刻画为： 6 相机坐标系C ( 光 心 ) X cY co x y - Z cpd( xd, yd)pu( xu, yu)P ( Xw, Yw, Zw)C C D 像 平 面O vuo ( uo , vo )pd( ud, vd)像 素 图 像 平 面世 界 坐 标 系X w Y w Z w O 图 1、 四个坐标系形象图 4.1.2 不同坐标系间的转化 1. 从世界坐标系到相机坐标系 2 （ 1

17、） 世界坐标系 和 相机坐标系 重合时的数学模型： 此种情况下 ，实际系统采用小孔成像原理。设点 w w wp(x ,y ,z ) 为 3 维世界坐标系中的一点，假设客观场景中特征点均在镜头的前面。借助三角形相似关系，可以得出 点w w wp(x ,y ,z ) 与其在像平面的投影点 I(x,y) 的转换关系： wcxxx =f =fzz (1) wcyyy =f =fzz(2) （ 2） 世界坐标系 和 相机坐标系 分开时的数学模型： 一般的情况，上述两个坐标系统是 分开的，可以将两个系统分开时的几何关系转化为两个坐标系统重合时的情形，然后再进行透视投影变换即可得到 3-D 空间点在像平面投

18、影的坐标。具体来说，针对每个世界坐标系统中的点分别按下属几个步骤进行几何关系变换。 Step1. 平移世界坐标系原点到相机坐标系原点（即光心），可用变换矩阵 T完成： x y z1 0 0 00 1 0 0T=0 0 1 0-D - D - D 1(3) 其 中， x y zD ,D ,D为相机坐标系原点在世界坐标系中的坐标。 Step2. 将世界坐标系绕其 X 轴逆时针旋转 角，其变换矩阵为 1R 。 Step3. 将旋转后的世界坐标系绕其 Y轴逆时针旋转 角，其变换矩阵为 2R 。 Step4. 再绕其 Z轴逆时针旋转 角，其变换矩阵为 3R 。 7 这样经过以上四个步骤的变换，实现了世界

19、坐标系和 相机坐标系 的完全重合 ，得到点 w w wp(x ,y ,z ) 在 相机坐标系 中的坐标， 用 c c c(x ,y ,z ) 表示，其计算表达式为： cwcwxXy =R Y +TzZ (4) 其 中， R 为对三个坐标轴进行旋转变换后的综合旋转矩阵， R 与平移矩阵 T 共同构成了相机的外参数矩阵 ， 且 旋转矩阵 R 满足 : 1 2 3c o s ( ) c o s ( ) c o s ( ) s in ( ) - s in ( )R = R R R s in ( ) s in ( ) c o s ( ) - c o s ( ) s in ( ) s in ( ) s i

20、n ( ) s in ( ) + c o s ( ) c o s ( ) s in ( ) c o s ( )c o s ( ) s in ( ) c o s ( ) + s in ( ) s in ( ) c o s ( ) s in ( ) s in ( ) - s in ( ) c o s ( ) c o s ( ) c o s ( ) 2. 从 相机 坐标系到 像素 坐标系 的变换 针对本文所使用的线性变换模型，相机 坐标系 和 像素 坐标系 的关系如下： ccCXus v =A Y1 Z (5) 式 中 像素 坐标系采用了齐次坐标， s 表示像坐标系中 u 轴相邻像素间的物理尺寸同v

21、轴相邻像 素间的物理尺寸 之比，即 纵横比 ， 针对线性投影模型，一般 近似 取作 13。 u,v为 某点在 像素 坐标系 中的坐标 ， c c c(x ,y ,z ) 为 该点在 相机 坐标系 中 的坐标， A 是一个 33的矩阵，称为 相机 的内参数矩阵。 在针孔模型中， 相机 内参数的定义如下： u0v0f uA= 0 f v0 0 1(6) 其中， uf 为 X 方向焦距， vf 为 Y 方向焦距 ,且两者满足：uvfff = ,f =dx dx，式中 f 表征题目所给的像距，即 光学中点到像平面的距离， dx dy、 表征单位 像素坐标系在 x 方向和 y方向上相邻像素间的距离，针对

22、本题 1dx dy= ( )3.78 mm= 。 式 (6)中 为扭曲系数，与成像栅格的方向夹角有关，当其正交时 =0 ， 00(u,v) 为主点，即 相机 光轴与成像平面的交点坐标。 综合公式 (4)、 (5)、 (6)，可以得到世界坐标系到像素坐标系的变换： wwwXuYs v =PZ11(7) 其中 P 称为 相 机投影矩阵，且 ： 8 1 2 3 45 6 7 89 1 0 1 1 1 2p p p pP = A ( R t) = p p p pp p p p(8) 由此可以看出，一旦确定出旋转矩阵 R与平移矩阵 T 共同构成的相机外参数矩阵和相机内参数矩阵 A ，结合公式 (7)(8

23、)即可 针 对 某给定 特征点实现从 世界坐标系到像素坐标系的投影变换。 4.1.3 相机内外参数的标定 4.1.3.1 参数标定算法概述 对于 相机 内参数的标定，根据系统需求的不同，有多种不同的标定算 法 4。根据标定过程中是否采用标定参照物，可以将标定算法分成传统标定算法和自标定算法两类。 1. 传统 相机 标定算法 5 这类算法基于一定的标定参照物。基本的原理是：基于已知形状、尺寸或空间位置的标定参照物，经过对其图像的处理，利用一系列数学变化和计算方法，求取 相机 的内参数和外参数。这类算法 的优点是系统的标定精度较高，而且算法经过多年的发展，比较成熟。其缺点是标定的过程比较复杂，需要

24、专业人员的 操作。 且标定完成后，系统设置难以调整，限制了系统的灵活性。同时需要有专用的、精度较高的标定参照物， 从而增加了系统的复杂程度和成本。 这类算法中比较有代表性的有：直接线性变换方法 (DLT)、 RAC 方法 、张正友的平面标定方法、 孟胡的平面圆标定方法 、 吴毅红等的平行圆标定方法 等 6。 2. 相机 自标定算法 这类算法无需依赖于标定参照物，仅利用 相机 在运动过程中周围环境的图像以及图像之间的对应关系进行标定。这类 算法的灵活性好，不依赖于特定的环境，标定过程方便。但是标定精度要明显差于传统的 相机 标定方法。 目前在自标定方面有如下的几类方法 4：利用本质矩阵和基本矩阵

25、的 相机 标定方法，利用绝对二次曲线和外极线变换性质的 相机 标定方法，利用主动系统控制 相机 做特定运动的标定方法，利用多幅图像之间的直线对应关系的 相机 标定方法。 4.1.3.2 参数标定算法的选定 考虑到系统设计的 精确性 需求， 并结合 文献 3， 本文 提出一种相机内外参数的优化算法： 首先 确定 出 靶标 和 投影图 上的点的匹配 ,然后 计算出 靶标 和投影图 之间的单应性矩阵 ,继而 利用该单应性 矩阵线性解出 相机 内外参量 ,最后 对这些参量进行非线性的迭代优化 ， 得到最终的内外参量值 ，具体步骤如下： 令空间坐标系的 wwXOY 平面为 靶标 所在平面， WZ 垂直于

26、该平面，则 靶标 平面上各点的 Z 坐标 均为 0，则投影方程 (7)变 化 为 : www1 2 3 1 2 wX XuYv = A ( r r r t) A ( r r t) Y01 11s (9) 因此 靶标 上标志点的坐标 ii(x,y) 与其成像对应点 ii(u,v) 满足齐次变换 ： 9 iiiiuxv = H y 11s (10) 其中， H 为 单 应 性 矩阵 ，并令 1 2 3H=(h h h )，则有 1 2 3 1 2(h h h )= A (r r t) (11) 由于 12r r与 为旋转矩阵 R 的两列，它们相互正交且模均为 1， 由此得到内参的两个约束条件为 :

27、 T - T - 1 T - T - 1 T - T - 11 2 1 1 2 2h A A h = 0 , h A A h = h A A h (12) 令 1 1 1 2 1 3-T -12 1 2 2 2 33 1 3 2 3 3B B BB = A A = B B BB B B，其中为对称矩阵满足 TB=B 。 定义六维向量 1 1 1 2 2 2 1 3 2 3 3 3b = B B B B B B ， 再令 H 矩阵的第 i 列 Ti i1 i2 i3h = h ,h ,h ， 从而得到： Ti j ijh Bh =vb (13) 其 中 ， ij i1 j1 i1 j2 i2 j

28、1 i2 j2 i3 j1 i1 j3 i3 j2 i2 j3 i3 j3v = h h ,h h +h h ,h h ,h h +h h ,h h +h h ,h h于是式 (13)可以表达为： T12T11 22v b=0(v - v )(14) 对应 靶标 中每个圆均有如式 (14)的方程，设圆的个数为 m，联立所有参考圆对应方程可得 Vb=0 其中 ， V 为 2m 6 的矩阵 。 设 T T T T1 2 3x=h ,h ,h ，式中 ih 为矩阵 H 的第 i 行向量，则可将式 (10)改写为： TTTTT*T *M 0 -u M x = 00 M -v M(15) 其中 ， Ti

29、*iXM = Y1设原式中 T -13*s=(h M ) ，如有 n 个特征点 ,则有 n个如上式的方程 ， 将这些方程联立得 Lx=0 (16) 其 中， L 是 2n9 矩阵。 通过求解向量 x ， 进而求得单应性矩阵 H ，并综合以上各式可得： 10 -1 -11 1 2 2-13 1 2 3r=A h , r =Ahr =r r , t= Ah (17) 经 得到 对相机内参数 A 和外参数 R 、 T 的 初始估计后，可以 计算如下的误差公式 : nij i i iji= 1 m - m ( A ,R ,t ,M ) (18) 式中， n 为特征点的个数， ijm 为 从投影 图像中

30、提取的实际的像点 , i i ijm(A,R ,t ,M )为 借助投影模型所得出的投影点 。 通过对式 (18)进行非线性优化，在追求误差 最小的前提下，优化出 m 中 各 参数的值， 从而 得到 相机 的内参数矩阵以及外参数矩阵。 在得到相机内外参数后， 并借助式 (9)， 即可 针对一 给定 的 特征点 确定出其投影于CCD 板上 像点 。 4.2 线性投影模型 在问题二中的应用 4.2.1 具体算法的流程设计 通过以上对 线性投影模型 的阐 释，借助已知信息确定出相机的内外参数矩阵，即可求定靶标上各圆圆心在像平面上的像坐标。 具体算法步骤如下： Step1. 在靶标上寻找一系列特征点

31、P ii(x,y) ，并通过解读图 3得出这些特征点在像平面上的像坐标 p( , )iixy ； Step2. 借助 线性投影模型 确定出该相机内外参数的初始估计值，待定的内外参数包括：旋转矩阵 R、平移矩阵 T、主点 0 0 0P(x ,y) 。 Step3. 对式 (18)进行非线性优 化，在追求误差 最小的前提下，确定出最优情形对应的内外参数 Step4. 将已知的靶标上圆心坐标代入式 (9)， 得出其投影平面上的像坐标。 算法结束。 在上述 算法流程 中 ， Step2 和 Step4 在模型中已经给出详细说明，下面着重针对其他两个步骤进行具体 阐释： Step1. 首先引入线性投影

32、光学系统所具有的 三 个基本特性： 特性 1. 点成点像。即物空间中的每一点，在像空间有且只有一个点与之对应，这两个对应点称为物像空间的共轭点。 特性 2. 线成线像。即物空间中的每一 条直线，在像空间有且只有一条直线与之对应，这两个对应直线称为物像空间的共轭直线。 特性 3. 平面成平面像。即物空间中的每一个平面，在像空间有且只有一个平面与之对应，这两个对应平面称为物像空间的共轭平面。 由此可以总结出以下 引理 ： 引理 1. 靶标所在的物平面上所有特征点投影后对应的像点仍处于同 一 平面； 引理 2. 两共轭曲面的切线互为共轭，对应切点互为共轭 证明：如 下 图，设 ABPP、 为靶标上任意两圆 12OO、 的公切线所对应的 切点，AB PP、为其在像平面上的像 点 ，两圆在像平面上的共轭曲面为闭合曲面12OO 、， 12PP、 表示 像平面上 闭合曲面12OO 、的公切线所对应的切点。