未校准的多路移动摄像机合成自由视点图像.doc

1、未校准的多路移动摄像机合成自由视点图像摘要对于单个运动的目标，我们提出了一种通过多路未校准的移动摄像机来合成自由视点图像的新方法。如果用多个固定摄像机来捕获单个移动的物体，我们就必须放大视点图像才能捕捉到移动物体内的相机视场，而这样的放大限制了捕获图像中运动目标的分辨率。本文所提出的方法中，我们利用多路移动摄像机来捕捉图像中心移动物体的高分辨图像。利用非标定的多路移动摄像机的图像来重建目标物体实际的形状，再利用两个固定摄像机来确定图像投影网格空间，即定义目标空间中图像投影的三维坐标。坐标在PGS 可以通过每个移动摄像机和固定摄像机之间的基本矩阵来确定，客观体现出了本实验所提出的方法的有效性。本

2、实验提出的方法能够成功地合成高分辨率的自由视点图像。1 引言自由视点视频的合成最近已被许多研究人员所研究。视觉被作为自由视点的捕捉和显示系统，实际上用在超级广播，子弹时间系统，并且运用了 100 多个摄像头周围的对象场景，来实现一种新相机效果的电影制作。这些系统形成的自由视点视频只通过切换固定的多个摄像头，所以它是很难形成视点能够完全由用户的喜好的自由视点视频。多路摄像机视点合成在计算机视觉领域成为了一个热门话题。在大多数新视点的合成的研究中，对象应该在每一路摄像机的视场中被捕获。如果目标在周围的场景移动，则相机视场必须要广阔以便目标对象可以在图像中捕获。因此，在某些情况下目标对象的图像分辨率

3、不是必然的因素。利用移动摄像机是获取移动目标分辨率的方法之一。移动摄像机可以通过跟踪移动目标来捕捉移动目标在一个恒定区域中的图像。然而，所有的移动摄像机都需要动态校准，才能合成多路移动摄像机的新视角。在本文中，我们提出了一种新的多路移动摄像机的自由视点视频手动合成方法。我们假设未校准的多台移动摄像机通过手动来捕捉移动目标在视场的图像，利用多路移动摄像机之外的两个固定摄像机在相机中获得的几何关系，然后我们用两台基本的摄像机来定义三维空间的投影网格空间（PGS）。所有的移动摄像机都可以通过计算基本矩阵来确定每个摄像机与这两个固定摄像机之间的 PGS 几何关系。我们可以通过跟踪自然图像序列中的特征点

4、来计算基本矩阵并且捕获移动摄像机图像。我们恢复目标在 PGS 多路移动摄像机所拍摄的所有边缘图像交集的形状。在 PGS 提供的像素之间对应关系的多路摄像机中恢复图像形状，这就是用于合成自由视点图像的图像插值。在本文的其它部分，我们首先在 1.1 节介绍相关研究，其次介绍我们提出的理论和在 2-6 节中所提出的方法的详细算法。最后，我们在第 7 节展示了实验中所提出的方法的有效性。1.1 相关研究自由视点图像可以很容易地合成多视点图像，如果物体的三维形状可以恢复，一种自由视点图像合成的基本方法就可以从立体影像的新视图中生成。这样的方法应用于合成人脸图像远程会议系统中的用户的视图方向。增加摄像机的

5、数量也将提高恢复自由视点图像的三维形状和质量。由 Kanade 等人研究的虚拟现实项目是较早的一个基于这样的多摄像机系统研究。他们应用多基线立体从 50 个摄像头中精确的恢复三维空间的形状，并合成自由视点视频。moezzi 等人也通过恢复从 17 台摄像机得到的剪影图像的全视觉外表的物体，来合成自由视点视频。Saito 等人利用图像插值综合自由视点图像来改进图像质量。Carranza 等人通过拟合人体形状模型来输入多个视图物体轮廓形状并精确恢复人体运动，以此提供高质量的自由视点视频。目前三维工作室申请了最近已开发的自由视点视频合成。在大多数的研究中，多台摄像机都是固定校准。为了避免是被完全校准

6、的多台摄像机，Saito 和 Kanade 提出了投影网格空间，我们可以从根本上定义矩阵量的多台摄像机。这样微弱的以基本面为代表的多路摄像机的标定矩阵就可以比较容易被测得全校准。PGS 也应用于自由视点视频合成。而其他方法，则是以避免全校正将自校正方法应用于多个摄像机当中。pollefeys 提出的自标定方法常常被用在三维演播室系统中。本文提出的方法是基于三维空间的投影网格空间（PGS）的 。在所提出的系统中，使用两个固定的基本摄像机来定义 PGS。所有移动摄像机通过计算基本矩阵与固定摄像机之间的几何关系以及与跟踪特征点的 PGS 都息息相关。2 投影网格空间对投影矩阵或摄像机参数进行的估计被

7、称为全校准。在许多摄像机的设置中，投影矩阵所表示出的这种关系可以通过测量在目标空间的 3D-2D 对应的满度校正进行估计。但这 3D-2D 对应点往往是需要做大量的工作的。另一方面，比较容易测量的只是 2D-2D对应在多个摄像机的图像，因为没有需要的三维位置的采样点。这就被称为从 2D-2D 对应相机的弱校准估计，一个弱校正表示的基本矩阵双摄像头。投影网格空间（PGS）是一个由摄像机的基本矩阵得到图像对应的三维空间。因此，PGS 使三维重建多幅图像就无需全校准。PGS 是由两个基本图像的坐标定义的摄像机（被称作基础 camera1 和基础 camera2），这是多个摄像机任意的选择。而不是使用

8、三维欧氏空间网格 X-Y-Z 坐标系，用于 PGS 的是非正交坐标 P-Q-R。相机的图像标注了基础 camera1 的 x 和 y 坐标并且对应于 PGS 的 P 和 Q 轴的坐标；摄像机图像坐标 X 在基础camera2 上对应 R 轴的坐标（图 1）。图 1 投影网格空间的定义。在对极几何中，把出现的每个视点作为另一个图像上的极点（图 2）。在 camera1的基础位置上，C1 在 PGS 的坐标被确定为 C1（X1c，Y 1c，e21x），其中 C1（X1c，Y 1c）是基本 1 摄像机中心 e21（e21x，e21y）的极点，这样的投影是依据在视角 1 到视角 2 的基础上。同样，在

9、 camera2 的基础位置上，C2 在 PGS 的坐标为C2（e12x，e12y，X2c），C2（X2c，Y2c）是基本 2 摄像机中心 e12（e12x，e12y）的极点，这对应于基础 camera1。非基础摄像机 Ci 在 PGS 中定义为Ci（e1ix，e1iy，e2ix），其中 e1i（e1ix，e1iy）和 e2i （e2ix，e2iy）是极点分别投影到基础 camera1 和 camera2 上的坐标点。图 2 每个视角的极点3 系统环境在本文中，我们的目标是实现来自多路移动摄像机的自由视点图像合成。然而，它很难获得每一个 3D-2D 对应在摄像机的运动中进行时间的全自动校准，因

10、为它几乎是不可能把标记的与已知的三维位置放置在现场。每个实例当中测量 2D-2D 的对应关系都比较容易，所以我们采用 PGS 恢复来自移动摄像机目标的三维形状。在提出的系统中，除了移动摄像机，利用双固定摄像机之外，这两个固定摄像机还扮演了基本摄像机在 PGS 中定义 P-Q-R 坐标系统的角色。双视图方向被设置为几乎是正交的，这样我们就可以近似的认为 PGS 为欧氏空间网格。此外，这两只照相机都设置为远离移动目标，以便可以时常捕获该目标在摄像机视场内的图像。我们考虑两种摄像机设置，水平设置和非水平设置如图 3 所示。在水平设置中的每个移动摄像机图像的两极线之间的角度的两个基础视图非常小，导致在

11、 PGS 三维投影点的位置上模糊。在所提出的方法中，点的位置两极线相交，不得不精确确定目标在 PGS点到图像的准确坐标。在第 5 节中描述详细细节。为了避免这样一个问题，我们所提出的系统采用非水平设置如图 3（b）。由于这个设置，两个基础摄像机俯视的对象在每一个移动摄像机的两极线之间有足够的角度。图 3 摄像机设置4 估计基础摄像机之间的矩阵正如在第 2 节里所描述的，这是一个估计两个基本摄像机之间的矩阵来定义在 PGS中的 P-Q-R 坐标系统。每个基本矩阵在一个基础摄像机和一个移动摄像机通过计算投影的三维点在移动摄像机的图像或估计的三维位置在 PGS 的移动视点。在第一帧中所有运动的基本矩

12、阵的摄像机和两个固定摄像机的特征点所对应的每个视图的 2D-2D 估计。Harris 通过角点检测器来提取到这样的特征点，然后我们手动获得2D-2D 对应的各视图的特征点。基本矩阵通过使用标准化的八点算法对这些对应的特征点进行估算。从第二帧开始，要求校正基础摄像机和移动摄像机之间的每个基本矩阵。通过被跟踪的移动摄像机的图像的特征点和它映射到基础摄像机的图像的特征点来进行校正，如图 4。在 N 帧和 N+1 帧之间的搜索窗口中提取特征点的交叉相关性估算，具有高相关性的点就是候选的跟踪点。图 4 提取跟踪的特征点我们采用 RANSAC（随机一致抽样）算法是除去失去跟踪的点，输入的点是基于摄像机图像

13、的跟踪点和相应候选的跟踪点。而迭代检测到的却是异常值。新的基本矩阵计算了所有跟踪点除了失去跟踪的点。5 三维重建多视角图像的三维形状模型是利用体积交叉法来重建，在传统的体积交叉法中，欧氏空间网格体积元素投影到轮廓图像的投影矩阵，同时，基本矩阵的摄像机之间还利用PGS 当中体积元素的投影点。PGS 在一定数量的像素投影到每一个轮廓的图像时来检查预测点是否都在轮廓线以内。三维形状模型在 PGS 中是由重建的体积元素组成的投影轮廓图像。每个轮廓图像通过色度键控和噪声去除来合成，然而，有些部分的背景仍然保持着，需要手动来删除。一个体积元素 A（p，q，r）在 PGS 投影到图像坐标 a1（p，q）的基

14、础 camera1 与PGS 的定义相一致。点 a2（r，s）是 A（p，q，r）投影到基础 camera2 与极线 l 的估计是点 a1 到基础 camera2 的投影（图 5）。极线 l 表示为F12 是基础 camera1 和基础 camera2 之间的基本矩阵；点 a2 是位于图像坐标系中 x=y 的点的极线 l。图 5 一个体积元素投影到两个基础视点一个体积元素 A（p，q，r）被投射到移动摄像机上作为一个从两个基础摄像机投影的两极线来确定点 ai 的位置。点 a1 和 a2 在两个基础摄像机上分别为两极线 l1 和 l2。点 ai 是位于极线 l1 和极线 l2 的交叉点（图 6）

15、。图 6 移动视图中的体积元素投影三维形状模型重建作为体积元素模型通过将每一个体素投影到上述的每一个轮廓上，然后从轮廓图像来判断。体积元素模型被转换成由三角形组成的立方体算法的表面重建模型。三维形状模型被转换为利用密集映射的纹理在两个输入图像之间的自由视点合成图像（第 6 节）。6 自由视点的合成基于图像的自由视点图像合成利用重建的三维形状模型的方法，提出了一种通过相邻插值输入图像的综合虚拟视点图像的方法，即基于视图的插值方法。由于虚拟视图的位置是有限的两个输入图像，所以我们通过运用这一基于视图插入的方法能够得到较高质量的虚拟视点图像，即使恢复的三维形状不是准确的。6.1 Z 缓冲器的产生每个

16、输入图像在渲染阶段时缓冲产生判断封闭三角面片的输入图像。每个输入图像都指定了一个 Z 缓冲器，这就是初始化。三维模型表面的三角补丁投影到每一个相似方法的缓冲器中，在第 5 节形成 Z 缓冲器。每一个像素都是 Z 缓冲器的存储值，输入图像的三维位置和三角形的补丁在三维模型表面投影到像素的三维位置之间的距离。如果一些补丁被投射到同一像素的 Z 缓冲器中，并以最短时间存储。因此，Z 缓冲器的每个输入图像就等于范围图像。每个视图的三维位置和距离的定义在 PGS 中计算距离是必要的。前者是通过第 2 节所描述的两个基本图像的极点来估计的。后者被表示为其中（p1，q1，r1）和（p2，q2，r2）是 PG

17、S 中任意的两点。6.2 渲染虚拟视点图像的渲染是通过两个相邻扭曲并合并的输入图像来完成的。通过将输入图像中每个像素的位置来合成扭曲图像，并且扭曲图像像素位置可以通过在两个相邻输入图像的位置上插入对应的像素来确定。通过投影的三维模型表面上所有三角形补丁的两个视图上像素之间对应关系来确定两个相邻的输入视图图像。一些三角形补丁是封闭的一个或两个输入图像，这就对应像素不正确。用 Z 缓冲器的方法来检测这样的闭塞。补丁输入图像的距离不同于缓冲器的存储值，其判断是封闭的输入图像。自由视点图像合成是通过扭曲的两幅输入视图并且合并它们来完成的。在虚拟视点图像像素 v3 的位置计算由加权总和位置在输入图像 1

18、 对应的像素v1（x1，y1）和输入图像 2 对应的像素 v2（x2，y2）根据以下方程：其中 w 的权重是两个输入图像的虚拟视图距离。两个扭曲图像的合成由 v1（x1，y1）到 v3 以及由 v2（x2，y2）到 v3。合并两个扭曲图像的 RGB 三色，像素 v3 也通过加权求和计算双扭曲图像的颜色。在闭塞的情况下补丁的两个输入图像，一个输入图像的像素颜色的权重等于 0，另一个的权重等于 1。7 实验结果在 7.1 节中提出通过合成从捕获的自由视点图像图像来对系统性能进行评估。与在7.2 节所提出的系统相比，这是一个由唯一的多个固定摄像机组成的系统。在我们的实验中，固定摄像机和移动摄像机具有

19、相同的规格和同步自由视点图像的合成运动目标。移动摄像机被人们移动到尽可能多的摄像头能捕捉到目标的视场。7.1 性能评估在实验中，该系统是由三个移动摄像机和两个固定摄像机组成的。三个人在一个实验室室移动每一个摄像机来捕捉一个人的移动。将水平设置设置为非水平，如第 3 节描述的图 3（b）所示。捕获的图像在一个框架中显示如图 7，其中分辨率位 640*480。图 7 与所提出的帧捕获的输入图像系统从输入图像重建的 3D 表面模型的采样自由视图如图 8 所示，这是由 OpenGL 的渲染，来渲染 3D 模型，在欧几里德网格空间的三角形补丁的坐标需要被认知。在 PGS 的坐标被作为在图 8 中的欧几里

20、德网格空间中的坐标。图 8 三维图像模型图 9 显示了通过改变移动 camera2 和移动 camera3 之间权重值的虚拟视图合成图像。自由视点所提出的图像可以与未校准的移动摄像机系统成功地合成。由某些缺少的纹理我们可以观察到合成图像，这是由于不准确的重建图形造成的。如果我们仅仅只用体积交叉法，这种不准确的形状仍然无法避免。我们将在未来的工作中提高重建图像的精度。图 9 移动 camera 2 和移动 camera 3 的虚拟视图7.2 所提系统与常规系统的比较在实验中的系统，与由只有五个固定摄像机作为的常规系统相比较。三个移动摄像机被设置为第 3 节中图 3（b）指出的被替换的三个固定摄像

21、机。三个固定摄像机设置为不断在他们远离移动目标的视野中被捕捉。在一帧中捕获的图像如图 10，其以 640*480分辨率显示。固定 camera1 和固定 camera3 之间的虚拟视图如图 11 所示，这种合成的方法是与所提出的方法相同的。在这个实验中的合成图像根据缺失的纹理具有与所提出的系统的合成图像的相同质量。实验所提出的系统与常规系统通过缩放合成的自由视点图像，它表示在所提出系统的自由视点图像上的目标与常规系统只有一半的垂直和水平分辨率的目标相比。如果相对环境的目标大小是比较大的，所提出的系统性能变得更加显而易见。图 10 常规系统中捕获的一帧输入图像图 11 固定 camera1 与固

22、定 camera3 之间的虚拟视图8 讨论在每一帧中，在一个移动摄像机和一个基础摄像机之间对应的点的数目由于从视场闭塞或失踪减少得越来越多。其结果在基本矩阵的精度估计上有一个负面的影响。在我们的实验中，基本矩阵的准确性不足以获得符合要求的重建，当摄像机运动角度大于 20%的宽度的视场角，例如 120 的水平像素在位移上是 640 像素宽度的图像。因此，手动操作被要求提取的新特征点要对应于基础摄像机的特征点，且必须做到每一个对自由视点图像的符合要求质量的运动角度为 20%的视场角（约 20 帧）。然而，对应的过程还可以实现自动投影出这两个基础视图之间的特征点并将其对应到每个移动摄像机图像，形成新的对应关系。详细描述如下：执行第 4 节中所描述的 RANSAC 算法后，移动摄像机和基础摄像机之间的基本矩阵计算。两个基础视图之间的对应点尚未将移动摄像机的基本矩阵投影到各个移动摄像机图像当中。其中，这些特征点被投射的位置接近各个移动视图中对应点的候选，而最近邻那些位置处的特征点则被认为是对应点的候选。有两种情况的候选。第一种情况是可见点，预计将成为新的对应；第二种情况是闭塞点。