1、 学 位 论 文 基于计算机视觉图像的位置跟踪技术研究 指导教师姓名： 申请学位级别： 硕 士 学科、专业名称： 测试计量技术及仪器 论文提交日期： 论文答辩日期 : 学位授予单位： 河北工业大学 答辩委员会主席： 评 阅 人： 20XX 年 X 月 河北工业大学硕士论文 基于计算机视觉图像的位置跟踪技术研究 摘 要 射波刀是新近出 现的肿瘤治疗的新技术，其主要特点即可以自动追踪人体的运动，并相应的调整治疗射线的方位，以便使射线精确的交汇于靶点。因此位置跟踪技术是射波刀系统的关键技术，是该系统区别于其它系统的特征技术，其精度决定了射波刀系统的治疗效果，其速度决定了射波刀系统的治疗效率。 本文在
2、对国内外现有的射波刀系统进行了充分调研的基础上，对软硬件系统总体设计进行了研究，并重点对该系统的自动跟踪算法作了理论和实验研究并进行了相应的开发，包括图像处理、位置提取、轨迹拟合、位置预测等算法和位置跟踪模型的建立，其中本文提出了一种多通道图像处 理算法，并在此基础上设计了位置提取算法以及轨迹拟合算法和位置预测算法；并在 Matlab 平台上对应用于射波刀的六自由度机械手做了运动学及动力学仿真试验。经验证，本系统达到了满意的精度。 关键词 : 射波刀，多通道图象处理，位置跟踪， Matlab 仿真 i 基于计算机视觉图像的位置跟踪技术研究 THE RESEARCH OF POSITION-TR
3、ACING TECHNOLOGY BASED ON IMAGE OF COMPUTER-VISION ABSTRACT As a new technology of tumor therapy, the specialty of Cyberknife is that it can trace the movement of patients body and adjust its own motion which decides the direction of the beam automatically to make sure the beams across the target on
4、 the same point. So the position-tracing-technique is the key-technique of Cyberknife and is the special feather which makes the difference between Cyberknife and other systems. The precision of the position-tracing-technique decides the effect of the treatment of Cyberknife and the speed of tracing
5、, the efficiency. Based on the study of Cyberknife-systems nowadays, we have a research on the design of the system-framework and develop the position-tracing-arithmetic for it, which include the arithmetic of image-processing, position-extracting, trajectory-fitting and position-forecasting . Weve
6、developed a multichannel image-processing arithmetic and design the arithmetic of position-acquiring, trajectory-fitting position-forecasting based on it. Finally we have kinematic and dynamic simulation of a 6-DOF manipulator used on the Cyberknife system of the mechanical subsystem on Matlab, by w
7、hich this systems precision is justified. KEY WORDS: Cyberknife, multichannel image-processing， position-tracing， simulation on Matlab ii 河北工业大学硕士论文 目 录 第一章 绪论 . 1 1 -1 课题的提出及国内外发展现状 . 1 1 -2 射波刀系统的发展和系统简介 . 1 1 -3 课题研究的意义 . 3 1 -4 课题研究内容及主要目标 . 3 1-4-1 计算机视觉跟踪系统组成及工作原理 . 3 1-4-2 计算机视觉图像处理 . 4 1-4-3
8、 位置计算及跟踪方法 . 5 1-4-4 射波刀系统应用 . 5 第 二章 系统总体设计 . 7 2 -1 射波刀软硬件系统总体概述 . 7 2-1-1 系统结构 . 7 2-1-2 系统组成 . 9 2 -2 同步跟踪系统软硬件设计 . 9 2-2-1 硬件组成 . 10 2-2-2 追踪算法 . 10 第三章 用于目标跟踪的动态图像处理 . 16 3 -1 动态图像的含义 . 16 3 -2 对于动态图像的图像处理 . 17 3-2-1 去噪声 . 17 3-2-2 边缘增强 . 17 3-2-3 边缘检测 . 19 3-2-4 图像形态学加工 . 21 3-2-5 目标的运动参数提取：
9、. 23 3-2-6 本系统的图像处理算法 . 25 3 -3 边缘增强与边缘检测 . 27 3 -4 快速算法 . 28 第四章 目标跟踪算法设计 .30 4 -1 目标跟踪概述 . 30 4 -2 本系统的目标跟踪算法总体设计 . 32 4 -3 基于特征的位置提取 . 32 4-3-1 一些用于跟踪的特征 . 32 4-3-2 目标形心算法 . 34 4 -4 轨迹拟合 . 37 iii 基于计算机视觉图像的位置跟踪技术研究 4-4-1 曲线拟合的原理 . 37 4 -5 位置预测 . 39 4-5-1 预测算法概述 . 39 4-5-2 预测算法设计 . 40 4 -6 对于呼吸追踪的
10、预测算法 . 42 4 -7 MBS 变换 . 43 4-7-1 多体系统的坐标系 . 44 4-7-2 点和矢量的齐次坐标表示 . 44 4-7-3 理想运动的变换矩阵 . 45 4-7-4 旋转运动特征矩阵 . 45 4-7-5 平移运动特征矩阵 . 46 4-7-6 理想合成运动特征矩阵 . 47 第五章 仿真 . 48 第六章 结论与展望 . 52 iv 河北工业大学硕士论文 第一章 绪论 1-1 课题的提出及国内外发展现状 射波刀肿瘤治疗系统是随着新的检测定位及控制手段的发展而出现并随之发展的。 由于肿瘤繁殖能力强，易扩散，并且大多数恶性肿瘤的治愈率、预后的结果及病人生活质量不甚理想
11、。因此临床上出现了对肿瘤均以局部治疗为主，即将癌细胞作为 “靶 ”采用集中攻 击、全部清除的手段；并以能否最大限度地消除体内肿瘤细胞和最大限度地减少正常细胞操作损伤作为肿瘤治疗方案优劣评定的标准。在这种治疗思想指导下，逐渐形成了以手术、放疗、化疗为支柱的肿瘤现代治疗模式 1。 立体定向放射外科是由瑞典 Leksell 于 1951 年提出的一种治疗肿瘤的新学科，指用立体定向法标定靶点位置，再用高能射线集中照射，破坏该部组织而达到治疗目的。自此逐渐出现了各种 “靶向治疗 ”的方法。代表 2006 年度全球肿瘤学术界最重要和最权威的美国癌症研究学会 (AACR)和美国临床肿瘤学会(ASCO)会议已
12、分别于今年 4 月和 6 月在美国召开。这两次会议上，靶向治疗再次成为肿瘤医学界关注的焦点。而射波刀更是近年来出现的先进的靶向治疗方法之一 2。 射波刀是目前世界上最先进的肿瘤射线外科治疗系统，是高精度射线光束靶向肿瘤的治疗技术，是高新放射外科肿瘤治疗技术的又一重大研发突破。射波刀由美国加利福尼亚州斯坦福大学医学院研发，其产品名称：立体定位射波手术平台（ Cyberknife System for Stereotactic Radiosurgery/ Radiotherapy ） 简称 “射波刀 ”。射波刀是一个综合的放射外科肿瘤治疗系统，它将连续影像导航技术和计算机控制的由机器臂精确传输大剂
13、量射线技术集成在一起。该系统将一个紧凑型直线加速器装于一个计算机控制的机器臂上，非常准确的从许多不同方向将高精度的射线光束靶向肿瘤 3。影像导航专利技术将操作性 X 线与先前获得的肿瘤及临近组织的 CT 影像相关联，以精确地将每一条放射光束靶向到目标。该方法可以达到将高剂量射线聚焦在肿瘤范围以内并高度集中，即光束聚合点。相反，周围正常组织获得一个相对很小且更少伤害性的射线剂量，因此可以很快恢复健康 4。 射 波刀是最新型的放射外科治疗设备，它的核心技术是交互式机器人技术，它可以持续接受病人位置、肿瘤位置和病人呼吸运动的反馈，精度误差不超过 1mm，通过 6 个自由度的机器人手臂，多达 1200
14、 条不同方向的射束，可以将照射剂量投放到病人全身各处病灶上，大大减少了肿瘤周围正常组织及重要脏器所接受的辐射剂量，此外它使用了用非等中心，非共平面的技术等很多的尖端技术应用到这台设备中，改善了治疗环境，提高了肿瘤病人的生活质量。 而运动跟踪定位系统是射波刀系统中非常重要的一环，该环节是射波刀系统有别于其它放疗系统的特征之 一，决定了射波刀系统的精度并从而决定了该系统的治疗效果。因此本文将研究的重点放在射波刀系统的运动跟踪定位系统上面。 目前天津市肿瘤医院已经引进了一台射波刀系统，具有良好的治疗效果。 1-2 射波刀系统的发展和系统简介 立体定向放射外科同普通放疗的区别在于，前者是使用单次大剂量
15、高能射线杀灭肿瘤细胞而不是通常使用的多分割、小剂量的传统治疗。据报道，首次使用定位框架的立体定向放射外科治疗设备是出现 1 基于计算机视觉图像的位置跟踪技术研究 于 80 年代美国的伽玛刀。立体定向放射外科要求肿瘤的 精确定位和射线束的相互交叉。由于使用单次大剂量分割照射，立体定向放射外科有着比其他放射治疗要求更高的精确性，否则可能对病灶周围正常 组织和重要器官造成严重损伤，其靶区的精确度要求为 1 2mm5。 传统的立体定向放射外科治疗虽然具有很多优点，但亦有不足，其主要是金属框架的有创性，而且不能保证精确摆位的重复性。立体定向放射外科治疗受限于单次照射，通常要求病灶的直径小于 3cm 同样
16、由于定位框架的限制，也不能用于儿童。另外它最大的缺陷是不能应用于头颈部和体部肿瘤的治疗。 在斯坦福德神经外科中心， Adler 等通过 CyberKnife 表达了全新的放射外科概念，安装在机械臂上轻便灵巧的直线加速器给医生治疗肿瘤提供了广阔空间。先进的影像导航系统在治疗期间可以随时监控患者靶区位置的移动，无须使用有创定位框架就能保证治疗的精确性。带有数码监控系统的 CyberKnife 能在放射治疗过程中清晰地标识出肿瘤所在位置 6。 CyberKnife 不但主要用于治疗其他方法难以奏效或位于手术禁区的肿瘤和血管畸形，而且现在也可以治疗大多数其他立体定向放射技术无法治疗的体部肿瘤。 斯坦福
17、大学医院临床使用射波刀系统已有 近 8 年的时间。第 1 台是研发型，第 2 台 (2001 年 11 月安装完毕 )为临床使用型。 射波刀由治疗计划系统、机器手、小型线性加速器和图像导引 (Imaging guiding)系统组成。射波刀系统将小型直线加速器 (射线能量为 6 兆伏，射野为 5 毫米至 60 毫米圆形准直器 )安置于可控制具有六维自由度的机器手臂上，机器手在工作空间中按计算机预设路线带动加速器围绕病人治疗部位移动，每到一预设治疗点，机器手停止运动，加速器照射对应的放射剂量。该技术类似于常说的静态调强 (stop and shoot)7。 在病人立体定位方面，射波刀系统利用诊断
18、 X 射线管 (120kV)及非晶硅摄像机对病人实时成像，以达到实时监测和跟踪治疗靶区的目的。射波刀系统在 3 个相互联系的坐标系统 CT 坐标系、机器手坐标系和摄像机坐标系。图像注册软件利用病人三维 CT 数据计算出病人治疗部位在 CT 坐标系中的坐标，该坐标被转换成机器手坐标系中的坐标，机器手由此可将放射线射入目标。摄像机坐标系是静态坐标系，它由一对固定在病人两侧天花板处的诊断 X 机及安置于地面上的摄像机组成。病人头颅或定位金属标记的位置通过比较实 时影像与摄像机视野中的由 CT 计算的数字化重建影像 (DRR)确定。当病人移动时，摄像机坐标系中的头颅或金属标记影像相对 DRR 亦会变化
19、 8，由于治疗部位相对头颅或金属标记是固定不变的，因此病人影像相对 DRR 的变化就是治疗部位的位置变化，根据此变化机器手调整光束入射点 (目前软件只纠正平动 )。从摄像至调整数据输入机器手一般只需要几秒钟，系统基本上做到在治疗过程中实时跟踪治疗靶区，而其它治疗系统 (如 -刀 )只能在治疗前进行质量保证检查 (QA)，在治疗过程中无法实现跟踪靶区。 射波刀治疗计划系统包含常 规正向治疗计划和任意形状逆向治疗计划方法。根据医生勾画的计划靶区及对靶区和重要器官的剂量要求，逆向治疗计划在 1300 个以上的照射野中选择合适的满足设定条件的照射野进行照射。 射波刀的技术核心是交互式机器人技术，一体化
20、的系统可持续接收到病人位置、肿瘤位置和病人呼吸运动的反馈。该技术具有如下特点： 1、同步呼吸跟踪系统，利用巡航导弹卫星实时定位技术实现肿瘤照射随着患者呼吸运动，体内肿瘤位移而同步跟踪调整照射靶区，其误差不超过 1 毫米； 2、带有 6 个自由度计算机控制的机器人手臂，多达 120 条不 同方位的光束，轻易地将照射剂量投放到全身各处的病灶上，真正实现从任意角度进行照射，大大减少了肿瘤周围正常组织及重要器官所接受的辐射剂量，有效减少放射并发症的发生； 3、能够治疗不规则形状的肿瘤，并且在一次治疗中可同时对不同部位多个不相邻的肿瘤进行治疗， 治疗过程中无血、无痛、无麻醉； 4、治疗体积较大、不能手术
21、和难以治愈的肿瘤，小于 6 厘米的早期肿瘤可彻底消除，尤其是在颅 内和颅脑周围病变以及脊髓、邻近病变病灶的治疗，更能显示出其优势； 5、无创性定位系统利用影像引导技术替代了刚性的、有创的立体 定位框架，以人性化柔韧的网孔 2 河北工业大学硕士论文 面具定位，大大减轻了患者的痛苦。 1-3 课题研究的意义 传统的放疗系统常由于病人的呼吸、心跳以及其他不自主运动带来很大的误差，严重影响了治疗效果；而且由于这些误差的引入，使得放疗过程必须一次完成，不能分成几次剂量分别照射。这样就会使得正常组织受到的较大的损伤，并且由于射线焦点的定位误差较大，无法对心肺机其他重要器官附近的肿瘤进行放射治疗。 近年来虽
22、然提出了各种定位方法，但主要是对病人进行硬固定，如各种的接触式框架以及螺栓固定的 头架。这种方式不能完全克服上述的不自主运动引入的误差，而且给患者带来很大的痛苦。并且由于加装了固定用的支架，使得放射线出现了死区，反而给治疗带来了困难。 而射波刀的运动跟踪定位系统利用类似巡航导弹的卫星实时定位技术，在手术过程中动态定位，实时跟踪。大大提高了系统的定位精度，并且不需要对患者进行硬固定，也不需要在患者头部加装头架。减轻了患者的痛苦，并且消除了固定支架带来的死区，从而提高了射波刀的适用范围 9。 1-4 课题研究内容及主要目标 1-4-1 计算机视觉跟踪系统组成及工作原理 视觉跟踪 系统可分为基于位置
23、和基于图像两种工作方式。 基于位置的视觉跟踪伺服控制系统，视觉伺服误差定义在三维笛卡尔坐标空间，视觉特征信息用来估计执行机构末端与目标的相对位姿。这种方法的主要优点是直接在三维空间控制执行机构运动，另外它把视觉重构问题从执行机构控制中分离出来，这样可以分别对二者进行研究，但这种方法一般需要对视觉系统和执行机构进行标定，而且由于要对图像进行解释，因而增加了计算量，另外，这种方法受传感器模型、运动学方程、摄像机标定所带来的误差影响较大。基于位置的视觉伺服系统框图如图 1.1： 视觉控制 器 执行控制器 执行机构 执行机构环境 执行传感器 图像解释末 图像处理 摄像机 端位姿估计 特征提取 图 1.
24、1 基于位置的视觉跟踪系统结构 Fig 1.1 The structure of vision-tracing system based on position 基于图像的视觉跟踪伺服控制系统，视觉伺服误差直接定义在图像特征空间，摄像机观察到的特征 3 基于计算机视觉图像的 位置跟踪技术研究 信息直接用于反馈，不用对三维姿态进行估计。基于图像的视觉伺服控制系统中，二维图像特征通过雅可比矩阵与三维笛卡尔坐标系中的三维场景相联系，所以这种控制系统中雅可比矩阵的求解是关键。确定雅可基于图像的视觉伺服控比矩阵可以通过经验法、在线估计法、学习法等。经验法主要是通过摄像机标定或先验模型知识得到比较准确的雅
25、可比矩阵；在线估计的方法可以事先不用进行摄像机标定，但存在雅可比矩阵的初值选择问题；学习方法主要是通过离线示教、自我学习、自我决策的人工神经网络的方法，这种方法需要大量样本才能计算 准确。基于图像的视觉伺服控制系统可以不用 3D 重建，直接用图像特征控制执行机构运动 11。与基于位置的方法相比，基于图像的方法受传感器模型、运动学方程、摄像机标定所到来的误差的影响较小，静态定位的精度也比较高，但动态估计雅可比矩阵时，需要不断进行更新和求逆，计算时间上需要进一步优化；另外，由于系统是耦合的且具有非线性解，因此不能保证在整个任务空间中都是收敛的。基于图像的制系统的结构框图如图 1.2： 视觉控制器
26、执行控制器 执行机构 执行机构环境 执行传感器 图像处理 特征提取 摄像机 图 1.2 基于图像的视觉跟踪系统 Fig 1.2 The structure of vision-tracing system based on image 1-4-2 计算机视觉图像处理 计算机视觉图像处理技术主要有以下几项内容： 1、图像数字化和压缩编码 图像数字化技术是把连续图像信号变为离散的数字信号，适应数字计算机或其它数字设备的运算处理。压缩编码技术是减少描述图像的数据量即比特率，以便节省传输、处理时间和存储器容量。 2、图像增强和复原 图像增强是突出图像中感兴趣的部分，图像复原是使失真图像尽可能恢复本来面
27、貌。3、图像分割 图像中包含的物体，按其灰度、色彩或几何特性分割，并进行分析处理，从中提取数据等有效分量。 这是进一步进行图像处理、模式识别和机器视觉等技术的基础。 4、图像分类 图像分类是图像处理技术的深入和发展，也可以认为是模式识别的一个分支。其主要内容是在图像经过某些预处理 (压缩、增强、复原 )后，将图像中有用物体的特征进行特征分割、特征选择，进而进行判决分类。 5、图像重建 图像重建是对一些三维物体，应用 X 射线、 超声波等物理方法获取物体内部结构的数据。再将此数据进行运算处理构成物体内部某些部位的图像。 4 河北工业大学硕士论文 1-4-3 位置计算及跟踪方法 目前在计算机视觉领
28、域中，常用的跟踪方法有 3 大类：即块匹配法、光流法和基于特征的方法。块匹配方法实质上是在图像序列中做一种相邻帧间的位置对应任务。它首先选取一个图像块，然后 假设块内的所有像素做相同的运动，以此来跟踪相邻帧间的对应位置。块匹配法把一个像素块作为一个 整体进行计算，运动表示简单。其算法比较规则、简单、硬件上易于实现，因简单高效 的特点而常被采 用。但缺点是跟踪结果比较粗糙、不大精确。另外就是无法解决遮挡问题，当在物体运动过程中出现大 面积遮挡时就会发生计算错误。普通的块匹配算法对图像质量的要求较高，这些要求在我们拍摄到的视 频中中往往无法得到满足。由于实际运动图像场景复杂、富于变化，块匹配法很难
29、找到最佳的匹配点。 光流法是目前运动图像分析的重要方法，它的概念是指时变图像中模式运动速度。因为当物体在运动时，它在图像上对应点的亮度模式也在运动，这种图像亮度模式的表观运动就是光流。光流表达了图像的变化，由于它包含了目标运动的信息 ，因此可被观察者用来确定目标的运动情况 12,13。 特征匹配是依据图像的特征信息，充分利用空间位置相对不变的影像特征，进而抽取出实时图与参考图的特征量，然后按照一种或几种相似性度量对二者进行比较，如果在实时图中某物体的特征集与参考图中目标的特征集之间，在给定的约束条件下，满足距离最小的原则，则该物体为跟踪的目标。 1-4-4 射波刀系统应用 由于在手术过程中，病体存在很多不自主运动，因此需要对病体进行实时的运动跟踪。由于可以采取在病体上面加标记的方法，因此标记的特征极为明显，提取相对容易。同时，由 于病体的不自主运动相对复杂，并且属于随机运动，使得数据量相对较大，而且该系统对实时性的要求相对较高，因此我们采取了离线建模、在线监控的方法。首先在手术前，通过各种成像手段，如 4D-CT、 X 光机等，建立起病体体表一点或数点的运动与体内器官运动的数学模型。手术中在这些点上面附加远红外 LED
