基于兴趣点和视觉字典的眼底病理学检测.docx

1、深圳大学研究生课程论文题目 基于兴趣点和视觉字典的眼底病理学检测 成绩 专业 生物医学工程 课程名称、代码 专业英语 年级 2010 级 姓名 袁 杰 学 号 2100220114 时间 2011 年 7 月 10 任课教师 刘 维 湘 基于兴趣点和视觉字典的眼底病理学检测Anderson Rocha Tiago CarvalhoSiome Goldenstein Jacques Wainer摘要：糖尿病视网膜病(DR)是一种糖尿病的并发症。它会弱化视网膜血管，而产生从轻微出血到出现新生血管的各种病变。如果不治疗则会导致失明，事实上，DR 在发达国家是导致 20 岁到 74 岁之间人群失明的最

2、主要原因。对付 DR 最有效的方法就是通过分析眼底图像对 DR 进行早期诊断。本文中，我们介绍了一种对眼底图像进行病理学检测的新方法。我们的工作是做一个自动扫查系统，那些被系统判断为视网膜不正常的病人将需要看眼科医生。这意味着需要一个评价标准使系统得到低的假阴性率。我们应该尽可能的避免将异常图像归类为正常的情况。我们的方法是先构建包含了所需重要病理学特征的视觉字典，然后对眼底图像进行正常或有 DR 嫌疑的分类。 我们估计了硬性渗出，出血和微血管瘤的方法，用跨数据集验证的方法测试了在不同的参数配置下系统的鲁棒性和可靠性。4、用于 DR 检测的视觉字典如今针对单一异常解决方案的主要问题是如何扩展这

3、些方法使其能解决更普遍的问题。大多数时候，在一个数据集上定制的渗出物检测方法并不能在另一个数据集上起作用，使得 DR 检测的结果存在疑点。此外，也很难对现有文章中的方法作比较，因为他们大部分用于训练和测试的都是私人数据集，而很少尝试跨数据集验证。本文中，我们将解决这两个问题。这里介绍一种新的易于扩展的单一病理检测方法，分别对硬性渗出、出血和微血管瘤进行了测试。此外，我们还用实验说明该方法可以在分别用不同数据集进行训练和测试的情况下保持较高的特异性和灵敏性。该检测法应用了眼底图像和视觉字典的概念。这是在计算机视觉文献中提到的一种新的模式，它用一组具有高度扩展性的特征来表示，在没有对图像进行预处理

4、或后处理的情况下得到了很好的检测和分类结果。视觉字典建立了一种稳定的表示方法，它将每幅图像表示为区域的集合。在这种表示下，我们只需要关心每个区域的表达。我们的目标是是用学习建立一个视觉字典，以训练集来说，根据特定的问题选取了至少 d 个典型的区域。选取的区域数 d 必须足够大以辨别图像中相关的变化，但是也不能太大以致辨别出不相关的变化，如噪声。这些区域建立了一个 d 维的希尔伯特空间 H，这个空间里每个区域用一个视觉单词表示。我们可以根据一个视觉字典里包含的视觉单词描绘出一幅图像，得到希尔伯特空间 H 中每个视觉单词在原始图像中对应的区域。在这个设定中我们面对的主要挑战就是建立一个在特定问题下

5、能捕获所有细微差别的典型字典。4.1 方法综述近来不少研究者使用了兴趣点的局部不变特征。虽然它最初发展是为了应用于通信领域，但是已有不少在图像恢复和分类方面的尝试。这些方法背后的原则是：选择最能代表图像的点组成一个大数量的兴趣点(PoI)集，然后计算每个兴趣点周围的局部描述子，并存储在索引数据结构中。这个方法是假设兴趣点比图像中其他的点能传达更多的信息。因此，图像即使被扭曲后兴趣点仍能被稳定的检测到，这是兴趣点法则可重复性的主要标准。定位兴趣点后，每个点用它周围区域分解的小片段表示。有文献指出在兴趣点周围计算出的局部描述子要比描述图像细微差别的全局描述子稳定。但是，这样代表的方法有优点也有缺点

6、。当搜索一个特定目标时，这个辨别力是非常重要的。尽管如此，当搜索复杂的分类时，概括的能力是最重要的。因此，这些解决方案往往是设计完全匹配的，它们在图像分类时并不直接转化好的结果。解决这个问题的一种可能是视觉字典技术，它认为是高维空间描述和分割成的多个区域。通常使用非监督学习技术（例如聚类）以便找到最具判别力的兴趣点。每个兴趣点的区域，将变成视觉“字典”里的“字” 。字典创建完后，对每个图像分析其兴趣点并将一个在字典中最接近的单词分派给它。最后，每幅图像都由一系列视觉单词来描述。在这个简单的想法中，最大的挑战是设计一个好的字典。字典的建立需要对描述空间进行量化，这可以使用聚类方法，或者像本文讨论

7、到的，由专家来“选择”重要的词汇。4.2 局部特征为了描述一个给定图像的视觉内容，我们找到了图像的一系列兴趣点及其周围区域的特征。理想的是选择尺度不变的兴趣点，以使得其描述子在可能的图像变换后仍然保持稳定。要做到这一点，我们可以使用多种不同的方法。我们已经发现 SURF 特征有最好的性能。我们也对 SIFT 特征做了性能评估实验。两种方法都能达到较高的重复性和特殊性。4.2.1 尺度不变特征变换（SIFT ）SIFT 算法是在平移、缩放和旋转变换下最稳定的方法之一。SIFT 算法有四个主要步骤。1、尺度空间极值点的检测：2、特征点的定位：3、确定主方向：4、兴趣点描述：4.2.2 加速稳定特征

8、（SURF）SURF 算法是在海森矩阵的基础上做了个基本的近似。它的描述子就是兴趣点邻域的哈尔小波反应。SURF 算法有四个主要步骤。1、特征点检测：2、特征点定位：3、确定主方向：4、兴趣点描述：4.3 视觉词汇表正如我们在 4.1 节所讨论的，SURF 和 SIFT 是良好的低层次的典型特征探测器。但是，这种独特性是要付出代价的：因为这些解决方案往往是精确匹配设计，他们不能直接转化为良好的图像分类效果，甚至限制它的应用领域。我们认为，在对眼底图像进行渗出或者正常分类时，这些方法并不适合直接使用。为了在提高这种描述子通用性的同时保持它的独特性，我们使用了视觉词汇的概念。在视觉词汇表结构中，每

9、个兴趣点区域就是“字典”的一个“单词” 。 下面，我们考虑解释渗出物的检测问题。本文中介绍的方法基本足以探测到其它DR 相关的异常。为了解决眼底图像中渗出的检测问题，我们挑选然后建立了一个训练集，它由含有渗出的正样本和专家认为正常的负样本组成。在训练这一步中，我们对所有图像用 SIFT 和 SURF 算法作了兴趣点的定位。请注意我们没对图像作任何预处理。训练集的每幅图像都会产生一系列的兴趣点。找到兴趣点后，我们需要创建字典来描述图像中有渗出的典型区域以及由专家标注的正常图像。为此，我们需要选择合适的字典大小。要创建字典，我们可以使用聚类如 k-均值法找到兴趣点群的中心。另一种选择是让专家大致的

10、标记出眼底图像中正常的和有渗出的区域，然后在这些标记的区域中选择兴趣点作为字典的典型单词。4.4 训练和分类在训练集中，我们分别用以下方法创建了视觉字典：随机选择、聚类、描述区域的粗选和精选。粗选的方法中，我们考虑由眼科专家对图像手工分级然后粗略标记出正常图像和渗出物图像的候选区域。然后我们在这些区域内部选择特征点。正常和渗液区域的数目要相同。精选的方法中，计算了由眼科专家手工分级后图像的特征点后，我们对标记区域内的特征点进行了精选。粗选和精选的区别在于粗选是在候选区域有个粗略的标记，而精选是在一定有渗出或一定正常的区域内选取特征点。本算法只有在训练中才需要选择。创建字典后，我们对训练图像中的

11、每个兴趣点都都分配了字典中与它最接近的单词。这一步称为量化。在量化过程结束时，我们得到了用于描述每幅图像被选中单词柱状图的一组特征向量。为了完成最后的分类工作，我们选择了一个二分类的机器学习分类器支持向量机（SVM） 。然后向分类器输入由训练集计算出的特征向量来训练分类器。4.5 算法的扩展本文所提算法的最大优点在于对图像分类之前不需要任何的图像预处理或后处理。因此，我们可以把这个方法照搬到对 DR 其他问题的检测中去，比如出血和微动脉瘤等。4.6 实验和验证这个部分介绍了为验证本文算法所完成的一些实验。我们把这个实验设计为三部分：一、这部分我们讨论了这个算法中重要参数的设置问题，比如用于分类

12、的字典里单词的数量，合适的区域描述子（SIFT 或 SURF）以及选择典型单词的方法，如聚类、随机、人工操作（粗选或精选） 。实验所用的数据库为 DR1。二、这部分要评估跨数据集对本算法的影响。为此，我们在一个数据集中训练然后在另一数据集中测试。实验中用于训练和测试的是两个在文献中最常见的两个数据集：RetiDB 和 Messidor。三、这部分展示了本算法用于检测眼底图像中出血和微动脉瘤的结果。这里要强调的是在完成这些新任务时我们没有对图像作任何预处理或后处理。实验所用数据库为 DR1。以上实验结果都用已 ROC 曲线表示。ROC 曲线是正负两类的参数成本在不同值时 SVM 分类的结果。所有

13、报告的结果均由 5 次交叉验证的平均值得到。5.1 数据集本文所有实验均基于数据集。DR1、RetiDB、Messidor 。5.2 实验一这部分我们讨论了这个算法中重要参数的设置问题，比如用于分类的字典里单词的数量，合适的区域描述子（SIFT 或 SURF）以及选择典型单词的方法，如聚类、随机、人工操作（粗选或精选） 。5.2.1 SIFT vs SURF ？字典大小？在这个实验中，我们展示了作为产生视觉描述性词汇基础的 SIFT 和 SURF描述的有效性。也展示了用于分析未知眼底图像的参考字典所必要的词汇量。通过这个实验我们的结论是 SURF 描述子更有效。另一个有趣的结果是关于参考字典所

14、必要的词汇量的。有些关于图像和物体分类的文章指出越大耳朵字典就能得到越好的分类结果。这可能符合复杂的类别以及大型多级方案的情况，但并不适合我们在本文中处理的二分类的情况。与以前图像与物体分类文章中报告的相反，一个很大的字典并不比一个只有 100 个典型单词的字典有用。我们对渗出检测的最好结果是由 SURF 描述子和 100 个视觉单词得到的。这样，我们只用 10%假阴性率的代价就得到了 80%的灵敏度。这个实验中，视觉单词是随机选择的。100 个视觉单词是区分正常和含有渗出物的眼底图像最有用的字典大小。值得注意的是，这种方法即使在只有 25 个单词的情况下仍能得到 70%的灵敏度和 90%的特

15、异度。5.2.2 聚类 vs 非聚类 vs 手工选择在本文这个特殊领域内，可以发挥眼科专家经验的优势反复分类以提高参考字典的分辨能力。这里我们在以下四种方法下评估渗出和正常图像分类的质量：随机选择100 单词、聚类选择 100 单词、人工粗选和精选。不出所料，随机选择的结果最差，专家选择结果最好。专家给出的精选区域的性能是与聚类选择相当的。但是人工选择方法的好处在于当需要做些改变时，专家更能控制好分类器的性能而无需重新聚类。举例来说，在 2%假阴性率（98% 特异度）时，该方法能达到约 64%的灵敏度。1%假阴性率（99% 特异度）时，该方法能达到约 55%的灵敏度。当假阴性率设为10%（90

16、%特异度） ，专家精选的方法能达到 82%的灵敏度。专家选择的另一个优点是能根据实际适应分类系统的需要（比如与视网膜检影法给出的特异度一致） 。通常，专家只需选择很少的区域。比如当需要 100个单词时，专家只需要标记出 50 个正常区域和 50 个带有渗出区域。5.3 实验二这部分评估了跨数据集对本算法的影响。为此，我们在一个数据集训练后在另一个测试。实验中用于训练和测试的两个数据集是 RetiDB 和 Messidor。这个试验中很重要的一步是设定渗出检测的初始参考标准。据我们所知，目前还没有研究者在这两个重要的公开数据库之间使用跨数据集检验，大多数结果是在非公开的数据集基础上得到的，这会导

17、致有些不公平。如果要更复杂的比较，在文献中的实验提出的方案大多只使用很少的图像作验证，通常小于50。作为比较，Welfer 是极少数使用 RetiDB 数据集提供结果的研究者之一。作者报告称在一个普通的操作设定下能得到约 70的特异度。相比之下，我们的方法在 DR1 训练后在 RetiDB 测试得到约 50灵敏度当特异度为 100%时。如果我们允许更多的假阴性例子能提高灵敏度。当特异度为 90（10假阴性，而不是零） ，得到的灵敏度为 73。对于 Messidor 数据集，用 DR1 训练后的测试得到 60灵敏度和 98的特异度。当用 Messidor 数据集训练时，在 RetiDB 和 DR

18、1 测试的结果很接近，76% 灵敏度和 90%特异度。用 RetiDB 训练，特异度设定为 90%时，在 Messidor 测试得到 50%灵敏度，在 DR1 测试则为 60%。一些其他的对比试验在第三部分介绍，说明作者们不使用相同的研究方案（确认数据集，训练/测试区分等）是不公平的。此外，我们的方法是为检测渗出定制的，据我们所知，他们中没有一个直接扩展用于检测其他 DR 相关的异常。5.4 试验三大多数眼底图像的分析方法都是只针对某一种异常而定制的，因此，他们大多不能直接扩展或不可能扩展到一般情况。本实验将展示对另外两种 DR 异常的检测结果，唯一改变的是训练集阳性样本：检测出血用带出血的图

19、像训练，检测微动脉瘤就用带微动脉瘤的图像训练。跟前面一样，所有结果取 5 次试验均值。所有实验都不对图像作预处理或者后处理。特异度为 95%时，本算法检测出血得到 60%灵敏度。检测微动脉瘤，100% 特异度情况下灵敏度为 45%。实验均用精选方法取得 100 单词。由于很多眼底图像中同时存在多个异常，本文介绍的直接扩展的方法是极为重要的。我们可以很容易制做一个基于分别针对渗出，出血和微动脉瘤的几个简单探测器的分类系统。有了这样一个系统，我们可以运用每个简单的探测器，如果其中一个发现异常，我们将标记这幅图像作进一步分析。6 结论在发达和发展中国家对抗 DR 最有效的方法仍然是通过对眼底图像的分

20、析进行早期诊断。在这个方向下，本文我们使用视觉字典的方法对眼底的单一病变进行检测。为了检测特定的 DR 相关异常，只需要使用正确的训练集，就像我们在硬性渗出，出血和微血管瘤检测实验中示范的一样。视觉字典是一种学习和描述特定异常特征的高级方法，它无论图像是否正常都可以分类。我们已经完成对公共数据集的一系列实验，表明了我们贡献的效果。仅仅使用 100 个视觉单词我们已经能够达到很好的分类结果。对用于描述眼底特定异常的视觉字典的创建方法，我们估计了四种可能：随机选择、完全自动的聚类选择和在专家分类基础上的粗选和精选。对于粗选和精选，我们发现，专家只需要对图像少数地区进行标记以提供分类系统的基础，这个过程只需在训练阶段进行一次即可。我们在使用 SURF 描述子，100 个视觉单词和人工精选的时候得到了最好的结果。但是，用粗选或者聚类的方法得到的 100 个视觉单词也是可行的。我们接下来的工作是综合各个针对单一异常的简单检测器，如渗出、出血、微动脉瘤和其他，以创造一个区分正常和非正常眼底的最高级的检测器。我们相信，这种简单的探测器的结合将提供高质量的分类结果，代表了计算机通过用眼底辅助诊断的下一步发展方向。