1、计算机系统应用 ISSN 1003-3254, CODEN CSAOBN E-mail: Computer Systems 收到修改稿时间 :xxxx-xx-xx Special Issue 专论 综述 1 运动目标检测中的光流扰动效应 王恩达 1, 王恩旺 2 1(楚雄师范学院 信息科学与技术学院 , 楚雄 675000) 2(中国科学院 空间目标与碎片观测研究中心 , 南京 210008) 通讯作者 : 王恩达 , E-mail: 摘 要 : 在一些运动目标检测过程中 , 需要自动判断是否检测到运动目标 , 虽然在场景中没有出现运动目标 , 检测结果却错误的判断为检测到了运动目标 .
2、为了找到这个错误的根源 , 通过实验 , 发现了光流扰动效应 , 并且设计了光流扰动效应检测算法 , 清晰地检测出了光流扰动效果 . 接下来 , 通过图像二值化方式 , 消除了光流扰动效应 , 避免了运动目标误判现象 , 得到了理想的运动目标检测结果 . 研究证明在空间中存在光流扰动效应 , 该效应会对运动目标检测造成干扰 , 消除光流扰动效应 , 可提高了运动目标检测与判断的准确度和可靠度 . 关键词 : 光流扰动 ; 运动检测 ; 帧差法 ; 二值化 ; 运动目标判断 引用格式 : 王恩达 ,王恩旺 .运动目标检测中的光流扰动效应 .计算机系统应用 ,xxxx,xx(x):xx. http
3、:/www.c-s- Optical Flow Disturbance Effect in Moving Object Detection WANG En-Da1, WANG En-Wang2 1(Information Science and Technology Academy, Chuxiong Normal University, Chuxiong 675000, China) 2(The Center for Space and Debris Observation, Chinese Academy of Sciences, Nanjing 210008, China) Abstra
4、ct: In some moving object detection process, it needs to automaticly judge whether it has detected the moving object, although there is no moving object in the current scene, detection result wrongly judges that it have detected the moving object. In order to find the source of the error, optical fl
5、ow disturbance effect is found through experiment. The optical flow disturbance effect detection algorithm is designed, and the effect of optical flow perturbation is clearly detected. Next, through the binarization method of image it eliminates optical flow disturbance effect . The ideal results of
6、 the moving object detection are obtained. This research proves that the optical flo w perturbation effect exists in the space, which can cause interference to the detection of moving object. It also can eliminate the effect of optical flow disturbance and improve the accuracy and reliability of mov
7、ing object detection and judgment. Key words: optical flow disturbance; motion detection; frame difference method; binarization; moving object judgment 运动目标检测是计算机图像、视频处理工作的基础 , 广泛的应用在工业、医学、军事、教育、商业、体育、安防报警等领域中 . 运动目标检测的准确性和可靠性直接决定它是否可以广泛的应用到实际的生产过程中 . 运动目标检测算法在实际应用过程中都会受到光照、天气、阴影、背景中轻微运动物体等噪声因素的影响 ,
8、 从而降低运动目标判断准确度 , 得到错误的检测结果 , 无法满足实际应用需求 . 其中光照变化是一个常见的噪声因素 , 在一些应用领域中 , 需要自动检测并且判断是否出现运动目标 , 然后做出报警等 自动化处理 , 但是由于光照因素的干 扰 , 在没有出现运动目标的情况下 , 却错误的判断为检测到了运动目标 1-6, 本研究抛开其它噪声因素 , 仅研究光照因素对运动目标检测的干扰 , 通过实验发现了一种现象 , 将其命名为光流扰动效应 . 为了证明光流扰动效应的存在 , 研究设计了光流扰动效应检测算法 , 把光流扰动计 算 机 系 统 应 用 http:/www.c-s- xx xx 年 第
9、 xx 卷 第 x 期 2 专论 综述 Special Issue 现象清晰地显示出来 , 正是这一种现象导致了很多运动目标检测过程中的运动目标误判 . 接下来 , 采用二值化方式把光流扰动效应消除 , 实验结果不再出现运动目标误判现象 , 得到了准确理想的结果 , 证明了在空间中存在光流扰动效应 , 该效应会对运动目标 检测造成干扰 , 影响运动目标检测的准确度 . 1 运动目标检测 目前 , 已有的运动目标检测方法按照算法的基本原理可以分为三类 : 帧间差分法、背景减除法和光流法 . 三类方法各有其优缺点 . 背景减除法通过统计若干帧的变化情况 , 从而学习背景扰动的规律 . 此类算法的缺
10、点是由于通常需要缓冲若干帧来学习背景 , 因此往往需要消耗大量的内存 , 这使其使用范围受到了限制 . 此外 , 对于大范围的背景扰动 , 此类算法的检测效果也不理想 . Stauffer和 Grimson15提出的高斯混合模型是使用最为广泛的背景 建模方法 . 高斯混合模型通过多个高斯分布对背景建模 , 每个分布对应一种背景像素的模态 ,从而能够适应像素层面上的背景扰动问题 , 并能通过对背景的不断更新 , 使系统能对背景的变化自适应 . 但是 , 高斯混合模型对于全局光照变化、阴影非常敏感 , 对于缓慢的运动目标检测效果也不理想 7-14. 帧间差分法的主要思想就是利用视频图像序列中连续两
11、帧或三顿的差异来检测发生运动的区域 . Lipton等人提出的用于实时视频流中运动目标检测的算法就是顿间差分的方法 13. 帧间差分法的特点是动态性强 ,能够适应动态背景下 的运动目标检测 . 但是 , 这类算法检测出的目标轮廓不理想 , 在目标内部会留有许多空洞 , 在目标运动较快时目标的轮廓会被扩大 , 在目标运动较慢时甚至有可能无法得到目标的边界 15-21. 基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量 , 从而发现运动的像素点 , 并且能够对这些像素点进行跟踪 . 在摄像机运动、背景变化时 , 光流法也能检测出运动目标 , 并且它能同时完成运动目标检测和跟踪
12、 , 但是该方法的计算复杂度高 , 在没有专用硬件支持的情况下很难做到实时检测 , 同时 , 光流场的计算 非常容易受到噪声、光照变化和背景扰动的影响 . 采用光流场计算的方法也很难将运动目标的轮廓完整地提取出来 22-28. 1.1 改进的帧差运动目标检测算法 帧差法与背景减除法类似 , 事实上它们是同一种运动目标检测算法的两种不同的变体 , 它们的原理都是通过前景图像与背景图像做差运算 , 从而检测出运动目标 , 它们的优点是简单 , 易于实现 , 这个优点也使得它们具有较大的应用空间和较高的应用价值 . 本研究在帧差法和背景减除法的基础上进行了改进 , 针对现有背景设置的缺陷 , 提出了
13、将当前帧图更新为背景的策略 , 提高了算法的运算速度 , 而且可以把进入场景后静止的物体快速降级为背景 . 同时 , 也没有对背景模型进行统计建模 , 更新周期到达时直接把当前帧更新为背景 , 大大简化了背景建模过程 , 以下是实现原理 . 设 now(i,j)为当前帧中第 (i,j)个像素点的像素值 , back(i,j)为背景中第 (i,j)个像素点的像素值 , result(i,j)为运动目标第 (i,j)个像素点的像素值 . ( , ) ( , ) ( , )r e s u lt i j n o w i j b a c k i j (1) 式 (1)将当前帧与背景帧相减 , 然后取得绝
14、对值 , 这 个绝对值就是帧差法结果图像的灰度值 . 1.2 图像二值化 二值化图像就是把彩色图像、灰度图像等转换为只有两种像素值的黑白图像 , 即为二值图 . 设 souce(i, j)表示原图中第 (i,j)个像素点的像素值 , object(i,j)表示二值化后结果图中第 (i,j)个像素点的像素值 , t 为给定的阈值 , 二值化方法如下 : 2 5 5 ( , )( , ) 0 ( , )s o u r c e i j to b j e c t i j s o u r c e i j t (2) 在运动目标检测过程中 所有灰度大于或等于阈值的像素被判定为属于特定物体 , 其灰度值为
15、255, 在二值图像中显示为白色 , 灰度值小于 阈值的所有像素点 , 灰度值设置为 0, 在二值图像中显示为黑色 , 表示背景或者例外的物体区域 29-31. 1.3 运动目标判断 为了证明静止场景中存在的光流效应会引起运动目标误判 , 实验在帧差法运动目标检测算法中加入了运动目标判断过程 , 用于判断是否检测到运动目标 . 实现方式如下 : 将帧差运算得到的结果图像的所有像素值累加 , 根据累加结果的值判断是否检测到运动目标 , 如果对帧差运算的结果直接进行运动目标判断 , 设 sum是帧差运算结果图像灰度值总和 , width 表示帧差运算结果图像宽度 , height表示 帧差运算结果
16、图像高度 , sum的计算如下 : xx xx 年 第 xx 卷 第 x 期 http:/www.c-s- 计 算 机 系 统 应 用 Special Issue 专论 综述 3 10 ( , )h e ig h tw id thijs u m o b je c t i j (3) 如果把帧差运算的结果二值化后再进行运动目标判断 , 设 sum 是帧差运算结果图像灰度值总和 , width表示二值化结果图像宽度 , height表示二值化结果图像高度 , 则 sum的计算为 : 10 ( , )h e ig h tw id thijs u m r e s u lt i j (4) 接下来用 s
17、um 和给定的阈值 T 进行比较 , 有两种情况 : sum T (5) sum T (6) 如果 sum 大于等于了给定的阈值 T, 表示检测到了运动目标 , 给出提示信息 , 并且把当前帧图像保存到硬盘中 . 如果 sum的值小于 T, 表示没有检测到运动目标 . 2 光流扰动检测算法 光具有波粒二象性 , 也就是具有波动性和粒子性 , 研究通过计算机数字图像处理手段 , 把一些光学现象清晰地展示出来 , 便于观察和研究 , 在实验结果中显示的光流扰动现象恰好像一些颗粒状的东西在做漂流运动 , 与光的粒子性 和波动性是吻合的 . 为了检测出光流扰动效应 , 设计了如下算法 : 算法 1 光
18、流扰动效应检测算法 1) 从摄像机或视频文件中取得第一帧图像作为背景帧 , 把该帧图像二值化 ; 2) 从视频系列中取得第二帧图像作为前景图像 , 把该帧图像二值化 ; 3) 依次取出当前帧中第 (i,j)个像素点的像素值 now(i,j), 和背景图中的第 (i,j)个像素点的像素值 back(i,j), 把这两个像素值相减后取绝对值作为结果图的像素值 . 显示检测结果图像 . 4) 计算结果图所有像素值之和 sum, 如果 sum 大于阈值 T 则 说明前两张图像差别较大 , 判断为出现了运动目标 , 把当前帧的图像保存下来 , 绝对值之和小于阈值 T, 说明前后两张图像无显著变化 , 可
19、判断为场景中没有出现运动物体 . 5) 间隔一段恰当的周期把当前帧更新为背景帧 , 取得当前帧图像作为前景帧 , 返回第 3)步 . 上述算法不但可以检测出光流扰动效应 , 还可以判断是否检测到运动目标 , 如果判断为检测到了运动目标 , 就发出提示信息并且把当前帧图像保存下来 , 如果仅仅检测光流扰动效应 , 则可以把该算法简化 , 省略第 4)步 . 3 实验分析 实验分别以室内人 物运动视频、室外 highway 视频 , 室内羽毛飘落视频为测试样本 , 三段视频对应不同的光照强度和不同的场景 . 3.1 运动目标误判实验 误判实验使用光流扰动效应检测算法进行运动目标检测 , 当检测到运
20、动目标后 , 发出提示信息并且把当前帧图像保存下来 , 以室内人物运动视频作为测试样本 , 图 1 是判断为检测到运动目标后 , 保存的图像序列 , 两帧图像之间的时间间隔为 0.3s. 每保存一帧图像 , 都提示 “已经检测到运动目标 ”. 图 1 运动目标误判效果 当检测到运动目标时 , 自动把当前帧的 彩色图像保存到硬盘中 , 图 1 是判断为检测到运动目标后自动保存的图像 , 从图 1 中可以看出 , 在前面的四帧图像中 , 虽然场景中没有出现任何运动目标 , 结果却错误的判断为检测到了运动目标 , 并且把该帧图像保存下来 , 第五帧图像是由于场景中进入了运动的人物 , 所以运动目标检
21、测算法检测到运动的人物 , 并且把当前图像保存到磁盘中 , 这一帧图像是正确的 , 而前四帧图像是运动目标误判的结果 , 为什么会出现这种现象 ? 接下来的实验将揭示原因 . 3.2 光流扰动检测实验 为了证明存在光流扰动现象 , 通过光流检测算法计 算 机 系 统 应 用 http:/www.c-s- xx xx 年 第 xx 卷 第 x 期 4 专论 综述 Special Issue 检测出 光流扰动效果 , 先把当前帧和背景帧二值化 , 再把两幅图像做相减运算 , 相减结果作为运动目标检测结果图像 , 在结果图像中就可以清晰地看到光流扰动效果 , 实验以室人物运动视频为测试视频 , 每两
22、帧图像的时间间隔为 0.3s, 实验效 果 如图 2. 图 2 室内光流扰动效应检测 图 3 户外光流扰动效应检测 图 4 羽毛飘落光流扰动效应检测 图 2 上方是判断为检测到运动目标后 , 自动保存的原视频图像序列 , 下方是对应的光流扰动效应检测结果图 , 如果 通过动态的视频 , 可以清晰地看出光流扰动效果 , 光流扰动效应检测结果是一些白色的像素点 , 这些白色的像素点有时成块状、有时成流水状 , 就像一些动态的粒子在不停地运动 , 形成蜿蜒盘旋、云彩漂浮、水波荡漾等形态 , 将这个现象命名为光流扰动效应 . 当场景中没有运动目标时 , 正是由于这些运动的白色像素点导致了运动目标误判
23、. 第五帧走进了运动人物 , 所以检测出了人物的轮廓 , 但是光流扰动效应还存在 . 为了证明存在光扰现象 , 图 3 以 “highway”视频为样本进行光扰检测 , 该视频中的树木没有摇动 , 背景相对简单 , 图 3 的第一行为源视频帧系列 , 第二行为光扰检测结果 , 在检测结果中出现了团块状的光扰效果 , 在第四帧图像中已经没有运动物体 , 但仍然存在团块状的光扰效应 . 图 4 第一行是羽毛飘落视频 , 有一根羽毛自上而xx xx 年 第 xx 卷 第 x 期 http:/www.c-s- 计 算 机 系 统 应 用 Special Issue 专论 综述 5 下缓慢飘落 , 场景
24、中的背景相对简单 , 几乎没有其它噪声因素 . 第二行是光扰检测结果 , 在结果中检测到了流水状的光扰效果 . 3.3 光扰消除实验 为了消除光流扰动效应 , 避免在场景中没有运动目标时发生误判 , 使用改进的帧差法 , 先把当前帧和背景帧做帧差算 , 最后把帧差结果二值化 , 得到最终的检测结果 . 效果如图 5-图 7所示 , 图 5-图 7上方图像是原视频中的图像序列 , 下方的图像是对应的运动目标检测结果 . 图 5 室内光流扰动效应消除 图 6 户外光流扰动效应消除 图 7 羽毛光流扰动效应消除 通过实验结果可以看出 , 经过二值化处理后 , 所有检测结果有效消除了光流扰动效应 ,
25、图 5 前 4 帧中 , 由于场景中没有出现运动目标 , 所以检测结果全部为黑色的背景 , 第五帧中进入了人物 , 所以检测出了人物的图像 , 显示为白色区块 , 由于有效消除了噪 声因素 , 所以检测结果得到非常干净的黑色背景 , 而且运动目标的掩膜图像也比较完美 . 实验结果显示所有帧中的光流扰动现象已经消除 , 在前四帧中不再提示检测到运动目标信息 , 图像也没有保存 , 仅仅保存了第五帧的图像 , 而且提示 “检测到运动目标 ”. 达到了预计 算 机 系 统 应 用 http:/www.c-s- xx xx 年 第 xx 卷 第 x 期 6 专论 综述 Special Issue 期的
26、效果 , 能够满足实际的生产应用 . 图 6与图 3对比 , 团块状的光扰效应已经消除 , 检测结果中只剩下汽车掩膜 , 图 6 第四帧由于汽车驶离了场景 , 仅剩下黑色的背景 , 与图 3第四帧对比 , 光扰完全去除 . 同样 , 图 7 为羽毛飘落视频 , 与图 4 对比 , 在检测结果 中仅剩下羽毛掩膜 , 而流水状的光扰已经消除 . 表 1 是光扰检测与光扰消除实验中相关参数对照表 , 针对不同的运动目标检测场景 , 设置不同的参数 , 才能得到更好的实验结果 . 表 1 光扰检测与光扰消除实验中相关参数设置对照 视频 背景更新周期 (s) 二值化阈值 光扰形态 运动目标误判 光扰检测
27、 人物运动视频 0.03 150 流水状 有 highway 0.3 110 团块状 有 羽毛飘落 0.03 20 流水状 有 光扰消除 人物运动视频 0.03 150 无 无 highway 0.3 110 无 无 羽毛飘落 0.03 20 无 无 4 结论与展望 通过实验发现了光流扰动现象 , 有利于对它有针对性的进行研究和处理 , 实验结果证明 , 当场景中没有运动目标时 , 由于光流扰动效应 , 会干扰运动目标检测 , 造成运动目标误判 , 采取二值化方式可以有效消除光流效应 , 得到更加理想、精确的运动目标检测结果 . 二值化方式消除光流扰动效应的不足是 , 方法比较粗糙 , 在消除
28、光照等噪声因素的同时 , 也会把图像中部分有用的信息清除 , 接下来的研究工作是设计更精细的方法 , 既消除光流扰动效 应 , 又能保留图像中有用的信息 , 此外 , 结合物理科学中的光学原理 , 光流扰动效应形成机理也是一个有价值的研究方向 . 参考文献 1惠新忠 . Xen虚拟 I/O优化策略 硕士学位论文 . 大连 : 大连理工大学 , 2010. 2 王恩旺 , 王恩达 . 改进的帧差法在空间运动目标检测中的应用 . 天文研究与技术 , 2016, 16(2): 19. 3 Liu CJ, Happy W. Gabor feature based classification usin
29、g the enhanced fisher linear discriminant model for face recognition. IEEE Trans. Image Processing, 2002, 11(4): 467476. 4 白雪 , 黄廷磊 . 运动目标精确检测算法 .计算机系统应用 , 2009, 18(12): 4144. 5 林洪文 , 涂丹 , 李国辉 . 基于统计背景模型的运动目标检测方法 . 计算机工程 , 2003, 29(16): 9799. 6 刘亚 , 艾海舟 , 徐光佑 . 一种基于背景模型的运动目标检测与跟踪算法 . 信息与控制 , 2002, 3
30、1(4): 315319. 7 王怡然 . 基于高斯背景模型的运动目标检测与跟踪 硕士学位论文 . 西安 : 西安电子科技大学 , 2012. 8 何信华 , 赵龙 . 基于改进高斯混合模型的实时运动目标检测与跟踪 . 计算机应用研究 , 2010, 27(12): 47684771. 9 常晓锋 , 冯晓毅 . 基于背景减法和时空熵的运动目标检测新方法 . 计算机仿真 , 2008, 25(3): 235238. 10 Elhabian SY, El-Sayed KM, Ahmed SH. Moving object detection in spatial domain using bac
31、kground removal techniques-state-of-art. Recent Patents on Computer Science, 2008, (1): 3254. 11 吕非 , 季鸣 , 姜海 . 基于改进差分和光流的新型运动目标检测方法 . 计算机系统应用 , 2015, 24(10): 111115. 12 陶颖军 . 基于 OpenCV 的人脸识别应用 . 计算机系统应用 , 2012, 21(3): 220223. 13 Piccardi M. Background subtraction techniques: A review. IEEE Internat
32、ional Conference on Systems, Man and Cybernetics. 2004, 4. 30993104. 13 Lipton AJ, Fujiyoshi H, Patil RS. Moving target classification and tracking from real-time video. IEEE Workshop on Applications of Computer Vision. IEEE Computer Society. 1998, 8. 15 Stauffer C, Grimson WEL. Leaning patterns of
33、activity using real time tracking. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2000, 22(8): 747757. 16 王红茹 , 季鸣 . 一种 新型的实效运动目标检测方法 . 计算机系统应用 , 2015, 24(12): 208214. 17 梁志勇 . 基于最少帧差法图像识别的智能监控系统的研究 硕士学位论文 . 广州 : 广东工业大学 , 2005. 18 严红亮 , 王福龙 , 刘志煌 . 结合三帧差分的 ViBe 运动检测算法 . 计算机系统应用 , 2014, 23
34、(11): 105110. 19 袁国武 , 陈志强 , 龚健 , 徐丹 , 廖仁健 , 何俊远 . 一种结合光流法与三帧差分法的运动目标检测算法 . 小型微型计算机统 , 2013, (3): 668671. xx xx 年 第 xx 卷 第 x 期 http:/www.c-s- 计 算 机 系 统 应 用 Special Issue 专论 综述 7 20 莫林 , 廖鹏 , 刘勋 . 一种基于背景减除与三帧差分的运动目标检测算法 . 微计算机信息 , 2009, 25(12): 274276. 21 胡小冉 , 孙涵 . 一种新的基于 ViBe 的运动目标检测方法 . 计算机科学 , 20
35、14, (2): 149152. 22 屈有山 , 田维坚 , 李英才 . 基于并行隔帧差分光流场与灰度分析综合算法的运动目标检测 . 光子学报 , 2003, 32(2): 182186. 23 潘光远 . 光流场算法及其在视频目标检测中的应用研究硕士学位论文 . 上海 : 上海 交通大学 , 2008. 24 凡亮 , 王蓉 , 金华 , 李丽华 . 基于光流的运动目标检测与跟踪 . 中国人民公安大学学报 (自然科学版 ), 2009, (2): 5860. 25 Dorin C, Visvanathan R, Peter M. Kernel-based object tracking.
36、IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564577. 26 Fukanaga K, Hostetler LD. The estimation of the gradient of a density function, with applications in pattern recognition. IEEE Trans. in Information Theory, 1975, 21(1): 3240. 27 Trajkovi M, Hedley M. Fast corner detec
37、tion. Image & Vision Computing, 1998, 16(2): 7587. 28 Fang Y, Dai B. An improved moving target detecting and tracking based on Optical Flow technique and Kalman filter. 4th International Conference on IEEE Computer Science & Education (ICCSE 09). 2009. 11971202. 29 郭佳 . 基于光照不均匀图像的自适应二值化方法研究 硕士学位论文 . 武汉 : 武汉科技 大学 , 2013. 30 云杰 , 孙涵 . 一种新的二值化方法在车牌检测中的应用 . 电子科技 , 2011, (12): 114117. 31 赵磊 , 姜小奇 , 蒋澎涛 , 等 . 基于二值化指纹图像细节点提取的改进算法 . 计算机系统应用 , 2012, 21(3): 232236.
