1、第九章 成像目标检测与跟踪,Charpter09 Targets detection and tracking in Imaging system,彭真明E-mail: pengzm_,电子科技大学光电信息学院 2016.05.25，二教107，沙河校区,主要内容,光电跟踪系统概述运动目标检测方法成像目标跟踪方法光电跟踪技术应用及发展,光电跟踪系统,一、光电跟踪系统概述,一、光电跟踪系统概述,红外监控系统,什么是成像（视频）目标跟踪？,成像目标跟踪是指对光电传感器摄取到的视频（序列）图像进行处理与分析，充分利用传感器采集得到的信息来对目标进行跟踪、定位的过程。一旦目标被确定，就可获得目标的位置
2、、速度、加速度、姿态等运动参数。,一、光电跟踪系统概述,技术现状(国际),一、光电跟踪系统概述,一、光电跟踪系统概述,技术现状(国际),一、光电跟踪系统概述,研究所：中科院长春光机所、成都光电所、上海光机所，安徽光机所、上海技物所、中国工程物理研究院、兵器209所、中科院自动化所，沈阳自动化所等。,高 校：国防科大、西工大、哈工大、北理工、北航、华中科大、空军工程大、上交、西交、浙大、川大等。,自上世纪70年代，我国的靶场光学测量设备不仅在数量和质量上均有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。,一、光电跟踪系统概述,技术现状(国内),光电跟踪系统结构,一、光电跟
3、踪系统概述,视频监控技术发展的三个阶段,当今社会信息的高度密集化、复杂化。人们所面临的突发、异常事件越来越多，传统的人力视频监控已经达不到实时处理突发事件的目的。,智能视频监视系统,目标检测和跟踪也是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。,低层视觉处理,中层视觉处理,高层视觉处理,智能视频监视系统,Next Sect.,主要内容,光电跟踪系统概述运动目标检测方法成像目标跟踪方法光电跟踪技术应用及发展,静止背景下的运动目标检测帧间差分法； 背景减除法（如背景建模）； 运动能量累积法（如动态规划）。动态背景下的运动目标检测光流法； 参
4、数估计法：块匹配、贝叶斯估计、像素递归等；带全局运动补偿的算法。,二、运动目标检测方法,1. 静止背景下的目标检测,二、运动目标检测方法,帧差分法,帧差分检测,二、运动目标检测方法,原图,检测结果,2. 运动背景下的运动检测,光流法（Optic flow）,块匹配算法（Block matching）,二、运动目标检测方法,光流简介,光流(Optical Flow, OF)的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。,Optical Flow,Translation,Rotation,Scaling,Opti
5、cal Flow,反映了在时间间隔dt内由于运动引起的图像变化，时间间隔足够小，使得这种变化很小。光流的直接目的就是确定一个速度场。3D运动的2D表示称为运动场(或速度场),即图像上的运动点将分配一个速度矢量(运动方向、速度大小)。,光流简介,Optical Flow,亮度恒定(Brightness Constancy),即同一物体点在不同时刻具有相同的亮度值。,基本假设,Optical Flow,运动光滑约束(velocity smoothness constraint) ，即图像平面上的邻近像素点都以相同的方式运动。,运动场(Motion Field)是图像平面上3D物体实际运动的投影(P
6、rojection)。光流场是运动场的一个近似(Approximation)。它描述了图像亮度随时间的变化。是相对观察者而言的，因此是一种相对变化，描述的也是一种相对运动。,Optical Flow,光流场与运动场,Optical Flow,The optical flow field is zero, but the motion field is not.,The motion field is zero, but the optical flow field is not.,亮度恒定假设,Optical Flow: 1D,1D,2D,Optical Flow: From 1D to 2D
7、,光流的求解,卢卡斯-卡拉德算法（Lukas-Kanade, Regularization）,霍恩-申克算法（Horn-Schunck, Least squares）,1 Lucas and Kanade, “An iterative image registration technique with an application to stereo vision,” Proc. DARPA Image Understanding Workshop, pp. 121-130, 1981.2 Horn and Schunck, “Determining Optical Flow,” Artifi
8、cial Intelligence, vol. 17, pp. 185-204, 1981.,Optical Flow,Example：Optical Flow,Horn-Schunck方法 Lucas-Kanade方法,Example：Optical Flow,（a）人体运动,（b）交通流,Example：Optical Flow,Motion and Flow,Motion estimationPatch-based motion (optic flow)Regularization and line processesParametric (global) motionLayered m
9、otion models,块匹配算法,块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。,二、运动目标检测方法,目标帧,锁定帧,二、运动目标检测方法,块匹配算法,匹配准则(Matching Criteria),搜索策略(Searching Strategy,匹配特征,关键技术,块匹配算法,(1) 均方差(Mean Square Error, MSE),(2) 平均绝对差(Mean absolute discrepancy, MAD),匹配准则,块匹配算法,(3) 归一化互相关(N
10、ormalized Cross-correlation, NCC),(4) 最大像素匹配统计(Maximum Pixels counting，MPC),匹配准则,块匹配算法,全视场搜索(FS),对数搜索法,三步法搜索,菱形搜索法(Diamond Search ，DS),其他改进的搜索策略,搜索策略,块匹配算法,2D 对数法搜索Jain and JainExamine central point & its four surroundingsDistance from center: r/2Find best matchIf best match is in center or on bound
11、aries, half distance from centerExamine five new points centering previous best When distance is 1, use all 9 matches, find best. Stop,1,1,1,1,1,2,2,2,3,3,4,4,4,4,4,4,4,4,搜索策略,Three-Step Search (3SS)Koga et al9 Points: Central point & its 8 surroundingsDistance: r/2Find the best matchUse previous be
12、st as centerHalf distance, select 8 newRepeat algorithm 3 timesExamines 25 pointsAssumes a uniform distribution of MVs,1,1,1,1,1,1,1,1,1,2,3,2,2,2,2,2,2,2,3,3,3,3,3,3,3,搜索策略,图像灰度/颜色等信息,图像特征，如,角点、边缘、轮廓、区域等;几何、纹理等;方差、均值、信息熵等；变换（谱）域特征等。,Next Sect.,匹配特征,块匹配算法,主要内容,光电跟踪系统概述运动目标检测方法成像目标跟踪方法光电跟踪技术应用及发展,三、成
13、像目标跟踪方法,(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f) 轮廓表示，(g) 侧影表示，(h) 骨架模型表示,目标跟踪的表示,颜色直方图 忽略了目标的空间结构信息。 Snake轮廓模型 仅考虑目标的边界，在目标与背景容易混淆的情况下，目标模型通常容易退化。 局部特征模型 一组局部特征来表示，缺乏目标的全局结构信息，稳定性较弱，易受噪声、目标姿态以及光照条件的影响。 2D/3D空间模型 模型参数估计的运算量很大， 并且难以保证模型的精度。,常见目标表示,波门跟踪；边缘跟踪、峰值（对比度）跟踪等；质心跟踪；相关跟踪（模板匹配）；多目标跟踪及编
14、号维持；轨迹预测和记忆跟踪算法（Kalman、粒子滤波等）；基于模式识别及特征分类的目标跟踪 在线、离线学习的跟踪方法。,常见的目标跟踪方法,三、成像目标跟踪方法,x,y,a,b,c,d,xc,yc,形心,1. 质心跟踪,常见的目标跟踪方法,二值图像,Template,Search image,由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。,2. 相关跟踪,常见的目标跟踪方法,状态空间模型：,系统方程：,观测方程：,状态向量,状态转移函数,过程噪声,
15、观测向量,观测函数,观测函数,滤波,平滑,预测,常见的目标跟踪方法,问题提出,线性/高斯系统,卡尔曼滤波(KF),非线性/高斯系统,扩展卡尔曼滤波(EKF),无极卡尔曼滤波(UKF),非线性/非高斯系统,粒子滤波(PF),?,Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Bayesian state estimationC/Radar and Signal Processing, IEE Proceedings F. IET, 1993, 140(2): 107-113.,粒子滤波跟
16、踪,粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法。,基本概念,基本思想,利用一组加权随机粒子来近似状表示状态的后验概率密度。,粒子滤波跟踪,Resampling,Tracking Case,多目标跟踪,多假设跟踪（Multi-hypothesis tracking ，MHT）,常见的目标跟踪方法,D. Ramanan, D.A. Forsyth, A. Zisserman: Tracking People by Learning their Appearance. IEEE-TPAMI, 29(1): 65-81, 2007(http:/www.ics.uci.edu/dramana
17、n/papers/pose/index.html),基于目标外观模型的跟踪,TLD: Tracking-Learning-Detection,英国萨里大学的一个捷克籍博士生Zdenek Kalal开发。,Next Sect.,常见的目标跟踪方法,主要内容,光电跟踪系统概述运动目标检测方法成像目标跟踪方法光电跟踪技术应用及发展,技术应用,民用领域 主要应用在空间探测、智能视频监控、智能交通管制、无人驾驶、视频压缩、医学影像诊断等方面。,四、光电跟踪技术应用及发展,军事领域 精确制导 战场机器人自主导航 无人机着降， 靶场光电跟踪等领域。,1. 精确制导、目标跟踪,“道尔” 野战地空导弹武器系统，
18、是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。,四、光电跟踪技术应用及发展,“海盗”系统可以为空中拦截和空地作战提供战术优势。安装在机舱左侧、风挡玻璃的前方。,红外搜索跟踪（IRST）系统,四、光电跟踪技术应用及发展,在空对空模式下运行的时候，具备搜索和跟踪系统功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获
19、取和识别任务，同时还能提供辅助导航和着陆功能。,舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。,2. 直升机、无人机着降光电引导技术,四、光电跟踪技术应用及发展,由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。,ASIST (aircraft ship integrated secure and traverse),硬件系统为 CCD 输出的视频信号经过硬件滤波，由 DSP 进行信标识别，建立跟踪窗，根据识别出来的信标在 CCD位置坐标进行摄影测量算法，算出飞机与着陆区的相对位姿关系。,四、光电跟踪技术应用及发展,无人直升机光电助降,四、光电
20、跟踪技术应用及发展,具备视觉系统的工业机器人,五、光电跟踪技术应用,3. 工业机器人,4. 智能视频监控系统,四、光电跟踪技术应用及发展,智能交通监控,安防,GISPALab研制的跟踪系统,四、光电跟踪技术应用及发展,基于核的跟踪(Mean shift)基于MCMC的跟踪(Kalman, Particlefilters)基于外观模型的跟踪(Appearancemodels)基于学习机制的跟踪(on-lineboosting) ,目前主流的跟踪方法,四、光电跟踪技术应用及发展,特征融合：时-空-谱联合目标表示：压缩感知跟踪框架：学习机制跟踪模式：多模智能跟踪光照变化、遮挡处理等,四、光电跟踪技术应用及发展,光电跟踪技术发展趋势,will beover,主要内容,光电跟踪系统概述运动目标检测方法成像目标跟踪方法光电跟踪技术应用及发展,Thank you!,The End,Optoelectronic Image ProcessingCurriculum Group 2017.05.25,
