【转载】视频跟踪的研究

大家好，又见面了，我是你们的朋友全栈君。

1.首先，什么是视频跟踪？
       基于视频的运动目标跟踪技术作为计算机视觉领域的核心研究课题之一， 主要目的是模仿生理视觉系统的运动感知功能，通过对摄像头捕捉到的图像序列进行分析，计算出运动目标在每一帧图像中的二维坐标位置；然后，根据运动目标相关的特征值，将图像序列中连续帧间的同一运动目标关联起来，得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系，从而得到各个运动目标完整的运动轨迹，即在连续的视频序列中建立运动目标的对应关系。简单来说，目标跟踪技术就是在下一帧图像中找到目标的确切位置并反馈给跟踪系统进行跟踪， 为视频序列分析和理解提供重要的基础运动信息和数据。
       视频跟踪技术融合了图像处理、模式识别、人工智能、自动控制以及计算机等众多领域中的先进技术和核心思想。与传统的雷达系统相比，视频跟踪系统采用摄像机或者其它光学系统等比较廉价的设备，采用被动式工作模式，因此具有更高的性价比、一定的隐蔽性和抗电子干扰的能力。“眼见为实”的视频跟踪系统，可以从视频监视器上直接看到运动目标图像，获得关于运动目标更丰富的信息，因此具有很好的直观性和可靠性。
2.视频跟踪的应用领域。
       经过近50 多年的深入研究和发展，视频跟踪技术已在军事制导、视觉导航、安全监控、智能交通、医疗诊断以及气象分析等方面广泛应用。例如，可见光跟踪和红外跟踪技术已应用于导弹制导、火炮控制、空间飞行体和靶场测量等。视频监控技术已在大多社区、大型公共场所及重要设施使用；进行车辆的实时检测和跟踪，可以实时监控车流量、车速、车流密度、交通事故、违章逃逸车辆等交通状况，用于实时的智能交通调度。另外，视频跟踪技术在视频会议、视频分析、视频检索、基于视频的运动分析和合成、基于运动信息的身份识别、图像检索、水文观测、港口管理、医学图像分析、远距离测量、零部件质量检测等许多领域也有大量应用。
3.视频跟踪的国内外研究现状
       国外对于视频跟踪理论研究起步较早。 美国自然科学基金委员会及美国军方对复杂环境下多目标的动态检测、识别及跟踪的算法的研究及其应用非常重视。美国自然科学基金多次资助有关公司进行相关算法研究。早在20 世纪 50 年代初期，GAC 公司就为美国海军研制开发了自动地形识别跟踪系统。近几年，自适应跟踪和智能跟踪的思想被相继提出。
       随着图像处理和分析技术、计算机技术和各种图像传感器技术的飞速发展，国内一些高校和科研院所已经逐渐开展这方面的研究，并且已经取得了喜人的成绩。
4.视频跟踪算法分类：确定性方法和随机方法两大类。
       典型的确定性跟踪方法在对感兴趣目标进行跟踪时， 根据事先设定的相似性度量函数，在当前视频帧局部区域内，通过搜索或者迭代算法找到与目标模板或者目标表观最为相似的区域。在该类算法中，人们广泛使用误差平方和相似性度量函数与全局搜索算法实现目标模板匹配。最近的研究中，Mean Shift 等优化算法被广泛用于寻找局部最优区域。但是，Mean Shift 算法对带宽选择和跟踪过程初始化的苛刻要求限制了其应用。Bouttefroy 等人采用了一种新的视频跟踪技术，使用投影 Kalman 滤波的Mean Shift 改进了传统 Mean Shift 的不足。 对于特定的目标，人们将目标先验知识，如表观、 颜色分布、 轮廓信息等用于目标模板的建立， 从而使跟踪算法更为鲁棒、有效。其中基于表观的方法可以统计学习跟踪目标在特征空间或核空间内的分布规律。
       随机跟踪方法利用状态空间对当前跟踪系统的运动进行模型化。随机跟踪方法引入了概率统计的思想，将不确定性观察（如概率密度函数）与不同的状态相联系，从而不再假设运动系统输入与输出的完全确定性。对于运动系统而言，由于目标自身及相互之间存在遮挡、高速运动等不确定性因素，因此，随机跟踪方法更适用于大多数基于视觉特征的目标跟踪。
       确定性的跟踪方法是基于假设观察模型可以很方便地建立且具有较好的精度来实现的，因此，这种方法经常是运用简单的规则或推理来得到目标的当前状态。但这种方法却忽略了最终得到的假设或状态存在不确定因素的事实。而基于随机的方法引入了概率统计的思想，将不确定性观察（如概率密度函数）与不同的状态相联系，从而不再假设运动系统输入与输出的完全确定性。对于运动系统而言，由于目标自身及相互之间的遮挡、高速运动等不确定性因素的存在，因此随机跟踪方法更适用于大多数的基于视觉特征的目标跟踪。目前，基于粒子滤波的目标随机跟踪方法已被大量使用，所采用的模型有轮廓模型、颜色模型和表面模型等。
       根据运动目标和背景的相对运动关系不同，视频跟踪算法可以分为：动态背景的运动目标跟踪算法、动态背景的静止目标跟踪算法、静止背景的运动目标跟踪算法、静止背景的静止目标跟踪算法（主要研究的还是前三种）。根据跟踪目标的个数不同，视频跟踪算法可以分为单目标跟踪算法和多目标跟踪算法。根据跟踪目标的表达方法和相似性度量方法不同，视频跟踪算法可以分为基于轮廓的跟踪算法（基于轮廓的跟踪算法通过对目标的分割和边缘提取实现对运动目标的跟踪。然而，当目标被部分及全部遮挡时，跟踪算法将受到很大的限制）、基于特征的跟踪算法（通过提取具有尺度伸缩、旋转等不变性的特征点（如SIFT、KLT、Harris Corners、SUSAN Corners 等），解决尺度伸缩和部分遮挡等问题。SIFT[30]特征点主要是通过图像金字塔的多尺度极值点检测得到的，用梯度方向进行描述，因此这种特征点具有尺度和旋转不变性等优点，在图像配准和跟踪方面具有很高的匹配精度和鲁棒性。然而，特征自身的检测和提取往往计算复杂难以满足跟踪系统实时处理的要求。）、基于区域统计特性的跟踪算法（利用的是目标图像的全局描述信息，很难精确定位目标的位置。同时，当背景或者其他目标的区域统计特性相似的时候，跟踪算法也会失效）和基于模型的跟踪算法（采用目标的物理知识而不仅仅是目标的图像信息建立模型，因此基于 3D模型跟踪算法是比较完善的。该方法的局限在于无先验知识的实际跟踪系统中很难得到目标的模型）等。根据跟踪目标属性的不同，视频跟踪算法可以分为：刚体目标跟踪算法和非刚体目标跟踪算法。
5.视频跟踪中需要重点解决的难题：
       就目前来说，一般意义上的视频跟踪技术还远未成熟，要开发出真正可靠、实用的视觉跟踪应用系统还需要开发更为鲁棒的核心算法。现有的目标跟踪算法虽然能够在一定程度上完成对运动目标的跟踪， 但这些算法大多是基于目标某一种特征集合的跟踪，其主要缺陷是对目标特征描述不完备，并且无法自动适应目标和环境的变化，因此当背景发生较大变化时，往往会失效。以下是需要解决的问题：
       1).  运动目标图像的三维重建。三维空间的运动目标变换为二维图像，在这个过程中会丢失重要的深度信息；
       2).  图像的外界影响。现实中图像成像模型受到目标自身的材质、外界光源、摄像机的视角和距离、透明度和遮挡等诸多因素的影响，但图像像素值与这些因素之间的依赖关系往往是非线性的；
       3).  运动目标的部分或完全遮挡。背景对目标的遮挡以及目标之间的相互遮挡是视频跟踪系统中的又一个难题，遮挡是造成目标的图像表达突然变化的重要原因之一，而且这种变化具有突然性和不连续性，从而很容易引起跟踪算法的失效；
       4).  运动目标的尺度伸缩变化和形变。在跟踪的过程中，目标的运动会引起与摄像机的距离和视角变化，造成摄像机所捕捉到的目标图像的尺度伸缩以及目标图像表达等产生非线性的变化，从而导致跟踪的失效；
       5).  场景光线亮度变化。同一目标在不同的光线亮度条件下会产生有明显差异的目标图像，该影响是很多室外实际应用系统中阻碍性能提升的瓶颈；
       6).  目标复杂的运动模式。跟踪算法主要采用滤波预测算法，在运动目标可能出现的区域内进行全局或者局部搜索，但当目标具有复杂的运动模式时，如目标的运动速度或者方向发生突然改变，使得运动目标不在预测的搜索区域内，这样简单滤波预测算法就会失效，进而造成跟踪目标丢失。
       视频跟踪的算法思想通常有两种： 通过识别目标来进行跟踪和通过运动目标检测来进行跟踪。前一种算法思想通过识别每一帧的图像中跟踪目标，来确定该运动目标的位置和实现跟踪，该算法思想包含了目标识别和目标匹配两部分；而后一种跟踪算法思想通过检测和发现运动目标并确定运动目标的位置进行跟踪，该方法不需要考虑目标的形状、尺度，可以检测任何目标。

【原文地址】
http://blog.sina.com.cn/s/blog_4b146a9c0100sg5j.html#bsh-75-339279145