DOI: 10.11817/j.issn.1672-7207.2015.11.011

基于多信息融合的车辆阴影检测与车辆跟踪算法

曹晓娟^{1, 2}，王文涛¹，宋晓琳¹，张伟伟¹

(1. 湖南大学 汽车车身先进设计制造国家重点实验室，湖南 长沙，410082；

2. 湖南机电职业技术学院 汽车工程学院，湖南 长沙，410151)

摘要：为了准确检测车辆，提出一种基于颜色、纹理、光照模型相结合的阴影检测算法。根据颜色恒常性完成阴影的初步检测，利用局部二值模式(LBP)纹理不变性和基于光照模型的亮度比值置信区间去除误检阴影像素，最后用区域生长完成阴影边缘像素的恢复，保证车辆阴影检测的准确与完整性。为了保证不同智能监控场景下车辆追踪的准确度和稳定度，提出一种特征与概率相结合的改进的Camshift跟踪算法。研究结果表明：所提出的阴影检测算法与改进的Camshift算法可以提升车辆检测与跟踪的准确性与稳定性。

关键词：阴影检测；LBP纹理；车辆空间运动概率；Camshift算法；车辆追踪

中图分类号：TP391             文献标志码：A         文章编号：1672-7207(2015)11-4049-07

Vehicle shadow detection and vehicle tracking algorithm based on multiple information fusion

CAO Xiaojuan^{1, 2}, WANG Wentao¹, SONG Xiaolin¹, ZHANG Weiwei¹

(1. State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan University,

Changsha 410082, China;

2. Automotive Engineering Institute, Hunan Mechanical & Electrical Polytechnic, Changsha 410151, China)

Abstract: To make vehicle detection accurate, a shadow detection algorithm which combined color, texture and illumination model was proposed. Initial shadow detection was completed by the color invariance. LBP (local binary pattern) texture invariance and the brightness of the lighting model confidence interval were used to get rid of false shadow pixels. Finally, the recovery of edge pixels was realized by using region growing. And shadow detection was made more accurate and integrated by the algorithm. To make the vehicle tracking under different intelligent monitoring scenes more accurate and stable, improved Camshift tracking algorithm which combines characteristic and probabilistic was used. The results show that the proposed algorithm can improve the accuracy and stability of vehicle detection and tracking.

Key words: shadow detection; LBP texture; vehicle movement probability of space; Camshift algorithm; vehicle tracking

基于视频监控的车流量监测是智能交通系统中的关键环节，其关键技术是车辆检测与跟踪。然而，在检测过程中，动态阴影经常被误认为目标车辆的一部分，且与运动目标粘连在一起，影响运动目标的定位和轮廓的确定，甚至造成多个运动目标的合并，极大地影响了车辆检测的精度。而在车辆跟踪过程中，跟踪确认的准确度和稳定度直接影响车辆信息的准确性、可信性，从而影响智能交通系统的整体性能。目前常用的车辆阴影检测方法主要有基于模型、基于颜色空间和基于纹理特性^[1]3种。其中，基于模型的方法需要根据车辆、检测场景以及光照的先验知识建立阴影模型，所以，该方法只能检测出符合模型的部分阴影像素。基于颜色空间、纹理特性的方法由于简便、效果稳定被广泛应用。仅用颜色空间^[2]或仅用纹理特性^[3]虽然能有效地检测出车辆阴影，但在检测出阴影的同时混入了较多的运动车辆像素，而且阴影边缘也往往被认定为非阴影部分。所以，使用单一方法进行阴影检测很容易出现误检，导致车辆检测准确度低。传统的Camshift^[4-5]是一种运用颜色信息的跟踪算法，采用的是“峰值”跟踪思想，通过不断地迭代找到最相似的区域，具有很强的实用和实时性。但是Camshift仅采用颜色特征，不足以区分与目标颜色相近的干扰目标和背景。Ning等^[6]采用了颜色和LBP纹理特性相融合的方法，在一定程度上提高了跟踪的准确度和稳定度。所以仅仅利用一种或多种特征，不能保证不同场景下车辆跟踪的准确度和稳定度。本文作者把颜色、纹理、光照模型3种方法相结合：首先利用R，G和B 3个颜色通道分别进行差分来确定包含阴影的待检测区域，即运动车辆区域和阴影区域；接着利用颜色不变性完成阴影的初步检测；然后，利用纹理不变特性以及光照模型中亮度比值置信区间完成对误检阴影像素的去除；最后，用区域生长算法完成阴影边缘的恢复。此算法克服了使用单一方法进行阴影检测时容易出现阴影误检的问题，保证阴影区域检测的完整度和准确度，从而使车辆检测结果更加准确。

1  完整而准确的车辆阴影检测

1.1  获取ROI区域

本文选取的高速公路视频摄像头是固定的，所以，采用背景差分法^[7]获取ROI区域即包含阴影的待检测区域，同时利用混合高斯模型对背景进行实时更新。常用的背景差分法利用灰度图像进行差分得到前景区域，但是彩色图像在转化为灰度图像的过程中，灰度图像会丢失很多原图像的信息从而导致大量检测误差，尤其在车辆和背景的灰度相近时。所以，这里对R，G和B 3个颜色通道分别进行差分然后取最大值^[8]，最后运用阈值完成对进行待检测区域的判断。

              (1)

       (2)

其中：为当前帧t时刻第i通道的值；为t时刻背景帧第i通道的值；D为t时刻R，G和B 3个颜色通道差分的最大值；p(x, y)为第x行第y列的像素。T为阈值，其大小根据实验所采用的图像决定，且可以根据连续多帧图像统计得到，本文T取20。

1.2  RGB空间颜色不变性

在一般场景中，背景像素被阴影覆盖后，仅仅改变背景的亮度而不改变颜色的组成，即在RGB空间中R，G和B 3个分量所占比例保持恒定这种特性称为颜色恒常性^[9]。所以可以根据此特性对ROI区域完成阴影的初步检测。

   (3)

其中：i代表R，G和B 3个分量；C_i和B_i (i=R, G, B)分别为当前帧和背景帧R，G和B分量分别所占比例。T₁为接近0的值。为1的区域即为初步检测得到的阴影区域。把阴影区域与运动车辆区域用颜色进行区分，白色区域为阴影，黑色区域为运动车辆。选取1组320×240分辨率的高速公路视频如图1所示，初步阴影检测结果如图2所示。

从图2(a)~(c)可以看出：实际阴影部分完全检测出来，但是检测得到的阴影部分混入了很多运动车辆像素。下面只针对检测得到的阴影像素即白色像素进行操作，把误检像素剔除。

1.3  LBP纹理不变性

LBP^[10]是一种提取图像局部灰度级信息的方法，其基本原理为：I_i为i像素点的灰度，以它为中心定义1个(P, R)的邻域(其中：P表示邻域内包含的采样像素点个数，R为邻域的半径)。以I_i为阀值对其邻域的点集进行二值化处理得到一串二进制序列，然后对其进行二进制编码，所得的编码值即为i的LBP模式。以c为中心点，I_c为中心点的灰度。(P, R)为邻域，它的邻域点的灰度为I_p (p=0, …, p-1)。定义c的坐标点为(x_c, y_c)，则c点的纹理模式定义为

        (4)

其中：表示以c为中心点，以(P, R)为其邻域的LBP模式。u定义为

           (5)

图1  高速公路视频

Fig. 1  Highway videos

图2  初步阴影检测结果

Fig. 2  Preliminary results of shadow detection

为了克服图像LBP编码噪声，对图像利用高斯核卷积滤波进行降噪预处理，并改进LBP模式为

        (6)

引入来克服噪声，很小，一般不超过10，本文实验取5。

因为阴影区域像素与背景像素相比只是在亮度上发生变化，而且像素及其他的邻域发生同等程度的改变，所以，可以利用此LBP纹理不变性剔除阴影误检像素，如下式：

   (7)

其中：为1的部分为阴影部分，和分别为当前帧和背景帧像素的LBP模式。去除误检阴影结果如图3所示。

从图3(a)~(c)可以看出：纹理可以有效地消除误检阴影像素，但是阴影边缘被误检为车辆像素。这是因为阴影边缘邻域值很不稳定导致LBP纹理值变化较大，所以造成误检。因此，借助亮度比置信区间与区域生长继续消除阴影区域误检像素，同时将阴影边缘恢复，最终保证了检测的阴影区域的完整度与准确性。

1.4  光照模型

所建立的光照模型^[11]包含太阳光照和环境光照，每个像素的亮度定义如下：

        (8)

其中：为光的波长；A为光照强度；为平面反射系数；O为相机灵敏度。

将扩展到R，G和B颜色通道，用K代表R，G和B。定义每1个分量的亮度为

        (9)

把光照强度A分为太阳光强度A_s和环境光强度A_a。反射系数包含运动车辆反射系数和背景反射系数。由于运动车辆像素和背景像素亮度由太阳光和环境光共同产生，所以，运动车辆像素R，G和B分量亮度和背景像素R，G和B分量亮度分别定义为：

        (10)

        (11)

而阴影像素亮度仅仅由环境光产生，所以阴影像素R，G和B分量亮度定义为

          (12)

图3  去除误检阴影结果

Fig. 3  Results of removing false shadow

于是有：

  (13)

  (14)

从式(13)可以看出：光照对与之间的比值无直接影响，而取决于车辆反射系数和背景反射系数。而式(14)表示每个阴影像素与之间的比值都是相等的且与反射系数无直接关系。

定义与之间的比值为，因为图像存在噪声，阴影

区域像素近似符合高斯分布而且相互独立，于是利用最大似然估计^[12]得到当前阴影区域即白色区域像素的值的均值与方差：

           (15)

    (16)

其中：S表示当前阴影区域即白色区域；N_s为S区域像素个数。

利用估计得到的和计算置信区间上下限和：

           (17)

          (18)

其中：置信区间的可靠性为95%；，。

从而进一步消除阴影误判像素，公式为

 (19)

消除阴影误判像素后，利用区域生长算法^[13]进行阴影边缘恢复。具体的生长规则为

          (20)

式中：为种子点c的邻域像素的；为种子点c的。

阴影检测的最终结果如图4所示。从图4(a)~(c)可以看出：阴影检测结果把阴影和运动车辆区分开来且较为完整和准确，从而为车辆的准确检测奠定了基础。

2  基于特征与空间运动概率相结合的Camshift算子跟踪

2.1  改进的Camshift算法

传统的Camshift算法仅仅基于颜色信息的跟踪算法。该方法利用目标的颜色直方图模型得到每帧图像的颜色投影图，并根据上一帧跟踪的结果自动调整搜索窗口的位置和大小，从而得到目标在图像中的位置。但是，若搜索窗口中的背景颜色和目标颜色相似，则传统方法会将属于背景的像素误判为目标像素而引入跟踪误差。误差的积累会导致跟踪的目标区域在加入背景后变大，降低了追踪的准确度和稳定度。为此，Ning等^[6]采用颜色与改进LBP纹理联合直方图进行运动物体的跟踪，此方法提高了跟踪准确度和稳定度，但由于跟踪场景多变，导致特征也会多变，仅仅利用运动车辆特征不能完全保证跟踪的准确度和稳定度。

基于特征的Camshift算法跟踪中，追踪误差产生的原因主要是背景像素的干扰。除了特征，背景像素和运动车辆像素最大不同在于空间运动信息的差异，当摄像机固定时，短时间内背景基本是不变的，所以，每个像素在短时间内近似符合高斯分布。因此，本文首先利用混合高斯模型^[14]获得每帧图像的实时背景，然后对其灰度图像每个像素不同时刻的像素值进行高斯分析，即近似估计每个像素在一段时间内高斯分布的方差与均值，从而近似得到其为运动像素的概率。与像素颜色和纹理信息结合建立联合概率反向投影图，完成运动车辆的跟踪。

图4  阴影检测的最终结果

Fig. 4  Final result of the shadow detection

 为了得到特征概率与运动概率结合的反向投影图，必须获取纹理和颜色联合直方图的特征反向投影图，定义如下：

         (21)

其中：为第i辆车第x行、第y列像素的特征反向投影图的值；B_PRO第i辆车第x行、第y列像素的联合直方图对应的反向投影图的值；N为第i辆车特征联合直方图中像素的总个数。

定义由高斯混合模型得到的背景第x行、第y列像素点灰度值为，于是，由统计n帧背景图像得到此像素的均值和方差为：

             (22)

        (23)

该像素的高斯分布概率密度函数为

    (24)

该像素为运动像素的概率可以近似计算为

    (25)

其中：为该像素为运动像素的概率。

第i辆车第x行、第y列像素的特征概率与运动概率相融合的反向投影图的值为

   (26)

其中：第i辆车第x行、第y列像素的特征概率与运动概率相融合的反向投影图的值；，决定着特征和运动在运动车辆跟踪中所起的作用。在车辆距离摄像头较近即车辆位于图像的下半部分时，车辆的颜色、纹理等特征相对较强，所以，＜0.5，本文实验取0.4。当车辆行驶距离摄像头较远时，即车辆位于图像的上半部分时，车辆的颜色、纹理等特征逐渐减弱，这时运动概率作为运动车辆跟踪的主导因素。所以当车辆行驶在图像上半部分时，＞0.5，本文实验取0.6。

车辆跟踪流程如下：

1) 将检测得到的运动目标矩形区域设定为Camshift算子搜索窗口的初始位置。

2) 计算当前帧目标区域LBP算子与H，S和V分量联合的特征概率反向投影图。

3) 计算当前帧目标区域的运动概率反向投影图。

4) 将特征概率反向投影图与运动概率反向投影图融合组成联合反向投影图。

5) 利用联合反向投影图进行迭代搜索，获得搜索窗口的中心位置并计算新的搜索窗口大小。

2.2  追踪实验

依据上述理论，进行跟踪试验得到的实验结果如图5所示。从图5可得：1) 基于颜色跟踪的传统的Camshift算法的跟踪结果(方法1，见图5中白色矩形框)。2) Chen等^[4]基于LBP纹理和颜色的Camshift算法的跟踪结果(方法2，见图5中灰色矩形框)。3) 本文作者算法的跟踪结果(方法3，见图5中黑色矩形框)。

图5(a)~(c)所示分别为高速公路视频81，99和412帧，图6(d)~(f)所示分别为交通路口视频102，118和260帧。从图5和图6可以看出：本文算法在跟踪的准确度和稳定度上要明显高于方法1和方法2。图5(a)和图(b)与图6(a)和图(b)所示为同背景在颜色、纹理区别较大的同一辆车在不同时刻的跟踪效果。从图5(a)和图6(a)可以看出：当车辆距离摄像机较近时，车辆尺寸较大，所以车辆特征还比较明显，方法1和方法2跟踪的准确度和稳定度较高。从图5(b)和图6(b)可以看出：当车辆渐渐行驶，距离摄像头较远时，车辆尺寸变的非常小，车辆特征变的相对较弱，方法1和方法2的跟踪准确度和稳定度越来越低，而本文作者算法跟踪准确度和稳定度依然良好。

从图5(c)可以看出：左边车辆特征相对背景较强，右边车辆无论是颜色还是纹理特都相对背景较弱，所以，从左右两辆车跟踪效果比较可以看出特征强弱不会影响本文算法的跟踪准确度和稳定度。同样，从图6(c)可以看出：车辆颜色与纹理特征与背景比较相似，方法1和方法2的跟踪准确度和稳定度远低于本文作者算法。

图7和图8所示分别为追踪过程中高速公路车辆和交通路口车辆3种算法的定位偏差。定位偏差计算公式为

图5  高速公路视频3种算法跟踪结果

Fig. 5  Three algorithms tracking results of highway video

图6  交通路口视频3种算法跟踪结果

Fig. 6  Three algorithms tracking results of traffic intersection video

图7  高速公路车辆跟踪误差分析

Fig. 7  Vehicle tracking error analysis of highway

图8  交通路口车辆跟踪误差分析

Fig. 8  Vehicle tracking error analysis of traffic intersection

     (27)

其中：为第i帧所有车辆中心误差；为第i帧算法计算出来的目标中心坐标；为第i帧第j辆车的实际中心位置。其中，车辆的实际位置为手动标注^[15]。从图7和图8可知：本文算法的跟踪准确度和稳定度明显比方法1和方法2的高。

3  结论

1) 为了保证车辆检测的准确性，提出一种结合颜色、纹理、光照模型的阴影检测算法，克服了传统单一特征检测算法阴影区域检测不完整、不准确的缺点。

2) 在车辆跟踪时，将特征与运动概率有效地结合起来对传统的Camshift算法进行改进，与仅利用特征跟踪相的Camshift算法相比，车辆的跟踪准确度和稳定度更高。

参考文献：

[1] Sanin A, Sanderson C, Lovell B C. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4): 1684-1695.

[2] 冯文刚, 高隽, Buckles B, 等. 多颜色空间中目标约束的车辆阴影分割研究[J]. 中国图象图形学报, 2011, 16(9): 1599-1606.

FENG Wengang, GAO Juan, Buckles B, et al. The vehicle shadow segmentation study in the color space constraints of multiple targets[J]. Chinese Journal of Image and Graphics, 2011, 16(9): 1599-1606.

[3] 祖仲林, 李勃, 陈启美. 基于局部纹理特性的运动车辆阴影消除[J]. 计算机工程, 2009, 35(16): 167-170.

ZU Zhonglin, LI Bo, CHEN Qimei. Shadow elimination for moving vehicle based on local texture characteristic[J]. Computer Engineering, 2009, 35(16): 167-170.

[4] Chen Y Z. Mean shift mode seeking and clustering[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 1995, 17(8): 790-799

[5] Comanicu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[6] NING Jifeng, ZHANG Lei, ZHANG David, et al. Robust object tracking using joint color-texture histogram[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2009, 23(7): 1245-1263.

[7] 朱慧颖, 张利, 李云廷. 基于背景差分法的交通事件智能检测系统[J]. 武汉理工大学学报(信息与管理工程版), 2011, 33(2): 224-227.

ZHU Huiying, ZHANG Li, LI Yunting. Intelligent traffic event detection system based on the background difference method[J]. Journal of Wuhan University of Technology (Information & Management Engineering), 2011, 33(2): 224-227.

[8] LUO Jinman, ZHU Juan, et al. Improved video-based vehicle detection methodology[C]// 3rd IEEE International Conference on Comouter Science and Information Technology. Guangzhou, China, 2010: 602-606.

[9] 李建勋, 童中翔, 刘彦, 等. 单幅图像阴影去除方法[J]. 哈尔滨工程大学学报, 2013, 34(5): 628-634.

LI Jianxun, TONG Zhongxiang, LIU Yan, et al. Research on a single image shadow removal method[J]. Journal of Harbin Engineering University, 2013, 34(5): 628-634.

[10] Ojala T, Pietikainen M, Maenpaa T, et al. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[11] Nadimi S, Bhanu B. Physical models for moving shadow and object detection in video[J]. IEEE Transactions on Pattern Analysis and Machine, 2004, 26(8): 1079-1087.

[12] Duda R, Hart E, et al. Pattern classification[M]. 2nd ed. Wiley-Interscience, 2000: 57-69.

[13] 杨家红, 刘杰, 张坚成, 等. 结合分水岭与自动种子区域生长的彩色图像分割算法[J]. 中国图象图形学报, 2010, 15(1): 63-68.

YANG Jiahong, LIU Jie, ZHANG Jiancheng, et al. Watershed with automatic seeded region growing[J]. Journal of Image and Graphics, 2010, 15(1): 63-68.

[14] 李明之, 马志强, 单勇, 等. 复杂条件下高斯混合模型的自适应背景更新[J]. 计算机应用, 2011, 31(7): 1831-1834.

LI Mingzhi, MA Zhiqiang, SHAN Yong, et al. Under the condition of complex Gaussian mixture model of adaptive background updating[J]. Journal of Computer Applications, 2011, 31(7): 1831-1834.

[15] Hu J S, Juan C W, Wang J J, et al. A spatial-color mean-shift object tracking algorithm with scale and orientation[J]. Pattern Recognition Letters, 2008, 29(16): 2165-2173.

(编辑  罗金花)

收稿日期：2014-10-11；修回日期：2014-12-20

基金项目(Foundation item)：国家自然科学基金资助项目(51175159)；中国博士后科学基金资助项目(20110490263)；汽车车身先进设计制造国家重点实验室自主课题团队重点资助项目(61075004)；湖南省教育厅科学研究资助项目(13C261) (Project(51175159) supported by the National Natural Science Foundation of China; Project(20110490263) supported by China Postdoctoral Science Foundation; Project(61075004) supported by the State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body; Project(13C261) supported by the Educational Bureau of Hunan Province)

通信作者：宋晓琳，教授，博士生导师，从事研究方向为车辆主动安全研究；E-mail: wentao_wang123456@163.com