智能车测试环境中虚拟车道线的快速构建方法
卢远志
(湖南大学 机械与运载工程学院，湖南 长沙，410082)
摘要：针对测试环境的设计与构建是智能车辆智能行为验证的前提，但常常会受到真实道路环境复杂性和不确定性等因素的限制等问题，提出序列化排列锥形交通标搭建智能车测试环境，在机器视觉基础上根据识别出的锥形标间的拓补关系构建虚拟车道线的方法。研究结果表明：该方法可有效地处理感知环境中的行人与运动车辆等干扰信息，满足智能车对系统的实时性和鲁棒性要求；该方法在结构化道路与非结构化道路均可实施，是一种快速构建智能车测试环境的有效方法，既降低了测试成本，又保证了测试过程的安全性和可靠性。
关键词：机器视觉；视觉导航；车道线识别；智能车
中图分类号：TP24 文献标志码：A 文章编号：1672-7207(2013)03-0985-07
Rapid method on reconstruction of virtual lane environment for intelligent vehicle testing
LU Yuanzhi
(College of Mechanical and Vehicle Engineering, Hunan University, Changsha 410082, China)
Abstract: Based on the fact that the testing environment is one of the significant and fundamental issues for vision based intelligent vehicle, but it is usually limited by the complication and uncertainty of the environment on practical road, in order to deal with the above issues, a rapid method on reconstruction of virtual lane environment for intelligent vehicle testing was presented. The traffic cones were ordered and arranged one by one on the road to construct the testing environment according to the requirements of performances verification, then the machine vision was used to detect and localize to generate the virtual lane according to their topological information. The results show that the identification of the traffic cones can be well done in the testing environment disturbed by the pedestrians and moving vehicles. The real-time and robust of the developed system can satisfy the requirements of the intelligent vehicles. The method can be applied in both structured and unstructured road, the testing safety can be guaranteed and the testing cost can be saved.
Key words: machine vision; vision based navigation; lane detection; intelligent vehicle
智能车(又称无人车)作为智能交通系统的关键技术，应能够实现车道保持与跟踪等智能行为。它作为视觉信息处理的集成验证平台，是在无人条件下完全自主驾驶的，其系统的安全性和可靠性极为重要。在研制过程中，针对智能车的智能行为验证需要以大量试验作为支持，而常规车辆试验无法满足智能车自主驾驶能力验证的需求[1-2]：首先，智能车的安全问题无法得到有效验证；其次，智能车试验所需的道路条件较高，需要大量人力、物力和财力的投入。因此，设计和构建经济安全、鲁棒性高的测试环境显得尤为重要。在视觉导航技术中，车道保持与跟踪的前提是如何快速而准确地获取车道线或者道路边缘信息。目前，比较成熟的视觉导航系统主要有意大利的GOLD系 统[3]以及美国的RALPH系统。国内也提出了一种基于逆投影变换的智能车道路识别方法[4-9]。以上系统和方法对实际道路环境的依存性很高，基于机器视觉的车道标志线识别常常会受到感知环境复杂性和不确定性等因素的影响，在道路质量较差的条件下会出现较大偏差，甚至无法识别车道线，从而影响视觉导航功能。目前，智能车测试环境的构建方法主要有真实路面选择和虚拟场景[10-12]创建2种方法。前者的测试环境直接在真实路段上进行，在时间与空间上均受到一定限制，并且需提前进行道路交通管制，投入大、周期长且无法保证测试过程的安全性和可靠性，影响了智能车测试实验效果；后者的测试环境主要是利用虚拟现实技术来构建虚拟交通场景[1-3]，虽然能保证测试安全，但无法完全模拟和仿真实际道路交通环境，因此，无法替代真实的路面测试环境，具有一定的局限性。为此，本文作者提出一种基于锥形交通标识别的虚拟车道线构建方法：根据测试要求设计并序列化排列锥形交通标快速搭建智能车测试环境，在机器视觉基础上根据其拓补关系构建虚拟车道线，为智能车的车道保持与跟踪等智能行为测试提供经济、安全而又可靠的测试环境。基于锥形交通标识别的虚拟车道线构建方法主要包括锥形标识别与虚拟车道线构建2个主要环节。
1 锥形交通标的识别
锥形交通标又称路锥、锥筒标，通常为红色与白色相间的锥形筒状物体，上面涂有反光材料，主要起提示和警示作用。为了安全驾驶和有效导航，道路交通安全中常通过设置锥形交通标的方法对道路进行临时隔离，告知过往车辆道路前方有障碍物或前方道路封闭改道或道路施工等路况信息，提示驾驶员提前采取措施，防止发生交通事故，并引导其改道行驶。
基于机器视觉的锥形交通标识别主要包括目标检测和目标识别2个主要环节，首先根据其颜色、几何等先验知识快速定位和提取感兴趣区域，然后，针对上述结果采用不变矩和BP神经网络的方法进行分类辨识。
1.1 目标检测
目标检测是锥形交通标识别的前提，其目的是快速定位和提取感兴趣区域。锥形标的类型繁多，不失一般性，本文采用红白双色相间的锥形标作为研究对象。如图1所示锥形交通标具有鲜明的颜色信息和规则的几何特征，充分利用已知的先验信息可提高目标检测的准确率。
图1所示锥形标由上、中、下3部分构成，通过颜色分割和形状分析，锥形标可表达为下列集合形式：
(1)
式中：设C1和C2分别代表红色和白色(灰度图中的深灰色对应红色)；S1和S2分别代表三角形和梯形。
图1 锥形交通标颜色-几何对模型
Fig.1 Color-Geometry pair model of traffic cone
颜色分割后的图像通过canny算子进行边缘特征提取，可进一步确定它们的最小外接矩形，经上述处理后锥形标将被分割成“红—白—红”3个独立区域。分别计算最近邻的3个窗口区域的y向中心轴与水平x轴的夹角，分别设为q1, q2和q3，利用下式进行几何共轴约束：
≤
(2)
式中：i=1, 2；d为相邻夹角偏差；q0为常数，本文取为5°。利用式(1)和式(2)的“颜色-形状对模型”可实现目标检测。
1.2 目标识别
1.2.1 仿射不变矩
Hu于1962年提出的仿射不变矩理论具有平移、缩放、镜像和旋转均不敏感的仿射不变特点[12]。在此基础上，又有许多学者对其加以改进，使不变矩特征的描述能力不断提高[13-14]。本文利用不变矩方法对目标样本进行参数化处理，仅需要通过7个不变矩进行目标识别，在减少计算量的同时，提高对纹理特征灵敏度的计算能力。
设1幅数字图像f(x,y)的二维(p+q)阶矩定义为
(3)
式中：p=0, 1, 2, …；q=0, 1, 2, …。求和是在图像的所有空间坐标x和y上进行的，相应的中心矩定义为
(4)
式中：
；
。归一化后的(p+q)阶中心矩定义为
(5)
式中：g=(p+q)/2+1。由上述2阶和3阶中心距公式可以推导出对平移、缩放、镜像和旋转都不敏感的7个不变矩集合，分别为：
(6)
由于直接利用上式计算所得的不变矩具有很大的动态变化范围，为了便于比较和后续的神经网络处理，通过取对数的方法缩小其动态变化范围，同时考虑到不变矩有可能出现负值的情况，采用的不变矩公式为：
(7)
式中：k=1, 2, …, 7。
1.2.2 BP神经网络
模式识别系统[15-16]主要包括训练和识别2个环节。训练环节是针对预先准备好的锥形标正样本和负样本进行学习训练的分析处理和分类器的设计过程；识别环节则是将未知目标与训练好的分类器进行匹配和识别未知目标的过程。如图2所示，根据锥形标正负样本分类器的设计要求，将神经网络设计成7—50—2三层结构的BP神经网络：其中，输入层由7个不变矩构成；输出层由正、负样本构成；隐层神经元数目依据经验确定，本文设计为50个神经元。隐层和输出层的节点作用函数均为log-sigmoid的“S型”函数，这是因为该函数输出量在(0,1)区间内，恰好满足学习后输出布尔值的分类器设计要求。
由图2可知传递函数的确定方法，输出端神经元输入为各隐含层神经元输出的加权求和：
(8)
式中：i=1, 2, …, m，为隐层神经元节点数；j=1, 2, …, n，为输入层节点数；Wij为隐层神经元输出权值；Tij为隐层神经元输入权值；φ为隐层神经元的传递函数；x为输入模式矢量。
BP算法的权值迭代修正公式统一表示为
(9)
式中：wij为神经元的连接权值；η为网络学习效率；dj为误差修正值；yj为样本输出；k为迭代次数。BP神经网络中隐层节点数、学习效率、初始权值、学习精度等网络参数可根据网络学习效率和收敛速度确定。
图2 神经网络系统结构简图
Fig.2 Framework of BP neural network
2 虚拟车道线构建方法
2.1 测试环境的搭建
根据智能行为测试要求，在测试环境中通过序列化摆放锥形交通标P1, P2, …, Pi可方便而快捷地设计并搭建出诸如S型弯道、右转等测试环境，如图3所示。图3中的虚线即为由序列化锥形标所构成的虚拟车道线。
从图3可见：在同一场地上可进行不同测试环境的构建，形成“车-环境”的闭环交通系统，如直线及各类“U型”、“L型”、“S型”弯道导航路径。本方法还可以很方便地与其他类型的传感器相结合实现无人车智能行为的综合测试，如自动避障行为下的航向及车速控制。
基于上述构建思想可灵活地选择场地，在保证测试过程安全的前提下，设计并构建满足智能车智能行为要求的测试环境。将锥形标序列摆放至场地中央即可实现智能车的往返测试，既可提高测试效率，又可降低测试成本。
图3 虚拟车道线构建示意图
Fig.3 Schematic diagram for contrustion of virtual lane based on traffic cones
2.2 虚拟车道线的构建
虚拟车道线的构建包括控制点集合的获取和虚拟车道线的生成2个环节。
2.2.1 锥形标的定位
为实现对识别出的锥形标路障进行快速定位，需要将图像坐标系转换为空间物理坐标系，这是一个摄像头的标定与目标重建的过程，其计算公式为
(10)
式中：q=[u, v, 1]′，为图像坐标系的坐标，单位为像素；Q=[X, Y, Z, 1]′为世界坐标系的坐标(mm)；s为缩放因子，即空间某点在Z轴方向上的坐标值；H为单应变换矩阵，它由内参数矩阵和外参数矩阵2部分构成。
在机器视觉的基础上，通过计算几何方法可提取出所有识别后锥形标ROI(region of interesting)区的底边中点，并将其作为虚拟车道线的控制特征点Pi(x, y)，如图3所示。
2.2.2 虚拟车道线的生成
虚拟车道线的构建需要根据锥形标间的拓补关系连接创建，在设计的测试路线上，锥形交通标是序列化连续摆放的，由此可以根据视场内识别出的锥形标空间位置分别沿x和y方向进行扫描排序，沿X向排序后代表由近及远，将最近邻的2个锥形标进行拓补连接从而构造出虚拟车道线，Y向可确定左转或右转。
与真实的道路标志线一致，所创建的虚拟车道线可直接用于智能车的定位、导航和局部路径规划，这样对行车控制决策无需调整和不增加难度的前提下即可进行智能车的视觉导航测试。
设锥形交通标为集合A(点集合)，虚拟车道线为集合B(线集合)，则集合映射g的表达式如下：
(11)
式中：l为虚拟车道线；f为虚拟车道线中的直线段表达式；a和b为直线参数。
由式(11)可知：虚拟车道线的构建需要求解a和b 2个参数，因此，要求视觉传感器采集的视场中至少要同时采集到2个锥形交通标，如图3所示，需要适当控制锥形标间距L。
3 算法实现
QT是一个适合做界面开发的C++工具包，OpenCV是一个实时性强且功能强大的图像处理工具包[17]，利用这些工具包可提高软件系统的开发效率。另外，这两者都是基于开源思想开发的，在遵守通用公共授权协议GPL (general public license)的前提下进行适当处理，不需要添加新的外部支持也可以完整地编译链接生成执行程序。
本文基于上述算法，在VC++环境下，利用QT和OpenCV开发一套基于锥形标的虚拟车道线系统。基于上述理论，采用图4所示的设计思路进行设计。算法实现步骤如下：
(1) 利用彩色视觉传感器获取图像后，根据颜色-几何对模型提取图像感兴趣区域。
(2) 目标检测后，需要对感兴趣区域进行适当预处理，以提高识别准确率，主要包括图像尺寸重置、直方图均衡化、背景去除、图像校正等预处理。
(3) 对目标进行不变矩计算，并利用BP神经网络进行目标识别。
(4) 据识别后的结果进行目标定位，并根据其拓补关系创建虚拟车道线。
该算法全部由C++语言编程实现，为了提高学习效率和判别速度，采集图像的像素为320×240，目标训练与识别均采用50×50像素的图片模板，因此，BP网络的输入量也为50×50的矩形区域的不变矩。
图4 锥形交通标识别流程图
Fig.4 Flowchart for pattern identification of traffic cone
4 应用实例
测试环境的设计与构建应该能保证智能车测试过程的安全性和可靠性，基于锥形交通标识别的虚拟车道线构建方法正是针对智能车智能行为的验证试验而提出的，并应用到无人驾驶车测试环境设计中。
湖南大学于2008年开始研制开发无人驾驶智能车。该车是在现有商用车的基础上改装而成，是对其转向、制动、油门、换挡机构进行机电化改装，并加装GPS、惯导、激光雷达和视觉等传感器。系统结构如图5所示，主要包括环境感知子系统、决策控制子系统和底层执行子系统三大部分，采用总线方式进行各子系统间的数据与控制通讯。其中视频采集部分采用型号为HuaQi DL-800C的彩色CMOS工业摄像头，分辨率为300万像素，并配合型号为M0814-MP的定焦工业放大镜头，视场角为56.3°，焦距为8 mm；视频通讯接口为USB2.0，可直接与笔记本电脑连接。为方便移动测试，系统测试平台在通用的商务笔记本上运行，处理器为Intel(R) Core(TM)2 Duo CPU T6570 @2.10 GHz。
测试场地选择在市内的实际道路环境，根据智能车测试任务的需求，在同一场地分别搭建S型和U型弯道。图6所示为智能车测试环境的实际现场图片。
图5 基于视觉导航的智能车系统功能结构简图
Fig.5 Diagram on intelligent vehicle of vision based navigation system
图6 智能车测试环境现场图片
Fig.6 Photo on practical testing environment for intelligent vehicle
图7所示为采用本文所开发的系统得到的虚拟车道线测试结果，图中锥形标底部的标志点为系统识别出锥形标定位后给出的虚拟车道线的控制点位置，其连线构成了虚拟车道线。其中，图7(a)和图7(b)所示分别为城市道路和高速公路测试环境中虚拟车道线的测试结果，此时智能车为车道保持与跟踪状态。图7(a)中虚拟车道线出现在智能车的右侧，图7(b)中虚拟车道线出现在智能车的左侧，虚拟车道线距离车体纵向中心1.5~2.0 m处，此时车辆位于车道中心处于安全行车状态。由于锥形标的特征明显，即使当行车环境中局部出现行人或车辆干扰，也能准确识别并构建出虚拟车道线，这进一步表明此方法具有较强的抗干扰能力。
图7 虚拟车道线识别结果
Fig.7 Image processing results on construction of virtual lane
图8所示为利用锥形标序列在非结构化道路中构建的L型左转测试环境下，采用本文方法计算得出的智能车航向角变化的时间历程变化曲线。图8中的纵坐标为航向角，即为虚拟车道线与车辆航向间的夹角，根据此参数并结合车辆转向系的传动比，即可对智能车进行视觉导航。实验中智能车过此弯道时的平均车速为6 km/h，锥形标序列间距为2~3 m，以保证视觉传感器采集的视场中能获取到2个以上的锥形交通标。构建出的虚拟车道线将被传送给决策控制层作为智能车转向控制视觉导航的参考数据，由决策控制子系统根据系统构建的虚拟车道线进行车辆局部路径规划与行为控制。由图8可知：转向控制过程以图中虚线为分界点分为直行、左转、回正3个连续操控阶段；图中定义数据右转为正值，左转为负值，左转最大航向角变化量为-24.2°。通过对机器视觉处理过程的实时回放分析发现：由于实验环境中个别锥形标摆放不够规范，会造成视场中该处虚拟车道线呈现“Z字型”波动现象，同时伴随智能车的行进过程，前后锥形标在视场中的交替出现与消失是非连续的，因此，会导致航向角曲线呈现出局部阶跃变化的现象；图中K点为智能车由入弯状态转为出弯状态的临界拐点，即此时方向盘控制将由左转改为右转。
图8 虚拟车道线导引下智能车转向角变化的时间历程曲线
Fig.8 Vision base navigation based on virtual lane when left turning
5 结论
(1) 通过序列化摆放锥形交通标搭建测试环境是一种快速构建智能车测试环境的有效方法，在场地选择上更加灵活，环境构建上更加方便，在结构化道路与非结构化道路环境中均适用，为智能车测试环境设计提供了新的思路和方法。
(2) 本方法不受场地限制，具有一定的柔性和适应性。可以根据智能车智能行为的测试要求，在同一场地上灵活设计和搭建各类不同的测试环境，保证了测试过程的安全性，在提高测试效率的同时，降低了试验成本。
(3) 所采用的基于不变矩和神经网络的锥形交通标识别方法充分利用了神经网络较强的非线性映射能力和不变矩的仿射不变特征，是一种有效的锥形交通标识别方法。该系统可以对单个或多个锥形交通标以及室内或室外、简单或复杂背景下的视频图像序列取得很好的识别结果。
(4) 该方法对光照条件、雨雾天气等实际路面环境要求不高，同时对行人和运动车辆等环境的抗干扰能力强，保证了锥形交通标识别的准确性和鲁棒性，为进一步虚拟车道线构建提供了有力的支持。基于锥形标的虚拟车道线导引手段比实际车道线导航方法具有更高的可靠性。
参考文献：
[1] 王荣本, 赵一兵, 李琳辉, 等. 智能车辆的障碍物检测研究方法综述[J]. 公路交通科技, 2007, 124(11): 109-113, 124.
Wang Rongben, Zhao Yibing, Li Linhui, et al. Approach review of obstacle detection for intelligent vehicle[J]. Journal of Highway and Transportation Research and Development, 2007, 124(11): 109-113, 124.
[2] 刘欣. 智能车智能行为验证平台的虚拟交通场景研究[D]. 合肥: 中国科学技术大学信息科学技术学院, 2009: 56-80.
Liu Xin. Virtual traffic scene of intelligent behavior validation platform for driverless vehicle[D]. Hefei: University of Science and Technology of China. School of Information Science and Technology, 2009: 56-80.
[3] Broggi A, Cattani S. An agent based evolutionary approach to path detection for off-road vehicle guidance[J]. Pattern Recognition Letters, 2006, 27(1): 1164-1173.
[4] 付梦印, 李博, 王美玲. 一种基于逆投影变换的智能车道路识别方法[J]. 光学技术, 2008, 34(3): 368-371.
FU Mengyin, LI Bo, WANG Meiling. Inverse perspective transform based lane detection in autonomous vehicle[J]. Optical Technique, 2008, 34(3): 368-371.
[5] 金辉, 吴乐林, 陈慧岩, 等. 结构化道路车道线识别的一种改进算法[J]. 北京理工大学学报, 2007, 27(6): 501-505.
JIN Hui, WU Lelin, CHEN Huiyan, et al. An Improved algorithm for the lane recognition of structured road[J]. Transactions of Beijing Institute of Technology, 2007, 27(6): 501-505.
[6] 郭磊, 李克强, 王建强, 等. 应用方向可调滤波器的车道线识别方法[J]. 机械工程学报, 2008, 44(8): 214-218, 226.
GUO Lei, LI Keqiang, WANG Jianqiang, et al. Lane detection method by using steerable filters[J]. Chinese Journal of Mechanical Engineering, 2008, 44(8): 214-218, 226.
[7] McCall J C, Trivedi M M. Video-based lane estimation and tracking for driver assistance: Survey, system, and evaluation[J]. Intelligent Transportation Systems, IEEE Transactions on, 2006, 7(1): 237.
[8] Broggi A. A new approach to urban pedestrian detection for automatic braking[J]. IEEE Transactions on Intelligent Transportation Systems, 2009, 10(4): 594-605.
[9] Broggi A. TerraMax vision at the urban challenge 2007[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 11(1): 194-205.
[10] 史美萍, 彭晓军, 贺汉根. 全虚拟智能车辆自主导航仿真系统的研究与实现[J]. 系统仿真学报, 2004, 16(8): 1721-1724, 1728.
SHI Meiping, PENG Xiaojun, HE Hangen. Research and accomplishment of auto-navigating simulation system for virtual unmanned vehicles[J]. Acta Simulata Systematica Sinica, 2004, 16(8): 1721-1724, 1728.
[11] 李力, 王飞跃, 郑南宁, 等. 驾驶行为智能分析的研究与发展[J]. 自动化学报, 2007, 33(10): 1014-1022.
LI Li, WANG Feiyue, ZHENG Nanning, et al. Research and developments of intelligent driving behavior analysis[J]. Acta Automatica Sinica, 2007, 33(10): 1014-1022.
[12] Hu M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962(8): 179-187.
[13] Huh S, Shim D H. A vision-based landing system for small unmanned aerial vehicles using an airbag[J]. Control Engineering Practice, 2010, 18(3): 812-823.
[14] Flusser J, Suk T. Pattern recognization by affine moment invariants[J]. Pattern Recognition, 1993, 26(1): 167-174.
[15] 朱双东, 张懿, 陆晓峰. 三角形交通标志的智能检测方法[J]. 中国图像图形学报, 2006, 11(8): 1127-1131.
Zhu Shuangdong, Zhang Yi, Lu Xiaofeng. Intelligent approach for triangle traffic sign detection[J]. Journal of Image and Graphics, 2006, 11(8): 1127-1131.
[16] 张科, 罗华, 王秀琴. 基于不变矩和神经网络的目标识别方法[J]. 火力与指挥控制, 2009, 34(3): 16-18.
Zhang Ke, Luo Hua, Wang Xiuqin. Object recognition method based on neural network and invariant moments[J]. Fire Control and Command Control, 2009, 34(3): 16-18.
[17] 曾祥樟, 卢道华. 一种基于OpenCV和Tsai的摄像机两步标定新方法[J]. 机电工程, 2008, 25(12): 49-52.
Zeng Xiangzhang, Lu Daohua. A new method of camera calibration based on OpenCV and Tsai[J]. Mechanical & Electrical Engineering Magazine, 2008, 25(12): 49-52.
(编辑 陈灿华)
收稿日期：2012-04-20；修回日期：2012-06-26
基金项目：国家自然科学基金重点资助项目(91120306)；湖南大学985-Ⅱ和Ⅲ期预研重点项目资助(2011年)
通信作者：卢远志(1972-)，男，黑龙江友谊人，博士研究生，副教授，从事机电产品设计与制造理论、智能车辆研究；电话：0731-88821445；E-mail: luluoxx@hnu.edu.cn
