深海集矿机视频测速技术
王随平，桂卫华，彭亮
(中南大学 信息科学与工程学院，湖南 长沙，410083)
摘 要：
矿机齿轮测速系统存在的问题，在分析和研究集矿机行走环境的图像特点的基础上，提出利用集矿机行走过程中的监控图像对集矿机进行视频测速的测量新策略。采用基于匹配的光流法进行视频测速。对深海集矿机的视频测速技术进行深入的研究，提出了科学的视频测速算法，进行测速实验。实验结果验证了视频测速算法的正确性，表明该测速方法具有一定的精确度和实时性，具有较高的应用价值。
关键词：
中图分类号：TP391.9 文献标志码：A 文章编号：1672-7207(2011)S2-0330-07
Speed-measuring technology of deep-sea mining collector
WANG Sui-ping, GUI Wei-hua, PENG Liang
(School of Information Science and Engineering, Central South University, Changsha 410083, China)
Abstract: Aiming at the existing gear speed-measuring system, a new speed measuring strategy was proposed. The monitoring images of the mining collectors were analyzed and the characteristic of the deep sea mining vehicle working environment was researched. The match-based approach of optical flow was adopted to carry out video speed-measuring. Deep research on the speed-measuring technology of the deep-sea mining collector was made, proposes scientific algorithms of the video speed-measuring were proposed, and the speed-measuring experiment was carried out. The result of experiment proves the correctness of the video speed-measuring algorithm, indicating that the algorithm has definite precision and stability and possesses higher application value.
Key words: deep-sea mining collector; video speed-measuring; optical flow approach; model window; matching
深海集矿机是一种在水深5~6 km的深海底采集多金属结核的履带车辆，其行走速度是对集矿机行走进行有效控制和反映其运动状态的重要参数，而现有的齿轮测速系统在实验过程存在一些问题，影响了系统的工作性能[1]。
本文作者针对目前集矿机测速方面存在的问题，研究深海集矿机视频测速技术，将视频测速技术引入深海集矿机的速度测量中，以期解决目前深海集矿机测速方面存在的问题。该系统是一种以计算机视觉和模式识别科学为理论依据，辅以多种工程学标准的高科技新型光机电一体化系统。由于有科学的理论指导，并采用众多新技术使视频测速系统具有科学上的先进性，合理的设计使其具有实时测量能力。在分析和研究深海集矿机行走环境的图像特征后，提出利用集矿机行走过程中的监控图像对深海集矿机进行视频测速的速度测量新策略，解决目前深海集矿机测速系统中存在的问题。
1 深海集矿机视频测速原理
在深海集矿机行走过程中，将深海集矿机当作静止物体，利用摄像机采集前方路面静止物体相对于深海集矿机的移动速度来间接测量深海集矿机的行走速度[2]。图1所示为模拟深海集矿机监控视频信号中连续采集的两帧图像。
在摄像机高度不变的情况下，找到两帧图像中的对应点、对应线或者对应块，分别定位对应点或对应块在两幅图像中的位置S1(t1时刻)和S0(t0时刻)，相减可以得到对应点或者对应块在t1- t0 (即Δt)时间内移动的像素距离(S1-S0)(如图1所示)。根据速度公式，可以求得该块在图像中的移动速度。
图1中，参数取值如下：视觉俯仰角度θ≥60°，视距c＞13 m，监测点距摄像机的距离d ＞10 m，当Δt很小时，Δd与d相比很小，可以忽略图1中θ的变化Δθ，而仅考虑由θ产生的透视，此时，可以认为，视野范围内所有点相对于摄像机的仰角均为θ。
设视频信号中截取的图像，其高、宽分别为352像素和288像素(此为标准视频信号分辨率)，设摄像机视野范围可以看到a×b，即视频看到的高度所代表的实际路面的长度为a、宽度为b。
(1)
(2)
由式(1)和(2)可得：
(3)
从而得到深海集矿机的速度：
(4)
图1 在t0和t1时的两帧图像
Fig.1 Two images at t0 and t1
2 基于匹配的光流测速算法
在深海集矿机行走过程中，摄像机安装在集矿机上，摄像机是运动的，而深海底的路面景物是静止的，采集到的图像相对于摄像机运动，因此，本文作者采用基于匹配的光流法进行图像跟踪，从而实现视频测速。采用的总体算法流程图如图2所示。
视觉运动分析就是要研究如何从一系列不同时刻的图像中，提取出有关场景中物体的结构、位置和运动信息，即计算运动物体的光流。要实现深海集矿机的实时测速，通过提取摄像机监控场景中运动物体的光流来间接实现摄像机即深海集矿机的速度测量，所以，监控场景中运动目标的选取需具有任意性。基于此，本文作者采用基于匹配的光流计算方法，即采用模板匹配的方式，一方面通过计算匹配区域的位移求解光流基本方程，另一方面只计算模板区域的光流，利用局部光流反映整个图像光流的变化情况，减少了光流计算范围和运算量，提高了系统的实时性[3]。
匹配法的实质是在图像序列的顺序图像对之间实施的一种对应任务，它将速度(光流)定义为使得不同时刻图像区域之间产生最佳拟合的位移[4]，即将速度(u, v)定义为不同时刻图像区域的位移量d=(dx, dy)，使得不同时刻的图像区域匹配最佳。为了找到最佳匹配，可对定义在d上的相似度量如归一化互相关系数进行最大化(模板匹配法)；也可对某一距离度量如光强度差的平方和进行最小化，从而找到最佳匹配区域。
图2 总体算法流程图
Fig.2 Flow chart of overall algorithm
2.1 模板的选取及其匹配
2.1.1 模板的选取
给定连续的两帧图像I1和I2，对于图像I1中的每个像素点(x, y)，以此像素点为中心，形成一个大小为(2n+1)×(2n+1)的模板窗Wc。围绕图像I2的对应像素点(x, y)建立一个尺寸为(2n+1)×(2n+1)的搜索窗Ws。
考虑到深海集矿机行走的路面不平整、容易产生抖动以及转弯时的测速问题，本文作者采用2个模板窗口，设图像I1和I2的大小均为M×N。在图像I1中，首先选择2个模板窗口，大小为(2n+1)×(2n+1)，以左上角为坐标原点，模板窗口选取的具体算法为：
(1)从图像I1中心像素点
(M和N为奇数时)或
(M和N为偶数时)开始，顺时针搜索，当满足
(5)
时，以(x, y)为中心(记作(x1, y1))，建立第1个模板窗口I11。
(2)以(x1, y1)搜索的下一点为初始点，当满足式(5)(不包含建立第1个窗口时搜索的区域)时，建立第2个模板窗口I12，其中心坐标记作(x2, y2)。
以352×288的深海底图片为例，以模板窗口大小为35×35建立2个模板窗口，如图3所示，其中，T= 10，(x1, y1)=(174, 161)，(x2, y2)=(210, 140)。
图3 模板窗口
Fig.3 Template window
2.1.2 模板的匹配准则
在模板窗口匹配中，匹配准则对匹配的精度影响不大，由于MAD准则不需要进行乘法运算，实现简单、方便，所以使用最多，实际运算中还可以去掉不必要的除法，因此，通常将MAD变为SAD，即求和绝对误差(Sum of absolute difference)[5]。SAD的定义如下：
(6)
需要找到最优的模板匹配窗口，窗口大小为(2n+1)×(2n+1)，则当
(7)
取最小值时，得到模板窗口的最优匹配点，匹配点为对应模板窗口的中心，记录模板窗口中心的位移，对2个模板窗口中心点的位移求取平均值，作为整个图像窗口的位移d，从而根据记录的时间间隔Δt，得到整个图像窗口的光流，即水平和垂直方向的速度分量。
2.2 搜索策略
搜索策略选择的恰当与否对模板匹配的准确性和快速性都有很大的影响。有关搜索策略的研究主要是解决运动估计中存在的计算复杂度和搜索精度这一矛盾。最简单的模块匹配算法是全搜索算法(FSA)，即在一定的搜索范围内对所有可能的点进行逐点匹配。全搜索算法的计算量过大，并不适用于实际应用，因此，很多学者提出了许多快速算法。主要可以分为以下3类：(1)基于限制搜索范围的方法，典型方法有3步法，十字搜索法等；(2)基于减少每次匹配计算量的方法，如金字塔法和连续淘汰法等；(3)前两种方法的杂交算法。
搜索策略分2种情况：第一种情况为模板窗口选取后，第二帧图像中模板窗口的搜索匹配和第二帧之后序列图像模板窗口的搜索匹配。第一种情况采用两级搜索策略：粗检索和细检索2个阶段。首先，在粗检索阶段，不是让模板窗口每次都移动一个像素位置，而是移动若干个像素位置来与图像重叠进行匹配，从而求出对应窗口存在的大致范围。其次，只在该范围内让模板窗口每次移动一个像素来进行匹配，找出求和绝对误差(SAD)最小的位置，从而得到模板窗口的最优匹配点。从整体上来看，两级搜索使匹配次数大大减少、计算时间缩短，因此，实时性得以提高。第二种情况，即在选定模板窗口后得到的第二帧图像之后，采用基于Kalman预测的搜索策略，在由Kalman滤波给出的预测位置的一定区域内进行模板窗口匹配，减小搜索范围，提高实时性。
2.3 模板更新
模板更新，就是对模板数据进行必要的改变，以适应不断变化的运动物体和场景变化，其基本思想是利用当前帧的模板窗口图像作为下一个时刻的匹配模板，这样，就解决了窗口图像不断改变而模板不变的问题。但这个方法也有一个问题，更新后的模板和初始模板存在一定的误差，虽然很小，但是随着时间的推移，模板和图像之间的误差积累越来越大，如果超出了容错范围，就会出现图像漂移，也不能正常跟踪。所以，在模板更新的同时，要找到一个办法来不断减少误差积累，才能更好地实现预定窗口。因此，需要对当前图像进行二次匹配，一次是与更新后的模板，另一次是与初始模板，两次匹配得出两个误差p1、pn，这两个误差的差值如果大于某个阈值，将当前的模板作为下个时刻的模板，否则，用当前窗口图像作为下个时刻的模板。
假设模板更新发生在第n帧，而当前帧的模板为Tn(i, j)，根据下式计算相似度：
(8)
其中：pn是该时刻某一匹配窗口的图像与对应模板之间的差值，这个差值越小，证明该位置的图像数据和模板是最匹配的。W(x, p)是一个变形算子，具体形式如下：
(9)
x是在对应坐标点(i, j)的像素值；p=(p1, p2, p3, p4)T是一个向量；Tn(x)是该时刻的模板。
模板更新分如下几种情况：
(1)不需要更新
(10)
即当前帧与第1帧窗口模板完全匹配，不需要更新。
(2)一般的更新
(11)
在每一帧进行匹配计算后，就当前最佳匹配位置的图像数据代替原来的模板数据，达到更新效果。但是，这种做法会带来一个误差积累，随着时间的推移，可能会丢失目标物体，所以需要介绍下第3种策略。
(3)带误差修正的模板更新
对式(8)进行一定改进
(12)
在第n帧时，对应匹配点图像数据和初始模板数据的差值记作：p′n，计算公式如下：
(13)
与式(10)和(11)相比，式(12)和(13)中用gdmin代替argmin，gdmin是指梯度变化的一个衰减最小值。
如果满足式
，那么，
。否则，
。
这样，如果pn和p′n之间的绝对误差小于阈值ε，则证明当前匹配区域的图像和原始图像没有太大的偏差，可进行更新，否则，则认为当前匹配区域的图像和原始图像有一定的偏离，则保持上一帧的模板，不进行更新。
3 实验结果
以第2代深海集矿机“深海采矿中试系统抚仙湖综合试验”中拍摄的视频录像为研究对象，采用基于匹配的光流测速法分别进行低速和高速实验，验证算法的正确性、测量精度和实时性。
3.1 低速实验
低速实验结果见表1和图4。
摄像机标定的变换公式，计算出图像的实际移动速度，从而得到深海集矿机的行驶速度。
从实验结果可以看出，低速行驶下的速度测量准确度较高、且精度较高、实时性好，能够满足深海集矿机的测速要求。
3.2 高速实验
高速试验结果见表2和图5。
由摄像机标定的变换公式，计算出图像窗口的实际移动速度，从而间接得到深海集矿机的行驶速度。
从实验结果可以看出，高速行驶下的速度测量准确性也较高、精度较高、实时性好，能够满足深海集矿机的测速要求。
表1 低速实验时深海集矿机的行驶速度
Table 1 Speed of deep-sea mining machine under low-speed experiment
图4 低速实验时连续拍摄的9帧图像
Fig.4 Nine images of continuous shooting under low-speed experiment
表2 高速实验时深海集矿机的行驶速度
Table 2 Speed of deep-sea mining machine under high-speed experiment
图5 高速实验时连续拍摄的9帧图像
Fig.5 Nine images of continuous shooting under high-speed experiment
4 结论
从国内外研究现状和深海集矿机行走作业的环境图像特点出发，提出了基于匹配的光流测速算法，并将其应用于深海集矿机的视频测速中。根据深海集矿机行驶在高、低速情况下的录像，进行深海集矿机视频测速的低、高速实验。实验结果表明，基于匹配的光流测速算法能够准确地测量集矿机行驶的速度，且测速精度高、实时性好。
参考文献：
[1] 安福东. 机动车的几种测速方式原理及性能的分析比较[J]. 警察技术, 2003(3): 33-35.
AN Fu-dong. Comparison among several vehicle-testing methods[J]. Police Technology, 2003(3): 33-35.
[2] 童剑军, 邹明福. 基于监控视频图像的车辆测速[J]. 中国图像图形学报, 2005, 10(2): 192-196.
TONG Jian-jun, ZOU Ming-fu. Speed measurement of vehicle by video image[J]. Journal of Image and Graphics, 2005, 10(2): 192-196.
[3] 陈震. 图像光流场计算技术研究进展[J]. 中国图像图形学报, 2002, 7(5): 434-439.
CHEN Zhen. The research of image optical flow estimation[J]. Journal of Image and Graphics, 2002, 5(5): 434-439.
[4] Nagel H H, Enkelmann W. An investigation of smoothness constraints for the estimation of displacement vector fields from images sequences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8: 565-593.
[5] Keraner J K, Thompson W B, Boleyn D L, Optical flow estimation; an error analysis of gradient-based methods with local optimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9: 229-244.
(编辑 陈卫萍)
收稿日期：2011-06-15；修回日期：2011-07-15
基金项目：国际海底区域研究开发“十五”项目(DY105-03-02-06)；国家自然科学基金资助项目(60505018)
通信作者：王随平(1956-)，男，河南焦作人，博士，教授，从事人工智能、深海机器人、现场总线及计算机控制系统等研究； E-mail: wangsp@csu.edu.cn
摘要：针对目前深海集矿机齿轮测速系统存在的问题，在分析和研究集矿机行走环境的图像特点的基础上，提出利用集矿机行走过程中的监控图像对集矿机进行视频测速的测量新策略。采用基于匹配的光流法进行视频测速。对深海集矿机的视频测速技术进行深入的研究，提出了科学的视频测速算法，进行测速实验。实验结果验证了视频测速算法的正确性，表明该测速方法具有一定的精确度和实时性，具有较高的应用价值。
