DOI: 10.11817/j.issn.1672-7207.2018.01.016

一种改进的高斯混合模型煤矸石视频检测方法

程健^{1, 2}，王东伟¹，杨凌凯¹，张美玲¹，郭一楠¹

(1. 中国矿业大学 信息与控制工程学院，江苏 徐州，221116;

2. 江苏省矿山智能采掘装备协同创新中心，江苏 徐州，221116)

摘要：基于皮带运输机的监控视频，实现煤流中矸石的检测。由于皮带运输机视觉场景复杂、视频图像质量差，所以，采用改进的高斯混合模型提取视频背景，实现视频背景分离，从而实现煤矸石的检测和识别。为提高算法性能，采用粒子群优化算法对高斯混合模型参数进行优化与自整定。研究结果表明：所提算法对矸石的检测准确率达到95.83%，能够对皮带运输机上的煤矸石实现有效检测，为提高煤炭质量、保证皮带运输机安全运行提供有效保障。

关键词：皮带运输机；高斯混合模型；粒子群优化算法；煤矸石检测

中图分类号：TP391        文献标志码：A         文章编号：1672-7207(2018)01-0118-06

An improved Gaussian mixture model for coal gangue video detection

CHENG Jian^{1, 2}, WANG Dongwei¹, YANG Lingkai¹, ZHANG Meiling¹, GUO Yinan¹

(1. School of Information and Control Engineering, China University of Mining and Technology, Xuzhou, 221116, China;

2. Collaborative Innovation Center of Intelligent Mining Equipment, CUMT, Xuzhou, 221116, China)

Abstract: A new approach was put forward to realize the detection of coal gangue via the monitoring video of conveyer belt. Considering the complex scene and the poor video quality of the conveyer belt, coal gangue was detected and recognized by an improved Gaussian mixture model (GMM) which extracts and subtracts the background of the video. In order to improve the algorithm performance, the particle swarm optimization was employed to find the better parameters of GMM. The results show that the average discrimination ratio is 95.38%. The proposed method can effectively detect coal gangue in the coal flow on the conveyer belt, which is good for improving the quality of coal and the safe operation of conveyer belt.

Key words: conveyer belt; Gaussian mixture model; particle swarm optimization; coal gangue detection

随着计算机和多媒体技术的发展，机器视觉已在工业、农业、医学、航天、军事、安全等各个领域得到广泛应用^[1-2]。目标检测与跟踪是近年来机器视觉领域中备受关注的前沿方向^[3]，它从包含运动目标的图像序列中检测、识别并跟踪目标，并对其行为进行理解和描述。由于目标检测与跟踪技术潜在应用价值巨大，近年来受到广泛关注^[4]。煤矿安全生产和煤炭产品质量一直是煤炭行业备受关注的核心问题^[5]。煤矸石是影响煤炭质量的关键因素，同时也严重威胁皮带运输机的安全运行，比如过大的矸石极易损坏设备，甚至造成皮带撕裂、跑偏、堵煤等严重的生产安全事故^[6]。目前，国内大部分煤矿依旧使用人工排矸的方法。即安排数名工人在皮带两侧将较大的矸石挑出。人工排矸方法劳动强度大、生产效率低，因此，亟需一种自动化程度高、检测效果好的煤矸石检测方法。近年来，随着煤炭行业自动化与信息化的深入发展，国内大中型矿井都已经安装皮带运输机的集控系统和视频监控系统^[7]，可以在集控室对皮带运输机的生产状况远程监视。但是，主要还是依靠操作人员人工观测监控视频发现矸石，并未实现煤矸石的自动识别。本文旨在利用视频检测的原理实现皮带运输机上煤流中矸石的自动检测。煤矿皮带运输系统的视觉环境复杂、光照条件差、煤尘干扰明显，其视频监控系统获得的视频图像质量较差。采用传统的检测方法，如灰度阈值检测^[8]或边缘检测^[9]，有很大的局限性。由于光照问题产生的煤与矸石灰度值严重混叠现象，使基于灰度阈值的检测方法难以准确分割图像，极易产生误识别或者不识别。边缘检测虽然避免了灰度值混叠的问题，但该方法对煤尘、潮湿等因素造成的矸石颜色加深、边缘梯度不明显等问题无法有效解决。高斯混合模型^[10]使用多个高斯分布，对每一个像素点进行准确的量化描述并实时更新模型。该方法对每一个像素点独立检测，使用混合高斯分布提取视频背景，对视频进行背景分离，从而检测运动物体。高斯混合模型对背景实时更新及像素点独立检测的特性，使其不受煤矿井下复杂环境和照明的影响，反而表现出适应性和学习性^[11-12]。但是，高斯混合模型是一种参数化模型，其参数大小直接影响到视频背景建模和分离的效果，进而直接影响到视频检测的效率。因此，本文作者基于对煤矸石的视频特征进行详尽分析，提出基于高斯混合模型的煤矸石视频检测方法并通过粒子群算法^[13]实现模型参数寻优。

1  基于粒子群优化算法的改进高斯混合模型

1.1  基于高斯混合模型的运动检测

高斯混合模型是单高斯模型的拓展^[14-15]，在场景复杂、光照变化较大的场景下，图像背景点像素波动很大的情况下，单高斯模型难以准确地描述其概率密度函数。此时，需要使用多个高斯分布叠加来拟合其概率分布。高斯混合模型用多个模态精确量化事物，对复杂的背景有较强的适应性和抗干扰能力。高斯混合模型的每一个高斯分布都有1个权值，也就是说，高斯混合模型的实质就是n个单高斯模型的加权和^[10]：

          (1)

式中：为点处第k个高斯分布的权值。

在初始化高斯混合模型各项参数后，对每一个新读入的图像，使用式(2)进行匹配，其中，为该图像上的点与高斯混合模型均值差的绝对值：

             (2)

         (3)

若某一点成功匹配位于该点的任意1个高斯分布，则该点被判断为背景，否则判断为前景。

对于成功匹配了的点，该点所匹配成功的高斯分布进行如下更新^[10]：

           (4)

            (5)

  (6)

         (7)

否则减小高斯分布的权值：

          (8)

式中：a为学习速度，a越大，背景更新速度越快，但同时也易造成模型不收敛；为参数学习速度。

若某一点未能匹配所有高斯分布，则初始化1个新的模型取代权值最小的高斯分布，赋予较大方差和较小权值，将当前图像该点灰度值作为新模型的均值。

1.2  基于粒子群优化算法的改进高斯混合模型

由于高斯混合模型是参数化模型，其参数选择直接影响到建模的效果。近年来，基于EM算法的高斯混合模型参数优化^[16-17]受到广泛关注，但该方法收敛较慢，严重依赖初始值，容易收敛到局部最优解。因此，本文采用粒子群优化算法实现高斯混合模型的参数寻优。

KENNEDY等^[13]提出的粒子群优化算法，模拟鸟群觅食过程，通过鸟的集体协作，使群体达到最优。粒子群优化算法实现容易、精度高、收敛快。该算法的优化策略为2个动作的合成：1) 鸟群向距离食物最近的那只鸟飞行；2) 每只鸟向自身最优方向飞行。

粒子群即表示鸟群，每一个粒子表示1只鸟。设粒子群由m个粒子组成，搜索空间为N维空间，第i个粒子在N维空间的位置为，其飞行速度为，其历史最优位置为，粒子群的全局最优位置为。粒子的位置按照式(10)进行变新：

    (9)

                 (10)

式中：d=1, 2, …, N，i=1, 2, …, m；为惯性权重，较大，适合对解空间大范围查探；较小，适合小范围局部搜索；c₁和c₂为加速度因子，是常数；r₁和r₂为[0, 1] 之间的随机数。

粒子群中每一个粒子的初始位置和速度随机产生，按照式(9)、(10)迭代更新，当粒子当前位置的适应度优于其历史最优，则更新其历史最优位置，若当前粒子群最优位置优于全局最优位置，则更新全局最优位置p_g。

高斯混合模型主要有三项参数需要优化和设定，包括：高斯模型数目n，背景匹配阈值D，学习率ɑ。这3个参数通常是根据经验调整设定，具有很大的主观性，设定的参数往往不是最好的参数，并且在生产现场，参数需要根据不同监控视频的具体情况作出不同调整。而煤矿操作人员大多不了解程序与算法，整定高斯混合模型的参数对非专业的人员具有一定难度。为避免这些问题，同时获得最优检测效果，使用上述粒子群优化算法实现高斯混合模型参数的自整定与寻优，并将优化后的参数提供给高斯混合模型。

2  复杂环境下煤矸石视频检测

2.1  算法实现

煤矿井下环境复杂、光照条件差，更有大量水汽、煤尘影响，传统阈值处理和边缘检测的检测的方法有很大局限性，单高斯模型也难以精确拟合其概率密度函数。在皮带运煤过程中，虽然皮带和煤也和矸石一样运动，但皮带与煤颜色单一，灰度仅有细微变化，仍旧可以被高斯混合模型精确量化，所以，高斯混合模型对矸石的检测有很大的可行性。

皮带运输机监控视频质量较差，噪声大量存在，而高斯混合模型对每一个点独立检测的特性，使其对噪声点非常敏感。为减少噪声干扰，对原始图像进行高斯平滑，对平滑后的图像使用高斯混合模型建模，对前景进行检测。

矸石检测分为以下4步。

第1步：对原始图像f进行高斯平滑，减少噪声影响，得到平滑后的图像F。

第2步：对平滑后的图像序列F使用高斯混合模型建模，检测运动前景，对检测前景图像O进行闭操作，获得前景图像P。

第3步：去除由于煤流宽度变化产生的误检测。

在皮带运输机上，煤流的边缘是不规整的，宽度是实时变化的，这种变化必然被高斯混合模型判断为前景，为获得准确的矸石检测效果，这部分前景必须被去除。

从图1(a)可知：部分皮带的灰度与煤有明显差异，而有些区域由于光照问题，皮带与煤的灰度相近。虽然在煤与皮带灰度相近的区域，难以将皮带与煤区分开，但在该区域，当煤流宽度变化时，高斯混合模型也无法将其检测出来，所以，只需选择1个合适的阈值将可分开的区域分割，获得二值图像BW₁。再对该图像向外膨胀一像素，并去除面积小于S的连通域，获得二值图像BW₂。其中，S为皮带上矸石可能的最大面积。

对图像进行连通性检查，若前景图像P中某一连通域与BW₂中的连通域8连通，则将该连通域去除，获得图像Q。

图1  矸石检测示意图

Fig. 1  Schematic diagrams of coal gangue detection

第4步：去除单像素连通域，虽然在第1步中已经进行了高斯平滑，但检测结果中噪声点仍难以完全避免，将这些检测出来的离群噪声点去除即可。

2.2  参数优化与自整定

根据大量的实验分析，设定高斯混合模型参数的取值范围。n在[2, 6]间取整数，D∈[0, 10]，ɑ∈[0, 1]。粒子群规模取为20。每当粒子位置发生变化后，将该粒子的参数赋给高斯混合模型。高斯混合模型在经过15帧左右图像的训练后，对接来下的若干帧图像检测矸石。根据检测结果，返回该粒子的适应值：

1) 检测结果中若出现漏检，则该参数是失败的，返回适应度为0。

2) 若参数超过边界，则返回适应度为0。

3) 若不存在漏检，且参数未超过边界，则考虑检测效果和时间计算适应值f。设耗时t的检测结果中存在k个误检。误检越多，耗时越长，适应度越小。不失一般性，检测准确性比检测速度重要，应当在保证检测准确的条件下提高速度，所以，给准确率1个较大的权重，给时间1个较小的权重：

              (11)

在粒子群优化算法迭代完成后，高斯混合模型自动获取粒子群全局最优位置，开始进行煤矸石检测。

3  实验及分析

本文以平顶山煤业(集团)八矿己三皮带运输机的监控视频作为研究对象，在i5-4590 CPU，4G内存的台式机上通过Matlab R2012a编程实现。

3.1  参数优化与自整定

表1所示为粒子群优化算法寻优获得高斯混合模型参数。从表1可知：粒子群优化算法在第8次迭代时收敛，速度较快。图2所示为监控视频中不同采样时间的3帧图像及其处理结果。

在迭代完成后，自动将粒子群优化算法获得的全局最优解，将a=0.050 7，D=5.543 1，n=2赋给高斯混合模型进行煤矸石检测，检测结果如图2(c)所示，采用2.1节中所述方法处理后，最终检测效果如图2(d)所示。

3.2  煤矸石检测实验

本文还使用Canny算子检测矸石，并通过矸石与煤流边缘特征差异去除了煤流边缘，将检测结果与本文所述方法所得结果进行对比。

表1  粒子群算法优化高斯混合模型参数

Table 1  Optimization of GMM with PSO

1) 井下环境、设备复杂，诸如边缘检测、阈值处理等传统方法，必须避开各种干扰因素，为其人为标记出检测区域。当环境发生诸如相机角度、皮带偏移、异物闯入等细微变化，检测就会出问题。而高斯混合模型原理上与这些方法不同，高斯混合模型不仅不受其复杂背景影响，反而能通过更新模型，适应背景和光照的变化，具有更强的主检测能力。

2) 当矸石潮湿或者表面附着煤粉时，矸石颜色加深，与煤的视觉差异变得不明显，在图2(a)第3张图片中，皮带上有一块颜色与煤相近的矸石，高斯混合模型对其检测效果有所下降，而Canny完全没有检测到该矸石。

3) 高斯混合模型对细节表现良好，精细度高。在图2所示的3帧原图中，都有大量细小破碎的小矸石，实验发现高斯混合模型对小矸石很少遗漏，Canny算法遗漏较多。

由图2可知：本文方法检测结果中画面干净，矸石定位准确，与矸石形状轮廓接近。由于细微的小矸石过多，难以完全统计，且对皮带运行没有威胁，统计时不考虑这些过小的矸石，统计结果见表2。从表2可知：高斯混合模型的检测准确率达到95%左右。

图2  矸石检测

Fig. 2  Detection of coal gangue

表2  煤矸石检测准确率

Table 2  Accuracy of coal gangue detection

4  结论

1) 针对煤矿皮带运输机煤流中矸石检测的问题，本文提出了一种改进的高斯混合模型检测矸石，该模型通过粒子群优化算法寻找最优参数，实现高斯混合模型参数自整定，进一步提高了其自动化水平。

2) 该方法能够较好地处理皮带运输机视频的复杂场景，对场景表现出极强的适应能力，对煤矸石的视频特征十分敏感，具有较高的适应性和识别率，能够较好地满足生产现场的实际需求。接下来，将在提高高斯混合模型处理速度方面开展工作，提高其在生产现场中的实时应用能力。

参考文献：

[1] NANDI C S, TUDU B, KOLEY C. A machine vision-based maturity prediction system for sorting of harvested mangoes[J]. IEEE Transactions on Instrumentation & Measurement, 2014, 63(7): 1722-1730.

[2] IGATHINATHANE C, PORDESIMO L O, BATCHELOR W D. Major orthogonal dimensions measurement of food grains by machine vision using image[J]. Food Research International, 2009, 42(1): 76-84.

[3] MEHRABI A, MEHRSHAD N, MASSINAEI M. Machine vision based monitoring of an industrial flotation cell in an iron flotation plant[J]. International Journal of Mineral Processing, 2014, 133(10): 60-66.

[4] TISTARELLI M, BICEGO M, GROSSO E. Dynamic face recognition: From human to machine vision[J]. Image and Vision Computing, 2009, 27(3): 222-232.

[5] 孙继平. 煤矿安全生产监控与通信技术[J]. 煤炭学报, 2010, 35(11): 1925-1929.

SUN Jiping. Technologies of monitoring and communication in the coalmine[J]. Journal of China Coal Society, 2010, 35(11): 1925-1929.

[6] 王伟宁, 李林平. 皮带运输机故障检测系统的研究和应用[J]. 中国矿业, 2008, 17(9): 61-63.

WANG Weining, LI Linping. A studying and application about trouble detecting system of conveyer belt[J]. China Mining Magazine, 2008, 17(9): 61-63.

[7] 孟凡芹, 王耀才. 煤矿井下带式输送机煤流图像识别方法的研究[J]. 煤炭学报, 2003, 28(1): 91-95.

MENG Fanqin, WANG Yaocai. Study of the methods for recognizing the coal flow image of coalmine's conveyer belt[J]. Journal of China Coal Society, 2003, 28(1): 91-95.

[8] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66.

[9] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(1): 679-714.

[10] LI Qi, SHAO Chunfu, ZHAO Yi. A robust system for real-time pedestrian detection and tracking[J]. Journal of Central South University, 2014, 21(4): 1643-1653.

[11] TU Lifeng, ZHONG Sidong, PENG Qi. Moving object detection method based on complementary multi resolution background models[J]. Journal of Central South University, 2014, 21(6): 2306-2314.

[12] RADKE R, ANDRA S, AL-KOFAHI O, et al. Image change detection algorithms: A systematic survey[J]. IEEE Transactions on Image Processing, 2005, 14: 294–307.

[13] KENNEDY J, EBERHART R. Particles warm optimization[C]// Proceedings of 1995 IEEE International Conference on Neural Networks. Perth, Australia: IEEE Service Center, 1995, 4(8): 1942–1948.

[14] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]// Proceedings of the 12th IEEE Conference on Computer Vision and Pattern Recognition. Colorado, America: IEEE Computer Society, 1999, 2: 246–252.

[15] CHEN Zezhi, ELLIS T. A self-adaptive Gaussian mixture model[J]. Computer Vision & Image Understanding, 2014, 122(5): 35–46.

[16] BILMES J A. A gentle tutorial of the EM algorithm and its application to parameter estimation for gaussian mixture and hidden markov models[J]. International Computer Science Institute, 2000, 4: 2–15.

[17] DEMPSTER A. Maximum likelihood from incomplete data via the EM algorithm[J]. Journal of the Royal Statistical Society, 1977, 39(1): 1–38.

(编辑  杨幼平)

收稿日期：2017-01-12；修回日期：2017-03-19

基金项目(Foundation item)：国家重点研发计划项目(2016YFC0801406)；江苏省六大高峰人才项目(2017-DZXX-046)；中国矿业大学学科前沿研究专项(2015XKQY19) (Project(2016YFC0801406) supported by the National Key Research and Development Program; Project(2017-DZXX-046) supported by Six Talent Peaks Project in Jiangsu Province; Project(2015XKQY19) supported by Research Program of Frontier Discipline of China University of Mining and Technology)

通信作者：郭一楠，博士，教授，从事机器学习、计算智能、机器视觉与模式识别等研究；E-mail: guoyinan@cumt.edu.cn