基于RS与LS-SVM多分类法的故障诊断方法及其应用

蒋少华^{1, 2}，桂卫华¹，阳春华¹，戴贤江¹

(1. 中南大学 信息科学与工程学院，湖南 长沙，410083；

2. 韶关学院 计算机科学学院，广东 韶关，512024)

摘  要：针对密闭鼓风炉熔炼过程工艺复杂、工况变化较大的特点，提出应用粗糙集(RS)和最小二乘支持向量机(LS-SVM)进行鼓风炉故障诊断的方法。该方法首先利用RS对炉子的故障样本进行知识约简，获得各故障类型的征兆最小条件属性作为特征向量，然后，输入到由多个最小二乘支持向量机构成的多故障分类器中进行故障识别和分类。研究结果表明：该方法具有较强的泛化能力，诊断准确率达到90%以上。

关键词：粗糙集；最小二乘支持向量机；多类分类器；故障诊断

中图分类号：TP277       文献标识码：A         文章编号：1672-7207(2009)02-0447-05

Fault diagnosis method based on rough set and

least squares support vector machine and its application

JIANG Shao-hua^{1, 2}, GUI Wei-hua¹, YANG Chun-hua¹, DAI Xian-jiang¹

(1. School of Information Science and Engineering, Central South University, Changsha 410083, China;

2. School of Computer Science, Shaoguan University, Shaoguan 512024, China)

Abstract：Aiming at the complex and variable reaction of Pb-Zn smelting in imperial smelting furnace (ISF), a novel method for the furnace fault diagnosis based on rough set (RS) and least squares support vector machine(LS-SVM) was put forward. According to the method, the original fault examples were reduced by using the rough set theory to get a simple rule collection as eigenvectors, and then these eigenvectors were input into multiple fault classifiers of LS-SVM to identify faults. The experimental results show that the method has better classification performance and its classification precision reaches more than 90%.

Key words: rough set(RS); least squares support vector machine(LS-SVM); multi-class classifiers; fault diagnosis

近年来，人们对密闭鼓风炉的故障诊断进行了研究^[1-2]。但目前神经网络在网络结构选择、网络训练以及提高网络的泛化能力等方面还存在许多问题，限制了它在工程实际中的广泛应用。支持向量机(Support vector machine，SVM)是由Vapnik等^[3]在统计学习理论的基础上建立起来的一种机器学习方法。SVM通过结构风险最小化原理来提高泛化能力，较好地解决了小样本、非线性、高维数、局部极小等实际问题，已在模式分类、回归预测、概率估计以及故障诊断等领域得到应用^[4-6]。最小二乘支持向量机(Least squares support vector machine，LS-SVM)是基于SVM的一种改进算法^[7-9]，它是SVM在二次损失函数下的一种形式，用二次损失函数取代SVM中的不敏感损失函数，通过构造损失函数将原SVM中算法的二次寻优变为求解线性方程，降低了计算的复杂性。粗糙集(RS)是一种新型的数据处理分析方法，它的最大特点是可对数据进行信息约简，获得数据的核心知识。为降低支持向量机的训练难度，有效提高故障分类效率，本文作者将粗糙集和最小二乘支持向量机相结合建立密闭鼓风炉故障诊断模型。

1 粗糙集理论基础

Pawlak等提出的RS理论是用于研究不完整、不精确知识的表示、学习、归纳的新型数学方法，已在机器学习、模式识别等方面得到广泛应用^[10]。RS具有很强的定性分析能力，无需提供除数据以外的其他先验知识，对问题的不确定描述是客观的。

1.1  RS的信息表示

一个信息系统S可以表示为S=(U, A)，其中：U和A为非空有限集合，U为论域，A为属性集。对于每一属性，存在着属性值集合。若，且，其中C为条件属性集，D为决策属性集(一般D={d})，则称为决策系统。

1.2  RS的知识约简

知识约简是粗糙集理论的核心内容之一，是在保持知识库分类能力不变的条件下，删除其中不相关或不重要的知识。其中，约简和核是知识约简中的2个基本概念。约简是指可以找到一个较小的属性集，使得可用A描述的对象集合必然可用B描述，从而消除冗余属性。换句话说，约简是满足能够区分整个属性集的所有对象的属性极小子集。一个信息系统的约简未必是惟一的，可能存在多个约简集。所有约简的交集或约简中所有不可省略的关系的集合称为核。

约简的方法较多，但有的算法耗时较多。本文采用遗传算法对属性进行约简，以减少计算时间，提高计算效率。具体算法如下。

a. 参数编码^[11]。编码形式采用二进制编码位串表示，染色体每一位对应一个条件属性，基因0表示该属性不存在，基因1表示该属性存在。每个基因的长度等于条件属性的个数N。

b. 适应度函数。决策约简的目标是用尽量少的属性来区分尽可能多的个体。为了达到这一目的，适应度函数设计为：

。

式中：N为决策表中条件属性的个数；L(x)为候选约简x所涉及的属性数量；C(x)为采用的约简方法能区分的个体数目；m为决策表中所包含的个数总数。

该函数在考虑L(x)的长度尽可能小的同时，使区分的对象尽可能多。

2  LS-SVM诊断模型

2.1  LS-SVM方法

SVM^[12-14]的基本思想为：设样本集为S={(x_i, y_i)} (i=1, 2, …, l)(其中：x_i为输入矢量，y_i为对应的目标输出矢量，l为样本数)。首先，选择一个非线性变换，把该样本向量集从原空间映射到高维特征空间F，在F中构造最优线性决策函数：

。

式中：为超平面的权值矢量；b为偏置常数。

构造最优决策函数时，利用结构风险最小化原则寻找和b，同时引入间隔的概念，并巧妙利用原空间的核函数取代F的内积运算，避免了复杂计算。将式最小化(其中，为控制模型的复杂度；c为正规化参数；R_emp为误差控制函数)。

选取不同的损失函数，可构造不同形式的SVM。LS-SVM 选择了误差的二次项，其优化问题为：

min。

与SVM 不同的等式约束条件为：

，i=1, 2, …, l。

通过其对偶形式可求最优解。对偶形式可根据目标函数和约束条件建立拉格朗日函数：

。

其中：为拉格朗日乘子。根据库恩-塔克条件，有：

。

可得：

从而得到如下方程：

。          (1)

其中：；；；。

将式(1)消去和得：

。           (2)

式中：；；；；。

式(2)为一线性方程组，可用最小二乘法求出和b，由此得到分类决策函数为：

LS-SVM 将优化问题转化为求解一线性方程组，使得基于LS-SVM 的分类模型具有很强的泛化能力。另外，LS-SVM中的参数对算法性能有很大影响。若c取得小，则对样本数据的惩罚就小，使训练误差变大，算法泛化能力变强；若c取得大，则相应的权重就小，算法的泛化能力变弱。

2.2  LS-SVM参数选取

RBF核函数可以将样本非线性地映射到更高维的空间，与多项式核函数相比，只有较少的参数参与运算，减少了模型选择的复杂性，而Sigmoid 核函数在取某些参数值时则可能无效。因此，本文采用RBF函数作为核函数。在LS-SVM 算法中，规则化参数γ和RBF 核函数的标准化参数σ²一般都根据经验选取一个固定值，但针对不同的样本集，最优的参数值是变化的，因此，在一定程度上影响了故障诊断的正确率。

LS-SVM 的最佳参数选择是一个复杂过程。为了选择最佳调整参数，控制对分样本惩罚程度可调参数γ和径向基核函数参数σ²时，使用了网格搜索办法。具体步骤为：先给定2个调整参数较大的取值范围，γ均分为M份，σ²均分为N份，产生M×N 种参数组合。对这M×N种组合训练支持向量机获得最优调整参数，然后，以该最优参数为中心，重新给定每个参数一个更小的取值范围。重复上述过程，进一步优化调整参数。采用该方法可逐渐缩小范围，以找到合适的参数。在实践中，这种方法的使用效果较好。

2.3  LS-SVM多分类算法

SVM是一种泛化能力很强的分类器，它在解决小样本问题方面表现出许多特有的优点。对于多类模式识别问题，SVM可通过2类问题的组合来实现，通常有2种策略：“一对多”策略，即一个分类器将每一类与剩下的所有类别区分开来；“一对一”策略，即一个分类器将2种类别区分开来。但这2种方法将多类问题转换为两类问题求解时，往往会出现拒绝分类区。为了避免这种情况，Yuan等^[15]提出“一对其余”算法。

由于上述“1对其余”算法以多数出现的故障或较危险故障来优先考虑训练SVM，在一定程度上降低了训练、分类速度，为此，提出一种改进“1对其余”算法，即根据各类数据的中心距离，先对训练数据进行划分，再使用SVM进行分类，这样，大大减少了重复训练量^[16]。其具体过程如下：

a. 根据各类数据在特征空间中的中心距离，将样本数据按距离由远到近排序。

b. 从k类中选出距离最远的一类数据作为单独的一类，剩下的k-1类看作一类，使用SVM进行分类。分类后下一步不再考虑这单独的一类，而只考虑所合并的k-1类。

c. 从k-1类中选出中心距离最远的一类作为单独一类，再把剩下的(k-1)-1类看作一类，使用SVM进行分类。

d. 依此类推，直到只剩下最后2类判决为止。

3  诊断实例分析

3.1  密闭鼓风炉过程故障诊断的模型

以某冶炼厂的密闭鼓风炉故障数据进行诊断试验，利用收集到的故障明确的数据，采用RS和LS-SVM相结合的方法进行故障诊断研究。故障识别框图见图1，具体步骤如下：

a. 故障样本数据预处理。包括离散化和归一化 处理。

b. 构造故障样本的决策信息表。

c. 决策系统约简。通过属性约简，获得故障样本条件属性的多个约简和最小约简。

d. 建立多类LS-SVM故障分类器。构造多类LS-SVM的结构，并选择适当的核函数，用约简后的样本训练SVM。

e. 检验故障诊断效果。将检验样本输入训练好的SVM中查看诊断结果，以检验方法的有效性。

图1  基于RS与LS-SVM的故障识别框图

Fig.1  Structure of faults diagnosis system based on RS and LS-SVM

3.2  故障样本数据的粗糙集处理

根据现场调研和专家经验，密闭鼓风炉主要状态有5个：正常状态(d₁)、悬料(d₂)、炉渣粘结(d₃)、炉身结瘤(d₄)、炉顶结瘤(d₅)；在实际生产控制过程中，很多检测数据是反映密闭鼓风炉的生产状况的，实际能直接反映炉况的数据只有一部分。根据多年的生产情况和专家经验，这里选取主要的10种故障征兆(S1~S10) 对炉况进行诊断研究。

由于样本数据均是连续数据类型，采用等频率划分法将其离散化后得到故障征兆与相应故障之间的决策表，如表1所示。用遗传算法对决策系统进行约简，初始种群规模为80，最大迭代次数为200，交叉概率p_c=0.3，变异概率p_m=0.1，获得最优属性约简结果{S1，S8，S10}，把该结果作为LS-SVM的输入进行训练和分类。

表1  相应故障类型和故障征兆之间的决策表

Table 1  Decision table of faults and its features

3.3  基于LS-SVM的故障分类

将约简后的属性集合{S1，S8，S10}对应的数据训练构造LS-SVM故障分类器。由此可见，通过粗糙集约简后，LS-SVM的输入量由原来10个变为3个，大大降低了训练模型的复杂度。

3.3.1  核函数及其参数的选取

选用径向基核函数，采用网格搜索的方法确定最优模型参数σ²和误差惩罚因子γ，最优γ和最优σ²分别为10和0.1。

3.3.2  LS-SVM分类器的训练和测试

采用改进“1对其余”多支持向量机算法进行故障分类。将一种状态下的样本与其余状态样本进行组合，共构建4个支持向量机(SVM1～SVM4)。经过类中心距离划分，5类样本按距离由远到近的次序为：正常状态，悬料，炉渣粘结，炉身结瘤，炉顶结瘤。

把经过预处理后的最终决策表作为LS-SVM分类器的训练样本。然后，用训练好的LS-SVM分类器对测试样本进行测试。

3.3.3  试验结果的分析与比较

用BP神经网络和基于RS和LS-SVM 多分类算法产生检测器的故障诊断结果见表2，其中：A组和B 组分别表示测试样本为12组和18 组，N为训练次数；g为训练目标；ν为学习速率。

表2  诊断结果统计结果

Table 2  Statistical results of diagnosis

由表2可见，对于小样本，基于RS和LS-SVM 多分类方法效果比BP神经网络的效果好，且速度快。此外，核函数参数的选取对分类结果有影响，在实际应用中LS-SVM的多分类器应结合实际数据选择最优的参数值。

4  结  论

a. 提出了将粗糙集和最小二乘支持向量机相结合的故障诊断方法。该方法利用粗糙集进行属性约简，删除重复样本，达到了数据降维的目的，使样本更具有代表性。采用该方法只需少量训练样本，不必预先知道故障分类的先验知识，具有较强的推广能力。

b. 选用不同参数的LS-SVM分类器对分类准确率有影响。与常用的BP神经网络相比，基于LS-SVM的多故障分类器具有更强的分类能力，诊断准确率达到90%以上。

c. 采用所提出的故障诊断方法能够快速反映生产条件的变化，对炉子的故障有准确的识别能力，因而能正确指导现场人员操作，能保证密闭鼓风炉正常工作，提高铅锌冶炼的产量和质量。

参考文献：

[1] 刘晓颖, 桂卫华, 朱 爽. 铅锌冶炼过程的故障诊断神经网络专家系统[J]. 上海海运学院学报, 2001, 22(3): 97-99.
LIU Xiao-ying, GUI Wei-hua, ZHU Shuang. Fault diagnosis on neural network expert system for lead and zinc smelting process[J]. Journal of Shanghai Maritime University, 2001, 22(3): 97-99.

[2] 唐朝晖, 桂卫华, 吴 敏. 密闭鼓风炉铅锌熔炼的统计过程监测系统设计[J]. 计算机与应用化学, 2007, 24(2): 155-158.
TANG Zhao-hui, GUI Wei-hua, WU Min. Statistical monitoring system design for imperial smelting furnace of Pb-Zn smelting process[J]. Computers and Applied Chemistry, 2007, 24(2): 155-158.

[3] Vapnik V, Golowich S, Smola A. Support vector method for function approximation, regression estimation and signal processing[J]. Advances in Neural Information Processing Systems, 1996, 9(2): 281-287.

[4] 何学文, 赵海鸣. 支持向量机及其在机械故障诊断中的应用[J]. 中南大学学报: 自然科学版, 2005, 36(1): 97-101.
HE Xue-wen, ZHAO Hai-ming. Support vector machine and its application to machinery fault diagnosis[J]. Journal of Central South University: Science and Technology, 2005, 36(1): 97-101.

[5] Chen S, Samingan A K, Hanzo L. Support vector machine multiuser receiver for DS-CDMA signals in multipath channels[J]. IEEE Trans on Neural Networks, 2001, 12(3): 604-611.

[6] Melgani F, Bruzzone L. Classification of hyperspectral remote sensing images with support vector machines[J]. IEEE Trans on Geoscience Remote Sensing, 2004, 42(8): 1778-1790.

[7] Suykens J A K, Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300.

[8] Lukas L, Suykens J A K, Vandewalle J. Least squares support vector machines classifiers: A multi two-spiral benchmark problem[C]// Proceedings of the Indonesian Student Scientific Meeting. Manchester, 2001: 289-292.

[9] Suykens J A K, Lukas L, Vandewalle J. Sparse least squares support vector machine classifiers[C]// Proceedings of the European Symposium on Artificial Neural Networks(ESANN 2000). Bruges Belgium, 2000: 37-42.

[10] 刘 清. Rough集及Rough推理[M]. 北京: 科学出版社, 2003: 40.
LIU Qing. Rough sets and rough inference[M]. Beijing: Science Press, 2003: 40.

[11] 王文辉, 周东华. 基于遗传算法的一种粗糙集知识约简算法[J]. 系统仿真学报, 2001, 13(8): 91-96.
WANG Wen-hui, ZHOU Dong-hua. An algorithm for knowledge reduction in rough sets based on genetic algorithm[J]. Journal of System Simulation, 2001, 13(8): 91-96.

[12] Cortes C, Vapnic V. Support vector networks[J]. Machine Learning, 1995, 20(1): 1-25.

[13] Burges C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery, 1998, 2(2): 1-48.

[14] Vapnik V. Statistical learning theory[M]. New York: Willey, 1998.

[15] YUAN Sheng-fa, CHU Fu-lei. Support vector machines-based fault diagnosis for turbo-pump rotor[J]. Mechanical Systems and Signal Processing, 2006, 20(4): 939-952.

[16] JIANG Shao-hua, GUI Wei-hua, YANG Chun-hua, et al. Fault diagnosis of lead-zinc smelting furnace based on multi-class support vector machines[C]//Proceedings of the Sixth IEEE International Conference on Control and Automation. Guangzhou: 2007: 1643-1648.

收稿日期：2008-03-17；修回日期：2008-05-20

基金项目：国家自然科学基金重点资助项目(60634020)；国家自然科学基金资助项目(60574030)；教育部博士点科研基金资助项目(20050533016)

通信作者：蒋少华(1966-)，女，广西桂平人，博士研究生，高级工程师，从事智能控制、复杂过程故障诊断等研究；电话：0731-8830394；E-mail: sgjsh66@hotmail.com