基于支持向量机的故障诊断方法

基于支持向量机的故障诊断方法

郑媛媛1，杨鹏2，冀香雅1

1东北电力大学自动化工程学院，吉林吉林（132012）

2东北电力大学理学院，吉林吉林 (132012)

E-mail: zhgynyn@126.com

摘 要：通过对支持向量机原理的分析，将凸壳理论用于基于支持向量机的故障诊断中，用凸壳顶点集来代替整个样本集来训练，运用实际数据进行仿真，仿真结果表明，本文方法在学习性能和推广性能方面与采用整个样本集基本相同，但降低了存储空间，提高了学习速度。 关键词：支持向量机；故障诊断；凸壳

1．引言

在现代化生产中，生产过程的任何故障不仅直接影响产品的产量和质量，而且还可能

造成严重的设备和人身事故。长期的生产实践使人们认识到，要使机组设备安全、可靠、有效地运行，充分发挥其效益，必须发展过程监测和故障诊断技术[1]。故障智能诊断技术代表了诊断技术的发展方向，其发展与人工智能技术的发展密切相关。

回顾诊断技术的发展历程，专家系统在诊断技术中的应用，为故障诊断的智能化提供了可能性，使诊断技术进入了新的发展阶段。但专家系统只是依赖于经验知识库，却不能创新和发展。由于人工神经网络具有很强的自学习能力，因此人工神经网络理论成为计算机与人工智能、认知科学等相关专业的新的研究热点，并且在故障智能诊断领域得到了较多的应用。人工神经网络的算法基础是传统统计学，传统统计学所研究的主要是当样本趋向于无穷多时的统计性质。但在现实问题中，样本的数目通常是有限的，因此需要学习机器具有较强的推广能力，即对符合某规律，虽然没有学习过的样本也能给出合理的结论。但神经网络算法对于当样本数有限的问题，训练效果良好的一个算法结构却可能表现出很差的推广能力，即所谓的神经网络过学习问题。并且人工神经网络仅仅试图使风险最小化，并没有使期望风险最小化，因而造成了推广性方面较为严重的缺陷。近年来，人们认识到神经网络的学习算法缺乏定量的分析与机理完备的理论结果，从而使新的学习算法的研究成为机器学习的研究热点和关键问题。

统计学习理论为解决小样本学习问题提供了统一的框架[2]。统计学习理论致力于寻求小样本情况下学习问题的最优解，而不需要利用样本数趋于无穷大的渐进性条件，因此适合于故障诊断这种小样本情况的工程实际问题。我们使用最热门的机器学习理论SVM建立分类器，它是建立在统计学习理论的VC维理论和结构风险最小化原理上的，根据有限的样本信息，在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推理能力。它可以从理论上保证由少数训练样本得到的分类超平面式最优的，其泛化错误通常来说比其他方法要低很多。

2．支持向量机理论

支持向量机（support vector machine，SVM）[3]是vapnik于1995年首先提出来的，近年来受到了广泛的关注，它在分类问题上，尤其是针对小样本问题表现除了优异的性能。支持向量机是建立在计算学习理论的结构风险最小化原理之上的。其主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两类分割，以保证最小的分类错误率，即统计学习理

- 1 -

http://www.paper.edu.cn

论的结构风险最小化。

SVM是一个现行分类面g(x)=(ω,x)+b，（(ω,x)是向量b和x的内积），使对于所有训练样本，有：||g(x)>=1||，满足上述条件的||ω||最小的分类面为最优分类面。在线性可分的情况下，可以假设线性分类面的形式为：

g(x)=ω󰀀x+b=0 (1)

将判别函数归一化，使得两类所有样本都满足g|(x)|=1，即

yi[(ω󰀀x+b)]−1≥0,i=0,1,2,L,n (2) 其中，yi=±1是样本的类别标记，是相应的样本。也就是使得离分类面最近的样本成立

|g(x)=1|，这样样本的分类间隔就等于X={x1,x2,L,xn}。设计的目标就是要使得这个

间隔值最小。由此可以定义Lagrange函数：

n

1

L(ω,b,α)=(ω󰀀ω)−∑αi(yi[(ω󰀀x+b)]−1) (3)

2i=1

其中αi>0为Lagrange乘数，对ω和b求偏微并令其为0，原问题转换成如下对偶问题： 在约束条件：

∑yαii=1

n

i

=0,αi≥0,i=0,1,2,L,n (4)

下对求解下列函数的最大值：

1n

Q(α)=∑αi−∑αiαjyiyj(xi󰀀xj) (5)

2i,j=1i=1

如果αi为最优解，那么：

*

n

n

ω=∑αi*yixi (6)

*

i=1

对于线性不可分的情况，可引入松弛因子，在求最优解的条件中加入对松弛因子的处罚函数。完整的支持向量机还包括通过核函数的非线性变化将输入空间变换到一个高维空间，然后在高维空间中求取线性分类面。

常见的核函数包括多项式核函数、径向基函数、Sigmoid函数等。最终判别函数只包括与支持向量的内积的求和，识别时计算复杂性只取决于支持向量的个数。

对于分类问题，并不是所有采集到的数据都是同等重要的，也就说有些数据携带的类别信息要多一些，甚至是起决定性的信息，有些却很少。这样就存在两个问题：哪些数据携带的类别信息较多；如何把这些重要数据提取出来。可以把样本数据集想象为某一样本空间中的点集，则样本数据中出现在越边缘的数据出现的概率越小，根据信息论，出现概率越小的样本所携带的信息量越大[4]。如果这个点集代表着某个类别，则点集的边缘点所携带的该类别的识别信息量越大，因此我们有理由认为点集的边缘点作为分类数据是可靠的。从这点出发，我们认为只要求出点集的边缘点，用这些边缘点作为支持向量机的输入数据求得的识别函数是可信的。下面通过对支持向量分类机的应用研究来印证这种思想。由于边缘点的数目往往是很少的，一般都大大少于样本总数。因此用边缘点来训练支持向量机，可大大的提高算法的速度样本点集的边缘点最典型就是它的凸壳的顶点，下面介绍凸壳相关的理论和算法。

- 2 -

http://www.paper.edu.cn

3．凸壳相关理论

3.1 凸壳基本概念

凸壳问题不仅是实际应用的中心问题之一，而且也是求解计算几何中提出的许多问题

的工具。对于凸壳问题尤其是其中的平面点集凸壳的计算已经有了广泛的研究和应用。在模式识别、图象处理、图形学和人工智能以及材料切割和分配等方面的许多实际问题都可以归纳成凸壳问题。从 20 世纪 60 年始，点集凸壳，尤其是关于平面点集凸壳的研究引起了有关学者们的广泛兴趣。

定义3-1 如果点集中任意两点间的连线段全部位于该点集中，则此点集称为凸的。凸集的形式定义如下：设S是平面上的非空点集，z1、z2是S中的任意两点，t是 0 与 1 之间的任意实数，则点 z=tz1+(1−t)z2(0定义3-2 平面点集S的凸壳是所有包含S的集合中的最小凸集。如图1所示，表示一个有限点集的凸壳。点集S的凸壳是S中若干点的所有凸组合的集合。对于d维中点集S，

S的凸壳是S的d+1(或更少)个点的凸组合的边界和，因此二维点集的凸壳至多是 3 个点的所有凸组合的情形。每个凸组合的集合确定了一个三角形，这样平面点集S中的凸壳是由S中的点确定的所有三角形的并的集合。

图1 凸壳的概念

点集S的凸壳是包含S的所有凸集的交，或者说凸壳S是所有包含S的半面的交。二维中的半空间是半平面，它是指位于一条直线上以及该线一侧的点的集合，这个概念可以推广到高维。集合的凸壳是封闭的并且包括内部的所有点的域，但在计算几何中，凸壳也可以被理解成为上述的域及其边界。

上述是凸壳的精确的数学定义，由定义可知，点集S的凸壳是包含S的最小凸集。若S是由平面中的有限点集组成，则想象有一条大的拉紧的橡皮圈围绕着该集合，当此圈松开时，就会出现凸壳的形状，如图2 所示。

- 3 -

http://www.paper.edu.cn

图2 凸壳如橡皮筋收缩的结果

定义 3-3 平面点集S的凸壳边界是一个凸多边形，其顶点为S中的点[7]，且凸壳边界具有如下性质：

1.凸壳边界是包围S的最小凸多边形P，即不存在多边形P'，使得S⊂P'⊂P成立。 2.凸壳边界是具有最小面积并且封闭的凸多边形，或是具有最小周长且封闭的凸多边形[6]。

3.2 最小凸壳顶点集的计算(训练阶段)

本文的设计目标之一，就是希望能够提高测试速度，而凸线性组合方法对每个测试样本均要重新计算组合系数，显然不适合本问题。测试点的投影到凸壳的距离可通过投影到凸壳顶点的距离来计算，同时，凸壳的顶点集相对于样本的投影集是稀疏的，可以有效地节省存储空间，更为重要的是，寻找凸壳顶点的工作完全可以在训练阶段完成。然而，常用计算凸壳顶点的算法存在如下问题：(1)局限于两维情况，无法推广到高维；(2)算法不能核化,无法推广到更高维的特征空间。本文提出的凸壳顶点的求解算法是直接针对超平面而设计的。

算法：计算超平面上凸壳顶点集

输入：投影集Pset={φ1,φ2,L,φn1}，投影平面φ(x)

p

p

p

T

1

ωφ−γ1=0；

PsetIndex={1,2,L,n1}；

输出：最小凸壳的顶点集Vset 算法步骤如下：

任取一点为定点(不(1) 先计算距离最远的两点x1和x2(可以证明此两点皆为凸壳顶点)，

过点x2(与下文对应,记为V1) 且以x1−x2为法线方向作一超平面(可以证明妨取x2为定点)。

除x2外,所有投影点均在此平面的同侧)，在该平面与投影平面(两平面垂直)的交线上任取异于x2的一点x0，记x0−x2为定方向；

(2) 计算除x2外的所有投影点与x2连线与定方向的夹角,选择夹角最小者对应的投影点(可通过内积表达),记为V2(也是凸壳顶点)；

(3) 以V2−V1为定方向,计算除V1外的所有投影点与V1连线与定方向的夹角，选择夹角最小者对应的投影点(可通过内积表达)为V3(凸点)；

(4) 令V1=V2，V2=V3，重复步(3),直到初始定点x2再次被选作凸壳顶点结束。

- 4 -

http://www.paper.edu.cn

4．仿真研究

4.1基于凸壳理论的支持向量机的性能

下面用实例来分析二维数据的支持向量分类机的学习。

此实例的核函数为径向基函数，带宽参数σ=1；在输入空间中求凸壳顶点集。学习结果如图3所示，不同颜色的点代表不同类别的样本点，学习后不同色区代表不同的类别，中间的白线就是所谓的最优超平面，它把二类划分开，白圈圈住的点为支持向量。

图3(a)用所有点学习的结果

图3(b)用顶点集学习的结果

根据图3，我们可以对比用所有样本数据和用凸壳顶点集数据的学习效果和学习性能。 表1列出用所有样本和用顶点集的支持向量机学习性能对比，SV表示支持向量。

表1学习性能

性能指标

用所有样本点

用顶点集

||ω*||2

几何间隔

SV个数及占总学习 样本数的比例 学习时间

83.2631 83.2631 0.201475 0.201475 3（11.1%）

3（20%）

0.262 0.104

对支持向量分类机的训练就是找出划分两类的最优超平面。对于规范化了样本数据，

b=0，所以决定超平面的是ω，也就是||ω*||2。只要||ω*||2的值相同，就说明划分超平面

- 5 -

http://www.paper.edu.cn

是相同的。观察上面两个实例的直观图像和性能指标，可发现支持向量分类机用顶点集学习的和用所有样本点学习得到的超平面是一样的，但前者学习时间要比后者少。

4.2 运用支持向量机进行故障诊断

生产过程中设备故障往往经历一个从产生到发展、从轻微到严重的渐变过程。故障产生后设备征兆参数的变化也要经历由不明显到明显、不完全到完全的时间过程。若能在故障刚刚萌芽、程度尚轻微时尽早地准确识别故障，则与常规故障较为严重时的诊断相比其意义更为明显，这就是轻微故障的诊断问题。若能在故障产生后的较短时间内，给出正确的诊断结果，为运行人员争取更多的故障处理时间和主动性，称之为早期故障诊断[7]。

以文献[8]的故障数据为仿真实验数据。对某汽轮机减速箱轴承运行状态进行监控，获取47组状态样本，通过维修人员检查，实验室放大镜检查，确定样本数据分别为故障、轻微故障及正常状态。样本数据为十维向量。

测试的方法是随机地从每一类中取出若干个样本作为学习集，支持向量分类机对这个学习集学习后，用所有的样本包含了学习集作为测试集。之所以采用所有的样本作测试集，是因为当采用松弛因子时允许支持向量分类机有错分，只有这样才能把学习时的错分样本也包含到学习效果评估中。在本次实验中对正常类和轻微故障类数据进行分析。在这里，求凸壳顶点和采用RBF核函数，也就是说这两个过程都在同一个特征空间中进行。由于样本是十维数据，不能直接观察到分类图像，所以只能用性能数据来分析。

表2 利用故障数据SVC测试实验结果

性能指标

用所有样本点

用顶点集

||ω*||2

几何间隔

SV个数及占总学习样本数的比例学习时间

40.465723 40.465723 0.293874 0.293874 6（13.3%）

6（13.3%）

0.152 0.108 表2的四项指标是指示学习结果的。从学习结果来看，和上小节的分析是一样的。而从推广能力来看，用凸壳顶点集训练的的推广能力和用所有样本训练时是相等的。用这个凸壳顶点集来训练的结果与用所有样本点来训练的的结果是很接近的，而在学习时间上前者比后者少。

5．结论

通过对支持向量机原理的分析，将凸壳理论用于基于支持向量机的故障诊断中，用凸壳顶点集来代替整个样本集来训练，从而在不降低学习性能和推广性能的情况下，降低了的存储消耗，也提高了学习速度。

- 6 -

http://www.paper.edu.cn

参考文献

[1] 王道平，张义忠．故障智能诊断系统的理论与方法[M]．北京：冶金工业出版社，2001． [2] VapNik V．N．The nature of statistical learning theory[M]．New York;Springer-Verlag，1995．

[3] Cristianini N，Shawe-Taylor J．An introduction to support vector machines and other kernel-based learning

methods[M]．Cambridge：Cambridge University Press，2000．

[4] 黄载禄，殷蔚华 著．通信原理[M]．北京：科学出版社，2005：pp63-88．

[5] 周培德 著．计算几何算法：设计与分析（第二版）[M]．北京；清华大学出版社，2005．

[6] Andrew A M．Another efficient algorithm for convex hulls in two dimensions [J]．Information Processing

Letters，1979(9)：216-219．

[7] 马良玉，王兵树，高建强，等．生产过程轻微和早期故障智能诊断的一种新方法[J]．中国电机工程学

报，2002，22（6）：115-118．

[8] 边肇祺，张学工．模式识别（第二版）[M]．北京：清华大学出版社，1999．

Fault Diagnosis Based on Spport Vector Machines

Zheng Yuanyuan, Yang Peng, Ji Xiangya

Jilin Northeast Dianli Univercity，Jilin，Jilin （132012）

Abstract

Through the analysis of SVM principle,convex hull theory based on support vector machines is used for the fault diagnosis, with acme-set of convex hull replacing the entire sample set to train, then,use actual data to do the simulation,the simulation results show that this method has the same Performance as learning by the entire sample set,but reduces the storage space and improves the learning speed. Keywords: support vector machine, fault diagnosis, convex hull

- 7 -