维普资讯 http://www.cqvip.com 第３６卷第７期 ２００２年７月 上海交通大学学报 Ｖｏ１．３６ Ｎｏ．７ ＪＯＵＲＮＡＬ ＯＦ ＳＨＡＮＧＨＡＩ儿Ａ０ＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ Ｊｕｌｙ ２００２ 文章编号：１００６—２４６７（２００２）０７—０９８０—０４ 评价神经网络拟合精度的另一个指标 徐力平， 张炎华 （上海交通大学信息检测技术及仪器系，上海２０００３０） 摘 要：在基于神经网络的故障检测中，要求神经网络拟合某特定动态系统时均方预测误差的均 值及其标准差均小，故在以均方预测误差的均值作为评价神经网络逼近特定动态系统性能的系统 化交叉证实法的基础上进行改进，以均方预测误差的均值和标准差两个指标评价神经网络逼近特 定动态系统性能．仿真结果证明，同时用两个指标不仅是可行的，而且比原系统化交叉证实法的选 择效果好． 关键词：神经网络；预测误差；均值；标准差 中图分类号：ＴＰ １８ 文献标识码：Ａ Ａｎｏｔｈｅｒ Ｃｒｉｔｅｒｉｏｎ ｔｏ Ｊｕｄｇｅ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｕ Ｌｉ—ｐｉｎｇ， ＺＨＡＮＧ Ｙａｎ—ｈｕａ （Ｄｅｐｔ．ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｎｓｔｒｕｍｅｎｔ，Ｓｈａｎｇｈａｉ Ｊｉａｏｔｏｎｇ Ｕｎｉｖ． Ｓｈａｎｇｈａｉ ２０００３０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｓｏｍｅ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ｓｕｃｈ ａｓ ｆａｉｌｕｒｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ｂｏｔｈ ｔｈｅ ａｖｅｒａｇｅ ａｎｄ ｔｈｅ ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ ｏｆ ｍｅａｎ ｓｑｕａｒｅｄ ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒｓ ａｒｅ ｎｅｅｄｅｄ ｔｏ ｂｅ ｓｍａｌ１．Ｔｈｉｓ ｐａｐｅｒ ｍｏｄｉｆｉｅｄ ａ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｃａｌｌｅｄ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ ｔｏ ｓｅｌｅｃｔ ｔｈｅ ｎｕｍｈｅｒ ｏｆ ｈｉｄｄｅｎ ｕｎｉｔｓ ｉｎ ｎｅｕ— ｒａｌ ｎｅｔｗｏｒｋｓ ｆｒｏｍ ｗｉｔｈ ｏｎｅ ｃｒｉｔｅｒｉｏｎ ｔｏ ｗｉｔｈ ｔｈｅ ｂｏｔｈ ｃｒｉｔｅｒｉａ．Ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔ ｓｈｏｗｓ ｔｈａｔ ｓｅｌｅｃｔｉｎｇ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｈｉｄｄｅｎ ｕｎｉｔｓ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｔｈｅ ｂｏｔｈ ｃｒｉｔｅｒｉａ ｎｏｔ ｏｎｌｙ ｉＳ ｆｅａｓｉｂｌｅ ｈｕｔ ａｌｓｏ ｉｍｐｒｏｖｅｓ ｔｈｅ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｍｏｒｅ ｏｒ ｌｅｓｓ． Ｋｅｙ ｗｏｒｄｓ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒｓ；ａｖｅｒａｇｅ；ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ 人工神经网络是高度复杂的非线性动力学系 统．神经网络的信息存储于连接权矩阵中，且存储区 等ｌ＿１ 利用泛函分析理论，证明了在很宽的条件下，具 有至少一层ｓ型神经元隐层的前传神经网络，用标 准ＢＰ算法经过足够的训练，能以任意精度逼近任 意函数及其各阶导数．Ｅｌｓｋｅｎｌ２ 证明了单隐层网络 为好，增加隐层可导致网络性能的下降，故通常用单 隐层的网络．本文分析了神经网络作为在线状态估 计器，用于故障检测时对神经网络的要求，简述了现 有的选择网络隐层神经元数的方法及其缺陷，提出 和操作区合为一体，这使得神经网络具有较大的信 息冗余和容错能力，能用于信噪比较低的场合．更重 要的是它具有学习能力，只要用采集到的能反映系 统先验知识的数据训练神经网络，就能把有关系统 的先验知识存储于神经网络的连接权矩阵中，自动 完成动态系统的建模，不需要由人建立系统的数学 模型．由于神经网络有如此突出的优点，使其在传感 器故障检测方面得到了越来越多的应用．Ｈｏｒｎｉｋ 收稿日期：２００１—０５—２８ 了同时用均方预测误差的均值和标准差作为选择的 指标，以改善选择的效果． １传感器故障检测对神经网络的要求 在基于神经网络的故障检测方法中，利用神经 作者简介：徐力平（１９５６），男，江苏溧阳人，博士生，主要从事 导航及控制研究． 维普资讯 http://www.cqvip.com 第７期 徐力平，等：评价神经网络拟合精度的另一个指标 ９８１ 网络有几种不同的方式ｌ＿３ ］．其中一种是利用神经 网络的函数逼近功能，以具有Ｓ型神经元隐层的多 的连接权值趋向于零，但并不真正将其除去，也不减 少神经元的数量． ＣＶ法是选择ＢＰ网络隐层神经元数比较适宜 的一种方法，它是基于数理统计的概念，通过比较具 有不同隐层神经元数的神经网络多次训练结果的证 层前传神经网络作为在线状态估计器，以各传感器 是一户至是时刻的读数形成的时间序列（或再加上系 统的输入）作为神经网络的输入，将其信息映射到时 间域得到其是＋１时刻读数的估计ｌ＿－］．根据预测值与 实际值之差是否超过某一预定的阈值判断传感器有 实误差的算术平均值确定孰优孰劣．用该方法选得 的ＢＰ网络不仅能较好地拟合训练集的数据，而且 无故障．其中神经网络的输入输出关系可表示为 （是＋１）＝＝＝ＮＮ（ ， （是），…， （是一户）， “（是＋１），…，“（是——，．）） （１） 此为对动态系统 （是＋１）一Ｆ（ （是），…， （是一户），Ｕ（是＋１）， …，“（是一，．）） （２） 的逼近．式中： （是＋１）为神经网络对 （是＋１）的估 计： （是一户），…， （是＋１）Ｅ Ｒ 为是一户至是＋１时 刻系统的输出（即传感器的读数）；Ｕ（是一，一），…，Ｕ（是 ＋１）ＥＲ 为是一，．至是＋１时刻系统的输入；Ｆ为函 数；Ｗ为神经网络的连接权矩阵；ⅣⅣ为神经网络 由输入向量导出输出向量的算法． 神经网络经过训练极小化ｌｌ （是＋１）一 （是＋ １）ｌ，建立起系统的神经网络预测模型，根据估计误 差 （是）一 （是）一 （是）ｌ或其函数是否超过某一 数值判定有无故障．一般认为无故障时的 （是）（是一 １，２，…）的均方值越小，神经网络对特定动力学系统 的拟合精度越高，判定有无故障的阈值就可定的越 小，可检出的故障则越小，故障检测灵敏度越高． 但是，如果均方估计误差很小，但估计误差平方 的标准差很大，则无故障时也会有一些估计误差超 过阈值导致虚警．若为了减小虚警概率提高检测阈 值，则降低了检测灵敏度，也即增加了漏检概率．因 此，衡量作为在线状态估计器用于故障检测的神经 网络对特定动力学系统拟合精度的指标，除了均方 估计误差外，还应加上估计误差平方的标准差． ２选择神经网络结构的方法 现有的选择神经网络结构的方法可大致分为两 类：①使神经网络的结构从大到小，如ＷＤ（Ｗｅｉｇｈｔ Ｄｅｃａｙ）法 和ＣＳＤＦ（Ｃｏｎｖｅｒｇｅｎｃｅ Ｓｕｐｐｒｅｓｓｉｏｎ Ｄｉ— ｖｅｒｇｅｎｃｅ Ｆａｃｉｌｉｔａｔｉｏｎ）法 ］；②使神经网络的结构从 小到大，如系统化的ＣＶ（Ｃｒｏｓｓ Ｖａｌｉｄａｔｉｏｎ）法ｌ－８］．从 大３，１／１，的方法是训练一个比需要的结构大的神经网 络。在训练的过程中除去多余的连接和神经元．在此 类方法中，或是除去那些对误差方程影响最小的连 接或神经元，即修正已训练好的神经网络结构；或是 在目标函数中加入惩罚项，在训练过程中使不必要 对同一系统训练集以外的数据也能较好拟合，这在 许多神经网络的应用中都是必须的．ＣＶ法能与任 何神经网络训练算法配合使用，它把样本数据集均 分为 个子集，每次抽出一个子集，用剩余的 ～１ 个子集的数据训练神经网络，由抽出的那个子集得 到均方预测误差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｅｒｒｏｒｓ， ＭＳＰＥ）．这样依次得到 个ＭＳＰＥ．定义这 个 ＭＳＰＥ的算术平均值为交叉证实误差Ｅｃｖ，即 １ Ｅｃｖ一 —＞：ＭＳＰＥ —（３） ｍ＝ｌ 以Ｅｃｖ作为衡量该神经网络拟合某动态系统性能的 标准． 系统化的方法就是从明显偏少的隐层神经元个 数开始，每次增加一个，用上述方法计算Ｅ 、，，并与 前一个Ｅ 、，比较，若新增隐层神经元后Ｅ 、，减小，则 接受这一新增隐层神经元，再增加一个隐层神经元 重复选择过程，直到有 ＋１个隐层神经元的Ｅ 、，值 大于有 个隐层神经元的Ｅ 、，值，于是，选定隐层神 经元为 个． 由于受神经网络初始化时随机因素的影响，用 这些方法选择所得的仿真结果均为既有大于也有小 于所需结构的，ＣＳＤＦ法还偶有不收敛的情况发生． ３选择神经网络结构时的评价指标 以神经网络作为在线状态估计器的故障检测方 法，不仅要求神经网络逼近某特定动态系统的均方 预测误差的均值要小，还要求均方预测误差的标准 差也要小．为此，本文通过改进系统化的ＣＶ法尝试 了在选择神经网络的结构时同时用这两个指标决定 取舍． 系统化的ＣＶ法以ＭＳＰＥ的算术平均值Ｅ 、，随 隐层神经元个数增加的变化趋势选择神经网络的隐 层神经元个数．如果ＭＳＰＥ的标准差 具有与 Ｅ 、，类似的变化趋势，则同时根据Ｅ 、，和Ｏ＇ＭＳＰＥ随隐层 神经元个数增加的变化趋势选择神经网络的隐层神 经元个数将是可能的． 为了验证是否可行，本文试用某船上平台罗经 的一段实航数据，进行了选择神经网络隐层神经元 维普资讯 http://www.cqvip.com ９８２ 上 海 交 通 大 学 学 报 第３６卷 隐层单元数 １ ２ ３ ４ ５ ６ ７ ８ ９ １０ 表２第２次选择中不同隐层神经元数的神经网络ＭＳＰＥ的均值和标准差 Ｔａｂ．２ Ｔｈｅ ｓａｍｐｌｅ ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ ａｎｄ ａｖｅｒａｇｅ ｏｆ ＭＳＰＥ ＶＳ ｈｉｄｄｅｎ ｕｎｉｔｓ ｉｎ ｔｈｅ ２ｎｄ ｓｅｌｅｃｔｉｏｎ （。） 隐层单元数 数的仿真．由于在线状态估计器是用时间序列中前 面的数据进行训练，对后面的数据进行估计，因此在 仿真时未采用把样本均分为Ｍ份的方法，而是固定 以前一部分作为训练集，后一部分作为证实集．以不 同的随机初值重复训练Ⅳ次，由这Ⅳ次的ＭＳＰＥ 计算Ｅｃｖ，并同时计算 ｓ 另外，由于原系统化的 交叉证实法多次选择的结果可能不一致，为了解 Ｅｃｖ和 ｓ 随隐层神经元数增加的变化趋势，未在 Ｅ 开始增加时立即停止． 仿真是用平台罗经读数时间序列中１～１ ０００ 的数据作为训练集，１ ００１～１ １００的数据作为证实 集．神经网络的输人为愚一Ｐ至是的方位角增量、横 摇角和纵摇角，输出是对愚＋１时横摇角的估计．考 虑到原方法中把样本数据均分为Ｍ个子集时受样 图１ 均方预测误差的均值、标准差与隐层 神经元个数的关系 Ｆｉｇ．１ Ｔｈｅ ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ ａｎｄ ａｖｅｒａｇｅ ｏｆ ＭＳＰＥ ＶＳ ｔｈｅ Ｎｏ．ｏｆ ｈｉｄｄｅｎ ｕｎｉｔＳ 本大小的限制，Ｍ的取值不可能大，因此取Ｎ一１０． 设定输入延迟Ｐ一４，以不同的伪随机种子数选择了 ２次，以原方法的选择标准得到两个不同的结果（见 表１、２），第１次为４个隐层神经元，第２次为５个隐 层神经元． 选择２次就出现不同的结果，这表明出现不同 变化幅度较大，其值在一定范围内的随机波动对其 排序的影响就小一些．这２次选择中， 的值第１ 次由下降转为上升点（也是其最小点）皆是隐层神经 元数为６．由此可以推断，若分别以＆ 和Ｏ＇ＭＳＰＥ作为 评价指标所得结果不一致，则Ｎ过小，所得结果不 可靠．将Ⅳ增大至１００，选择３次，第１次开始时伪 随机数发生器为初始状态，第２、３次用系统时间的 函数设置伪随机数发生器，数据见表３．Ｎ一１００时 对应于Ｅ 最小的隐层神经元数第１次和第３次均 为８，第２次为７；而 ｓ ３次均为８，但它们都不是 第１次由减小到上升的转折点．另外，＆ 与Ｏ＇ＭＳｐＥ之 和最小３次对应的隐层神经元数均为８． 由此可见，改进的系统化的交叉证实法，以＆ｖ 的选择结果不是小概率事件．本文注意到在选择过 程中，对应于同样数量隐层神经元的网络，其１０次 训练完成时的１０个ＭＳＰＥ的离散程度随着隐层神 经元个数的增加由较大到较小再逐渐增大．为了直 观起见，图１绘出了第１次选择过程中隐层神经元 个数从１～３Ｏ对应的Ｅｃｖ和 Ｍｓ ｅ的变化曲线．由图 １可见，Ｏ＇ＭＳＰＥ与 随隐层神经元个数变化的趋势基 本一致，而且 ｓｒ 的变化更明显，因而 Ｍｓｒ 可以与 和Ｏ＇ＭＳＰＥ作为评价指标，若Ｅｃｖ最小和Ｏ＇ＭＳＰＥ最小对应 Ｅ 一起作为选择神经网络结构时的评价指标． 仅用Ｅ 、，作为评价指标时，两次选择就出现不 同的结果显然是由于Ｎ一１０时样本容量太小导致 同一隐层神经元数，则得到选择结果；若不一致，则 增大Ⅳ重新选择；若因故无法增大Ⅳ，则以Ｅｃｖ与 Ｏ＇ＭＳＰＥ之和最小对应的隐层神经元数作为选择结果． 由于Ｅ 、，和Ｏ＇ＭＳＰＩ￣最小点不一定是第１次由减小到上 样本均值随机性过大，而 因随隐层神经元数的 维普资讯 http://www.cqvip.com 第７期 徐力平，等：评价神经网络拟合精度的另一个指标 ９８３ 升的转折点，因此不能在Ｅ 、，或Ｏ＇ＭＳＰＥ一有反弹时就 ３６９—３８５． 结束，而是以Ｅｃｖ或Ｏ＇ＭＳＰＥ连续大于其最小值次数之 和达到某个设定值时结束． ［３］ Ｎａｒｅｎｄｒａ Ｋ Ｓ，Ｍ ｕｋｈｏｐａｄｈｙａｙ Ｓ．Ｉｎｔｅｌｌｉｇｅｎｔ ｃｏｎｔｒｏｌ ｕｓｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ Ｍａｇａｚｉｎｅ，１９９２，１２（２）：１１—１８． ４ 结 语 本文在原用均方预测误差的均值作为评价神经 网络逼近特定动态系统性能指标的基础上，加上均 方预测误差的标准差共同作为评价神经网络逼近特 定动态系统性能的指标既是某些神经网络应用所需 要的，也是可行的．而且，采用这两个指标作为选择 神经网络隐层神经元数的择优标准，其效果比原系 统化交叉证实法要好． 参考文献 ［１］Ｈｏｒｎｉｋ Ｋ，Ｓｔｉｎｃｈｃｏｍｂｅ Ｍ，Ｗｈｉｔｅ Ｈ．Ｕｎｉｖｅｒｓａｌ ａｐ一 ｐｒｏｘｉｍａｔｉｏｎ ｏｆ ａｎ ｕｎｋｎｏｗｎ ｍａｐｐｉｎｇ ａｎｄ ｉｔｓ ｄｅｒｉｖａ— ｄｕ Ｓ Ｒ，Ｚａｆｉｒｉｏｕ Ｅ，ＭｃＡｖｏｙ Ｔ Ｊ．Ｕｓｅ ｏｆ ｎｅｕｒａｌ ［４］ Ｎａｉｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｎｓｏｒ ｆａｉｌｕｒｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ａ ｃｏｎｔｒｏｌ ｓｙｓ ｔｅｍ［Ｊ］、ＩＥＥＥ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ Ｍａｇａｚｉｎｅ，１ ９９０，１ ０ （３）：４９—５５． ｒ ５］ Ｎａｐｏｌｉｔａｎｏ Ｍ Ｒ，Ｎｅｐｐａｃｈ Ｃ，Ｃａｓｄｏｒｐｈ Ｖ，ｅｔ ａ１． Ｎｅｕｒａｌ—．ｎｅｔｗｏｒｋ——ｂａｓｅｄ ｓｃｈｅｍｅ ｆｏｒ ｓｅｎｓｏｒ ｆａｉｌｕｒｅ ｄｅ ｔｅｃｔｉｏｎ，ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ａｎｄ ａｃｃｏｍｍｏｄａｔｉｏｎ［Ｊ］．Ｊｏｕｒ ｎａｌ ｏｆ Ｇｕｉｄａｎｃｅ，Ｃｏｎｔｒｏｌ，ａｎｄ Ｄｙｎａｍｉｃｓ，１９９５，１ ８ （６）：１２８０—１２８６． ［６］ Ｒｕｓｓｅｌｌ Ｒ．Ｐｒｕｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ——ａ ｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ ＮｅｕｒａＩ Ｎｅｔｗｏｒｋｓ，１９９３，４（５）：７４０— ７４７． ［７］ Ｓｙｏｚｏ Ｙ．Ｃｏｎｖｅｒｇｅｎｃｅ ｓｕｐｐｒｅｓｓｉｏｎ ａｎｄ ｄｉｖｅｒｇｅｎｃｅ ｆａ ｔｉｖｅｓ ｕｓｉｎｇ ｍｕｈｉｌａｙｅｒ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｎｅｕ— ｒａＩ Ｎｅｔｗｏｒｋｓ，１ ９９０，３（３）：５５１—５６０． ｃｉｌｉｔａｔｉｏｎ：ｍｉｎｉｍｕｍ ａｎｄ ｊｏｉｎｔ ｕｓｅ ｏｆ ｈｉｄｄｅｎ ｕｎｉｔｓ ｂｙ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔｓ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１９９７，１０（２）： ３５３—３６７． ［２］ Ｅｌｓｋｅｎ Ｔ．Ｅｖｅｎ ｏｎ ｆｉｎｉｔｅ ｔｅｓｔ ｓｅｔｓ ｓｍａｌｌｅｒ ｎｅｔｓ ｍａｙ ｐｅｒｆｏｒｍ ｂｅｔｔｅｒ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１９９７，１０（２）； ［８］ Ａｎｄｅｒｓ Ｕ，Ｋｏｒｎ Ｏ．Ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｉｎ ｎｅｕｒａｌ ｎｅｔ— ｗｏｒｋｓ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１９９９，１２（２）；３０９—３２３． 下期发表论文摘要预报 基于结构的神经网络在参数优化中的应用 乔俊伟， 施光林， 詹永麒 （上海交通大学机械工程学院，上海２０００３０） 摘 要：在对传统人工神经网络优化方法的认识基础上，针对复杂非线性系统的优化问题，提出一种基于结构的神 经网络优化方法．它将一个复杂系统转化为若干个较简单的子系统，分别建立各子系统的函数链神经元模型，然后 根据原系统的结构特点将它们连接起来构成一个基于结构的神经网络．网络权值与系统的结构参数相对应，具有 明确的物理意义，通过调整权值即可实现系统结构参数的优化．对Ｙ 一Ｈｃｌ０型先导式溢流阀的优化研究表明，该方 法为大型、严重非线性系统的结构参数优化提供了一条新的途径．
