一种基于神经网络复杂度的修剪算法
来源期刊：控制与决策2010年第6期
论文作者：张昭昭 乔俊飞 韩红桂
文章页码：821 - 1654
关键词：修剪算法;神经复杂度;互信息熵;
摘 要：针对神经网络结构设计问题,提出一种基于神经网络复杂度的修剪算法.其实质是在训练过程中,利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度;在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点.该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构,并且避免了结构调整前的网络权值预处理.通过对典型函数逼近的实验结果表明,该算法在保证网络逼近精度的同时,可有效地简化网络结构.
张昭昭1,2，乔俊飞1，韩红桂1
1. 北京工业大学电子信息与控制工程学院2. 辽宁工程技术大学电子与信息工程学院
摘 要：针对神经网络结构设计问题,提出一种基于神经网络复杂度的修剪算法.其实质是在训练过程中,利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度;在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点.该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构,并且避免了结构调整前的网络权值预处理.通过对典型函数逼近的实验结果表明,该算法在保证网络逼近精度的同时,可有效地简化网络结构.
关键词：修剪算法;神经复杂度;互信息熵;
