基于互信息的软测量变量选择
来源期刊:控制工程2012年第4期
论文作者:杨慧中 章军 陶洪峰
文章页码:562 - 1158
关键词:软测量;变量选择;最大熵;互信息;
摘 要:针对软测量建模中的变量选择问题,提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理,对软测量中各辅助变量和主导变量的概率分布进行估计,得到主导变量和各辅助变量间的互信息,这些互信息间接地反映了主导变量和各辅助变量间的相关性,包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息,重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本。用T检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理,并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明,基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点,并且有效地改善了模型的估计精度。
杨慧中1,章军1,陶洪峰1,2
1. 江南大学教育部轻工过程先进控制重点实验室2. 无锡威泰迅电力科技有限公司
摘 要:针对软测量建模中的变量选择问题,提出了一种结合信息论中最大熵和互信息的方法。该方法采用最大熵原理,对软测量中各辅助变量和主导变量的概率分布进行估计,得到主导变量和各辅助变量间的互信息,这些互信息间接地反映了主导变量和各辅助变量间的相关性,包括线性相关和非线性相关。然后产生随机样本并计算和主导变量间的互信息,重复多次该过程就可以得到一个无关变量和主导变量间的互信息样本。用T检验寻找一个阈值作为判断相关性的标准。对于互信息小于阈值的变量作不相关变量处理,并结合测试效果筛选出最佳的软测量辅助变量。仿真结果证明,基于互信息的软测量变量选择方法具有直观、简单实用和可靠性高的优点,并且有效地改善了模型的估计精度。
关键词:软测量;变量选择;最大熵;互信息;