基于支持向量机的连续状态空间Q学习

田西兰¹，王雪松¹，程玉虎¹

(1.中国矿业大学,信息与电气工程学院,江苏,徐州,221116)

摘要:针对连续状态空间下的强化学习控制问题,提出一种基于支持向量机的Q学习方法.支持向量机不易陷入局部极小,且有优良的泛化性能,对系统状态-动作对的Q值进行估计计算,解决状态空间泛化中易出现的"维数灾"问题.引入滚动时间窗机制实现支持向量机的在线学习:系统实时检测得到的新数据若不包含新信息,则保持学习的样本集不变;若包含新信息,则滚动时间窗,更新样本集,从而更新支持向量机的回归模型,并对时间窗内的数据分配不同的权值以充分利用数据的信息.倒立摆平衡控制的仿真结果表明该方法能够有效解决具有连续状态的非线性系统的强化学习控制.

关键词:连续状态空间; 支持向量机; Q学习; 滚动时间窗; 在线学习;

【全文内容正在添加中】