MADDPG算法经验优先抽取机制
来源期刊：控制与决策2021年第1期
论文作者：何明 张斌 柳强 陈希亮 杨铖
关键词：多智能体;深度强化学习;MADDPG;经验优先抽取;
摘 要：针对多智能体深度确定性策略梯度算法（MADDPG）学习训练效率低、收敛速度慢的问题,研究MADDPG算法经验优先抽取机制,提出PES-MADDPG算法.首先,分析MADDPG算法的模型和训练方法;然后,改进多智能体经验缓存池,以策略评估函数误差和经验抽取训练频率为依据,设计优先级评估函数,以优先级作为抽取概率获取学习样本训练神经网络;最后,在合作导航和竞争对抗2类环境中进行6组对比实验,实验结果表明,经验优先抽取机制可提高MADDPG算法的训练速度,学习后的智能体具有更好的表现,同时对深度确定性策略梯度算法（DDPG）控制的多智能体训练具有一定的适用性.
何明1，张斌1，柳强2，陈希亮1，杨铖1
1. 中国人民解放军陆军工程大学指挥控制工程学院2. 海军指挥学院
摘 要：针对多智能体深度确定性策略梯度算法（MADDPG）学习训练效率低、收敛速度慢的问题,研究MADDPG算法经验优先抽取机制,提出PES-MADDPG算法.首先,分析MADDPG算法的模型和训练方法;然后,改进多智能体经验缓存池,以策略评估函数误差和经验抽取训练频率为依据,设计优先级评估函数,以优先级作为抽取概率获取学习样本训练神经网络;最后,在合作导航和竞争对抗2类环境中进行6组对比实验,实验结果表明,经验优先抽取机制可提高MADDPG算法的训练速度,学习后的智能体具有更好的表现,同时对深度确定性策略梯度算法（DDPG）控制的多智能体训练具有一定的适用性.
关键词：多智能体;深度强化学习;MADDPG;经验优先抽取;
