梯度下降算法研究综述

来源期刊：软件工程2020年第2期

论文作者：李兴怡 岳洋

文章页码：1 - 4

关键词：机器学习;多元线性模型;梯度下降算法;算法实现;优化算法;

摘    要：在机器学习领域中,梯度下降算法是一种广泛用于求解线性和非线性模型最优解的迭代算法,它的中心思想在于通过迭代次数的递增,调整使得损失函数最小化的权重。本文首先概述了基于多元线性模型的梯度下降算法;其次介绍了梯度下降算法三种框架,使用Python实现了自主停止训练的BGD算法;针对梯度下降算法存在的不足,综述了近三年算法优化的研究成果。最后,总结了本文的主要研究工作,对梯度下降优化算法的研究趋势进行了展望。