【机器学习】TensorFlow (二)优化器Optimizer
发布日期:2024-04-07 浏览次数:
昨天整理了一下梯度下降算法及其优化算法,传送门:https://blog.csdn.net/zxfhahaha/article/details/81385130
那么在实战中我们如何用到这些优化器,今天就整理一下TensorFlow中关于优化器Optimizer的API。
首先要知道的一个类是tf.train.Optimizer,它是Optimizer的基类,这个类我们不会用到,主要用到的是它的子类,这些子类都可以对应到上一篇的梯度优化算法中的理论知识。
GradientDescentOptimizer是执行梯度下降算法GradientDescent的优化器,这个算法是最基础的梯度下降算法,我们知道梯度下降算法根据样本数量分为批量梯度下降算法(Batch Gradient Descent)、随机梯度下降算法(Stochastic Gradient Descent)和小批量梯度下降算法(Mini-batch Gradient Descent)。
那么这个GradientDescentOptimizer优化器会根据我们传入的data的大小成为上述三种的一种。
下面介绍一些这个类常用的方法: