梯度下降及其衍生算法
在目标函数 \(\mathcal{J}(\boldsymbol{\theta})=\theta_1^2+9\theta_2^2\) 上比较 GD、Momentum、RMSprop 和 Adam 的参数更新路径。
优化路径
本次计算结果
在目标函数 \(\mathcal{J}(\boldsymbol{\theta})=\theta_1^2+9\theta_2^2\) 上比较 GD、Momentum、RMSprop 和 Adam 的参数更新路径。