梯度下降及其衍生算法

在目标函数 \(\mathcal{J}(\boldsymbol{\theta})=\theta_1^2+9\theta_2^2\) 上比较 GD、Momentum、RMSprop 和 Adam 的参数更新路径。

优化路径
本次计算结果