\(\ell_1\) 与 \(\ell_2\) 惩罚直接加入训练目标，并且本应用只惩罚权重矩阵。AdamW 把权重衰减与 Adam 的自适应梯度更新分开，因此其“总目标”一栏与数据损失相同；权重衰减体现在参数更新中。所有偏置均不参与惩罚或衰减。