逻辑回归与 Softmax 回归

观察 Newton-Raphson 参数更新，并理解多分类概率的稳定计算。

逻辑回归：Newton-Raphson
Softmax 概率

训练数据与更新次数

训练样本数 $n$

类别重叠程度

Newton-Raphson 更新次数

随机种子

当前决策边界

目标函数与梯度范数

每次更新的结果

每次更新使用 $\boldsymbol\theta^{(t+1)}=\boldsymbol\theta^{(t)}-[\boldsymbol H_{\mathcal J}(\boldsymbol\theta^{(t)})]^{-1}\cdot\nabla_{\boldsymbol\theta}\mathcal J(\boldsymbol\theta^{(t)})$。程序实际求解 Hessian 线性方程，不显式计算逆矩阵；很小的对角稳定项只用于避免数值求解失败。

线性运算结果

类别 1 的线性结果 $z_1$

类别 2 的线性结果 $z_2$

类别 3 的线性结果 $z_3$

共同加上的常数 $c$

真实类别 $r$

类别概率与单样本交叉熵

稳定算法先计算 $\widetilde z_k=z_k-\max_j z_j$，再计算 $a_k=\exp(\widetilde z_k)/\sum_j\exp(\widetilde z_j)$。给全部 $z_k$ 加上相同常数不会改变概率；真实类别为 $r$ 时，单样本交叉熵为 $\mathcal L=-\log a_r$。