梯度检查与参数初始化
用中心差分核验后向传播，再观察不同初始化方法下信号怎样随网络深度变化。
中心差分梯度检查
初始化与信号传播
小型网络设置
样本量 \(n\)
输入维度 \(d^{[0]}\)
隐藏层宽度 \(d^{[1]}\)
差分步长指数 \(k\)（\(h=10^k\)）
随机种子
执行梯度检查
解析梯度与数值梯度的误差
每个参数位置的比较
中心差分用 $[\mathcal J(\boldsymbol{\theta}+h\boldsymbol{e}_j)-\mathcal J(\boldsymbol{\theta}-h\boldsymbol{e}_j)]/(2h)$ 近似第 $j$ 个参数分量方向的偏导数，其中 $\boldsymbol{e}_j$ 只有第 $j$ 个分量为 $1$。本页使用光滑的 tanh 隐藏层、sigmoid 输出层和稳定计算的二元交叉熵。步长过大时截断误差明显，过小时舍入误差可能增大。
网络与初始化设置
含参数的层数 \(L\)
输入维度 \(d^{[0]}\)
各层宽度
随机输入样本数
激活函数
ReLU
tanh
初始化方法
零初始化
过小高斯（标准差 0.01）
过大高斯（标准差 1）
普通 Xavier
fan-in 模式 He
fan-out 模式 He
随机种子
传播随机信号
逐层二阶矩
Expand
逐层统计结果
普通 Xavier 的方差为 $2/(d_{\mathrm{in}}+d_{\mathrm{out}})$；fan-in 模式 He 的方差为 $2/d_{\mathrm{in}}$；fan-out 模式 He 的方差为 $2/d_{\mathrm{out}}$。这些关系依赖零均值、近似独立等条件，图像用于诊断趋势，不是对任何训练任务的性能保证。