门控循环网络实验室

根据课程正文采用的 LSTM 和 GRU 约定,观察门值怎样控制旧状态保留、新信息写入以及跨时间的局部直接梯度路径。

图中的“局部直接路径乘积”只保留门产生的加性直连项:LSTM 使用 \(\prod_t f_t\),GRU 使用 \(\prod_t z_t\)。完整雅可比还包含门和候选状态对旧状态的导数,因此该曲线不能当作完整梯度,也不能据此断言门控网络一定能学习任意长依赖。
门值与状态
局部直接路径
逐时间步计算结果