RNN 沿时间展开后看起来包含多个单元，但所有时间步共享 \(\boldsymbol{W}_{xh}\)、\(\boldsymbol{W}_{hh}\) 和 \(\boldsymbol{b}_h\)。序列变长会增加计算次数，不会复制新的循环参数。隐藏状态是对历史信息的有限维摘要，不能理解为完整保存全部过去。本页取 \(d_x=1\)，所以每个输入 \(\boldsymbol{x}_t\) 都是只有一个分量的列向量。