深层RNN层次化特征学习

观察多层RNN如何逐层提取更高层次的特征表示

h_t^(l) = f(W^(l)·[h_t^(l-1), h_{t-1}^(l)] + b^(l))
层1: 局部模式 | 层2: 组合模式 | 层3: 全局语义
点击模式按钮查看层次化特征
深层RNN通常2-4层, 过深仍面临梯度问题