LSTM
具有门控机制的循环网络，使其能够在更长的序列中保留信息。
概览
LSTM 是一种循环网络，其内部门控决定保留什么、写入什么以及输出什么，从而减缓信息在多个时间步上的衰减。它解决了普通循环网络会遗忘长序列开头部分的梯度消失问题。它之所以存在，是因为语言中许多有用的上下文距离被预测的 token 很远。在 attention 取代它之前，它一直是标准的序列模型。
技术图谱
LSTM 如何与技术栈的其他部分相连。
Evolution
- RNN architecture Algorithms LSTM extends RNN High ✓ source
替代方案
-
Transformer
architecture
LSTM 的替代方案 · source
对比
与上述替代方案的逐项对比。