IT之家今日（5月13日）消息，研究研究人员Sepp Hochreiter和Jürgen Schmidhuber在1997年共同提出了长短期记忆（Long short-term memory，推出LSTM）神经网络结构，经网I架可用来解决循环神经网络（RNN）长期记忆能力不足的构并问题。
而最近Sepp Hochreiter在arXiv上发布论文，行化提出了一种名为 xLSTM（Extended LSTM）的处理新架构，号称可以解决LSTM长期以来“只能按照时序处理信息”的研究“最大痛点”，从而“迎战”目前广受欢迎的推出Transformer架构。
据悉，经网I架Sepp Hochreiter在新的构并xLSTM架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，行化从而允许相关神经网络结构能够有效地利用RAM，处理实现类Transformer“可同时对所有Token进行处理”的研究并行化操作。
团队使用了150亿个Token训练基于xLSTM及Transformer架构的推出两款模型进行测试，在评估后发现xLSTM表现最好，经网I架尤其在“语言能力”方面最为突出，据此研究人员认为xLSTM未来有望能够与Transformer进行“一战”。
详情
