羊驼再度进化,"长颈鹿版"LongLLaMA 来啦,上下文长度冲向100K

羊驼再度进化,"长颈鹿版"LongLLaMA 来啦,上下文长度冲向100K

自然语言处理领域的一个关键瓶颈是模型的上下文长度,微软的LongNet 利用了1亿级别的上下文长度突破了这一限制。最近,基于LLaMA 模型的加长版LongLLaMA 问世,成功扩展了LLaMA 的上下文长度。800_auto

LongLLaMa 将LLaMA 的上下文长度扩展到了100k级别!它通过引入Focused Transformer(FOT)方法在保持模型性能的同时实现了这一目标。

在上下文长度增加的情况下,LongLLaMA 表现出了很好的准确率和稳定性。在长度为100k时仍保持94.5%的准确率,长度为256k时仍有73%的准确率。而原始的LLaM...

点击查看剩余70%

{{collectdata}}

网友评论