美团开源5600亿参数LongCat-Flash龙猫，与主流模型差距减少
9 月 1 日，美团正式发布并开源其首个大模型 LongCat-Flash-Chat（龙猫）。该模型采用创新性混合专家模型（MoE）架构，总参数达 5600 亿，却通过独特设计实现了计算效率与性能的双重优化。?
LongCat-Flash 的核心创新技术引人注目。其引入 “零计算专家 (Zero-Computation Experts)” 机制，可依据上下文需求，仅激活 186 亿至 313 亿（平均 270 亿）参数，实现算力的精准按需分配。同时，在层间铺设跨层通道，使 MoE 的通信和计算能大幅并行，极大提升训练和推理...
点击查看剩余70%
{{collectdata}}
网友评论