SliceGPT:大型语言模型的巧妙瘦身术

SliceGPT:大型语言模型的巧妙瘦身术

SliceGPT是一种用于压缩大型语言模型(LLM)的方法,旨在降低模型训练和部署的成本。与传统的剪枝方法不同,SliceGPT通过删除权重矩阵中的行和列来降低网络的嵌入维度,同时保持模型性能。该方法基于Transformer架构中的计算不变性,使用正交变换和主成分分析(PCA)来实现。

800_auto

通过实...

点击查看剩余70%

{{collectdata}}

网友评论