微软开源了无需gpu在普通cpu运行千亿大模型的框bitnet.cpp

微软开源了无需gpu在普通cpu运行千亿大模型的框bitnet.cpp

800_auto

bitnet.cpp是一个在 CPU 上运行超大规模语言模型的高效框架。

该框架允许用户在本地设备上,无需 GPU 的帮助,运行拥有 1000 亿参数的大语言模型,实现了显著的速度提升和能耗降低。

传统的大型 AI 模型依赖于强大的 GPU 基础...

点击查看剩余70%

{{collectdata}}

网友评论