微软发布 BitNet b1.58 2B4T：20 亿参数的新型 1-bit 大语言模型
微软的研究人员开发了一种名为 BitNet b1.58 2B4T 的新型 1-bit 大语言模型（LLM），这是迄今为止规模最大的原生 1-bit 模型。
该模型拥有 20 亿参数，仅使用 0.4GB（约 409.6MB）内存，并且训练数据量达到 4 万亿 token。
BitNet b1.58 2B4T 在多项基准测试中表现出色，性能与传统全精度模型相当，同时在计算效率上具有显著优势。
核心特点
高效内存使用：BitNet b1.58 2B4T 的内存占用仅为 0.4GB，远低于其他类似规模的模型，例如 Googl...
点击查看剩余70%
{{collectdata}}
网友评论