没有独显也能跑的大模型JittorLLMs

没有独显也能跑的大模型JittorLLMs

JittorLLMs是Fitten公司推出的一款颠覆性的推理库,专为大模型设计。它在人工智能领域引起了关注,因为它极大地降低了硬件配置要求。

相比传统框架,JittorLLMs能够减少高达80%的硬件需求,甚至在没有独立显卡的情况下,只需2G内存就能运行大模型。这一特性使得每个人都能够在普通机器上轻松实现大模型的本地部署,无需昂贵的...

点击查看剩余70%

{{collectdata}}

网友评论