颠覆性的 LLM Groq发布,性能是 GPT-4 的 18 倍

颠覆性的 LLM Groq发布,性能是 GPT-4 的 18 倍

2024年刚过完年,生成式视频模型 Sora 的风潮尚未平息,高速语言推理模型 Groq 便脱颖而出。

全球首个突破性的大语言模型 (LLM) Groq 震撼亮相,其惊人的速度和性能将 AI 界推向新的高度。

Groq 是一家初创公司,其成员来自谷歌 TPU 团队的核心人员。这家公司推出了一款基于自研芯片的革命性推理加速大模型。

Groq 模型的试用速度接近 500 tokens/s,远超 GPT-4。其推理速度比英伟达的 GPU 快了 10 倍,但成本却只有 10%。

800_auto

创纪录的速度:

每秒处理 500 个 to...

点击查看剩余70%

{{collectdata}}

网友评论