ChatGPT的开源替代模型Dolly
ChatGPT 是一种专有的指令遵循模型，于 2022 年 11 月发布并风靡全球。 该模型是根据来自网络的数万亿个单词进行训练的，需要大量的 GPU 来开发。 这很快导致谷歌和其他公司发布了他们自己专有的指令遵循模型。 2023 年 2 月，Meta 向学术研究人员发布了一组名为 LLaMA 的高质量（但不是指令遵循）语言模型的权重，每个模型的训练时间超过 80,000 GPU 小时。 然后，在 3 月，斯坦福大学建立了基于 LLaMA 的Alphaca模型，但在一个包含 50,000 个类似人类的问题和答案的小型数据集上进行了调整，令人惊讶的是，它表现出了类似于 ChatGPT 的交互性。
今天我们要介绍的是 Dolly，这是一种构建成本低廉的 LLM，它展示了 ChatGPT 展示的令人惊讶的指令遵循能力。 虽然 Alpaca 团队的工作表明，最先进的模型可以被诱导为高质量的指令遵循行为，但我们发现，即使是具有更早架构的多年开源模型在微调时也会表现出惊人的行为 指令训练数据的小型语料库。 Dolly 的工作方式是使用来自 EleutherAI 的现有开源 60 亿参数模型，并使用来自 Alpaca 的数据对其进行轻微修改，以引发指令遵循原始模型中不存在的头脑风暴和文本生成等功能。
Dolly 的底层模型只有 60 亿个参数，而 GPT-3 中有 1750 亿个参数，而且已经使用了两年，它运行得如此之好尤其令人惊讶。 这表明，像 ChatGPT 这样的最先进模型的许多定性收益可能归功于指令跟踪...
点击查看剩余70%
{{collectdata}}
网友评论