LaMini-LM:一个从大语言模型指令集中蒸馏而来的多样性语言模型集合
我们开始介绍LaMini-LM之前，先说说什么是指令调优及知识蒸馏：
"指令调优"是NLP领域的一个新兴趋势。通过使用自然语言指令来微调语言模型,使语言模型可以对从未见过的任务做出响应。
"知识蒸馏"是一种将大模型的知识压缩到小模型的技术。最常见的方式是训练小模型以模仿大模型的输出或内部表示,从而获得类似的功能。
现有的大型语言模型(LLMs)在指令调优方面表现出强大的能力。但是,这些模型的参数超过数十亿,需要大量计算资源进行训练和推理。点击查看剩余70%
{{collectdata}}
网友评论