消费级GPU微调大语言模型:QLoRa
大多数大型语言模型由于参数太多,无法在普通消费级GPU上进行微调。
例如,一个650亿参数的模型需要超过780 GB的GPU内存,相当于10个具有80 GB内存的A100 GPU。即使使用云服务,成本也不是每个人都能承受的。
QLoRa可以使用单个A100 GPU完成此操作。本文将介绍QLoRa,包括其工作原理以及如何使用它在GPU上微调一个200亿参数的GPT模型。
这可以确保内存要求较小,并且可以使用免费的Google Colab实例获得相...
点击查看剩余70%
{{collectdata}}
网友评论