微软开源了人人可以自己训练类似chatgpt的大模型应用的框架DeepSpeed Chat
DeepSpeed Chat基于微软的DeepSpeed深度学习优化库开发而成，具备训练、强化推理等功能，其使用了RLHF（基于人类反馈对语言模型进行强化学习）技术，可以将训练速度提升15倍以上，同时大幅降低成本。根据微软DeepSpeed组的官方介绍，DeepSpeed-Chat具有三大核心功能：简化ChatGPT类型模型的训练和强化推理体验、DeepSpeed-RLHF模块和DeepSpeed-RLHF系统。
在ChatGPT走向大众视野之后，大模型背后的算力和训练成本继而成为焦点。
在通用大模型训练方面，使用云计算时ChatGPT的训练成本约为170万美元，若自建AI算力中心进行模型训练，训练成本有望降至约51万美元；在大模型推理方面，使用云计算时的ChatGPT每处理1000Tokens信息需花费约0.177美分，自建AI算力中心有望将成本降至0.053美分。
今年3月1日，OpenAI...
点击查看剩余70%
{{collectdata}}
网友评论