教你在英伟达上通过api免费调用所有开源大模型
英伟达也搞了一个开源大模型平台，我们可以体验市面上主流的开源大模型，包括llama3、phi-3、gemma等，除了能体验，还能通过api进行调用，下面我们来分享一个怎么申请api调用开源大模型：
打开这个页面https://build.nvidia.com/explore/discover
右上角登录注册一下，然后点击llama3
看到通过api免费调用llama3的代码和获取key的提示
点击生成一个key，然后复制保存下来
然后就复制代码调用api key吧
from openai import OpenAI
client = OpenAI(
base_url = "https://integrate.api.nvidia.com/v1",
api_key = "申请的key"
)
completion = client.chat.completions.create(
model="meta/llama3-70b-instruct",
messages=[{"role":"user","content":"hello"}],
temperature=0.5,
top_p=1,
max_tokens=1024,
stream=True
)
for chunk in completion:
if chunk.choices[0].delta.content is not None:
print(chunk.choices[0].delta.content, end="")
{{collectdata}}
网友评论0