huggingface推出离线调用的强大的ai模型库transformers,支持python、nodejs、浏览器运行

huggingface推出离线调用的强大的ai模型库transformers,支持python、nodejs、浏览器运行

transformers是一个非常流行的自然语言处理(NLP)工具库,提供了大量预训练语言模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。

800_auto

提供大量高性能预训练模型:包含了BERT、GPT、ELECTRA等知名模型在内的超过60,000个预训练模型,涵盖文本、图像、语音等领域。这些模型可以直接下载使用。

特点

统一的API:只需要学习3个类就可以使用所有的预训练模型。提供了从文本、图像、音频中提取embedding向量的pipeline。

跨框架支持:支持PyTorch、TensorFlow和JAX,可以灵活地在不同框架中使用同一模型。

模型轻松微调:只需要几行代码就可以在自己的数据集上微调这些模型,无需从零开始训练。

模型库:可以上传和分享自己微调的模型到官方的hub平台,也可以直接使用平台上其他人分享的模型。

文档丰富:提供了非常完善的文档和教程,包括API文档、任务示例、微调指南等,可以快速上手使用。

活跃社区:拥有庞大的用户和贡献者社区,代码开源,非常活跃。

安装使用

python安装

pip install transformers

nodejs安装

npm i @xenova/transformers

浏览器cdn引入

<script type="module">
    import { pipeline } from 'https://cdn.jsdelivr.net/npm/@xenova/transformers@2.4.2';
</script>

使用

语句感情分析

from transformers import pipeline

# Allocate a pipeline for sentiment-analysis
classifier = pipeline('sentiment-analysis')
classifier('We are very happy to introduce pipeline to the transformers repository.')
...

点击查看剩余70%

{{collectdata}}

网友评论