LocalAI：基于REST API的本地推理工具，让你更接近AI，支持多种大型模型和更快的推理性能
LocalAI是一种基于REST API的本地推理工具，符合OpenAI API规范，可用于在本地或本地运行模型，支持多种大型模型，如llama.cpp、alpaca.cpp、gpt4all.cpp、rwkv.cpp、whisper.cpp、vicuna、koala、gpt4all-j和cerebras等。
使用C++绑定可实现更快的推理和更好的性能。 LocalAI最初由SpectroCloud OSS办公室的Mudler创建，其目标是让任何人都能够访问AI。首次加载后，它会将模型加载到内存中以进行更快的推理，并支持提示模板。
LocalAI是一个社区驱动的项目，使用C++绑定进行优化，基于用于音频转录的llama.cpp、gpt4all、rwkv.cpp、ggml、whisper.cpp和用于嵌入的bert.cpp。
LocalAI工作原理：
LocalAI与llama.cpp支持的模型兼容，还支持GPT4ALL-J和带有ggml的cerebras-GPT，还应该与StableLM和GPTNeoX ggml模型兼容，但还未进行测试...
点击查看剩余70%
{{collectdata}}
网友评论