aisuite - 吴恩达发布开源Python库,一个接口调用多个大模型
发布于 2024-11-26 · aisuite是开源的Python库,吴恩达(Andrew Ng)发布的,旨在提供一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,开发者能轻松切换和测试不同提供商的模型。
aisuite是什么
aisuite 是吴恩达(Andrew Ng)发布的开源 Python 库,做的是统一接口,一个口子调多家大型语言模型(LLM)服务。目前支持 OpenAI、Anthropic、Azure 等 11 个模型平台,切换和测试不同提供商的模型都省事。用的时候把 API 密钥配到环境变量里,就能访问和调用不同模型。多模型管理和测试的琐碎活儿少了很多。
aisuite的主要功能
- 统一接口设计:aisuite 提供了一个统一接口,不同大型语言模型(LLM)平台的模型,写法基本一样。
- 支持多个模型平台:支持 OpenAI、Anthropic、Azure、Google、AWS、Groq、Mistral、HuggingFace 和 Ollama 等多个模型平台。
- 简化模型切换:换个模型只改一个字符串,模型切换和对比测试都因此简单不少。
- 易于安装和配置:安装不复杂,准备好 Python 环境和对应的 API 密钥,一条命令就能装好。
- 主要关注聊天功能:目前它的重点在聊天功能上,之后计划扩展到更多场景。
- 扩展性:后续还会加更多功能模块,比如函数调用,实用性会更强。
- 使用HTTP端点或SDK调用:为了保证稳定性,aisuite 与提供商的调用走 HTTP 端点或 SDK。
aisuite的项目地址
如何使用aisuite
- 安装aisuite:用 pip 就能安装。
- 只装基础包、不带任何提供商的 SDK,用这条命令
pip install aisuite。 - 要某个提供商的支持,比如 Anthropic,就用这条命令
pip install 'aisuite (anthropic)'。 - 要把所有提供商的库都装上,用这条命令
pip install 'aisuite (all)'。
- 只装基础包、不带任何提供商的 SDK,用这条命令
- 获取API密钥:装好之后,需要给选用的提供商申请 API 密钥,再通过环境变量配置。
- 编写Python客户端:API 密钥配好,就可以用标准的 Python 客户端请求聊天补全等功能。下面是一个用 aisuite 生成聊天补全响应的示例代码:
import aisuite as ai client = ai.Client() models = ["openai:gpt-4o", "anthropic:claude-3-5-sonnet-20241022"] messages = [ {"role": "system", "content": "Respond in Pirate English."}, {"role": "user", "content": "Tell me a joke."}, ] for model in models: response = client.chat.completions.create( model=model, messages=messages, temperature=0.75 ) print(response.choices[0].message.content)
aisuite的应用场景
- 聊天补全功能:目前 aisuite 主要做聊天补全,开发者可以用统一接口调用不同模型生成回复。
- 模型对比测试:模型之间切换很快,只改一个字符串,比如从“openai:gpt-4o”换成“anthropic:claude-3-5-sonnet-20241022”,对比测试就这么简单。
- 个性化推荐和服务:分析用户行为和偏好之后,可以做个性化推荐,电商的商品推荐、社交媒体的社交推荐都用得上。
- 构建聊天UI界面:配合 Streamlit 这类工具,用 aisuite 能搭出简单的聊天 UI,用户交互这块的用法也就拓开了。






0 条评论
暂无评论,来抢沙发。