aisuite - 吴恩达发布开源Python库,一个接口调用多个大模型

发布于 2024-11-26 · aisuite是开源的Python库,吴恩达(Andrew Ng)发布的,旨在提供一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,开发者能轻松切换和测试不同提供商的模型。

aisuite是什么

aisuite 是吴恩达(Andrew Ng)发布的开源 Python 库,做的是统一接口,一个口子调多家大型语言模型(LLM)服务。目前支持 OpenAI、Anthropic、Azure 等 11 个模型平台,切换和测试不同提供商的模型都省事。用的时候把 API 密钥配到环境变量里,就能访问和调用不同模型。多模型管理和测试的琐碎活儿少了很多。

aisuite的主要功能

  • 统一接口设计:aisuite 提供了一个统一接口,不同大型语言模型(LLM)平台的模型,写法基本一样。
  • 支持多个模型平台:支持 OpenAI、Anthropic、Azure、Google、AWS、Groq、Mistral、HuggingFace 和 Ollama 等多个模型平台。
  • 简化模型切换:换个模型只改一个字符串,模型切换和对比测试都因此简单不少。
  • 易于安装和配置:安装不复杂,准备好 Python 环境和对应的 API 密钥,一条命令就能装好。
  • 主要关注聊天功能:目前它的重点在聊天功能上,之后计划扩展到更多场景。
  • 扩展性:后续还会加更多功能模块,比如函数调用,实用性会更强。
  • 使用HTTP端点或SDK调用:为了保证稳定性,aisuite 与提供商的调用走 HTTP 端点或 SDK。

aisuite的项目地址

如何使用aisuite

  • 安装aisuite:用 pip 就能安装。
    • 只装基础包、不带任何提供商的 SDK,用这条命令pip install aisuite。
    • 要某个提供商的支持,比如 Anthropic,就用这条命令pip install 'aisuite (anthropic)'。
    • 要把所有提供商的库都装上,用这条命令pip install 'aisuite (all)'。
  • 获取API密钥:装好之后,需要给选用的提供商申请 API 密钥,再通过环境变量配置。
  • 编写Python客户端:API 密钥配好,就可以用标准的 Python 客户端请求聊天补全等功能。下面是一个用 aisuite 生成聊天补全响应的示例代码:
    import aisuite as ai
    client = ai.Client()
    models = ["openai:gpt-4o", "anthropic:claude-3-5-sonnet-20241022"]
    messages = [
        {"role": "system", "content": "Respond in Pirate English."},
        {"role": "user", "content": "Tell me a joke."},
    ]
    for model in models:
        response = client.chat.completions.create(
            model=model,
            messages=messages,
            temperature=0.75
        )
        print(response.choices[0].message.content)

aisuite的应用场景

  • 聊天补全功能:目前 aisuite 主要做聊天补全,开发者可以用统一接口调用不同模型生成回复。
  • 模型对比测试:模型之间切换很快,只改一个字符串,比如从“openai:gpt-4o”换成“anthropic:claude-3-5-sonnet-20241022”,对比测试就这么简单。
  • 个性化推荐和服务:分析用户行为和偏好之后,可以做个性化推荐,电商的商品推荐、社交媒体的社交推荐都用得上。
  • 构建聊天UI界面:配合 Streamlit 这类工具,用 aisuite 能搭出简单的聊天 UI,用户交互这块的用法也就拓开了。
0

相关文章

0 条评论

后参与评论

暂无评论,来抢沙发。