Granite 3.1 - IBM 推出的新版语言模型

Granite 3.1是什么

Granite 3.1是IBM推出的语言模型，上下文处理能力更长。Granite 3.1模型家族有 4 种尺寸和 2 种架构：密集模型2B和8B参数，总共用 12 万亿个token训练。专家混合MoE模型：稀疏1B和3B MoE，激活参数分别是 400M 和 800M，总共用 10 万亿个token训练。Granite 3.1支持128K令牌的上下文长度，能处理复杂的文本和任务。Granite 3.1新加了嵌入模型，覆盖12种语言。Granite Guardian 3.1模型能检测功能调用里的幻觉，让工具调用更可控、更可见。

Granite 3.1的主要功能

• 扩展的上下文窗口：上下文窗口扩到128K令牌，模型能吃下更大的输入、做更长的连续对话，每次输出带进更多信息。
• 全新的嵌入模型：推出一批检索优化的Granite Embedding模型，参数从30M到278M不等，支持12种语言。
• 功能调用幻觉检测： Guardian 3.1 8B和2B模型加上了功能调用的幻觉检测，工具调用的代理更好控制、也更透明。

Granite 3.1的技术原理

• 大型语言模型（LLM）：基于大型语言模型，用深度学习和自然语言处理技术训练，能理解并生成自然语言文本。
• 变换器架构（Transformer Architecture）：用变换器架构，抓住文本里的长距离依赖。
• 上下文窗口（Context Window）：上下文窗口扩到128K令牌，模型能一次顾及更多信息，处理更长的文本、更复杂的任务。
• 多语言支持（Multilingual Support）：模型经过多语言训练，能处理12种语言的文本。

Granite 3.1的项目地址

• 项目官网：ibm-granite-3-1
• GitHub仓库：https://github.com/ibm-granite/granite-3.1
• HuggingFace模型库：https://huggingface.co/collections/ibm-granite/granite-31

Granite 3.1的应用场景

• 客户服务自动化：搭聊天机器人和虚拟助手，把客户咨询这些服务自动化，回得更快。
• 内容创作与编辑：帮内容创作者生成、修改、润色文本，比如文章、报告、营销材料。
• 企业搜索和知识管理：用语义搜索和向量搜索，把企业内部的知识检索做得更好，员工找资料更快。
• 语言翻译和本地化：用于翻译服务，以及跨国公司的本地化项目。
• 风险管理和合规性检查：在金融、法律领域帮着分析、看懂大量文档，做合规和风控。