Grok-2 - xAI公司推出的新一代AI模型

发布于 2024-08-14 · Grok-2是xAI公司推出的新一代AI模型，提供卓越的聊天、编程和推理能力。在学术基准测试中，Grok-2在GPQA、MMLU、MMLU-Pro和MATH等领域的表现超越了前代Grok-1.5，与行业前沿模型相媲美。

Grok-2是什么

Grok-2是xAI公司推出的新一代AI模型，聊天、编程和推理能力都不错。学术基准测试里，Grok-2在GPQA、MMLU、MMLU-Pro和MATH等领域的表现超过了前代Grok-1.5，追上了行业前沿模型。视觉任务MathVista和DocVQA上，Grok-2处在行业领先水平；xAI还和Black Forest Labs的FLUX.1模型合作，扩展了Grok-2的AI能力。接下来Grok-2和Grok-2 mini会通过新的企业API平台向开发者开放，API基于新的技术堆栈，支持跨区域低延迟访问。Grok-2模型现已开源，完整权重和详细部署指南都有提供。

Grok-2的功能特色

模型升级：Grok-2是xAI继Grok-1.5之后的新一代AI语言模型，性能提升明显。
聊天与推理：聊天、编程和推理上，Grok-2都拿出了前沿水准，对话理解和逻辑推理尤其明显。
性能测试：在LMSYS排行榜上，Grok-2用”sus-column-r”这个名义参与了测试，成绩好于Claude 3.5 Sonnet和GPT-4-Turbo。
学术基准：GPQA、MMLU、MMLU-Pro、MATH等多个学术基准上，Grok-2的性能和行业顶尖模型在一个水平线上。
视觉任务：视觉数学推理(MathVista)和文档问题回答(DocVQA)这两类视觉任务上，Grok-2的性能在行业里领先。
实时信息集成：Grok-2能把𝕏平台的实时信息接进来，用户体验更丰富。
企业API：Grok-2会通过xAI新的企业API平台提供，全球多区域都能低延迟访问。
多模态：xAI计划给Grok-2加上多模态理解，同时在𝕏和API里提供更多AI特性。

Grok-2的性能指标

学术基准测试表现：Grok-2在几个学术基准测试中的成绩如下：
- 研究生级科学知识(GPQA)基准上，Grok-2的得分从Grok-1.5的35.9%提到56.0%。
- 通用知识(MMLU)基准上，得分从81.3%提到87.5%。
- 高级通用知识(MMLU-Pro)基准上，得分从51.0%提到75.5%。
- 数学竞赛问题(MATH)基准上，得分从50.6%提到76.1%。
视觉任务领先：视觉任务是Grok-2的强项：
- 视觉数学推理(MathVista)里，Grok-2拿到69.0%。
- 文档问题回答(DocVQA)里，得分93.6%，离顶尖水平不远。
综合排名：在LMSYS排行榜上，Grok-2以”sus-column-r”名义测试，整体Elo分数超过了Claude 3.5 Sonnet和GPT-4-Turbo，在当时的AI模型里排得比较靠前。
性能对比：放到行业里比，Grok-2在多个基准上的分数都拿得出手。比如HumanEval基准上，Grok-2得分88.4%，比GPT-4 Turbo的87.1%高一点。