AGI-Eval

什么是 AGI-Eval？（平台定位与核心价值）

AGI-Eval 是一项由微软亚洲研究院（MSRA）与清华大学等国内知名学术机构联合发起、专注于评估大语言模型“人类通用高阶认知能力”的权威基准测试体系与评测平台。传统评测数据集往往依赖人工构造的选择题，容易受到数据污染与刷榜虚高的干扰。AGI-Eval 开创性地选用真实人类考试作为衡量标准，全面囊括了中国高考（语文、数学、英语、物理、历史等）、法考、公务员考试以及海外 GRE、SAT、LSAT、GMAT 等高门槛标准化考试，为衡量前沿模型是否真正具备迈向 AGI（通用人工智能）的高阶逻辑推理与知识整合能力提供了客观尺子。

适用人群与典型场景

• 大模型研发团队与算法工程师：全面检验自研大语言模型在多学科复杂推理、法理逻辑与长难句理解上的真实硬实力。
• AI 学术研究人员与高校实验室：发表高水平学术论文，对比基座模型在标准化人类资格考题中的能力天花板与技术局限。
• 企业技术采购与技术选型总监：穿透各厂商宣传公关话术，依据客观权威的高考与法考实测榜单挑选最强大脑。
• AI 科技爱好者与教育工作者：直观感受人工智能在挑战人类顶级考试时的解题表现与错误模式。

核心功能与特色亮点

• 严格基于真实人类高难度考试构建：全部题目源自中国高考、中国司法考试、公务员申论行测及北美研究生入学考真题。
• 多维高阶认知任务全覆盖：不仅测试事实性记忆，更深度考察多步严密数学逻辑推理、因果判断与复杂阅读理解。
• 双语及跨文化场景双向检验：深度兼顾中文高考体系与西方标准化考试体系，公平衡量模型的双语认知广度。
• 动态更新的权威公开评测排行榜：实时收录全球主流闭源商用大模型与顶级开源模型的测评得分与对比雷达。
• 完全透明开源的代码与评测基准：代码与数据集在 GitHub 完全开源，支持学术界一键下载重现并进行本地自动化评估。

如何快速上手 AGI-Eval？（使用教程）

访问环境与使用门槛：国内网络直接流畅访问，支持现代主流浏览器；评测套件通过 GitHub 完全开源免费获取。

1. 访问评测官方主页与榜单：打开 AGI-Eval 官网，查看当前全球最新大模型在综合高考与资格考榜单上的排名榜。
2. 按学科或考试类型筛选成绩：点击导航栏筛选“高考数学”、“司法考试”或“SAT”，查看各单项科目的通过率与得分详情。
3. 查阅模型答题细节与错题归因：点击榜单中的具体模型，查看其在复杂逻辑题上的链式推导（CoT）轨迹与错误分析。
4. 下载评测套件评估自研模型：通过官网提供的 GitHub 链接克隆开源仓库，按照文档配置待评测模型的 API 接口。
5. 本地一键运行测试并生成报告：运行自动化评测脚本，系统自动生成标准化的多学科综合评测报告与得分明细。

收费标准与版本差异（产品价格）

AGI-Eval 作为学术界与工业界联合推出的科研公益基准：

• 完全免费开源（Open Source）：数据集、评测代码与在线榜单数据 100% 永久免费开放，遵循开源学术协议。

客观评价与选型建议

• 核心优势：考题真实权威、防作弊能力强；直接对齐人类最具公信力的高考与资格考试体系，极具说服力；学术透明度高。
• 局限与权衡：主要关注标准化考试的推理与问答，对于需要高交互度的 Agent 智能体工具调用能力需结合专用智能体基准。
• 替代方案参考：中文综合知识评估可参考 C-Eval 或 CMMLU；全球英文多任务基准可参考 MMLU 或 LMSYS Chatbot Arena。