Contractbench 测评:七款大模型合同审查准确率全部低于 60%
发布于
Artificial Lawyer 在 10 月 23 日报道了 Contractbench 的结果。这个由 Ivo 团队构建的基准包含 350 项合同审查任务,参评的 7 款模型中 Grok 4.7 以 58.3% 排名第一,Claude Opus 5.5 以 58.1% 紧随其后,全部模型的准确率都低于 60%。
这组数字的价值在于它测的不是问答,而是审查:在长文档里定位有风险的条款、判断缺了什么、给出可执行的修改意见。这类任务对错误近乎零容忍,而 58% 左右的成绩意味着模型目前只能作为辅助筛查,不能替代律师出具意见。基准由法律科技创业公司构建,样本与判分口径需要以其发布页为准。
把它放进本月的其他读数里更清楚:法律 AI 公司 Legora 在 10 月 21 日完成 5.5 亿美元 E 轮、投后估值 88 亿美元;而 10 月 26 日 Anthropic 公开的 S-1 文件显示其高客单企业客户规模持续扩张。资本定价的是自动化潜力,基准测出的是当前上限,两者之间存在明显缺口。
资讯来源:artificiallawyer.com