SimpleQA - OpenAI开源的新基准，用于评估前沿模型的事实准确性

SimpleQA是什么

SimpleQA是OpenAI推出的基准测试，评测的是大语言模型回答简短、寻求事实类问题的能力。数据集里有4326个问题，每个问题都设计成只有一个正确答案，评分很容易。它的难度不低，连o1-preview、Claude Sonnet 3.5这样最先进的大模型，准确率也还不到50%。所有问题都经过两位独立标注员验证，参考答案的准确性和时效性有保证。SimpleQA既能评估模型的事实性回答能力，也能测出模型的“校准”程度，也就是模型对自己回答准确性判断得准不准。数据集的覆盖面很广，历史、科学、艺术等多个主题都有，用来推动更可靠、可信赖的语言模型发展正合适。

SimpleQA的主要功能

• 评估事实性回答能力： SimpleQA主要测试语言模型回答简短事实性问题的能力，每个问题都只有一个正确答案。
• 挑战性问题设计： 问题的收集带有对抗性，专门针对GPT-4这类前沿模型，保证测试有挑战性。
• 易于评分： 问题本身的设计让答案很好评定，回答会被分成正确、错误或未尝试。
• 模型自我认知评估： 评估的出发点是模型是否“知道自己知道什么”，由此衡量模型的自我认知能力。
• 校准测量： 测量模型对自己回答准确性的自信程度，看它能不能准确评估自己的回答。

SimpleQA的技术原理

• 数据收集与验证： 问题答案对先由AI训练师创建，再由另一名AI训练师独立验证答案，两边要能对上。
• 高标准问题筛选： 问题必须满足一组特定标准：答案单一、不随时间变化、有证据支持、够有挑战性，而且截至2023年可以回答。
• 质量控制： 用ChatGPT分类器检测违反标准的问题，是提高问题质量的步骤之一。
• 多样性和覆盖： 用ChatGPT对问题主题和答案类型做分类，保证数据集的多样性。
• 评分机制： 模型的回答由带提示词的ChatGPT分类器来评分，判断答案是正确、错误还是未尝试。
• 性能评估： 对比各模型在SimpleQA上的表现，评估它们在事实性问题回答上的能力。
• 校准评估： 让模型报出自己答案的置信度，再和实际准确性对比，看模型的校准能力怎么样。

SimpleQA的项目地址

• 项目官网：openai.com/index/introducing-simpleqa
• GitHub仓库：https://github.com/openai/simple-evals/
• 技术论文：https://cdn.openai.com/papers/simpleqa.pdf

SimpleQA的应用场景

• 模型开发与测试： 开发者拿SimpleQA测试、对比不同语言模型的性能，看它们回答事实性问题时准不准、可靠不可靠。
• 研究与学术： 研究人员借它探索语言模型在事实性回答上的能力，也推动自然语言处理领域的学术研究。
• 教育工具： 在教育领域，它可以作为评估教学辅助工具性能的手段，帮老师挑选最适合学生学习需求的语言模型。
• 信息检索系统： 在构建或优化搜索引擎和信息检索系统时，用它来评估并提升系统响应用户查询的质量和准确性。
• 问答系统： 开发问答系统（QA系统）时，SimpleQA提供标准化的测试集，帮开发者评估和改进系统的回答质量。