英国 AISI:预训练数据过滤能削弱开源生物模型的危险能力,但不持久
发布于
英国 AI 安全研究所(AISI)在 10 月 26 日发布一篇评测,对象是 ESM-2 家族的开源蛋白质语言模型。结论有两个方向:预训练数据过滤确实能显著削弱特定危险能力(例如与病毒蛋白相关的能力),而且具备选择性——不是把模型整体做笨;但这种过滤不持久,被压掉的能力可以被恢复,页面给出的恢复成本口径低于 80 美元。
这条结论直接打击了「开源前删数据就够了」这类政策的舒适假设。删数据能改变模型的默认倾向,却不足以永久移除能力,而权重的扩散使后续微调无法被阻止。对开源模型的发布决策而言,这意味着真正的评估对象应该是能力恢复的成本与门槛,而不是过滤掉了多少条样本。
同一机构在当天还发布了另一篇评测,测试 AI 编码智能体能否仅凭论文复现生物 AI 工具:简单的 BAITs 类工具可以重建,但 RFdiffusion3 这类复杂系统失败;页面原话是「扣留代码本身并不等于安全发布」。英国政府同一天(10 月 24 日)刚在秋季预算中宣布设立 AI 生物安全实验室,政府出资 1 亿英镑、OpenAI、Anthropic、Google DeepMind 与 Basecamp Research 合计承诺 2 亿英镑。
资讯来源:aisi.gov.uk