VoxMem – 墨尔本大学等开源的音频大模型记忆基准

发布于 2026-10-08 · VoxMem是墨尔本大学和新南威尔士大学团队推出的音频大模型记忆基准。首创4类声学证据，语义、说话人、语气、环境声 × 4 种记忆操作，抽取、跨会话推理、时序追踪、拒答的二维评测框架，覆盖8K至64K token多会话历史。

VoxMem 是干嘛的

VoxMem是墨尔本大学和新南威尔士大学团队搞出来的音频大模型记忆基准。它的玩法是头一份：把4类声学证据——语义、说话人、语气、环境声，跟4种记忆操作——抽取、跨会话推理、时序追踪、拒答，交叉成一张二维评测框架，历史覆盖8K至64K token的多段会话。团队测了15个模型，结果是32K下没一个模型整体准确率能过40%：模型记得住说了什么，却记不住谁说的、怎么说的。光把音频上下文拉长，撑不起持久的语音交互。

VoxMem能做什么

多会话语音记忆评测：搭好多会话、跨时长的语音历史，系统性地考察大音频语言模型记不记得住、能不能回溯之前的对话内容。
四类声学证据覆盖：语音语义、说话人身份、副语言线索、环境声一起考——后三类是转写稿里根本捞不回来的”音频原生”信息。
四种记忆操作分类：信息抽取、多会话推理、时序演变追踪、证据不足时拒答，两类维度两两交叉，凑出15个有效评测单元格。
受控历史长度：同一道题在8K/16K/32K/64K token四档历史长度下证据完全不变，只往里加干扰会话——长度对记忆的影响能被单独剥出来看。
开放评测体系：代码和数据全开源，标准化的运行脚本、评分脚本和Leaderboard都备好了，API模型、本地模型都能接进来复现。

VoxMem是怎么设计的

二维分类框架：VoxMem的核心设计就一张表：声学证据×记忆操作。声学证据管“要记住什么”——把语音信息拆成语义、说话人、副语言、环境声四类；记忆操作管“要怎么用”——从单次会话里取回信息（IE）、跨多次会话整合证据（MSR）、按时间顺序追踪状态演变（TET）、证据不够就拒答（AR）。语义×IE这个组合会退化成纯文本检索，被有意剔掉，剩下15个单元格拼成完整的评测空间，声学记忆能力由此被系统性考察，不是零散碰运气。
三阶段数据构造： 数据生成走”规划—写对话—语音合成”流水线：先给每道题出一份结构化计划，把问题、答案、证据分布和有效性约束都定下来；再分别写用户侧和助手侧的对话文本，两边刻意都不提说话人、语气、背景声，免得答案从文字里漏出去；最后用TTS合成语音——每位用户固定音色，靠风格控制把语气线索注进去，环境声按10dB信噪比混进去，每个带线索的轮次还留一份去掉线索的配对版本，专门用来质检。
干扰会话与长度控制：每段历史由证据会话、干扰会话和填充会话拼成。干扰会话跟证据话题很像但取值不同，再配一个只看文本、准确率只有51–56%的分类器验一遍——模型想靠表面话题匹配蒙对答案，没门。长度控制上，四档历史严格嵌套，只用无关填充会话把历史拉长，问题、答案、证据在四档下完全一致，准确率的涨跌就只能归因于历史变长，题目难度的混杂被排除了。

怎么跑VoxMem

克隆仓库：从 GitHub 拉代码 git clone https://github.com/swagshaw/voxmem，进项目目录。
安装依赖：跑 pip install -r requirements.txt，可以选装 pip install "datasets"，让音频自动解码成数组。
配置 API 密钥：要评 API 模型的话，装好对应 SDK、设上密钥就行，比如 pip install openai 然后 export OPENAI_API_KEY=<your-key>。
跑冒烟测试：先拿 python run_voxmembench.py --config 8k_speaker_information --model abstain --allow-abstention --limit 25 --out predictions_smoke.jsonl 走一遍流程，再用 score_voxmembench.py --judge exact-match 评分——拒答题得 1.0、可答题得 0.0，对上了才继续。
正式评测：挑好配置（比如 32k 完整集，或 32k_speaker_information 子集）和目标模型开跑，例如 python run_voxmembench.py --config 32k --model openai:gpt-4o-audio-preview --allow-abstention --out predictions_32k.jsonl；换本地模型就得用 --adapter 指一个自定义适配函数，再用 --model-dir 指向权重目录。
LLM 裁判评分：跑 python score_voxmembench.py --predictions predictions_32k.jsonl --judge openai:gpt-4o-mini --out metrics_32k.json，裁判眼里只有问题、标准答案和回答，开放式答案等不等价由它判。

VoxMem强在哪

首个系统性覆盖音频原生记忆：现有基准只考词汇内容这个老毛病被它破了——谁说的、怎么说的、听到了什么这些非文本声学信息，头一回被装进统一的评测框架。
二维分类法设计严谨：4类声学证据×4种记忆操作筛出15个有效单元格，取代零散凑题的老办法，语音记忆能力能被拆得全面又正交。
多会话设置贴近真实场景：模拟的是真人机语音交互里跨时间的多次会话，不是一段长独白，专测模型对反复出现的说话人和状态更新的长期记忆。
长度效应完全解耦：同一道题在8K至64K四档历史长度下证据严格嵌套、纹丝不动，“历史变长”的影响头一次和题目难度、证据类型干净利落地剥开了。
防泄漏构造与双重质检：对话双方都不碰声学线索，配对版本拿来对照，纯靠转写就能答的题被两级质检剔了出去——题目考的是真“听”，不是“读”。
干扰设计难以投机：话题相近但取值不同的干扰会话，再加仅51–56%准确率的文本分类器验证，靠关键词匹配抄近路找答案的捷径被堵死了。

VoxMem的项目地址

官方网站：https://swagshaw.github.io/voxmem/
代码仓库：https://github.com/swagshaw/voxmem
HuggingFace 数据集页：https://huggingface.co/datasets/AudioMemory/voxmembench
arXiv 论文原文：https://arxiv.org/pdf/2609.32607

VoxMem和同类基准比一比

比哪个维度	VoxMem	LongMemEval
模态	音频原生（用户轮次就是语音）	纯文本
评测对象	大型音频语言模型（LALM）	LLM 记忆系统/长上下文模型
历史长度	8K/16K/32K/64K 音频 token，同一题四档证据完全不变	约 115K token（S 版），单档
声学证据	4类：语义、说话人、副语言、环境声	没有，只有词汇语义
记忆操作	抽取、跨会话推理、时序追踪、拒答（15个单元格）	抽取、多会话推理、时序、知识更新、拒答
干扰设计	话题相近的 same-key/topical 干扰会话，加长度嵌套控制	动态构建的聊天历史
核心发现	32K 下没有模型超 40%，声学记忆明显拖语义记忆的后腿	模型在知识更新和长历史检索上落后得厉害
开源情况	代码 MIT + 数据 CC BY-NC	公开基准

VoxMem适合用在哪里

语音助手/智能音箱的长期记忆选型：厂商可以拿 VoxMem 统一摸底候选模型——跨会话记不记得住用户偏好、家人的声音、之前答应过的事，免得产品上线后”上周说过的话转头就忘”。
车载与可穿戴语音交互评测：车里环境声杂、用户语气多变，VoxMem 的环境声和副语言线索这两个维度，正好能验模型在真实噪声下的记忆靠不靠谱。
多说话人客服与会议系统质检：客服中心、会议纪要这类场景，最怕把”哪句话是谁说的”绑定错，VoxMem 的说话人绑定错误归因，拿来诊断这类系统的”张冠李戴”问题很直接。
陪伴机器人/适老关怀产品的情绪记忆验证：老人上周叹气聊过的事、语气里藏着的疲惫，全靠副语言线索传出来。VoxMem 的时序追踪维度，测的就是产品能不能察觉这种随时间变化的状态。