WeMM-Embedding - 微信开源通用多模态Embedding模型

WeMM-Embedding是什么

WeMM-Embedding 是腾讯微信视觉团队开源的通用多模态 Embedding 模型家族，有 2B/4B/9B 三种规格。文本、图像、视频、视觉文档以及交错的多模态输入，都会被编码进同一个共享向量空间；它在 MMEB-v2 基准排行榜上排第一，也已经大规模用在微信视频号、公众号、搜索这些推荐和检索业务里。

WeMM-Embedding的主要功能

• 多模态统一编码：文本、图像、视频、视觉文档，以及任意交错的多模态输入都能接，统一映射到共享的稠密向量空间。
• 灵活维度输出：靠 Matryoshka 表示学习，一次推理能出 64 至 4096 维的嵌套向量；256 维就能保住近 99% 的全维性能。
• 多任务适配：检索、分类、问答、视觉定位、跨域匹配，还有 Agent 的工具、GUI、记忆检索，都能用。
• 高效推理部署：Transformers、Sentence Transformers、vLLM、SGLang 都支持，接进生产环境不费劲。

WeMM-Embedding的技术原理

• 架构设计：骨干是 Qwen3.5 多模态大语言模型，在输入序列末尾追加一个 <embedding> 特殊 token，取它的最终层隐藏状态做 L2 归一化，就是输出表示；因果注意力下的交错多模态输入本来就支持。
• 两阶段训练策略：第一阶段拿数亿对异构数据，先把通用的多模态对齐空间搭起来；第二阶段换精选数据，用硬负样本、重排序器监督和跨尺度 Embedding 蒸馏做细粒度打磨，覆盖面先铺开，精度再往上收。
• 数据构建与精选：六大类监督数据统一成 Pair-Based 格式；用 Semantic-ID 引导的重采样把语义分布拉平，再让多模态大模型自动滤掉低质量样本、修正文本错误；文本、图像、视频还各自建了显式硬负样本，用来增强判别能力。
• 训练目标体系：标准配对数据走 InfoNCE 对比学习，加重复感知掩码，避免假负样本；分级相关性数据用评分差距加权的 CoSENT 排序损失；到了 Stage 2，引入重排序器分数做任务级细粒度监督，再以 9B 模型为教师，通过双向 KL 散度把软相似度分布蒸馏给小模型。

如何使用WeMM-Embedding

• 环境准备：把 GitHub 仓库克隆下来，执行 pip install -r requirements.txt 装依赖；推荐用 transformers==5.2.0 ，结果可复现。
• 获取模型：从 Hugging Face 下 WeMM-Embedding-2B/4B/9B 的权重到本地。
• Transformers 推理：跑 examples/transformers_inference.py，把模型路径和文本、图像、视频路径传进去，指定 --dimension 就能拿到对应维度的 Embedding。
• Sentence Transformers 推理：跑 examples/sentence_transformers_inference.py，可以直接用 Hugging Face 模型 ID，通过 encode() 把多模态输入统一编码。
• Matryoshka 降维：全维向量取前 d 维，再用 torch.nn.functional.normalize 重新做一次 L2 归一化，低维表示就有了。
• 服务化部署：生产环境可以用 vLLM（--runner pooling）或 SGLang（--is-embedding）起推理服务，扛得住高并发。

WeMM-Embedding的核心优势

• 极致参数效率：2B 的模型就超过了此前领先的 8B 开源基线，多模态 Embedding 的性能和效率的边界被重新画了一遍。
• 真正统一的多模态表示：文本、图像、视频、视觉文档、任意交错组合，原生就支持，不用给每种模态单独设计编码通路。
• 灵活的 Matryoshka 维度：一次推理能出 64 至 4096 维向量，256 维还留着近 99% 的全维性能，存储和检索的成本都降了。
• 经过大规模业务验证：微信视频号、公众号、搜索等核心业务的 14 项 A/B 测试里，提升是一致的，现在已全量上线。
• 先进的渐进式训练：”大规模对齐+精选蒸馏”两阶段走下来，再叠上 Semantic-ID 数据精选和跨尺度知识蒸馏，覆盖面和高精度能同时顾到。

WeMM-Embedding的项目地址

• GitHub仓库：https://github.com/Tencent/WeMM-Embedding
• HuggingFace模型库：https://huggingface.co/collections/tencent/wemm-embedding
• arXiv技术论文：https://arxiv.org/pdf/2608.24053

WeMM-Embedding的同类竞品对比

对比维度	WeMM-Embedding	Qwen3-VL-Embedding
开发方	腾讯微信视觉团队	阿里巴巴通义千问团队
开源协议	Apache 2.0	Apache 2.0
模型规格	2B / 4B / 9B	2B / 8B
支持模态	文本、图像、视频、视觉文档、交错多模态	文本、图像、视频、视觉文档、交错多模态
音频支持	暂不支持	暂不支持
MMEB-v2 均分	77.9 / 79.2 / 80.6	73.2 / 77.8
MMEB-v3 均分	56.0 / 58.2 / 59.5	50.9 / 53.5
维度灵活性	Matryoshka（64~4096 维，单次推理多维度输出）	固定维度输出
核心架构	Qwen3.5 + 两阶段训练（对齐+精选蒸馏）	Qwen3-VL + 对比学习
生产验证	已大规模部署于微信视频号、公众号、搜索、电商	主要面向研究/开发者社区

WeMM-Embedding的应用场景

• 跨模态语义检索：以文搜图、以图搜文、以文搜视频，哪个方向都能检索；内容平台的海量素材库查找、版权监测都用得上。
• 个性化推荐系统：图文和视频内容编码成统一向量，拿来做候选召回、用户兴趣序列建模和跨域内容匹配，微信视频号、公众号、电商推荐里都已经在用。
• 视觉文档理解与检索：PDF、图表、发票、截图这些视觉文档先向量化，再拿去做智能文档问答、票据归档检索、企业知识库。
• AI Agent 工具与记忆检索：给 Agent 提供工具调用检索、GUI 元素定位和长程记忆检索，复杂任务的规划和多步骤交互都靠这个。
• 多模态内容分类与审核：图像和视频映射到语义空间之后，物体识别、场景分类、动作检测、违规内容相似度比对和聚类都能做。