什么是零样本学习（Zero-Shot Learning, ZSL）- AI百科知识

零样本学习是机器学习里的一项前沿技术，理论上、应用上都已经有了明显的进展。靠着辅助信息、迁移学习、属性和嵌入方法、生成模型这些手段，它能搞定传统监督学习啃不动的问题。挑战当然有——广义零样本学习、枢纽化问题、映射域偏移问题都还摆在那里，但研究者已经给出不少解法，新的方法和应用领域也一直在被挖。深度学习、人工智能技术还在快速往前走，零样本学习之后能发挥的作用只会更大。

什么是零样本学习

零样本学习（Zero-Shot Learning, ZSL）是一种机器学习场景：训练 AI 模型去识别和分类对象或概念，而这个过程中模型压根没见过这些类别的任何示例。大多数深度学习模型走的是监督学习路线，得靠大量带标注的样本喂着。可现实中给海量数据做标注又贵又费时间，像罕见疾病、新发现的物种这类领域，甚至可能找不到几个先例。零样本学习要做的，就是让模型用尽可能低的训练开销，快速泛化到大量语义类别上。

零样本学习的工作原理

零样本学习（Zero-Shot Learning, ZSL）的核心思路，是借助辅助信息（比如类别的语义描述或属性信息）来获得对新类别的泛化能力。训练阶段，模型学习已知类别的特征表示与辅助信息之间的关系；到推理阶段，就能识别没见过的新类别。ZSL 用到的辅助信息包括文本描述、属性、嵌入式表示，或者其他跟当前任务相关的语义信息——这些信息就是已知类和未知类之间的桥。ZSL 通常建立在迁移学习之上，即复用预训练模型来做新任务，而不是从头训练。举个例子，预训练的 BERT 模型可以拿来做零样本文本分类，ResNet 这类预训练 CNN 可以拿来做零样本图像分类。

零样本学习的主要应用

零样本学习在不少领域都有能落地的场景：

• 计算机视觉任务：图像分类、语义分割、目标检测这些任务里，模型先学会已知类别的表示，再借助类别之间的语义相似性，对新类别做推理和分类。
• 自然语言处理任务：在 NLP 领域，零样本学习的关键是把类别标签和文本映射到同一个语义空间，这样不需要任何标注数据，也能对单个示例做出分类。
• 生成式建模：零样本学习能让生成模型产出训练数据里很少见或压根没出现过的新样本。比如一个用动物图像训练的生成模型，通过零样本学习就能生成罕见动物的图像。
• 大型语言模型：GPT-1 等部分大型语言模型已经表现出一种能力：只靠提示就能执行各种任务，不用显式训练。

零样本学习面临的挑战

零样本学习（Zero-Shot Learning, ZSL）是机器学习领域的一个重要分支，目标是在没有直接样本的情况下识别和分类新类别。这个方向进展不小，但往前看，技术瓶颈、应用困难、实际落地的障碍还是一堆：

• 语义鸿沟（Semantic Gap） 语义鸿沟说的是视觉特征和语义描述之间的落差。零样本学习要把视觉特征映射到语义空间，可两者的本质差异太大，这个映射过程相当复杂。
• 数据稀缺（Data Scarcity） 怎么应对数据稀缺，是零样本学习的核心问题之一。新类别没有标注样本，模型没法直接从数据里学新类别的特征，只能靠有限的辅助信息（类别描述、属性之类）泛化到新类别上，实际操作起来挑战很大。
• 类间相似性（Inter-class Similarity） 不同类别之间长得太像，模型就很难把它们区分开。
• 计算成本（Computational Cost） 零样本学习模型需要复杂的映射函数，计算成本往往偏高。数据集一大，计算资源的需求就可能卡住脖子。
• 泛化能力（Generalization） 模型得有很强的泛化能力，才能在没有直接样本的情况下准确分类新类别。偏偏训练数据不够，模型容易过拟合到已知类别的特征上，对新类别的泛化就跟不上。
• 多模态学习（Multimodal Learning） 处理图像、文本这类多模态数据时，零样本学习得把不同模态的信息有效融合起来。
• 生成式模型（Generative Models） 生成式模型在零样本学习里用来造新类别的数据样本，补上数据稀缺的缺口。
• 数据集偏差（Dataset Bias） 现有的零样本学习数据集可能带偏差：某些类别在训练集里过度表示，到了测试集里又不常见。这种偏差会拖累模型的泛化能力和实际效果。
• 模型可解释性（Model Interpretability） 实际应用中，能不能解释模型很重要。零样本学习模型普遍复杂，决策过程不好解释，在一些领域的应用因此受限。
• 实时性能（Real-time Performance） 自动驾驶、安全监控这类要实时响应的场景，要求模型在极短时间内给出准确的预测。

零样本学习的发展前景

零样本学习虽然进展明显，但该解决的问题和可研究的方向还有很多：类别不平衡怎么处理、模型泛化能力怎么提高、枢纽化问题和映射域偏移问题怎么解决，都是例子。研究者也在往新应用领域探，比如遥感图像识别、细粒度物体识别。后续研究需要盯着几个重点：提升泛化能力、化解数据稀缺、优化计算效率、增强可解释性。深度学习和人工智能技术一直在发展，零样本学习未来能承担的角色只会更重。