什么是预训练Pre-training？定义、重要性、技术和挑战 – AI百科知识

人工智能（AI）正在不断重塑我们的世界，而它背后有个关键角色早就成了现代机器学习模型的顶梁柱：预训练。这篇文章就来聊清楚预训练是什么、为什么重要、都有哪些做法，以及这个领域的研究人员目前还在跟哪些难题较劲。

预训练是什么？

在人工智能和机器学习圈子里，预训练（pre-training）指的是：在给较小的、特定任务的数据集做微调（fine-tuning）之前，先拿一个大数据集把模型训一遍。这一轮初始训练让模型先从数据里学到通用的特征和表征，之后针对具体任务做微调就顺理成章了。

为什么要预训练？图的就是把大规模数据集上学到的知识，拿去提升模型在较小、较集中数据集上的表现。这么一来，研究人员用较少的标记实例就能拿到更好的结果，对特定任务大量标记数据的依赖也降下来了。

预训练为什么重要

预训练能成为现代AI的重要组成部分，原因有这么几条：

1. 转移学习： 预训练让知识可以从一个领域或任务搬到另一个领域。先在大规模数据集里学到通用特征和表征，再对模型稍加微调，就能在广泛的任务上表现出色。特定任务训练数据的需求降下来了，研究人员处理新问题也更从容。
2. 计算效率： 预训练让模型直接从大量数据中学习，不需要特定任务的标记样本。训练所需的计算资源省下巨大一块，训大规模模型也变得更可行。
3. 模型性能： 预训练过的模型在特定任务上往往比从头开训的模型更能打。预训练期间学到的通用特征和表征，针对大量任务稍加微调就能提升性能、加快收敛。

预训练都有哪些技术

给AI模型做预训练的技术有好几种，最常用的还是无监督和有监督这两条路。

无监督预训练：不给标签

无监督预训练（Unsupervised Pre-training）就是在一个没有任何标记样本的大数据集上训模型。没有标签指点，模型得自己学会识别数据里的模式和结构。常用的无监督预训练技术包括：

• 自动编码器（Autoencoders，AE）： 这是一种学编码、解码数据的神经网络。训练目标是把原始输入和重构输出之间的差异压到最小，说白了就是学会还原输入。数据的压缩表示学会之后，自动编码器就能抓到对后续任务有用的重要特征和模式。
• 生成式模型（Generative models）： 变异自动编码器（VAEs）和生成对抗网络（GANs）这类生成式模型，学的是生成跟训练数据相似的新样本。摸透底层数据分布后，它们学到的有用特征和表征就能搬到其他任务上。

有监督预训练：带着标签练

有监督预训练（Supervised Pre-training）反过来，是在带标签的大数据集上训模型。模型学着预测输入数据对应的标签，学完再针对特定任务微调。常见的监督性预训练技术包括：

• 语言模型： 训练目标是给定前面的词，预测序列里的下一个词。学着生成连贯文本的过程中，模型把重要的语言特征和表征都抓在了手里，之后能迁移到其他自然语言处理任务。预训练语言模型的代表包括OpenAI推出的GPT和Google的BERT。
• 图像分类模型： 这种模型学着预测输入图像属于哪个类别。ResNet、VGG这类预训练好的图像分类模型稍加微调，就能在广泛的计算机视觉任务上打出好成绩，物体检测、分类都行。

预训练面临的难题

1. 可扩展性： AI模型的规模和复杂度一路上涨，预训练需要的计算资源也跟着涨。更有效的预训练技术加上分布式计算资源的利用，会是推动这个领域发展的关键。
2. 数据偏差： 训练数据里存在的偏差很容易传导给预训练模型。怎么解决数据偏差、让预训练模型既公平又稳健，至今仍是持续研究的课题。
3. 可解释性： 模型越来越复杂，它们内部怎么运转、学到了什么表征，外界越来越难看懂。拿出更好的方法来理解和解释预训练模型，对建立信任、保证AI系统安全都至关重要。