什么是LLM大语言模型？定义、训练方式、流行原因和例子 – AI百科知识

这几年人工智能（AI）领域涨得很快，自然语言处理（NLP）更是其中进步最猛的一块。NLP里最要紧的进展，数大语言模型（LLM）——这项技术很可能会把我们和科技打交道的方式整个换掉；OpenAI的GPT-3一炮而红，又把它推到了业界聚光灯下。这篇文章就把大语言模型简单讲一遍：它是什么、怎么训出来的、为什么火、有哪些常见的例子，以及它眼下卡在哪些地方。

大语言模型的定义

大语言模型（英文：Large Language Model，缩写LLM），也叫大型语言模型，是一种用来理解和生成人类语言的AI模型。它拿海量文本数据做训练，能干的活很杂：文本总结、翻译、情感分析等等都在行。LLM的招牌特征就是大，参数动辄数十亿，靠这个规模把语言数据里的复杂模式学下来。这类模型一般基于深度学习架构，比如转化器，因此在各种NLP任务上能交出相当漂亮的成绩。

大语言模型的训练方式

训练语言模型，先得喂它大量文本数据，它靠这些数据摸清人类语言的结构、语法和语义。这一步一般是通过无监督学习完成的，用的是自我监督学习这项技术：模型去预测序列里的下一个词或标记，自己给输入数据生成标签，并把前文一并作为依据。

整个训练过程分两个主要步骤：预训练（pre-training）和微调（fine-tuning）：

• 预训练阶段，模型从一个巨大、多样的数据集里学，通常是几十亿词规模的语料，来源包括网站、书籍和文章。一般性的语言模式和表征，就是在这一步学到的。
• 微调阶段，换成跟目标任务或目标领域更贴近、也更小的数据集继续训练。模型的理解能力在这一步被拧到具体任务的特殊要求上。

大语言模型的流行原因

大语言模型为什么越来越吃香，主要原因有这么几条：

• 性能提升： 模型规模够大，复杂的语言模式才抓得住，各种任务里的表现才会好得让人意外，准确性和流畅性尤其明显，常常把此前最先进的方法甩在身后。
• 迁移学习： 针对具体任务做一遍微调就行，模型原本那套通用语言理解可以直接搬过来，新领域很快上手。这种迁移能力省下大量特定任务的数据和训练时间。
• 多功能性： 不用为每个任务单独搭架构、单独训模型，一个LLM就能做文本生成、翻译、总结等多种活，落到各种应用里都很灵活、通用。
• 高互动性： 它能理解语言、还能给出近似人类的回应，跟AI系统打交道因此变得自然、直观，AI驱动的工具和应用也由此多出一批新可能。

常见的大语言模型

• GPT-3（OpenAI）： Generative Pre-trained Transformer 3（GPT-3）是最出名的LLM之一，参数规模1750亿。文本生成、翻译等任务上它的成绩相当亮眼，全球范围内讨论度很高，现在OpenAI已经迭代到了GPT-4版本。
• BERT（谷歌）：Bidirectional Encoder Representations from Transformers（BERT）是另一个用得很广的LLM，对NLP研究的影响不小。它走双向路线，一个词的上下文从左右两边一起抓，情感分析、命名实体识别这类任务的性能因此被抬高。
• T5（谷歌）： 文本到文本转换器（T5）这个LLM把所有NLP任务统一成文本到文本的问题，模型要适应不同任务，流程因此简化了不少。总结、翻译、问题回答这些任务上，T5的表现都很强。
• ERNIE 3.0 文心大模型（百度）：百度推出的大语言模型ERNIE 3.0，第一次在百亿级和千亿级预训练模型里引入大规模知识图谱，并提出把海量无监督文本与大规模知识图谱做平行预训练的方法。

大语言模型面临的挑战

大语言模型的本事确实让人刮目相看，但有几道坎它还没迈过去：

• 资源消耗巨大： 训练LLM要吞掉海量计算资源，规模小一点的组织或研究者，想自己开发、部署这些模型就很吃力。训练过程耗的电量，也引出了一些环境方面的担忧。
• 输出可能带有偏见：训练数据本身可能带偏见，LLM会把数据里的偏见一起学下来、再延续出去，输出因此可能有偏向，甚至冒出冒犯的、歧视性的、或者压根错误的观念。
• 理解能力受限： 大语言模型能写出看着连贯、也贴合上下文的文本，但LLM对自己写的概念有时并没有真正深入的理解，不正确或者没意义的输出就是这么来的。