哪些方法可以解决过拟合和欠拟合？一文看懂

引言：先打个比方，理解模型训练

想象一下：你是个备考期末考试的学生，你的“模型”就是你这颗大脑。你不但要在练习题（训练数据）上考得好，还得在真正的期末（新数据）上表现出色。这一路上，容易碰上两种极端情况：

• 欠拟合 (Underfitting) ：这相当于考前只把课本粗略翻了翻，最基本的概念和公式都没拿捏。结果不管练习题还是期末，分数都惨不忍睹——你的大脑（模型）太过简单，压根没学到数据的精髓。
• 过拟合 (Overfitting) ：这相当于你把练习册每道题连同答案、解题步骤、甚至题目旁边的污渍都背得滚瓜烂熟。练题能拿满分，可一到期末，题目稍微变个花样就傻眼。你的大脑（模型）过于复杂，不光学了知识，还把练习题特有的“噪声”和无关细节一起背了下来，泛化能力差到极点。

这篇文章会把这两种问题的成因、诊断方法讲透，再给上一系列实用好懂的解决方案，配上能直接跑起来的代码示例——目标只有一个：帮你训练出既聪明、又不会“死记硬背”的模型。

核心概念：偏差 (Bias) 与方差 (Variance) 的拉锯

要搞懂欠拟合与过拟合，得先认识两个核心概念：偏差和方差。模型犯错，根子基本都在这两个上。

• 偏差 (Bias) ：偏差衡量模型预测结果与真实结果之间的系统性差距。高偏差说明模型太简单，抓不住数据里复杂的规律，直接导致欠拟合。就像只会加法的学生去考微积分，给出的答案（预测）会系统性地跑偏。
• 方差 (Variance) ：方差衡量模型换一批训练数据后，预测结果稳不稳、波动大不大。高方差说明模型过于复杂敏感，把训练数据里的随机噪声也当规律学了，直接导致过拟合。就像那个“死记硬背”的学生，换一套练习题，他的答案能差出天际。

在机器学习里，偏差和方差是一对矛盾体，也就是著名的 “偏差-方差权衡” (Bias-Variance Tradeoff)。强大复杂的模型（如深度神经网络）能学到非常精细的模式，偏差低，但也更容易把噪声学进去，方差就高；简单模型（如线性回归）偏差高，可对数据变化不敏感，方差反而低。我们真正要的，是在两者之间找到最佳平衡点，让总体误差最小。

怎么诊断：看“学习曲线”就够了

动手解决之前，得先判断模型到底“病”在哪儿。学习曲线 (Learning Curve) 就是个非常直观的诊断工具：把模型在训练集和验证集（一批没参与训练、用来模拟真实考试的数据）上的表现（损失或准确率之类），随训练过程（如训练轮次 epochs）画成曲线，学习状态一目了然。

• 欠拟合：训练损失和验证损失都很高，最后稳定在一个高位，就是欠拟合。两条曲线挨得很近，说明模型连训练数据都没学好，泛化更无从谈起。
• 过拟合：训练损失一路往下、看着很美，验证损失降到某个点后却开始回升——典型的过拟合信号。两条曲线之间裂开一道“鸿沟”，说明模型跟训练数据“熟过头”了，在新数据上就露怯。
• 理想状态：训练损失和验证损失稳步下降，一起收敛到较低水平，两条曲线靠得很近——模型找对平衡了。

治“学得太浅”：欠拟合（Underfitting）怎么办

模型欠拟合，我们要做的事就一件：把它的学习能力加强。

招数一：增加模型复杂度

这是最直接的一招。简单线性模型啃不动非线性数据，那就换一个更强的模型。

• 传统机器学习：换更复杂的模型，比如从线性回归切到多项式回归、支持向量机（高斯核）或梯度提升树。
• 神经网络：把层数加多，或者每层的神经元加宽。

代码实战：加多项式特征，把模型变强

下面这段Python代码用scikit-learn库演示：加点多项式特征，简单的线性模型也能变强，欠拟合顺手就解决了。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

# 1. 创建一些非线性的样本数据，线性模型将难以拟合
np.random.seed(0)
X = np.random.rand(30, 1) * 10
y = np.sin(X).ravel() + np.random.randn(30) * 0.5
X_test = np.linspace(0, 10, 100)[:, np.newaxis]

# 2. 尝试使用一个简单的线性模型（1次多项式）来拟合，这会造成欠拟合
model_underfit = LinearRegression()
model_underfit.fit(X, y)

# 3. 使用一个更复杂的模型：4次多项式回归
# PolynomialFeatures(degree=4) 会将原始特征X转换为 [1, X, X^2, X^3, X^4]
# 这大大增加了模型的复杂度，使其能够捕捉非线性关系 [[124]][[126]]
model_goodfit = make_pipeline(PolynomialFeatures(degree=4), LinearRegression())
model_goodfit.fit(X, y)

# 4. 可视化结果
plt.figure(figsize=(10, 6))
plt.scatter(X, y, label=’样本数据’)
plt.plot(X_test, model_underfit.predict(X_test), label=’线性拟合 (欠拟合)’, color=’red’)
plt.plot(X_test, model_goodfit.predict(X_test), label=’4次多项式拟合 (良好拟合)’, color=’green’)
plt.title(‘通过增加模型复杂度解决欠拟合’)
plt.xlabel(‘特征’)
plt.ylabel(‘目标值’)
plt.legend()
plt.show()

招数二：添加更多有效特征（特征工程）

有时候模型表现不佳，不是它不够复杂，而是喂给它的“原材料”（特征）信息量不够。特征工程 (Feature Engineering) 就是用来造出更有价值的新特征的：预测房价时，除了“房屋面积”，还能从“建造年份”算出“房屋年龄”，从地理坐标算出“离市中心的距离”——这些新特征带的预测信号可能更强。

招数三：减少正则化

正则化本来是防过拟合的（下文细说），但强度太大就矫枉过正，把模型的学习能力压过头，反而欠拟合。要是你用了正则化又发现模型欠拟合，试试把正则化参数调小。

治“死记硬背”：过拟合（Overfitting）怎么办

过拟合大概是机器学习实践里最常踩的坑。好在对付它的“武器库”相当充足。

招数一：增加数据量与数据增强

获取更多数据是治过拟合最根本也最有效的办法。数据越多，模型越容易学到普适规律，而不是盯着特定样本的噪声不放。

可现实中拿新数据太贵，于是 数据增强 (Data Augmentation) 成了高性价比之选：给现有数据做点微小、合理的变换，新的训练样本就造出来了。

• 图像数据：随机旋转、裁剪、翻转、缩放，调亮度、调对比度。
• 文本数据：同义词替换，随机插入或删除单词之类。

增强之后，训练数据的多样性上来了，模型被迫学出更鲁棒的特征。

招数二：正则化 (Regularization)

正则化的核心思路，是在损失函数（衡量预测错误的指标）上挂一个“惩罚项”来限制模型复杂度。模型想压低预测误差，就得同时保持自身“简洁”，过拟合自然就被摁住了。

用得最多的两种是L1和L2正则化：

• L2 正则化 (Ridge Regression) ：惩罚模型权重（参数）的平方和。权重会被集体压得很小但不至于归零，模型的决策过程因此更“平滑”，不容易被单个数据点带偏。
• L1 正则化 (Lasso Regression) ：惩罚权重的绝对值之和。它有个有意思的特性：会把不重要特征的权重直接压到零，等于顺手自动完成了特征选择 (Feature Selection)。

代码实战：给过拟合模型加个L2正则化

下面这段Python代码演示在一个容易过拟合的场景里，L2正则化（scikit-learn里的Ridge类）是怎么把泛化能力拉上来的。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline

# 1. 创建少量但复杂的样本数据，这极易导致过拟合
np.random.seed(0)
X = np.random.rand(10, 1) * 10
y = np.sin(X).ravel() + np.random.randn(10) * 0.2
X_test = np.linspace(0, 10, 100)[:, np.newaxis]

# 2. 使用一个非常复杂的模型（10次多项式）来拟合，这会造成过拟合
model_overfit = make_pipeline(PolynomialFeatures(degree=10), LinearRegression())
model_overfit.fit(X, y)

# 3. 在同样复杂的模型上应用L2正则化 (Ridge)
# alpha是正则化强度，alpha越大，惩罚越重 [[63]]
model_regularized = make_pipeline(PolynomialFeatures(degree=10), Ridge(alpha=1.0))
model_regularized.fit(X, y)

# 4. 可视化结果
plt.figure(figsize=(10, 6))
plt.scatter(X, y, label=’样本数据’)
plt.plot(X_test, model_overfit.predict(X_test), label=’10次多项式拟合 (过拟合)’, color=’red’)
plt.plot(X_test, model_regularized.predict(X_test), label=’带有L2正则化的拟合 (泛化更好)’, color=’green’)
plt.title(‘通过L2正则化解决过拟合’)
plt.xlabel(‘特征’)
plt.ylabel(‘目标值’)
plt.ylim(-2, 2)
plt.legend()
plt.show()

招数三：Dropout（随机失活）

Dropout是深度学习里非常强大又非常简单的一种正则化技术。它干活像高效团队合作：训练的每一步都随机“冻结”（或“丢弃”）一部分神经元，让它们这一轮不上场。

这带来两个好处：

• 强迫网络学习冗余表示：任何神经元都可能随时“缺席”，网络不敢指望某几个主力，只能学出更鲁棒、更分散的特征表示。
• 集成效果：每Dropout一次，相当于在训练一个不同的、更小的子网络。整个训练过程就像同时训了成千上万个网络，最后把结果集成起来——泛化能力大涨。

招数四：早停法 (Early Stopping)

这是个非常直观的“刹车”机制：训练的同时盯着验证集表现，损失一停止下降、甚至开始往上走，就立刻收工。

好处在于，模型从“真学会”转向“死记硬背”的那个临界点，你能及时收手，拿到手的模型泛化能力接近最佳。

代码实战：在Keras里安排上Early Stopping

下面的代码演示怎么在Keras里轻轻松松把早停法实现了。

# 假设我们已经导入了必要的库，并准备好了训练数据 (X_train, y_train) 和验证数据 (X_val, y_val)
# from keras.models import Sequential
# from keras.layers import Dense
# from keras.callbacks import EarlyStopping

# 1. 定义一个简单的神经网络模型
# model = Sequential()
# model.add(Dense(128, activation=’relu’, input_dim=…))
# model.add(Dense(64, activation=’relu’))
# model.add(Dense(1, activation=’sigmoid’))
# model.compile(optimizer=’adam’, loss=’binary_crossentropy’, metrics=[‘accuracy’])

# 2. 设置EarlyStopping回调 (Callback)
# 这是核心步骤
early_stopping_monitor = EarlyStopping(
monitor=’val_loss’, # 监控验证集的损失值
patience=10, # “耐心值”，如果验证损失连续10个轮次没有改善，就停止训练
verbose=1, # 打印出停止信息
restore_best_weights=True # 停止时，将模型权重恢复到验证损失最低的那个时刻 [[85]][[89]]
)

# 3. 在训练模型时，将回调函数传入
# history = model.fit(
# X_train, y_train,
# epochs=500, # 设置一个较大的epochs数，让早停法来决定何时停止
# validation_data=(X_val, y_val),
# callbacks=[early_stopping_monitor] # 应用早停法
# )

前沿视野：2023-2025年的研究动向

这些经典方法是解决两大问题的基石，但截至2025年，学术界的探索还在往深处走。

• 理论深化：重新审视偏差-方差：传统的偏差-方差权衡是一条“U”型曲线，可近几年深度学习领域发现了有意思的“双下降 (Double Descent)”现象——模型复杂度越过某个临界点后，测试误差居然又降了。超参数化大模型的泛化行为比想象中复杂，我们对过拟合的固有认知被挑战了。
• 更鲁棒的训练范式：有人在探索传统正则化之外的新路子。比如基于信息瓶颈 (Information Bottleneck)理论的方法，想在压缩输入信息的同时尽量保住与标签相关的信息；差分隐私 (Differential Privacy)训练保护数据隐私之余，还自带正则化效果，泛化性也跟着变强。
• 自动化与元学习：还有个趋势是让模型自己“学会”防过拟合。元学习 (Meta-Learning)或元特征学习 (Meta-Feature Learning)想训出一个能按任务自动调正则化策略、自动改架构的模型，整个过程更智能。

初学者把经典方法吃透，应对绝大多数场景已经够用。了解这些前沿动向，是让你知道这个领域还很热闹，未来的工具箱里大概率还有一堆更强更智能的“武器”。

收尾

跟欠拟合、过拟合斗法是每个机器学习从业者的必修课。整套诊断和解决的流程，可以浓缩成一份简单的决策指南：

• 训练模型，盯着学习曲线。
• 训练集、验证集误差都高 -> 欠拟合。
  • 对策：加大模型复杂度（多项式特征、加网络层数）、把特征工程做精细，或者调小正则化强度。
• 训练集误差很低、验证集误差很高 -> 过拟合。
  • 对策：优先加数据量或做数据增强；再试正则化（L1, L2, Dropout）、早停法，或者适当简化模型结构。
• 反复迭代，直到验证集表现让你满意。模型训练本来就是个迭代过程——调参、试新招，一直磨到效果对了为止。