书阅网

手机浏览器扫描二维码访问

第961章 AI里的白盒黑盒和正则化（第3页）

特征均有意义、需保留所有特征

4.ElasticNet（弹性网络）：L1与L2的结合

为兼顾L1的“特征选择”

和L2的“抗共线性”

，ElasticNet同时引入L1和L2惩罚项，损失函数为：其中控制L1强度，控制L2强度。

适用场景：特征维度极高且存在多重共线性的场景（如基因数据，特征数远大于样本数，且基因间存在相关性）。

三、深度学习中的正则化方法

深度学习模型（如cNN、transformer）参数规模庞大（动辄千万级），过拟合风险更高，除了上述L1L2，还需针对性的正则化技术。

1.权重衰减（weightdecay）

本质

：深度学习中L2正则化的常用实现方式，通过在优化器中直接对参数进行“按比例衰减”

（如SGd、Adam优化器均支持weight_decay参数）。

原理

：每次参数更新时，先将参数乘以一个小于1的系数（如0.99），再进行梯度下降，等价于在损失函数中加入L2惩罚项。

注意

：权重衰减仅作用于权重参数，不作用于偏置项和batchNorm的参数（因这些参数对模型复杂度影响小）。

2.dropout（随机失活）

原理

（以全连接层为例）：训练时，随机“关闭”

（置为0）一部分神经元（比例由参数p控制，通常取0.2~0.5），迫使模型不依赖某一特定神经元，学习更鲁棒的特征；测试时，不关闭任何神经元，而是将所有神经元的输出乘以

就是（或对权重进行缩放），保证输出分布一致。

示例

：一个含100个神经元的全连接层，p=0.5时，每次训练迭代会随机选择50个神经元置为0，仅用剩余50个神经元计算；测试时，100个神经元全部激活，输出乘以0.5。

核心作用

：避免“神经元共适应”

（即多个神经元依赖彼此的错误特征），模拟“集成学习”

（每次训练都是一个不同的小模型，测试时融合所有小模型的预测）。

3.batchNormalization（批量归一化，bN）

原理

：对每一层的输入数据进行“标准化”

（使数据均值为0、方差为1），并引入可学习的缩放参数和偏移参数，增强模型灵活性。

正则化效果

：训练时，bN使用“批次内数据的均值和方差”

，测试时使用“训练过程中移动平均的均值和方差”

，这种差异会给模型带来微小的噪声，间接抑制过拟合。

附加价值