书阅网

手机浏览器扫描二维码访问

第961章 AI里的白盒黑盒和正则化（第2页）

L1正则化通过在损失函数中加入参数的绝对值和惩罚项，实现“参数稀疏化”

（即强制部分参数变为0，相当于删除冗余特征）。

以线性回归为例，加入L1正则后的损失函数：核心特点

参数稀疏化

：L1的绝对值惩罚会导致部分参数被“压缩”

到0，从而自动完成“特征选择”

（删除对模型贡献极小的特征）。

例：用Lasso处理“房价预测”

数据时，若“小区绿化率”

的参数被置为0，说明该特征对房价影响可忽略，模型训练时无需考虑。

计算挑战：绝对值函数在处不可导，传统梯度下降无法直接使用，需用“次梯度下降”

“坐标下降”

等特殊优化方法。

适用场景

：特征维度高、存在大量冗余特征的场景（如文本分类中的词袋模型，特征数可能达数万，需筛选核心词汇）。

3.L1与L2的对比：为什么L1能稀疏化？

L1和L2的核心差异源于惩罚项的“几何形状”

，可通过“约束域”

直观理解：假设模型仅含两个参数和，正则化等价于在“参数空间”

中加入一个约束域，损失函数的最优解需落在“约束域与损失函数等高线的切点”

上：

L2的约束域是圆形：切点通常不在坐标轴上，因此参数不会为0；

L1的约束域是正方形：正方形的顶点在坐标轴上（如，切点更易落在顶点，导致某一参数为0。

对比维度

L1正则化（Lasso）

L2正则化（Ridge）

惩罚项形式（绝对值和）（平方和）参数效果部分参数置为0（稀疏化特征选择）

所有参数缩小，不置为0

抗多重共线性

弱（可能删除相关特征中的一个）

强（通过缩小参数缓解相关性影响）

优化难度

高（不可导，需特殊方法）

低（可导，支持梯度下降）

适用场景

高维、冗余特征数据