书阅网

手机浏览器扫描二维码访问

第951章 AI里的可分离思想（第3页）

运算，用1x1卷积核融合不同通道的空间特征，不改变空间尺寸。

通过“空间与通道的分离运算”

，深度可分离卷积在保证模型精度的前提下，将计算量降低80%~90%，成为轻量级模型（如mobileNet系列）的核心结构，广泛用于手机等边缘设备。

####2.注意力机制：维度可分离注意力

在transformer模型（如bERt、Gpt）中，注意力机制的核心是“计算每个token与所有token的关联（自注意力）”

，但传统自注意力的计算量随token数量（序列长度）的平方增长（如长文本、高分辨率图片场景下难以承受）。

为优化效率，“可分离注意力”

将注意力的“维度关联”

拆解：

-示例：**轴向注意力（AxialAttention）**（用于图像transformer）——将2d图像的“空间注意力”

拆分为“水平方向（行维度）注意力”

和“垂直方向（列维度）注意力”

，分别计算行内token的关联和列内token的关联，再将结果融合。

原本2d注意力的计算量是（htimeswtimeshtimesw）（h为高度，w为宽度），拆分后计算量降至（htimeswtimesh+htimeswtimesw），大幅降低长序列大图像的计算成本。

###三、任务与目标层面：可分离是复杂任务拆解的逻辑

当AI需要处理“多目标、多任务”

的复杂场景（如“自动驾驶”

“机器人交互”

）时，“可分离”

体现为**将一个复杂任务拆解为多个“独立子任务”

，每个子任务由专门模块处理，最终通过融合子任务结果完成总目标**——即“分而治之”

的思想。

####1.多任务学习中的任务分离

在多任务学习（如“同时进行图像分类、目标检测、语义分割”

）中，“任务可分离”

指**不同子任务的优化目标（损失函数）和特征需求是独立的，可通过“共享backbone（特征提取器）+独立任务头（任务专属模块）”

的结构实现分离优化**：

-共享部分：用一个主干网络（如ResNet、Vit）提取所有任务通用的基础特征（如边缘、形状）；

-分离部分：每个子任务（分类、检测、分割）对应一个独立的“任务头”

（如分类头用全连接层，分割头用转置卷积），各自计算损失并反向传播，互不干扰。

示例：自动驾驶的感知系统——将“识别交通灯”

“检测行人”

“分割车道线”

三个子任务分离，共享摄像头图像的基础特征，但用三个独立模块分别优化，避免单一任务的误差影响其他任务。