以下文章来源于:集智书童 链接:https://mp.weixin.qq.com/s/XTD32JCu_YbZjV2Br3KXCA 本文仅用于学术分享,如有侵权,请联系后台作删文处理 ![]() ![]()
1、简介CenterNet 、Faster R-CNN 和 YOLO 系列。常见的分割网络常用于可驱动区域分割问题,例如:UNET 、SegNet 和 PSPNet 。而对于车道检测/分割,需要更强大的网络来提供更好的高层和低层特征融合,从而考虑全局结构上下文来增强分割细节。然而,在实时自动驾驶系统中为每个单独的任务运行单独的模型通常是不切实际的。在这种情况下,多任务学习网络为节省计算成本提供了一种潜在的解决方案,其中网络被设计成编码器-解码器模式,并且编码器被不同的任务有效共享。YOLOP-v2 所有3个任务中都取得了最佳性能:目标检测任务的 AP50 为 0.83,可驾驶区域分割任务的 mIOU 为 0.93,车道检测的准确率为 87.3。与Baseline 相比,性能得到了大大的提升。此外,将在 NVIDIA TESLA V100 上运行的每秒帧数 (FPS ) 提高到 91,这远高于 YOLOP 模型在相同实验设置下的 49FPS 值。它进一步说明模型可以降低计算成本并保证实时预测,同时为其他实验研究的改进留出空间。
2、本文方法2.1、概况YOLOP 和 HybridNet 工作的启发,保留了其核心设计理念,但利用强大的Baseline进行特征提取。此外,与现有工作不同的是,利用解码器的3个分支来执行特定任务,而不是在同一分支中运行可行驶区域分割和车道检测任务。![]() 2.2、架构![]() 1、Shared EncoderCSPDarknet 作为主干的 YOLOP 不同,采用 E-ELAN 的设计来利用组卷积,使不同层的权重能够学习到更多样化的特征。图 2 显示了组卷积的配置。Neck 部分,通过连接收集和融合不同阶段产生的特征。与 YOLOP 类似,应用空间金字塔池 (SPP ) 模块来融合不同尺度的特征,并使用特征金字塔网络 (FPN ) 模块来融合不同语义级别的特征。2、Task HeadsYOLOv7 类似,我们采用Anchor-base 的多尺度检测方案。首先,使用自下而上结构的路径聚合网络(PAN )来更好地提取定位特征。通过结合来自 PAN 和 FPN 的特征,能够将语义信息与这些局部特征融合,然后直接在 PAN 中的多尺度融合特征图上运行检测。多尺度特征图中的每个网格都会分配3个不同纵横比的anchor ,检测头会预测位置的偏移量和缩放后的高宽,以及每个类预测的概率和对应的置信度.YOLOP 不同,YOLOP 的两个任务的特征都来自Neck 的最后一层,采用了不同语义级别的特征。FPN 模块之前。此外,为了补偿这种变化造成的可能损失,应用了一个额外的上采样层,即在解码器阶段总共应用了4个最近插值上采样。FPN 层的末端,以便提取更深层次的特征,因为道路线通常不细且在输入图像中难以检测。此外,在车道检测的解码器阶段应用了反卷积,以进一步提高性能。3、Design of BOFYOLOP 的设计,在检测部分保留了损失函数的设置。是检测损失,是分类损失、目标损失和边界损失的加权和损失,如公式1所示。![]() Focal Loss 来处理样本不平衡问题。 用于惩罚分类, 用于预测置信度。反映了预测结果与Ground truth 的重叠率、纵横比和尺度相似度的距离。合理设置损失权重可以有效保证多任务检测的结果。交叉熵损失 用于可行驶区域分割,旨在最小化网络输出和Ground truth 之间的分类误差。Focal Loss 而不是交叉熵损失。因为对于车道检测等困难分类任务,使用Focal Loss 可以有效地引导模型专注于困难样本,从而提高检测精度。Dice loss 和Focal Loss 组成的混合损失。Dice loss 能够学习减轻不平衡问题的类分布。Focal loss 具有强制模型学习分类不均衡的能力。最终损失可以计算为公式 2,如下所示。![]() Dice loss 和Focal Loss 之间的权衡,C是类别的总数,因此,C设置为2,因为在可驾驶区域分割和车道分割中只有两个类别。、和分别表示真阳性、假阴性和假阳性。![]() 3、实验结果3.1、目标检测![]() 3.2、可行驶区域![]() 3.3、车道线分割![]() 3.4、速度对比![]() 3.5、可视化结果1、白天![]() 2、夜间![]() 4、参考 |
|
来自: mynotebook > 《待分类》