发文章
发文工具
撰写
网文摘手
文档
视频
思维导图
随笔
相册
原创同步助手
其他工具
图片转文字
文件清理
AI助手
留言交流
这是专栏《图像分割模型》的第6篇文章。在这里,我们将共同探索解决分割问题的主流网络结构和设计思想。
在分割问题中,上下文信息与多尺度融合对于提高分割精度是十分有效的,今天我们就来谈谈用于实现这个目标的金字塔池化结构。
作者 | 孙叔桥
编辑 | 言有三
本期论文
《Pyramid Scene Parsing Network》
1 为什么要用金字塔结构提取特征
从本系列前面的文章我们已经了解到,对于分割任务而言,上下文信息的利用情况对于分割的效果是有明显影响的。这里我们就具体谈谈这个影响的原因。
通常来讲,我们判断一个东西的类别时,除了直接观察其外观,有时候还会辅助其出现的环境。比如汽车通常出现在道路上、船通常在水面、飞机通常在天上等。忽略了这些直接做判断,有时候就会造成歧义。比如下图中,在水面上的船由于其外观,就被FCN算法判断成汽车了。
从左到右分别为:图像、真值、FCN结果和PSPNet结果。
除此之外,由于金字塔结构并行考虑了多个感受野下的目标特征,从而对于尺寸较大或尺寸过小的目标有更好的识别效果。
可见,同时考虑不同感受野下的上下文信息是十分必要的。下面我们就一起来具体看一下金字塔池化模型。
2 金字塔池化模型
尽管ResNet的感受野在理论上已经可以达到大于输入图像尺寸,但是Zhou等人也证明了CNN的经验感受野实际上比理论值小很多。因此,需要一个更有效的全局先验的描述方式。
下图是论文中提出的基于金字塔池化模型的网络结构。其中,虚线框出来的部分属于金字塔池化模型。
实验中分别用了1x1、2x2、3x3和6x6四个尺寸,最后用1x1的卷积层计算每个金字塔层的权重,再通过双线性恢复成原始尺寸。
最终得到的特征尺寸是原始图像的1/8。最后在通过卷积将池化得到的所有上下文信息整合,生成最终的分割结果。
此外,文中还应用了两个损失函数,分别用于约束主干分割网络和校正网络。以ResNet101为例,损失所处位置如下图所示。
3 实验结果
为了验证金字塔结构的有效性,PSPNet的作者对其进行了一系列的剥离实验。具体结果如下表所示:
ADE20K数据库下的分割结果:
下图是PASCAL VOC 2012数据库下的实验结果:
总结
本文我们了解了上下文信息整合的多尺度估计网络PSPNet和其中的金字塔池化模型。除了同种特征的堆叠,我们还可以利用多特征融合提升分割的效果。下期我们就一起来看一下ParseNet。
专栏作者招募
直播预告(点击图片跳转)
今日看图猜技术
有三AI生态
来自: 有三AI > 《待分类》
0条评论
发表
请遵守用户 评论公约
综述 | 语义分割经典网络及轻量化模型盘点
综述 | 语义分割经典网络及轻量化模型盘点。该网络将不同分辨率的特征图进行融合,通过上图左侧的ResNet101预训练模型,产生四个分辨率...
PSPNet ——语义分割及场景分析
PSPNet ——语义分割及场景分析通过使用金字塔池化模块(Pyramid Pooling Module),在整合基于不同区域的上下文后,PSPNet在效果上超过了...
今天来聊一聊什么是语义级别的图像分割问题
今天来聊一聊什么是语义级别的图像分割问题。语义级别的图像分割问题是计算机视觉领域中的重要任务之一,其目标是将一幅图像中的每个像...
「完结」12篇文章带你逛遍主流分割网络
Fully Convolutional Network(FCN)是神经网络用于图像分割任务的鼻祖,后续提出的大部分基于编解码结构的图像分割网络都是从FCN上发展...
计算机视觉中的多尺度模型都有哪些
本文将介绍几种常见的多尺度模型,包括金字塔网络、空洞卷积网络和金字塔卷积神经网络,并探讨它们在计算机视觉中的应用。金字塔网络是...
基于语义分割网络模型的路面裂缝识别
因此,综合考虑像素准确度与裂缝区域的IOU,PSPNet的识别效果普遍优于UNet与FCN语义分割网络,说明在路面裂缝的分割上,PSPNet确实能够...
ContNet:为什么不同时使用卷积和变压器
ContNet:为什么不同时使用卷积和变压器。1)据作者所知,作者提出的ConTNet是第一次探索建立一个神经网络与标准变压器编码器(STE)和空间...
融合MultiDeepPPL的苗族服饰分割研究
融合MultiDeepPPL的苗族服饰分割研究。图1 基于MultiDeepPPL苗族服饰分割模型。首先,设计了密集跨级连接网络,该网络充分提取了苗族服饰...
基于深度学习的图像语义分割算法综述
基于深度学习的图像语义分割算法综述。作为基于深度学习的图像语义分割的开山之作,目前所有最成功的语义分割网络都是基于FCN来进行改进...
微信扫码,在手机上查看选中内容