|
《测绘学报》 《测绘学报》抖音自开通以来，聚焦于测绘地理信息学术前沿进展，受到了广大专家学者的大力支持，播放量数万，粉丝1.7万。 复制链接，关注我们哦！ 【测绘学报的个人主页】长按复制此条消息，长按复制打开抖音查看TA的更多作品##7NsBSynuc88##[抖音口令]  高分辨率遥感影像超像素的模糊聚类分割法 黄亮1,2 1. 昆明理工大学国土资源工程学院, 云南 昆明 650093; 收稿日期：2019-04-15；修回日期：2019-12-25 基金项目：云南省应用基础研究计划面上项目（2018FB078）；自然资源部地球观测与时空信息科学重点实验室经费资助项目（201911） 第一作者简介：黄亮(1985-), 男, 博士, 讲师, 主要研究方向遥感影像变化检测。E-mail:kmhuangliang@163.com 通信作者：姚丙秀E-mail:1366711008@qq.com 摘要：传统模糊C均值聚类在影像分割中只考虑影像的灰度特征，导致该算法用于高空间分辨率遥感影像分割时分割结果不理想。针对该问题，本文提出了一种高分辨率遥感影像超像素的模糊聚类分割方法。该方法首先利用分水岭变换算法产生多个超像素子区域；然后比较各个子区域间光谱特征的相似性；最后利用融合光谱特征的模糊C均值聚类对这些超像素子区域进行合并。试验选用4组不同场景的遥感影像，采用定性和定量相结合的方法评价试验结果。试验结果表明，该方法有效提高了分割区域的分割精度，并取得了较好的分割视觉效果。 关键词：高空间分辨率遥感影像 超像素 影像分割 分水岭变换 模糊聚类 Superpixel segmentation method of high-resolution remote sensing image based on fuzzy clustering HUANG Liang1,2 1. Faculty of Land Resource Engineering, Kunming University of Science and Technology, Kunming 650093, China; Foundation support: Applied Basic Research Programs of Science and Technology Department of Yunnan Province (No. 2018FB078); The Key Laboratory of Surveying and Mapping Science and Geospatial Information Technology of Ministryof Natural Resources (No. 201911) First author: HUANG Liang (1985 -), male, PhD, lecG turer, majorsin change detectionin multiGtemporal remote sensingimages. E-mail:kmhuangliang@163.com. Corresponding author: YAO Bingxiu E-mail:1366711008@qq.com. Abstract: Traditional fuzzy C-means clustering (FCM) only considers the gray features of image in image segmentation, which results in unsatisfactory segmentation results when the algorithm is applied to high-resolution remote sensing image segmentation. In order to solve this problem, a new method of superpixel segmentation method of high-resolution remote sensing image based on fuzzy C-means clustering is proposed in this paper. Firstly, watershed transform algorithm is used to generate multiple superpixels, and then the similarity of spectrum features among superpixels are compared. Finally, these superpixels are merged by a FCM method combined with spectrum features. Four sets of remote sensing images of different scenes were selected in the experiment, and the experimental results were evaluated by combining qualitative and quantitative methods. The experimental results show that the method can effectively improve accuracy of the segmentation and achieve better visual effect of the segmentation. Key words: high spatial resolution remote sensing image superpixel image segmentation watershed transformation fuzzy clustering 随着对地观测技术的发展，高空间分辨率遥感(high spatial resolution remote sensing，HSRRS)影像已应用到很多领域，如灾害监测[1]、城市规划[2]、农作物分类[3]等。影像分割作为HSRRS影像信息提取与目标识别的前提和基础，是实现数据挖掘和信息化的关键步骤[4]。与中低分辨率遥感影像相比，HSRRS影像具有清晰的地物轮廓和明显的边界信息等特点。但由于高分辨率遥感影像易出现同谱异物和同物异谱现象，从而给HSRRS影像的精确分割带来了极大的挑战[5]。传统的基于像素的影像分割方法虽然实现简单，但易受影像中“椒盐”噪声的影响，难以得到理想的分割结果[6]。面向对象的影像分割方法，如多尺度分割方法[7]，即分形网络演化方法(fractal net evolution approach，FNEA)，该分割方法需要综合利用光谱、形状、纹理等信息将影像分割成特征相近的同质区域，在分割的过程中能使分割对象更自然、更贴近真实地物边界，但是参数设置较多。而手动分割方法则需要大量的处理工作，消耗较长时间，很难被接受。近年来，越来越多的理论、方法被引入到影像分割领域中，如神经网络[8]、小波变换[9]等，这些方法对高分辨率遥感影像的分割有着一定的推动作用。 文献[10]首次提出的超像素概念，一经提出便引起广泛关注。作为近年来一个热门的研究方向，该技术已经成为视觉领域中一项关键技术。由于超像素能够在影像上生成固定大小和形状的相邻窗口，因此可以提供更好的局部空间信息。超像素算法大致可分为基于图论和聚类[11]二类。超像素的代表性算法有简单线性迭代聚类(simple linear iterative clustering，SLIC)算法[12]、均值漂移(mean shift，MS)算法[13]、分水岭(watershed，WS)算法[14]、涡轮像素(turbopixel，TP)算法[15]等。在实际应用中，聚类是最常用的超像素分割方法之一。其中，K均值聚类算法[16]和FCM聚类[17]是通过实现目标函数最小化来聚类的经典算法。但由于K均值算法是一种硬聚类算法，对初始聚类中心或隶属度特别敏感。相比之下，FCM聚类是一种软算法，它可以解决K均值聚类算法隶属度敏感的缺点[18]。但是传统的FCM聚类方法通过迭代优化求解目标函数，根据影像的每个像素隶属于不同区域的程度实现对影像像素的划分。尽管FCM针对地物和背景简单的影像的分割是有效的，但是它只考虑灰度信息而不考虑空间信息，所以它不能分割地物和背景复杂的影像或被噪声破坏的影像。为了解决这些问题，文献[19]提出增强型FCM(enhanced fuzzy C means，EnFCM)算法，在有效降低计算复杂度的同时，还将局部空间信息合并到目标函数中，这样可以保持局部空间信息。该方法是基于灰度直方图而不是单纯的对图像像素进行求和，主要是因为影像中的灰度值通常比像素值小得多，所以计算时间很短，同时也提高了图像分割效果。此外文献[20]提出了一种快速的FCM算法(fast and robust FCM，FRFCM)。该方法直接对灰度直方图求和，由于去除了邻域窗口中像素与聚类中心间的重复距离计算，该算法速度非常快。但是FRFCM不能直接对彩色直方图求和，在HSRRS影像分割时，一般是采用光谱直方图计算，所以算法执行时间会比较长。 针对以上问题，许多研究发现可以使用超像素进行预分割，通过生成多个超像素子区域，可以减少影像分割聚类中像素的计算数量，明显提高了分割的效率。SLIC算法和WS算法是常用超像素预分割算法。文献[21]采用SLIC算法进行预分割，计算4种灰度纹理信息与各聚类中心的欧氏距离以完成模糊聚类，得到了较好的分割效果，效率得到明显提升。但是此文仍然是采用基于区域灰度直方图的统计方法来提取特征。文献[22]使用基于梯度重建与形态学分水岭算法来完成预分割，可以很好地抑制噪声，并且改进了模糊聚类算法，可以直接计算彩色直方图完成分割，试验结果具有更好的效率和分割效果。但是在此方法分割试验中仅针对彩色图像的分割，图像背景和地物都比较单一。然而HSRRS影像的地物复杂多样，增加了分割的难度。 综上所述，本文提出了一种HSRRS影像超像素的模糊聚类分割法。首先采用形态梯度重建操作来生成具有精确边界的超像素；然后使用分水岭变换算法将影像过分割行成多个超像素子区域；最后通过提取各超像素光谱的特征向量，利用融合光谱特征的模糊聚类影像分割算法进行区域合并，最终实现HSRRS影像的精确分割。 1 方法原理 本文方法主要分为4个步骤：①对HSRRS影像进行形态学重建；②采用分水岭变换算法对HSRRS进行过分割生成超像素；③构建表征各超像素的光谱特征向量；④根据合适影像分割数，利用融合光谱特征的模糊聚类方法进行区域合并，得到最终的分割结果。总体流程如图 1所示。
分水岭变换不仅可以计算梯度影像的局部极小值，而且可以通过搜索相邻区域的局部极小值得到他们之间的分水岭线，是一种快速影像分割的算法。但该算法对影像噪声极度敏感，易形成过度分割。为解决这一问题，科研人员提出了许多通过修改初始影像梯度的算法。其中，在改进的算法里面，形态梯度重建(MGR)[23]是一种克服过度分割的简单有效的算法。在研究中，使用MGR方法来代替均值或中值过滤器。因为它对噪声具有较好的抑制性，并且可以去除无用梯度细节，以此来消除梯度影像中由规则灰度扰动和噪声引起的局部极值，这样可以有效地保留对象的边界细节。利用该方法，分水岭分割可以在较短时间内获得较好的分割效果。本文研究的分水岭算法主要步骤如下：①对影像进行形态学梯度影像重建；②对重建后的影像进行分水岭算法分割。假定输入遥感影像为f(x, y)，影像梯度为g(x, y)(以下分别用f和g代替)。对输入影像f进行膨胀操作和腐蚀操作，然后分别再对形态学开和闭重建运算，g定义如下
式中，b(x，y)为圆盘状结构元素；⊕指的是灰度形态学膨胀运算；Θ表示灰度形态学腐蚀运算。形态学开和闭重建运算OB(rec)和CB(rec)分别定义为
式中，º和·分别为形态学开和闭运算；D(rec)B和E(rec)B分别表示形态学膨胀和腐蚀收敛时的结果。形态学混和开闭重建运算定义为
分水岭分割是通过求取分割区域的极小值，从而确定分割线。对重建后的梯度影像进行分水岭变换，实际上就是通过gB(rec)修正了该分割区域的极大值和极小值，然后再进行分水岭分割。构建形态学混和开闭重建运算，其目的是为了减少甚至消除因细节和噪声干扰造成的分水线位置偏移，具有准确的轮廓定位能力，明显改善了分水岭过分割现象。综上所述，分割过程可描述为：①计算影像的梯度；②对梯度影像进行重建；③对重建后的梯度影像进行分水岭变换，完成超像素预分割处理。 1.2 增强型模糊聚类影像分割算法 传统的FCM算法进行影像分割时没有考虑像素的空间信息，仅利用了灰度信息，只适用于分割噪声含量很低的影像。为了利用FCM算法分割高分辨率遥感影像，需要将空间信息加入到算法中，可以使用EnFCM算法，该算法的优点是在目标函数中引入了局部空间信息。EnFCM的目标函数定义如下
式中，c为预先设定的聚类数；用一个c×n矩阵U来表示该分类结果，矩阵U称为模糊矩阵，初始化聚类中心V；jm表示所有的样本点到各聚类中心的加权距离平方和，模糊聚类实际上是对jm(U, V)的极小值的求解，m是指模糊加权指数，通常把影像的像素点看成FCM算法中数据集的样本点，像素点的特征(如灰度特征、光谱特征等)看成样本点的特征；n是影像空间所有的像素点数；uik是隶属度；dik表示像素点xk离聚类中心vi的欧氏距离；xr代表xk的相邻像素；NR是邻域窗口的大小。此方法将形态学重建的结果和原影像进行线性叠加考虑了空间信息。 光谱特征是一种十分重要的遥感影像特征，同时也被广泛地应用于高分辨率遥感影像的处理过程中。因此本文采用基于区域RGB光谱均值直方图的统计方法来提取超像素光谱特征。遥感影像获得了n个超像素，每个超像素区域用Si表示(i=1，2，…，n)，光谱均值属性其表达式为：Si={Ri，Gi，Bi}，计算公式可表达为
式中，Rn、Gn、Bn分别表示第i个超像素RGB颜色空间的向量值；ni表示第i个超像素区域中所有像素点数，对任意超像素Si提取光谱特征构成特征直方图，计算光谱均值直方图与各聚类中心的欧氏距离以完成聚类。本文把空间信息和原影像进行线性叠加，然后把叠加结果图作为后续操作的初始影像，在叠加的结果上再融合光谱特征。因此从原始影像和光谱均值影像生成线性加权影像ηk，其Jen目标函数为
式中，ηk是线性叠加后新影像上第k个像素的特征值；Sk表示超像素点的光谱均值。基于EnFCM的思想，当完成影像空间信息与原影像的线性叠以及光谱特征提取后，只需对超像素预分割区域进行合并。算法按照合并准则把特征或属性最相似的邻接超像素合并成一个区域。令JEn为预分割处理后的影像。S为每个超像素区域l表示光谱信息，q(1≤l≤q)是指超像素的数量，其中Sl表示第l个超像素所包含的像素点。xp是由分水岭变换分割后的第l区域内的超像素点。在超像素光谱均值直方图上执行FCM，因此本文改进的目标函数为
式中，ξl(1≤l≤q)表示第l个超像素点的空间和光谱叠加信息，此时目标函数极小值也可以利用与传统的FCM相同的方法求解问题的最优解，同样可以利用迭代优化的思想对目标函数进行迭代优化。为了求有约束条件下目标函数的极值，利用拉格朗日乘子法构造新的函数准则，得到迭代公式
则可以得到求解公式
根据以上的公式推理，得到了用一个c×n矩阵U来表示该分类结果，表示为[μkl]c×q。为了获得模糊矩阵的最优解，不断迭代，直到满足maxUξUξ+1 < η，其中η是最小误差阈值。 本文针对传统FCM遥感影像分割中存在的问题，引入了空间信息和基于超像素的光谱特征进行分割，具体流程如下： 步骤1：HSRRS影像超像素预分割处理。对HSRRS影像进行形态学梯度影像重建，然后进行分水岭变换分割，在保证足够的原影像细节特征信息基础上，使预分割得到的超像素尽可能少。 步骤2：将空间信息和原影像线性叠加和提取超像素光谱信息。用超像素中所有像素在RGB颜色空间向量的平均值来描述它的颜色信息，即为超像素的光谱特征。对影像进行增强和把光谱特征融合到分割算法中。 步骤3：在步骤1和2的基础上，设定模糊加权指数(m>1)和聚类中心数c(2≤c≤n)，迭代最小误差阈值为η，初始化聚类中心V，运用模糊聚类影像分割算法对超像素进行合并，直到迭代收敛小于设定的阈值误差，得到最终分割的结果。 2 试验与分析2.1 试验数据 为验证本文方法的有效性，本文选取了4景高空间分辨率遥感影像。2景是QuickBird影像，空间分辨率为0.61m；记作S1和S2，均包含近红外、红光、绿光和蓝光4个波段。S1大小为433×550像素，S2为2480×975像素。1景是无人机遥感影像，简称S3，大小为726×468像素，空间分辨率为0.05 m；包含红光、绿光、蓝光3个波段；最后1景是航摄遥感影像，简称S4，此数据来源于高分辨率遥感建筑物数据库(WuHan building dataset)[24]，空间分辨率为0.3 m，包含红光、绿光、蓝光3个波段，S4大小为2000×2000像素。 由图 2所示，4景影像中主要包含道路、水体、绿地和建筑物等地物。S1为建筑区，建筑物类型多样，建筑物内部光谱结构丰富；S2覆盖了公园景观，较S1的面积更大。相比S1和S2，S3和S4的分辨率较高，地物边界清晰，且光谱信息更加丰富，比如道路与建筑物，还有植被与裸地都呈现出明显的边界。S4为建筑区密集住宅区。
采用WS、SLIC算法和MS算法对原始影像进行超像素分割，由于S4影像的图幅面积大，试验结果的分割线无法清晰显示，所以只对3景影像进行试验对比。其中，图 3(a)、图 3(e)和图 3(i)是3景HSRRS感影像对应的参考影像，通过人工目视解译生成的。在地物边界依附性方面，如图 3(b)所示，建筑物之间的光谱和颜色信息相似程度较高，运用MS算法难以区分复杂地物，边界的附着率也不高。WS与SLIC算法的分割结果中，可以较好地表达地物之间的光谱信息，因此利用两种算法都较好地提高了地物边界的依附性。在分割数量选择方面，由于影像分割数难以具体设定，WS算法的分割结果与影像梯度和种子点的选取有关，所以WS算法的数量是以梯度小于等于2的点作为种子点的分割结果；MS算法的分割数阈值设定为0.4的影像分割结果；SLIC算法设定为500个超像素作为试验结果。在时间消耗方面，如图 4所示，WS算法的时间消耗小于SLIC算法、MS算法的消耗时间，分水岭算法是一种高效的影像过分割算法。基于以上分析，WS算法比SLIC算法效率高，因此本文采用WS算法来进行预分割。
为了更好地验证试验的分割效果，试验采用定性和定量2种方法进行精度评价。试验选用了3种分割算法与提出的方法进行对比：分别是FNEA方法、融合模糊聚类的SLIC0算法(零参数版本的SLIC)[12](记作S0FCM)和融合模糊聚类的MS算法(记作MSFCM)。其中，FNEA算法设置形状异质度和紧致度参数固定为0.4和0.5，尺度大小为100，记作FNEA(100)。根据遥感影像分辨率特点，将S1和S2分为第1组，S3和S4分为第2组。在对分割效果进行评价时，其中形状异质度准则是为了避免影像数据所导致的影像对象的高度分形，形状异质度由光滑度和紧致度组成。紧致度用于优化影像分割对象的紧致程度，而光滑度则用于优化影像分割对象边界的光滑程度。边界附着度实质是分割边界与实际地物边界的重合程度，重合效果越好，边界附着效果越好。首先在定性对比中，通过直接视觉对比分析。在定量对比中，采用P-R[25]方法对不同分割方法进行对比分析。本文在计算P-R时的实际地物边界均由目视解译提取。P-R方法具体计算公式为
式中，Precision为分割精度，值越大，精度越高；Recall为边界召回率，值越大，边界附着效果越好；TP为地物被正确分割的结果像素的样本个数；FP为背景像素被分为地物像素的分割结果的样本个数；FN为地物分割结果被分为背景像素的样本个数。 试验所使用的试验平台CPU为Inter(R)Pentium(R)四核，4 GB内存，Windows10操作系统，软件为matlab2018a和eCognition Developer。 2.4 影像分割试验比较分析 2.4.1 第1组试验结果 为了便于视觉比较，分别在试验影像中标注了蓝色矩形框。从S1影像的试验分割结果可以看出，在图 5(a)、(b)、(c)和(d)中，MSFCM存在严重的过分割现象，S0FCM算法的分割边界附着度较差；在蓝色矩形框所标定的房屋区域内，本文算法的分割形状最为规则和完整，而MSFCM的效果最差；在FNEA(100)分割结果中，分割斑块大小不一、形状各异，虽然主要建筑物边界与分割边界切合性较好，但存在严重的过分割现象；S0FCM存在严重的欠分割现象，以及对超像素区域的过度合并，并且分割呈现出不规则的矩形，同时一些边界模糊的位置也被错误合并。从S1影像的所有分割结果中，本文方法的分割效果较其他3种分割方法都有所改善，如在地物边界较清晰且地物尺寸较大情况下，边界很容易被识别出来，但在个别位置依然出现了错分割现象，比如植被和建筑物被错误合并。
在S2影像中，使用MSFCM算法边界产生了大量的过分割现象，FNEA(100)算法减少了过分割，但影像过分割的问题仍未得到较好的解决。采用S0FCM对道路和水体进行分割时产生了大量的噪声点，使得整体的分割效果变差。由于分割区域的地物交界处存在地物内部结构复杂、形状极度不规则和边界不明显等情况，更增加了分割的难度。为此，本文算法能够考虑到同质区域特征的不确定性情况，增强了像素类属的不确定性表达，从而优化了边界分割效果，保证了分割结果的准确性，使得地物分割的大小和形状相对于参考影像更一致。 从表 1可以看出，在S1和S2的试验结果中，本文提出的方法得到Precision和Recall大于其他3种分割结果，说明本文方法在地物分割方面展示出较好优越性。相比于S1的试验结果，S2试验中的Precision值和Recall值更高，这主要是因为S2中地物内部光谱细节简单，边界更加明显，且地物类型的轮廓没有S1复杂，所以分割精度更高。 表 1 第1组分割结果评价Tab. 1 Segmentation results evaluation of group 1
表选项 从分割精度与视觉效果来看，本文方法都得到了最优分割，且大多数建筑物表面内部区域的细节分割得很清晰，分割呈现出规则的矩形，同时一些边界模糊的位置也被准确地分割出来。此外，对于一些光谱更加复杂和边界更加模糊的地物，例如蓝色框圈定的长方形建筑区域，本文方法也将其完整分割出来，并完整地保留了房屋细小区域的边界。总的来说，本文分割结果与对应参考影像的边界吻合程度是最高的。 2.4.2 第2组试验结果 与S1和S2影像相比较，S3和S4影像的分辨率更高，地物轮廓更清晰，边界信息更明显。由S3分割情况可以得到，在图 6(a)、(b)、(c)和(d)蓝色矩形框所标定的道路区域，采用FNEA(100)算法和MSFCM算法都产生了过分割现象。虽然FNEA(100)过分割得到改善，但FNEA(100)把一些建筑和非建筑区域错误的合并到了一起，且植被过度分割现象并没有得到很大改善；S0FCM对建筑物的分割包含大量的噪声点，并且地物分割边界偏移明显，但综合来看植被得到了更好的合并。
其图 6(i)中为影像S4目视解译图，从图 6中可观察到FNEA(100)试验效果更佳，故选用了FNEA(100)的分图试验结果作为比较数据。图 6(j)、(k)和(l)分别是S4的3种试验方法分割结果的分图，观察3种算法分图的分割结果，从整体上对比分割结果，S0FCM和FNEA(100)算法都产生了大量的过分割现象。S0FCM和FNEA(100)算法难以区分出光谱相似的房屋对象，因而出现过分割现象；S0FCM算法中建筑物还出现了少量欠分割的问题。与前两种方法对比，本文方法可以得到更好的影像分割结果，本文方法能较好地区分房屋与道路，较为完整地保留了房屋、绿地等细小区域。但也有一些缺点，如本文方法对植被光谱特征的敏感度较高，因而出现了少量分割小碎块。但是本文方法较好地区分了房屋与道路，较为完整地保留了房屋、绿地等细小区域。 从表 2可以看出，通过本文提出的方法对S3和S4影像进行分割，S3得到的结果中Precision精度得到了较大的提升。在S3分割的评价结果中，与其他3种分割结果相比，采用本文算法得到的分割精度最高，分割效果最好。从图 6中可以看出，本文方法可以将建筑物、道路、绿地等很好的区分开。在S4分割的评价结果中，本文提出的方法分割结果中Precision大于其他3种算法，说明本文方法的分割效果明显优于这两种方法。其中，S4的分割效果的Precision和Recall的评价结果明显下降，这主要是因为第3组试验图幅面积大、要兼顾的地物更多，分割的尺度更加难把握。但是本文的分割结果与对应参考影像精度评价比其他两种方法明显高出很多。说明本文方法也可以适用分割区域范围较大范围的影像。 表 2 第2组分割结果Tab. 2 Segmentation results evaluation of group 2
表选项 通过对比两组HSRRS影像分割试验结果发现，本文方法都取得了最高Precision值和Recall值，充分证实了该方法的可行性和适用性。相比于第1组S1和S2影像的分割结果，第2组S3 Precision值和Recall值更高。这主要是因为第1组试验中地物种类多、光谱和轮廓复杂、边界模糊，所以分割难度更高。S4影像Precision和Recall的评价结果下降主要受到试验图幅面积增加的影响，并且要兼顾的地物更多，分割的难度增加。从试验对比中可知，影响影像分割精度的因素包括分割区域分辨率和范围、地物分布情况以及边界准确性等。 3 结论 本文提出了一种HSRRS影像超像素的模糊聚类分割法。通过对4景不同分辨率和场景的高空间遥感影像分割结果的试验对比，得出结论如下： (1) 针对传统FCM在遥感影像分割中的问题，采用融合光谱特征的模糊聚类合并方法，可以充分考虑到超像素区域中光谱和颜色信息表达的不确定性，从而可以较好地获得区域的分割结果，是一种较为简便、有效的方法。 (2) 利用分水岭变换的方法生成超像素，通过统计光谱信息来代替单个像素的灰度信息进行相似度度量，克服了噪声对影像分割的影响，提高了算法效率。 (3) 当待分割影像同类型地物的内部特征相似性较弱时(或者是对特殊地物的分割)，本文提出的算法不能很好地分割相应区域及其边界，并且如何自动选择合适的分割尺度的一直是面临的难题。接下来要在本文的基础上进一步提高算法性能，同时提高算法的泛化能力和效率，实现超像素初始样本以及样本中各分割样本数目的自动化选择。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
, 姚丙秀1
(1)
(2)
(3)
