技术干货 | 无人机航拍叶片缺陷识别模型——基于卷积神经网络的实现

☛每日风电：中国风电新闻网旗下品牌栏目

利用无人机航拍技术，可以近距离地拍摄风机叶片。目前使用人工的方法从视频中抓取故障帧，耗费大量的人力和时间，且连续长时间的人为寻找故障帧容易产生视觉疲劳，从而遗漏损伤或判错损伤部位。通过结合图像处理方法和机器学习算法，借助计算机实现对故障视频中故障帧的抓取，可有效节省人力物力，提高叶片缺陷识别的效率，实现自动化处理。

1、建模思路

首先对无人机航拍的视频进行处理，按照每两秒取一帧数据的方式，将视频数据转换为图像数据。其次，对于得到的图像数据，建立语义分割模型，提取出其中的风机叶片部分。然后，将提取出的风机叶片部分送入分类网络进行训练，得到可以预测风机图片是否损伤的模型。最后，对预测的结果进行压缩处理，即将同一损伤的多张图片进行压缩，得到一张来表示这种损伤。

2、模型介绍

2.1 语义分割模型

图像是由许多像素（pixel）组成的，而语义分割就是将像素按照图像中表达语义含义的不同进行分组。换言之，图像语义分割希望实现的是对每个像素点的分类。在无人机拍摄的图片中，应用AI技术，将照片中的风机叶片提取出来，即对于表示风机的像素点，其类别标签为1，而对于其他的像素点，其类别标签为0（表示背景）。针对此项任务，采用了基于Unet神经网络的图像语义分割技术。Unet介绍如下：

在神经网络的架构中，不断的卷积和池化可以提取图片的深层特征，但同时得到的特征图的大小相较于原来的图片也在不断的减小，网络越深，丢失的信息越多。因此，对于每一次下采样，采用一次上采样使之恢复原来的尺寸大小。在Unet的上采样层中，每一个上采样的结果都与前期相应尺寸的特征图进行相连，这样便实现了高层特征与低层特征的结合，从而可以更高精度的预测每一个像素的类别。Unet的结构如下图所示，有几次下采样就对应着有几次上采样，因整体结构像U型而起名Unet。

图1 Unet结构图

Unet的预测结果如图2，其中（a）为原图，（b）为Unet的预测结果。

（a）原图

（b）Unet风机叶片预测结果

图2 原图和Unet预测结果对比

单纯Unet对风机叶片的预测比较粗糙。因此，我们在Unet的输出结果之后，再引入一层CRF（条件随机场），来对结果进行优化。条件随机场的目标函数是： 

目标函数使模型能够做出如下判断：两个相邻的像素点，如果其颜色值非常接近，那么它们属于同一个类别的概率应该比较大。相反的，如果两个相邻像素点的颜色值差异很大，属于同一个类别的概率比较小，分割的结果从这两个像素点分裂。能量项弥补了神经网络的分割结果的不足之处，使得预测结果更为精细。图3是CRF优化之后的输出结果。从图中可以看出，在Unet的输出之后加了CRF之后，语义分割效果明显提高了很多。

          

图3 CRF优化之后的语义分割结果

2.2 损伤分类模型

将2.1中提取出的叶片数据，送入分类网络进行训练，得到可以识别损伤的模型。在此步骤中，运用迁移学习的方法，在十二种不同的神经网络架构上进行实验，包括VGG网络（VGG16， VGG19），Inception网络（Inception-v3, Inception-v4, Xception）, Resnet网络（resnet50, resnet101, resnet152）, Densenet网络（Densenet121, Densenet161, Densenet169）, 以及结合Inception网络和Resnet网络优势的Inception-resnet-v2网络。

将训练数据（Unet进行语义分割后的结果）和真实的标签（是否损伤）送入神经网络，训练一组模型对一张无标签图片的损伤判断。此模型训练与预测过程中，保持训练样本和测试样本中正常和损伤的比例为1：1。评估方面，通过三个指标来衡量实验结果，分别为准确率，误检率和漏检率。其中，准确率代表预测正确的图片的比例，误检率为将正常图片判定为损伤的概率，漏检率为将损伤图片判为正常的概率。十二种网络的实验结果如表1所示：

以上结果并未对同一处故障重复图像采集做出处理，因此从整体来看模型效果不佳。

2.3 压缩算法

为了解决重复采样的问题，采用mean shift算法对实验数据结果进行进一步优化，首先用神经网络训练好的参数对每幅图片进行特征提取（即将图片送入神经网络，执行一次前向传播，得到全连接层之前的特征图，作为本张图片的特征），然后采用mean shift算法对这些特征进行聚类。聚类结果中，每一个类别中的图片属于同一损伤，然后对每一类别中的图片随机抽取一张作为结果呈现出来（随机数由正态分布生成，趋向于抽取图像位置居中的故障）。

图6 mean shift算法示意

Mean shift算法假设在一个多为空间中有很多数据点需要进行聚类，算法首先从未被标记的数据点中随机选择一个点作为中心center。通过带宽范围内数据点的密度，不断计算新的质心和偏移点，得到最终判定为同一类的数据。

经过Mean shift算法修正的结果，以已有真实报告中发现的叶片故障作为参照，准确率达到85%，误检率与漏检率均能够控制在10%以内。

3、总结

无人机技术在工业领域应用的“攻城掠地”刚刚开始，基于图片、视频等数据进行外观诊察，已成为目前无人机领域要解决的重要问题之一。基于AI技术的计算机视觉可有效提高对数据的识别精度和识别速度，节约人工查看的时间，自动化诊断流程。

随着移动设备AI芯片的逐渐面世，将算法嵌入无人机中，实现准实时分析，拍完即得的方式，将是算法落地的重点。

●

●

▓

▓来源： 天数润科