|
内容节选自： 韩书庆, 张晶, 程国栋, 彭英琦, 张建华, 吴建寨. 奶牛跛行自动识别技术研究现状与挑战[J]. 智慧农业(中英文), 2020, 2(3): 21-36. HAN Shuqing, ZHANG Jing, CHENG Guodong, PENG Yingqi, ZHANG Jianhua, WU Jianzhai. Current State and Challenges of Automatic Lameness Detection in Dairy Cattle[J]. Smart Agriculture, 2020, 2 (3): 21-36.  基于机器视觉技术的奶牛跛行自动识别研究进展 基于机器视觉的奶牛跛行识别是指利用数字相机或深度相机采集奶牛行走侧视或顶视视频，经过前景检测、身体区域图像分割、关键点定位、轨迹跟踪等一系列图像处理，提取脊背弯曲程度、头颈部斜率、牛蹄跟随性、行走步长、步态特征等跛行特征参数，并构建奶牛跛行程度判别模型，最终实现奶牛跛行的自动诊断如图1所示。 图1 基于机器视觉的奶牛跛行识别基本流程 利用机器视觉技术识别跛行奶牛具有非接触、免应激、低成本、高通量、不干扰奶牛正常活动等优点。根据成像技术特点，机器视觉技术可分为数字成像、三维视觉成像和热成像技术等。从跛行特征识别、分类算法、成像技术、召回率、真负率、准确率、成熟度、样本量等方面，本文总结了基于机器视觉技术的奶牛跛行识别研究情况，如表1所示。下文从数字成像技术、三维视觉技术和热成像技术三个方面分别进行阐述。 01 数字成像技术 数字成像技术是指利用电荷耦合元件（Charge-Coupled Device，CCD）或互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）把光学影像转换成数字信号，通过数字相机实现奶牛行走过程的数字化，并利用计算机对数字信号进行处理和判别分析，最终代替人工观察以实现跛行奶牛的自动识别。利用数字成像技术能够低成本地实现奶牛行走视频的连续、实时、客观监测，在奶牛跛行自动识别方面具有广阔的应用前景。在奶牛目标前景检测方面，传统方法大多采用参数化模型，而参数对光环境敏感，在奶牛养殖场开放环境下检测精度不高。宋怀波等提出了一种无参数的奶牛目标检测算法，该算法在光照环境变化和有干扰的条件下，依然可以实现奶牛的实时、准确检测，极大提高了目标检测算法的鲁棒性。 脊背拟合曲线的曲率能够反应奶牛跛行程度。基于脊背姿态的跛行识别流程为：首先，利用图像增强、图像分割等算法从复杂背景中提取奶牛躯干信息；其次，利用圆或椭圆拟合奶牛脊背曲线，计算脊背曲线的曲率或拟合椭圆的几何特征参数；最后，结合决策树等判断模型，实现奶牛跛行状态的判别。顾静秋等通过提取奶牛背部轮廓，分析背部弯曲程度，同时融合奶牛计步器监测的活动量数据，实现奶牛蹄病的早期检测，识别准确率超过了80%。奶牛个体差异影响模型的判别精度，与基于奶牛群体数据的判别模型相比，基于奶牛个体数据的判别模型的召回率提高了10%。针对跛行检测不及时、现有自动跛行识别设备成本高、测量过程易造成奶牛应激等问题，宋怀波等通过图像处理技术提取奶牛行走过程中，头部、颈部以及背部连接处的拟合直线斜率，并利用K最近邻（K-Nearest Neighbor，KNN）分类算法实现了奶牛正常、轻度、中重度跛行的准确判别，正确率达到了93.89%。 肢蹄病引起的疼痛导致奶牛步伐不稳，包括左右肢蹄不稳或者步伐没有节奏。通过检测奶牛步幅波动以及牛蹄侧偏量可以识别跛行奶牛。利用机器视觉技术对奶牛行走视频进行运动目标提取、牛蹄图像提取、牛蹄着地位置定位以及牛蹄数据匹配等一系列处理，计算得到牛蹄着地位置，通过比对同侧前后牛蹄着地位置的偏差判断奶牛跛行程度。该方法的跛行检测准确率达到了93.3%。利用YOLOv3深度学习算法能够进一步提高奶牛肢蹄定位精度，准确记录奶牛行走过程中步幅变化，结合长短期记忆网络（Long Short-Term Memory，LSTM）建立跛行判别模型，准确率高达98.57%。除了步幅特征，通过分析肢蹄运动轨迹还可以提取重力对称、轨迹、弓背、点头、速度、牛蹄侧偏量等步态特征参数，利用决策树模型进行跛行判别，准确率、召回率和真负率分别达到了90.18%、90.25%和94.74%。为了分析奶牛离地瞬间的步态特征，Pluk等同步记录了奶牛行走过程中的压力垫响应信号和视频信息，利用压力垫的即时响应信号精准抽取奶牛行走视频中肢蹄着地和离地瞬间的图像帧，计算落地与离地瞬间肢蹄与地面垂线的夹角以及肢蹄活动角度（Range of Motion，ROM）。统计分析显示，奶牛前肢的ROM和离地瞬间的夹角能够有效地反应奶牛跛行程度。 利用双正态分布统计模型分析奶牛行走连续帧中前景和背景像素的变化特征，能够实现非结构环境下奶牛跛行识别，简化了跛行特征提取的复杂度，减轻了天气条件对识别精度的影响，正确率达到了93.75%，大大提高了基于机器视觉技术识别奶牛跛行的应用价值。为充分利用奶牛行走视频中的时空结构信息，Jiang等提出了一种结合光流图和单流-长时卷积网络的奶牛跛行识别算法，显著提高了跛行识别精度，平均精度均值（Mean Average Precision，MAP）高达98.24%，实现了端到端的跛行识别。针对利用机器视觉的奶牛跛行算法在线识别性能较差的问题，温长吉等提出了一种基于共轭梯度追踪算法的稀疏超完备词典学习算法用于跛足拱背和步态异常特征的语义级描述和表示，以及一种融合时空兴趣点与稠密轨迹图二次提取时空兴趣点的视频底层特征提取和表示方法，利用支持向量机（Support Vector Machine，SVM）建立分类模型，在线测试跛行识别精度达到了92.7%，识别评价响应时间为0.043 s，具有较好的在线响应时间。 利用数字成像技术提取奶牛弓背、点头、步态等特征，具有非接触、低成本的优点，但在牧场非结构化的环境下，跛行识别效果容易受到环境光线、复杂背景以及奶牛相互遮挡的影响。如何克服这些因素对奶牛跛行特征提取的干扰是基于数字成像的跛行识别技术需要解决的难题之一。同时，奶牛个体步态行为模式存在差异，单一的判别模型难以准确识别跛行奶牛，为进一步提高跛行识别准确率，需要研究基于历史数据的奶牛个体判别模型的构建方法。 02 三维视觉技术 三维视觉技术是指利用双目成像、结构光成像、飞行时间（Time of Flight，TOF）成像等方法记录每个像素点在三维空间中对应点到相机镜头的距离，形成目标物的点云数据。三维视觉技术已经应用在奶牛精细养殖的饲喂管理、自动挤奶、体况监测、体重估测等环节。在奶牛跛行识别方面，通过获取奶牛行走过程中肢蹄、脊背、腰角等关键部位的点云数据，可以实现牛蹄着地位置识别，脊背曲线弯曲程度和步态对称性的测量。与数字成像技术相比，三维视觉技术能够提升图像分割与识别准确率而且可以采用隐蔽性更好俯拍的方式实现跛行检测，不需要占用奶牛活动空间，对奶牛日常活动影响较小。 Gardenier等提出了一种融合TOF相机与更快区域卷积神经网络（Faster R-CNN）目标检测技术的奶牛蹄部及关节的连续定位跟踪算法，实现了奶牛肢蹄运动轨迹的绘制和步态评分参数的非接触式测量。通过计算比较奶牛行走过程中前后蹄落脚点的横向和纵向偏移，综合判断奶牛健康或跛行状况。针对普通相机采集图像分割的准确性易受光照和背景干扰的难题，可以利用深度相机获取奶牛通过测量通道时的深度图像，对奶牛背部轮廓进行三维重建，提取出奶牛弓背的关键指标，并利用决策树对奶牛跛行情况进行判别。进一步可利用二次多项式对奶牛脊背曲线进行拟合，并用相关系数来表示脊背曲线弯曲程度。除了利用三维视觉技术提取肢蹄运动轨迹和脊背弯曲特征，Abdul Jabbar提出了一种基于三维视觉的奶牛步态对称性检测方法，在挤奶厅出口通道上方安装深度相机采集奶牛通过过程中脊背和左右两侧腰角的上下波动范围，对左右两侧腰角的波动信号进行希尔伯特变换，利用相位差判断步态的对称性。该方法的跛行识别召回率为100%，真负率为75%，准确率达到了95.7%。 三维视觉技术较容易受到阳光照射的影响，在户外环境下检测大多只能在傍晚进行，各技术应对光照变化的性能对比如表2所示。为了进一步提高三维视觉技术算法的稳定性和解决奶牛个体步态差异容易导致判别错误的问题，Hertem等研究了连续测量算法，与基于单次测量数据的分类算法对比，该方法能够提高算法的精度，5分制跛行评分时，模型判别精度达到了60.2%，二分类奶牛跛行评分情况下精度达到了81.2%。但是该方法需要为每一头牛建立一个数据库，不能实现对新样本的在线检测。 03 热成像技术 热成像技术是一种非接触式的红外测温技术。随着技术成熟和应用成本降低，热成像技术在马、猪、牛等家畜肢蹄病的诊断中得到了广泛应用。肢蹄炎症会引起感染部位血流、代谢加快并导致表面皮肤温度升高，利用热成像技术测量肢蹄表面温度分布，可以在跛行症状出现之前发现肢蹄损伤的准确位置并及时进行诊治。热成像相机可用于检测趾间皮炎牛蹄后跟和冠状垫的温度差异，研究结果显示牛蹄后跟部位的温度最大值相对较能反应奶牛趾间皮炎发病情况，可据此对趾间皮炎进行诊断。 在应用过程中，热成像测量技术容易受到测量距离、风速、太阳辐射、粪污以及动物生理状况的影响。测量前需要对动物和测量环境进行规范化处理，测量时需要遵循标准的流程。自动测量难以保证结果的准确度，虚警率较高。高精度的热成像设备成本较高，低成本的热成像设备精度又难以满足测量需求，需要在设备成本与准确率之间找到均衡适宜的解决方案。 作者简介
韩书庆 副研究员 韩书庆，男，农学博士，中国农业科学院农业信息研究所副研究员，主要从事畜禽智能养殖与农业物联网技术研究，主持院所级基本科研业务费项目5项，参加国家重点研发计划、国家自然科学基金项目5项，参与中国农业科学院创新工程及横向课题30余项，发表学术论文40余篇，其中SCI/EI等论文10余篇，获专利授权40余项，国家发明专利授权10项；荣获大北农科技奖1项，日本农业与食品工程学会（JSAM）研究奖励奖1项。
|
|
|
