手把手教你打造一套「高性价比」的农业采摘开发平台！

在工业机器人领域，部分智能化工厂已利用机器人实现24小时无人值守运行；在服务行业，送餐机器人已经开始在餐厅服务，接待机器人早已司空见惯；在立面空间，高空作业机器人也开始在大型船舶外立面上辗转腾挪，大显身手。

（图片来源于北京史河科技）

但在劳动密集的农业领域，农业机器人的发展还有巨大的空间。工业机器人的工作更多的是在固定流水线上完成固定动作，相比而言，农业机器人要复杂得多。农业机器人需要有移动能力、环境感知能力、肢体执行能力等多种能力，是融合多种学科于一体的复杂设备。

（图片来源于网络）

以果蔬采摘为例，机器人需要具备移动、识别、采摘三种基本功能，而其中涉及的自主导航、路径规划、对果蔬的识别及定位算法等都属于机器人领域的前沿方向，其研发难度可见一斑。在人工智能、AI、云计算、大数据等前沿信息技术发展潮流的带动下，农业机器人研究的重点从机械研究转向了识别算法、导航避障等人工智能方面的问题上。

基于此，史河机器人推出了智慧农业采摘开发平台，该平台定位为科教级开发平台，旨在为研究SLAM算法、深度视觉、移动抓取等方面的实验室和研究机构提供一款硬件丰富，软件开源的高性价比开发平台，助力农业机器人科研成果的转化。

如上图所示，一套“手脚眼脑”都具备的开发平台在进行模拟苹果的抓取，其中手脚眼脑分别对应的是协作机器人、移动底盘、深度视觉相机以及高性能计算机。它们是如何实现这一复杂得操作的呢？

首先移动底盘的激光雷达获取非结构化环境的物体位置信息，并通过SLAM算法将位置信息转换为非结构化环境的导航地图。

紧接着，机器人系统通过摄像头获取各处的图像数据，并将数据发送到远程图像处理服务器中。远程高性能服务器通过深度学习算法对含有苹果的图像数据进行处理，计算得出苹果的大概位置。随后远程服务器对机器人的当前位置与苹果位置作比较，并向移动底盘发送运动指令，使机器人移动到苹果附近。

接下来，远程服务器利用深度摄像头的位置判断能力，结合视觉识别算法，通过视觉伺服算法实时修正误差，实现控制机械臂抓取苹果的功能。

▍技术解析——远/近距离视觉识别算法

识别系统框图

      目标识别过程

在开放的复杂环境中识别目标物体通常会因为类似干扰物与自然光线等在实际场景下的识别率降低，尤其是传统的识别方案在物体遮掩等问题上表现不太理想，为了解决这个问题，该项目的视觉识别主要围绕深度学习的方法来实现，在可能的场景下预先对大量包含识别目标的数据集进行标注，并加入干扰项得到完整的训练集。对训练集的样本实例按照一定策略进行缩放与分割后利用卷积神经网络迭代训练生获得特征图。后续利用这些特征图在实际画面中进行特征锚的匹配，最后用边框回归算法修正特征边缘以得到特征候选区域。

该方案可以在复杂环境下很大程度提高在物体遮挡或者光线等常见的干扰现象下的目标识别率及定位准确性。

▍技术解析——机械臂自主目标定位及抓取

利用双瞳深度摄像头计算抓取目标的深度并确认实际物体的大小与空间坐标偏移。在距离较近的情况下深度摄像头因为目视角度容易产生畸变从而可能会造成数值有一定偏差，在实际场景下这种偏差因为环境的改变（如刮风或其他扰动）而进一步增大。同时当目标被遮挡时，还需要观察并选取不同的角度对目标物体进行抓取。我们的方案在估算空间坐标的基础上利用机械臂的灵活性，根据实时环境计算出合适的抓取姿态接近目标物体后，利用实时视觉识别系统形成控制闭环跟踪目标物体，控制机械臂在小范围内修正位置并进行抓取任务。该方案利用机械臂的灵活度可以最大程度降低环境干扰下抓取的精确性。

完成采摘后，移动底盘在返程途中可通过激光SLAM实现智能避障，

并顺利到达目的点位，最后完成苹果的放置动作。

模拟农业采摘完整视频