基于改进Ghost-YOLOv5s-BiFPN算法检测梨树花序

2022 年9 月 第4 卷 第3 期 智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Sept.2022 Vol.4,No.3
doi ：10.12133/j.smartag.SA202207006
基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法
检 测 梨 树 花 序
1 ， 2 1 1 1 1 1
夏 烨 ， 雷 哓 晖 ， 祁 雁 楠 ， 徐 陶 ， 袁 全 春 ， 潘 健 ，

1 1
姜 赛 珂 ， 吕 晓 兰
（ 1 . 江 苏 省 农 业 科 学 院 农 业 设 施 与 装 备 研 究 所 / 农 业 农 村 部 园 艺 作 物 农 业 装 备 重 点 实 验 室 ， 江 苏 南 京 2 1 0 0 1 4 ；
2 . 江 苏 大 学 农 业 工 程 学 院 ， 江 苏 镇 江 2 1 0 2 0 0 ）
摘 要 ： 疏 花 是 梨 生 产 中 的 重 要 农 艺 措 施 ， 机 械 化 智 能 疏 花 是 当 今 高 速 发 展 的 疏 花 方 式 ， 花 朵 与 花 苞 的 分
类 与 检 测 是 保 证 疏 花 机 器 正 常 工 作 的 基 本 要 求 。 本 研 究 针 对 目 前 梨 园 智 能 化 生 产 中 出 现 的 梨 树 花 序 检 测 与
分 类 问 题 ， 提 出 了 一 种 基 于 改 进 Y O L O v 5 s 的 水 平 棚 架 梨 园 花 序 识 别 算 法 G h o s t - Y O L O v 5 s - B i F P N 。 通 过 对 田
间 采 集 的 梨 树 花 苞 与 花 朵 图 像 进 行 标 注 与 数 据 扩 充 后 送 入 算 法 进 行 训 练 得 到 检 测 模 型 。 G h o s t - Y O L O v 5 s -
B i F P N 运 用 加 权 双 向 特 征 金 字 塔 网 络 （ B i - d i r e c t i o n a l F e a t u r e P y r a m i d N e t w o r k ， B i F P N ） 替 换 原 始 的 路 径 聚 合
网 络 （ P a t h A g g r e g a t i o n N e t w o r k ， P A N ） 结 构 ， 对 网 络 提 取 的 不 同 尺 寸 目 标 特 征 进 行 有 效 的 融 合 。 同 时 运 用
G h o s t 模 块 替 换 传 统 卷 积 ， 在 不 降 低 准 确 度 的 同 时 减 少 模 型 参 数 量 和 提 升 设 备 运 行 效 率 。 田 间 试 验 结 果 表 明 ，
改 进 的 G h o s t - Y O L O v 5 s - B i F P N 算 法 对 梨 树 花 序 中 花 苞 与 花 朵 的 检 测 精 度 分 别 为 9 3 . 2 % 和 8 9 . 4 % ， 两 种 目 标 平
均 精 度 为 9 1 . 3 % ， 检 测 单 张 图 像 时 间 为 2 9 m s ， 模 型 大 小 为 7 . 6 2 M 。 相 比 于 原 始 Y O L O v 5 s 算 法 ， 检 测 精 度 与
召 回 度 分 别 提 升 了 4 . 2 % 和 2 . 7 % ， 检 测 时 间 和 模 型 参 数 量 分 别 降 低 了 9 m s 和 4 6 . 6 % 。 本 研 究 提 出 的 算 法 可 对
梨 树 花 苞 与 花 朵 进 行 精 确 的 识 别 和 分 类 ， 为 后 续 梨 园 智 能 化 疏 花 的 实 现 提 供 技 术 支 持 。
关 键 词 ： 梨 树 花 序 ； 智 能 识 别 ； Y O L O v 5 s ； 加 权 双 向 特 征 金 字 塔 ； 轻 量 化 模 型
中 图 分 类 号 : T P 3 9 1 . 4 1 文 献 标 志 码 ： A 文 章 编 号 ： S A 2 0 2 2 0 7 0 0 6
引 用 格 式 ： 夏 烨, 雷 哓 晖, 祁 雁 楠, 徐 陶, 袁 全 春, 潘 健, 姜 赛 珂, 吕 晓 兰. 基 于 改 进Ghost-YOLOv5s-BiFPN 算 法 检
测 梨 树 花 序[J]. 智 慧 农 业( 中 英 文),2022,4(3):108-119.
XIAYe, LEI Xiaohui, QIYannan, XU Tao,YUAN Quanchun, PAN Jian, JIANG Saike, LYU Xiaolan. Detection of
pear inflorescence based on improved Ghost-YOLOv5s-BiFPN algorithm[J]. Smart Agriculture, 2022, 4(3): 108-
119.(inChinesewithEnglishabstract)
面 主 要 采 用 人 工 方 式 ， 既 耗 工 费 时 又 浪 费 树 体 养
1 引 言
分 。 虽 有 疏 花 机 具 问 世 ， 但 其 属 于 随 机 击 打 的 方
梨 树 开 花 数 量 远 远 多 于 结 果 数 量 ， 疏 花 疏 果
式 ， 作 业 不 精 准 ， 因 此 在 果 园 使 用 智 能 化 疏 花 技
能 够 节 约 树 体 养 分 和 提 升 果 实 品 质 ， 是 梨 园 生 产
术 显 得 日 趋 重 要 ， 而 智 能 化 疏 花 的 首 要 任 务 是 对
管 理 中 十 分 重 要 的 农 艺 环 节 。 目 前 在 梨 树 疏 花 方 花 序 进 行 检 测 识 别 。
收 稿 日 期 ：2022-07-14
基 金 项 目 ： 江 苏 省 现 代 农 机 装 备 与 技 术 示 范 推 广 项 目 （NJ2022-14 ） ； 财 政 部 和 农 业 农 村 部 ： 国 家 现 代 农 业 产 业 技 术 体 系 资 助 ； 江 苏 省
农 业 科 技 自 主 创 新 资 金 项 目 （CX （20 ）3058 ） ； 国 家 自 然 科 学 基 金 （32201680 ）
作 者 简 介 ： 夏 烨 （1998 － ） ， 男 ， 硕 士 研 究 生 ， 研 究 方 向 为 农 业 机 器 人 和 机 器 视 觉 。E-mail ：[e-mail]

通 信 作 者 ： 吕 晓 兰 （1980 － ） ， 女 ， 博 士 ， 研 究 员 ， 研 究 方 向 为 果 园 智 能 农 机 装 备 。E-mail ：[e-mail].4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 0 9
近 年 来 各 类 检 测 算 法 在 农 业 采 摘 、 监 测 等 方 检 测 算 法 ， 相 对 其 他CNN 模 型 在 检 测 速 度 上 有
［1-4 ］
向 得 到 了 广 泛 运 用 。 同 时 ， 农 业 中 对 于 各 类 很 大 提 升 ， 同 时 兼 顾 了 准 确 度 ， 合 适 作 为 实 际 疏
花 场 景 中 的 检 测 方 法 ， 但 在 实 际 部 署 中 ， 计 算 效
水 果 识 别 方 面 的 相 关 研 究 也 取 得 了 许 多 进 展 。 杜
［5 ］
率 低 下 的 嵌 入 式 设 备 运 行 原 始YOLO 模 型 仍 很 难
文 圣 等 采 用 一 种 融 合 路 径 增 强 的 改 进MaskR-
达 到 智 能 化 疏 花 任 务 所 需 要 的 资 源 处 理 效 率 ， 且
CNN （Region- ConvolutionalNeuralNetwork ） 算
原 始YOLO 在 对 梨 花 目 标 进 行 识 别 时 容 易 忽 略 其
法 ， 针 对 葡 萄 花 穗 与 果 梗 进 行 识 别 并 通 过 集 合 逻
中 较 小 尺 寸 的 目 标 。 常 规 环 境 中 ， 梨 树 枝 干 生 长
辑 算 法 定 位 疏 花 夹 持 点 ， 夹 持 准 确 度 可 达
［6 ］
不 规 律 、 花 朵 过 密 、 目 标 大 小 不 一 、 遮 挡 严 重 等
83.3% 。 陈 新 等 利 用 改 进 单 激 发 多 框 探 测 器
问 题 也 给 花 朵 识 别 准 确 度 造 成 了 很 大 的 影 响 。
（Single Shot MultiBox Detector ，SSD ） 算 法 并 引
针 对 上 述 问 题 ， 在 真 实 疏 花 作 业 场 景 下 ， 对
入MobileNetV3 轻 量 化 模 块 ， 对 番 茄 花 朵 进 行 识
YOLO 网 络 进 一 步 进 行 轻 量 化 改 进 使 其 能 在 嵌 入
别 ， 识 别 准 确 率 可 达92.57% ， 检 测 速 度 达 到 了
式 设 备 上 有 效 运 行 非 常 必 要 。 本 研 究 以 开 花 期 的
0.079 s/f ， 极 大 地 提 升 了 模 型 检 测 速 度 。 龙 洁 花
［7 ］ 梨 花 为 研 究 对 象 ， 针 对 不 同 环 境 下 的 梨 树 花 朵 与
等 将 卷 积 块 注 意 力 模 块 （Convolutional Block
花 苞 进 行 检 测 ， 通 过 使 用 加 权 双 向 特 征 金 字 塔 网
Attention Module ， CBAM ） 注 意 力 机 制 加 入 到
络 ， 增 强 网 络 对 多 尺 寸 特 征 的 融 合 能 力 。 通 过 引
了YOLOv4 （You Only Look Once ） 网 络 的 跨 阶
入 轻 量 化 模 块 对 网 络 层 进 行 精 简 以 降 低 模 型 参
段 局 部 残 差 模 块 中 ， 对 不 同 生 长 时 期 的 草 莓 果 实
数 ， 从 而 使 其 适 用 于 嵌 入 式 设 备 。
进 行 了 识 别 ， 模 型 对 草 莓 开 花 期 、 果 实 膨 大 期 、
绿 果 期 和 成 熟 期 的 检 测 平 均 精 度 分 别 为92.38% 、
2 材 料 和 方 法
［8 ］
82.45% 、68.01% 和92.31% 。Wu 等 通 过 使 用
通 道 剪 枝 方 法 改 进YOLOv4 算 法 对 苹 果 花 进 行 检
2 . 1 数 据 获 取
测 ， 对 训 练 好 的YOLOv4 模 型 ， 通 过 对 比 批 量 归
本 研 究 中 梨 树 花 序 数 据 通 过 索 尼 DSC-
一 化 （Batch Normalization ，BN ） 层 的 γ 系 数 得
RX100 单 反 数 码 相 机 进 行 采 集 ， 样 本 数 据 采 集 于
到 不 同 输 入 层 对 网 络 的 贡 献 度 ， 从 而 确 定 网 络 修
南 京 周 边 地 区 ， 品 种 为 苏 翠 一 号 ， 采 集 日 期 为
剪 方 式 并 微 调 ， 其 修 剪 后 的 苹 果 花 检 测 模 型 的 参
2022 年3 月10 日 至2022 年3 月30 日 ， 在 白 天 阳
数 数 量 减 少 了96.74% ， 平 均 精 度 为97.31% 。Far ‐
光 充 分 及 傍 晚 阳 光 不 足 时 分 批 次 进 行 采 集 ， 共 采
［9 ］
jon 等 通 过Faster-RCNN 进 行 迁 移 学 习 并 由 专
集 到 原 始 图 片2163 张 ， 图 片 以5472 ×3648 的 像
业 种 植 人 员 对 花 朵 信 息 进 行 标 注 以 实 现 对 冠 层 苹
素 分 辨 率 保 存 为.jpg 格 式 文 件 。 因 梨 园 按 水 平
果 花 不 同 开 花 程 度 的 判 别 ， 模 型 平 均 精 度 可 达
棚 架 模 式 （ 图1 ） 进 行 种 植 ， 数 据 采 集 时 以 单 根
68% ， 对 开 花 程 度 的 判 别 结 果 与 人 工 判 别 结 果 高
枝 条 为 单 位 沿 果 树 行 间 进 行 采 集 。
度 一 致 ， 较 好 地 对 不 同 程 度 开 放 的 苹 果 花 进 行 了
判 别 分 类 。
［10 ］
在 这 些 现 有 的 方 法 中 ，R-CNN 类 方 法 作
为 一 种 二 阶 段 （Two-stage ） 目 标 检 测 算 法 ， 识
别 准 确 度 及 精 度 较 高 ， 但 识 别 效 率 较 低 ， 且 运 行
所 需 要 的 计 算 资 源 较 大 ， 无 法 应 用 在 计 算 性 能 较
［11 ］
低 的 嵌 入 式 设 备 中 。SSD 算 法 相 较 于R-CNN
图1 梨 树 水 平 棚 架
算 法 在 检 测 速 度 上 有 优 势 ， 但 其 检 测 精 度 存 在 一
［12 ］
Fig.1 Horizontalscaffoldingofpeartree
定 局 限 。YOLO 作 为 一 种 单 阶 段 （Onestage ）智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.3
1 1 0
数 据 集 分 为1658 张 训 练 集 和505 张 验 证 集 。 换 梯 度 后 组 合 ， 同 时 确 保 同 一 张 图 片 不 产 生 相 同
为 避 免 因 数 据 集 不 足 而 产 生 模 型 过 拟 合 ， 本 研 究 的 扩 充 图 片 。 为 减 少 人 工 重 复 标 注 时 间 ， 程 序 对
通 过OpenCV 库 编 写 处 理 程 序 ， 对 原 始 数 据 采 取 原 始 数 据 中 已 经 标 注 的 目 标 位 置 信 息 采 取 与 图 像
改 变 亮 度 、 旋 转 角 度 、 增 加 高 斯 噪 声 、 调 整 锐 度 相 同 的 位 置 变 换 策 略 以 直 接 生 成 标 注 完 成 的 扩 充
等 变 换 。 具 体 变 换 策 略 为 亮 度 上 降 为 原 图60% 和 数 据 。 数 据 扩 充 示 例 选 取 了 两 张 随 机 组 合 扩 充 策
45% 两 种 梯 度 ， 旋 转 图 片0 ~180° 、 增 加 高 斯 噪 略 的 数 据 ， 如 图2 。 对 于 已 经 标 注 的 原 始 图 片 采
声 方 差0.01 ， 锐 度 降 低0 ~20% 。 扩 充 过 程 中 对 取10 倍 的 数 据 扩 充 策 略 ， 将 原 始 数 据 扩 充 为
每 张 图 片 均 通 过 这 几 种 变 换 方 式 进 行 随 机 抽 取 变 21,630 张 标 注 完 成 的 数 据 。
（a ） 原 图 （b ） 随 机 数 据 扩 充 （ 亮 度 ） （c ） 随 机 数 据 扩 充 （ 旋 转 ）
图2 梨 花 序 原 始 数 据 随 机 扩 充 示 例
Fig.2 Examplesofrandomexpansionofpearflowersequenceoriginaldata
头 部 分 通 过 对 生 成 的 不 同 尺 寸 的 特 征 图 利 用 基 于
2 . 2 图 像 识 别 算 法
网 格 的 锚 框 进 行 概 率 回 归 判 断 从 而 进 行 预 测 。
2 . 2 . 1 Y O L O v 5 目 标 检 测 算 法
YOLOv5 的 特 征 提 取 网 络 主 要 包 含 特 征 提 取 模 块
通 过 将 图 像 分 为 有 限 数 量 的 锚 框 并 对 每 个 锚
CBS 、CSP_X 、 金 字 塔 池 化 层 （Spatial Pyramid
框 的 边 缘 框 部 分 继 续 进 行 预 测 ， 将 目 标 检 测 问 题
Pooling ，SPP ） 等 部 分 。CBS 模 块 由 卷 积 层
转 化 为 概 率 回 归 问 题 。 通 过YOLO 可 以 直 接 获 得
（Conv ）+ 批 量 归 一 化 层 （BN ）+SiLU 激 活 函 数
目 标 的 类 别 和 估 计 概 率 ， 相 比 于 两 阶 段 检 测 网 络
层 组 成 ， 通 过 卷 积 提 取 特 征 ， 经 过BN 层 进 行 归
RCNN 大 大 提 高 了 检 测 速 度 。 标 准 版YOLO 每 秒
一 化 处 理 以 加 快 网 络 学 习 速 度 后 由 激 活 函 数 对 特
［12 ］
可 以 实 时 地 处 理45 帧 图 像 ， 而 轻 量 化 后 的 较
征 进 行 保 留 与 映 射 并 去 除 冗 余 特 征 。CSP_X 由
［13 ］
小 版 本YOLO 每 秒 可 以 处 理155 帧 图 像 。 目 前
CBS 与X 个 残 差 进 行 级 联 构 成 。SPP 空 间 金 字 塔
［14,15 ］
YOLO 系 列 经 过 了 不 断 地 改 进 ，YOLOv5
池 化 层 对 经 过CBS 模 块 后 的 特 征 图 进 行 转 换 而
在 原 有 框 架 的 基 础 上 采 用 了CSPDarkNet53 主 干
形 成 固 定 大 小 的 特 征 向 量 ， 使 网 络 对 不 同 尺 寸 的
网 络 ， 相 较 于 先 前 版 本DarkNet53 ，CSPDark ‐
输 入 图 片 提 取 局 部 及 全 局 特 征 进 行 融 合 。 各 模 块
Net53 先 将 基 础 层 的 特 征 映 射 划 分 为 两 部 分 ， 然
与 整 个 网 络 的 结 构 图 如 图 所 示3 。
后 通 过 跨 阶 段 层 次 结 构 将 划 分 部 分 合 并 ， 在 减 少
为 了 在 梨 树 疏 花 前 检 测 出 花 苞 与 花 朵 ， 本 研
了 计 算 量 的 同 时 保 证 了 模 型 识 别 的 准 确 率 。YO ‐
究 选 定YOLOv5 中 深 度 和 特 征 图 宽 度 最 小 版 本
LOv5 的 颈 部 （Neck ） 网 络 采 用 了 特 征 金 字 塔
的 YOLOv5s 模 型 并 对 其 网 络 进 行 了 参 数 微 调 ，
（Feature Pyramid Networks ，FPN ）+ 路 径 聚 合 网
以 采 集 的 数 据 为 输 入 数 据 集 。 图 片 输 入 像 素 大 小
络 （Path Aggregation Network ， PAN ） 结 构 ，
设 置 为640 ×640 。 学 习 率 、 批 量 大 小 和 迭 代 次 数
FPN 结 构 进 行 自 顶 向 下 传 达 强 语 义 特 征 ，PAN 结
分 别 设 置 为1 ％ 、32 个 和200 次 ， 类 数 为2 ， 分 为
构 自 底 向 上 传 达 强 定 位 特 征 ， 通 过 融 合 两 种 结 构
花 朵 与 花 苞 ， 对 于 有 花 瓣 展 开 的 花 苞 认 定 其 为
以 实 现 对 主 干 网 络 不 同 层 特 征 的 双 向 聚 合 。 预 测 花 朵 。Vol.4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 1 1
图3 YOLOv5s 网 络 结 构 图
Fig.3 YOLOv5snetworkstructurediagram
［17-19 ］
对 通 过 微 调 后 的YOLOv5s 模 型 进 行 训 练 得 过 大 量 浮 点 运 算 以 达 到 理 想 精 度 。MoblieNet
［20,21 ］
及ShuffleNet 等 轻 量 化 模 型 虽 然 降 低 了 浮 点
到 初 始 模 型 ， 前 期 测 试 中 发 现YOLOv5s 模 型 可
计 算 量 ， 但 经 过 卷 积 产 生 的 冗 余 特 征 图 却 没 有 得
以 对 目 标 进 行 有 效 识 别 并 分 类 ， 但 在 实 际 部 署 过
到 有 效 处 理 。Ghost 卷 积 模 块 先 通 过1 ×1 普 通 卷
程 中 发 现 其 参 数 量 较 大 ， 运 行 过 程 中 占 用 了 大 量
积 操 作 生 成 一 些 基 础 的 原 始 特 征 图 ， 然 后 将 这 些
计 算 资 源 ， 无 法 在 轻 便 地 嵌 入 式 设 备 上 有 效 运
特 征 图 逐 一 进 行 φ 、 φ 、 … … 、 φ 线 性 变 换 ， 得
行 ， 同 时 对 小 目 标 的 识 别 效 果 较 差 ， 因 此 需 针 对 1 2 k
到 另 一 部 分 冗 余 特 征 图 后 将 这 一 部 分 特 征 图 与 原
小 尺 寸 目 标 调 整 网 络 特 征 融 合 方 法 并 进 行 轻 量 化
始 特 征 图 进 行 融 合 ， 增 加 通 道 数 。 这 种 通 过 线 性
改 造 减 少 模 型 参 数 以 便 于 户 外 部 署 。
运 算 得 到 冗 余 特 征 图 的 方 式 相 比 普 通 卷 积 ， 可 用
2 . 2 . 2 融 合 G h o s t 的 Y O L O v 5 算 法
为 进 一 步 减 少 模 型 参 数 量 ， 在YOLO 算 法 中
更 少 的 代 价 来 生 成 那 些 冗 余 的 特 征 图 。 通 过 这 种
［16 ］
引 入Ghost 网 络 。Ghost 网 络 是 一 种 基 于Ghost
方 式 减 小 模 型 的 总 参 数 量 以 简 化 模 型 ，Ghost 卷
卷 积 模 块 的 网 络 结 构 。 传 统 的CNN 结 构 通 常 通 积 模 块 原 理 图 如 图4 所 示 。
图4 Ghost 卷 积 模 块 原 理 图
Fig.4 SchematicdiagramofGhostconvolutionmodule智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.3
1 1 2
利 用Ghost 卷 积 构 成Ghost 瓶 颈 结 构 如 图5 征 图 通 道 数 以 与 网 络 中 的 直 径 结 构 匹 配 ， 接 着 使
所 示 ， 图 中DWConv 表 示 逐 通 道 卷 积 。Ghost 瓶 用 直 径 结 构 连 接 这 两 个Ghost 卷 积 模 块 的 输 入 和
颈 模 块 通 过 卷 积 步 长 来 区 分 模 块 结 构 ， 主 要 分 为 输 出 。 卷 积 步 长Stride=2 时 在 主 干 部 分 中 以 一 个
主 干 部 分 与 残 差 边 部 分 。 卷 积 步 长Stride=1 时 ， 步 长 为2 的 深 度 可 分 离 卷 积 配 合 两 个Ghost 卷 积
由 两 个 堆 叠 的 Ghost 卷 积 模 块 组 成 。 第 一 个 模 块 进 行 宽 高 压 缩 并 在 残 差 边 部 分 中 添 加 一 个 步
Ghost 卷 积 模 块 主 要 用 于 拓 展 层 以 增 加 输 入 特 征 长 为2 的 深 度 可 分 离 卷 积 与 一 个1 ×1 普 通 卷 积 。
图 的 通 道 数 。 第 二 个Ghost 卷 积 模 块 用 于 减 少 特
图5 Ghost 瓶 颈 结 构 模 块
Fig.5 Ghostbottleneckstructuremodule
Ghost 瓶 颈 结 构 的 本 质 是 以Ghost 卷 积 来 替 卷 积 采 用 分 布 提 取 特 征 图 的 方 式 ， 假 设 每 个 基 础
换 普 通 卷 积 以 达 到 减 小 计 算 参 数 的 目 的 。 从 计 算 特 征 对 应s 个 冗 余 特 征 ， 则Ghost 卷 积 只 需 输 出
量 上 看 ， 对 于 传 统 卷 积 假 设 其 输 入 尺 寸 为C × n/s 个 基 础 特 征 即 可 完 成 去 冗 余 ， 然 后 通 过 线 性
H × W ， 卷 积 核 为C × K × K × N ， 其 中C 表 示 卷 变 换 对 这 些 基 础 特 征 进 行 扩 充 以 生 成 对 应 的 相 似
积 通 道 数 ，K 为 卷 积 核 大 小 ，N 为 卷 积 核 数 量 ， 特 征 。 设 每 个 线 性 操 作 的 卷 积 核 大 小 为d ×d ， 则
其 输 出 的 特 征 图 尺 寸 为H'' × W'' × N ， 则 可 得 此 一 般 卷 积 和Ghost 卷 积 的 计 算 速 度 比Rate 可 以 表
s
卷 积 计 算 量 为 H'' × W'' × N × C × K × K 。Ghost 示 为 公 式 （1 ） 。
n × H'' × W'' × C × K × K C × K × K s × C
Rate = = ≈ ≈ s （1 ）
s
n n s - 1 s + C - 1
1
× H'' × W'' × C × K × K + s - 1 × × H'' × W'' × d × d × C × K × K + × d × d
( )
s s s s
由 公 式 （1 ） 的 两 种 卷 积 方 式 计 算 速 度 比 化 利 于 训 练 ，Swish 激 活 函 数 图 像 如 图6 （a ） 。 虽
简 结 果 可 知 ， 传 统 卷 积 提 取 特 征 过 程 的 计 算 量 约 然Swish 激 活 函 数 的 效 果 显 著 ， 但 其 函 数 存 在 指
等 于Ghost 卷 积 的s 倍 ， 因 此 可 知 使 用Ghost 卷 积 数 运 算 ， 对 于 卷 积 层 较 多 的 模 型 会 产 生 极 大 的 运
可 以 确 实 的 减 小 计 算 量 并 降 低 参 数 量 。 算 量 从 而 影 响 模 型 整 体 的 效 率 。 对 此 选 择 采 用 轻
本 研 究 前 期 训 练 过 程 中 观 察 到 ， 随 着 训 练 轮 量 化 模 型MobileNetV3 中 的Hard-Swish 激 活 函 数
次 提 高 ， 模 型 产 生 了 大 量 卷 积 层 的 同 时 出 现 了 梯 替 代Swish 函 数 ， 函 数 图 像 如 图6 （b ） 。 从 函 数
度 消 失 的 情 况 。 原 因 在 于Ghost 模 块 的ReLU 激 图 像 上 观 察 ，HardSwish 以 一 个 近 似 函 数 来 替 代
活 函 数 在 负 半 轴 为0 ， 因 此 产 生 了 负 半 轴 无 法 激 Swish 函 数 ， 保 留 了 其 无 上 界 有 下 界 的 特 点 ， 同
活 的 情 况 而 使 神 经 元 无 法 学 习 到 有 效 特 征 ， 针 对 时 替 代 了 其 指 数 运 算 的 部 分 ， 可 以 通 过 更 低 的 计
这 种 情 况 ， 从 激 活 函 数 上 对Ghost 模 块 进 行 了 算 成 本 达 到 类 似Swish 函 数 的 激 活 效 果 ， 从 计 算
改 进 。 资 源 角 度 出 发 更 适 用 于 嵌 入 式 设 备 部 署 。 相 比 于
特 征 映 射 中 较 为 理 想 的 激 活 函 数 为YOLOv5 ReLU 函 数 在 负 半 轴 为0 的 情 况 ， 其 在x ∈ （ -3 ，
算 法 的CBS 模 块 中 使 用 的Swish 激 活 函 数 ， 其 优 0 ） 时 函 数 值 非0 ， 可 以 将 负 梯 度 信 息 很 好 地 激
势 为 无 上 界 有 下 界 ， 不 会 产 生 梯 度 饱 和 的 现 象 ， 活 ， 适 用 于 本 研 究 的 任 务 环 境 。 将Ghost 模 块 在Vol.4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 1 3
Pytorch 中 封 装 后 引 入YOLO 网 络 。 在 其 主 干 网 及CBS 结 构 ） ， 原 网 络 颈 部 网 络 层 和 预 测 层 保 持
络 中 ， 以Ghost 卷 积 替 换 传 统 卷 积 （ 图3 中CSP 原 结 构 不 变 。
（b ）HardSwish 激 活 函 数 图 像
（a ）Swish 激 活 函 数 图 像
图6 激 活 函 数 图 像
Fig.6 Imagesofactivationfunction
［23 ］
2 . 2 . 3 加 权 双 向 特 征 金 字 塔 网 络 BiFPN ） 对 检 测 网 络 结 构 进 行 改 进 ， 其 结 构 如
在 网 络 训 练 过 程 中 ， 因 为 不 同 目 标 的 尺 寸 大
图7 （b ） 所 示 。
小 不 一 ， 导 致 在 卷 积 过 程 中 大 目 标 的 特 征 随 着 卷
积 的 深 入 可 以 保 留 ， 而 小 目 标 的 特 征 可 能 会 消
失 ， 因 此 需 要 将 相 同 目 标 的 不 同 深 度 的 特 征 层 进
行 融 合 。YOLOv5 对 于 不 同 尺 度 的 特 征 使 用 路 径
［22 ］
聚 合 网 络 （PathAggregation Network ） 进 行 融
合 ， 其 结 构 如 图7 （a ） 所 示 ， 路 径 聚 合 网 络 通 过
将 大 小 不 同 尺 度 的 特 征 进 行 双 向 传 播 ， 将 深 层 特 （a ）PANet 结 构 图 （b ）BiFPN 结 构 图
图7 PANet 及BiFPN 结 构 图
征 层 携 带 的 更 强 的 语 义 信 息 传 递 到 浅 层 特 征 层 ，
Fig.7 StructurediagramofPANetandBiFPN
同 时 将 浅 层 特 征 层 携 带 的 更 强 的 定 位 信 息 传 递 到
深 层 特 征 层 从 而 实 现 不 同 尺 寸 特 征 层 的 路 径
相 比 于 路 径 聚 合 网 络 ， 加 权 双 向 特 征 金 字 塔
融 合 。
网 络 参 考 注 意 力 机 制 （Attention ） 针 对 融 合 的 不
路 径 聚 合 网 络 虽 然 能 将 不 同 特 征 层 进 行 有 效
同 尺 寸 特 征 增 加 了 权 重 ， 动 态 可 学 习 的 调 节 每 个
融 合 ， 但 其 本 质 上 仍 是 将 不 同 特 征 进 行 简 单 相
尺 度 的 贡 献 度 ， 使 网 络 在 获 得 不 同 尺 寸 的 特 征 时
加 。 然 而 由 于 在 不 同 的 图 像 中 被 检 测 目 标 大 小 不
更 好 的 将 其 融 合 。 同 时 ， 其 增 加 了 残 差 连 接 以 增
一 ， 因 此 训 练 中 会 产 生 不 同 分 辨 率 尺 寸 的 特 征 ，
强 特 征 的 表 达 能 力 。 对 于 单 输 入 边 和 输 出 边 的 结
在 路 径 聚 合 网 络 中 仍 将 他 们 简 单 相 加 ， 这 将 导 致
点 ， 因 其 没 有 参 与 特 征 融 合 故 可 近 似 省 略 其 特 征
同 一 类 型 的 不 同 尺 寸 特 征 对 融 合 后 输 出 的 特 征 产
信 息 以 减 小 计 算 量 ， 本 研 究 网 络 中 以BiFPN 替 代
生 不 平 等 的 权 重 。 大 尺 寸 的 特 征 被 更 多 的 融 入 网
PANet 以 提 高 模 型 融 合 特 征 能 力 。 为 使BiFPN 更
络 而 小 尺 寸 特 征 贡 献 较 小 。 本 研 究 花 序 识 别 中 ，
好 地 发 挥 效 果 ， 在YOLOv5 的 征 融 合 部 分 增 加
目 标 尺 寸 不 一 ， 这 将 严 重 影 响 最 终 训 练 模 型 的 效
160 ×160 的 特 征 层 ， 并 将80 ×80 的 特 征 层2 倍 上
果 。 为 解 决 这 一 问 题 ， 参 考 加 权 双 向 特 征 金 字 塔
采 样 与 新 增 加 的160 ×160 的 特 征 层 进 行 融 合 ，
网 络 （Bi-directional Feature Pyramid Network ， 以 供160 ×160 的 检 测 层 检 测 更 小 目 标 。 同 时 ，智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.3
1 1 4
在 预 测 头 部 分 增 加 一 层160 ×160 尺 寸 的 检 测 层 如 图8 所 示 。
以 检 测 小 尺 寸 目 标 。 替 换 后 的 颈 部 网 络 及 预 测 头
图8 修 改 后 的YOLOv5 颈 部 网 络 及 预 测 头 结 构
Fig.8 ModifiedYOLOv5necknetworkandpredictionheadstructure
判 定 的 正 样 本 ， 事 实 上 也 是 正 样 本 的 数 量 ， 个 ；
3 结 果 与 分 析
假 阳 性 （False Positive ，FP ） 为 模 型 判 定 的 正 样
本 ， 但 事 实 上 是 负 样 本 数 量 ， 个 ； 假 阴 性
3 . 1 模 型 性 能 评 估
（False Negative ，FN ） 为 判 定 的 负 样 本 ， 但 事 实
从 准 确 度 和 运 算 效 率 两 个 方 面 对 模 型 进 行 评
上 是 正 样 本 数 量 ， 个 ； 平 均 精 度 （AveragePreci ‐
价 。 对 于 梨 树 花 朵 识 别 工 作 ， 模 型 运 算 效 率 直 接
sion ，AP ） 为 平 均 精 度 ， 由 同 一 样 本 的 精 度 求 平
影 响 后 续 的 疏 花 工 作 ， 相 比 于 识 别 精 度 更 为 重
均 所 得 。
要 ， 因 此 本 研 究 在 评 价 模 型 性 能 时 以 运 算 效 率 为
3 . 1 . 2 模 型 效 率 评 价 指 标
第 一 指 标 。
效 率 评 价 主 要 由 参 数 量 （Parameters ） 、 浮 点
3 . 1 . 1 模 型 准 确 度 评 价 指 标
运 算 数 （GFLOPs ） 、 平 均 检 测 时 间 三 个 指 标 评
准 确 度 评 价 主 要 依 靠 准 确 度 （Precision ，
价 。 其 中 参 数 量 主 要 由 网 络 结 构 决 定 ， 每 个 参 数
P ） 、 召 回 度 （Recall ， R ） 、 均 值 平 均 精 度
在Pytorch 框 架 中 一 般 为32 位 存 储 ， 因 此 也 可 以
（Mean Average Precision ，mAP ） 和F 得 分 四 项
1
通 过 模 型 的 实 际 大 小 作 为 判 断 其 参 数 量 的 方 式 。
指 标 进 行 评 价 ， 参 数 值 越 高 ， 效 果 越 好 。 这 四 项
浮 点 运 算 数 为 模 型 需 要 进 行 的 计 算 数 量 ， 平 均 检
指 标 的 计 算 如 公 式 （2 ） ~ （5 ） 。
测 时 间 取 测 试 集 中10 张 图 片 的 检 测 时 间 平 均 值
TP
P = × 100% （2 ）
得 到 。
TP + FP
TP
R = × 100% （3 ）
3 . 2 试 验 结 果
TP + FN
∑AP
mAP = （4 ）
3 . 2 . 1 加 权 双 向 特 征 金 字 塔 网 络 及 G h o s t 模 块
N(Class)
效 果 验 证
P × R
F = 2 × （5 ）
1
为 验 证BiFPN 模 块 的 效 果 ， 以 替 换 了BiFPN
P + R
其 中 ， 真 阳 性 （True Positive ，TP ） 为 模 型 结 构 的 网 络 模 型 进 行 训 练 。 为 更 有 效 地 体 现BiF ‐Vol.4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 1 5
PN 结 构 对 网 络 的 贡 献 ， 通 过Grad-CAM 对 网 络 相 比 原 生YOLOv5 的PANet 结 构 ， 对 检 测 目 标 位
进 行 了 可 视 化 的 效 果 对 比 。Grad-CAM 可 以 通 过 置 区 域 的 热 力 较 高 且 对 于 非 目 标 区 域 的 无 关 环 境
热 力 图 的 方 式 表 示 网 络 对 输 入 图 片 信 息 的 关 注 程 信 息 热 度 较 低 。 由 此 可 以 判 断BiFPN 结 构 在 本 数
度 。 将 两 种 网 络 输 入Grad-CAM 测 试 后 ， 其 对 目 据 集 中 可 以 更 好 地 提 取 花 朵 整 体 特 征 信 息 ， 同 时
标 识 别 的 热 力 图 如 图9 。 可 以 观 察 到BiFPN 结 构 降 低 了 对 环 境 中 无 关 信 息 的 关 注 ， 效 果 可 靠 。
（a ）PANet 结 构 热 力 图 （b ）BiFPN 结 构 热 力 图
图9 PANet 和BiFPN 识 别 梨 花 热 力 图 效 果 对 比
Fig.9 ComparisonofthermaldiagrameffectsbetweenPANetandBiFPN
为 验 证Ghost 模 块 在 本 研 究 中 的 有 效 性 ， 以 模 型 在Anaconda3 虚 拟 环 境 下 运 行 ， 使 用Cuda
一 张 枝 干 梨 花 花 序 图 片 为 例 ， 在 识 别 过 程 中 对 11.4 加 速 显 卡 硬 件 。 图 片 输 入 像 素 大 小 为640 ×
YOLO 网 络 层 的 第 一 个CBS 模 块 后 的 特 征 图 进 行 640 ， 训 练epoch 设 置 为1000 轮 ， 学 习 率 初 始 为
可 视 化 ， 选 取 了 部 分 生 成 的 特 征 图 如 图10 。 由 图 0.001 ， 使 用 超 参 数 进 化 ， 通 过 每 一 轮 的 损 失 率
参 数 动 态 调 整 学 习 率 以 加 快 网 络 训 练 速 度 。
10 可 知 研 究 对 象 在 卷 积 过 程 中 同 样 会 产 生 相 似 的
为 统 一 标 准 同 时 尽 可 能 简 化 模 型 。 试 验 均 使
冗 余 特 征 图 ， 因 此 使 用Ghost 模 块 对 冗 余 特 征 进
行 线 性 处 理 是 有 必 要 的 。 用 相 同 卷 积 通 道 数 与CSP 模 块 层 数 的YOLOv5s
3 . 2 . 2 模 型 性 能 消 融 实 验 版 本 模 型 为 原 始 模 型 。 表1 中YOLOv5s 代 表 使
为 验 证 各 模 块 的 作 用 与 相 互 存 在 的 影 响 ， 针
用 原 始YOLOv5s ， 其 使 用PANet 进 行 特 征 融 合 ，
对BiFPN 与Ghost 模 块 设 计 了 消 融 试 验 。 花 序 检 YOLOv5s-BiFPN 表 示 使 用 了 原 始 模 型 与BiFPN
测 网 络 训 练 在Pytorch 深 度 学 习 框 架 中 进 行 。 硬 特 征 融 合 结 构 的 模 型 ，Ghost-YOLOv5s 表 示 使 用
件 平 台 使 用 台 式 服 务 器 搭 载Intel?CoreTM E5 Ghost 模 块 替 换 主 干 部 分 卷 积 后 的YOLOv5s 模
V3 CPU ，32 GB 运 行 内 存 ，12 GB GeForce GTX 型 ，Ghost-YOLOv5s-BiFPN 表 示 同 时 使 用 了BiF ‐
3090 显 卡 。 软 件 环 境 为Ubuntu20.04 系 统 ， 整 个 PN 结 构 和Ghost 模 块 替 换 后 的YOLOv5s 模 型 。
表 1 改 进 Y O L O v 5 s 与 原 始 Y O L O v 5 s 性 能 参 数 对 比
Table1 ComparisonofperformanceparametersbetweenimprovedYOLOv5sandoriginalYOLOv5s
算 法 mAP/ ％ 召 回 率/ ％ F 得 分/ ％ 参 数 量 GFLOPs 平 均 检 测 时 间/ms 模 型 大 小/M
1
YOLOv5s 87.1 87.2 88.0 7,015,519 15.8 38 13.70
YOLOv5s-BiFPN 92.2 91.4 91.8 7,101,064 16.0 41 14.10
Ghost-YOLOv5s 86.2 86.5 86.5 3,678,423 8.1 27 7.49
Ghost-YOLOv5s-BiFPN 91.3 89.9 91.2 3,743,968 8.3 29 7.62智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.3
1 1 6
图10 梨 花 特 征 可 视 化 部 分 特 征 图
Fig.10 Partialfeaturemapsofpearflowerfeaturevisualization
由 表1 可 知 ，YOLOv5s-BiFPN 模 型 与 使 用 的 原 始 模 型 相 比 ， 使 用Ghost 卷 积 替 换 原 始 卷 积
PANet 结 构 的 原 始 模 型 相 比 ，mAP 与 召 回 率 分 别 十 分 显 著 地 降 低 了 模 型 的 总 参 数 量 且 平 均 精 度 并
提 升 了5.1 ％ 和4.2 ％ ， 参 数 量 增 加 了1.2 ％ ， 平 均 未 显 著 下 降 ， 由 此 可 得Ghost 卷 积 操 作 相 比 传 统
检 测 时 间 增 加 了3ms ；Ghost-YOLOv5s 对 比YO ‐ 卷 积 方 式 并 未 大 量 减 少 有 效 特 征 ， 损 失 的 参 数 量
LOv5s ，mAP 降 低 了 0.9 ％ ， 召 回 率 降 低 了 大 部 分 为 冗 余 的 特 征 图 信 息 。 从 试 验 结 果 上 看
0.7 ％ ， 参 数 量 、 模 型 大 小 及 浮 点 运 算 数 量 分 别 Ghost-YOLOv5s-BiFPN 模 型 在 降 低 参 数 的 同 时 提
降 低 了47.6 ％ 、45.3 ％ 和48.7 ％ ， 平 均 检 测 时 间 高 了 对 小 目 标 检 测 的 精 度 ， 更 适 合 实 际 部 署 环
缩 短 了11 ms 。Ghost-YOLOv5s-BiFPN 模 型 相 比 境 ， 表 明 融 合BiFPN 和Ghost 模 块 的 改 进 是 有
于 原 始 网 络 ，mAP 和 召 回 率 分 别 提 高 了4.2 ％ 和 效 的 。
2.7 ％ ， 参 数 量 、 模 型 大 小 及 浮 点 运 算 数 量 分 别 3 . 2 . 3 梨 树 花 序 检 测 结 果
降 低 了46.6 ％ 、44.4 ％ 和47.5 ％ ， 平 均 检 测 时 间 为 验 证 所 提 出 的 基 于 融 合Ghost 与BiFPN 的
缩 短 了9 ms 。 可 知 在YOLOv5s 中 使 用BiFPN 结 YOLOv5 梨 树 花 序 检 测 方 法 的 性 能 ， 使 用118 张
构 可 以 有 效 提 升 模 型 的 检 测 性 能 。 使 用BiFPN 的 梨 树 花 苞 花 朵 图 像 作 为 测 试 集 对 该 方 法 进 行 测
模 型 参 数 量 相 比 于 原 始 模 型 虽 然 略 有 提 升 但 其 检 试 。 测 试 集 中 共 有 花 朵633 朵 和 花 苞304 个 ， 检
测 时 间 几 乎 相 同 且 检 测 精 度 的 提 升 收 益 较 大 。 原 测 的 结 果 示 例 如 图11 所 示 。
因 在 于BiFPN 混 合 了 多 尺 寸 的 特 征 图 ， 增 加 了 针 从 结 果 上 来 看 ， 该 模 型 不 仅 适 用 于 光 照 强 的
对 小 目 标 的 特 征 图 尺 寸 并 进 行 加 权 融 合 ， 同 时 在 晴 天 采 集 的 图 像 （ 图11 （b ） ） ， 也 适 用 于 光 照 均
训 练 中BiFPN 对 目 标 的 权 重 数 值 是 以 一 种 动 态 可 匀 的 阴 天 采 集 的 图 像 （ 图11 （d ） ） 。 此 外 ， 对 于 在
学 习 的 方 式 进 行 调 整 ， 因 此 随 着 训 练 的 深 入 其 得 阳 光 直 射 条 件 （ 图11 （a ） ） 和 背 光 （ 图11 （c ） ）
到 了 比PANet 结 构 更 多 的 特 征 。 与 使 用 传 统 卷 积 条 件 下 也 可 完 成 检 测 任 务 。 在 不 同 光 照 环 境 下 ，Vol.4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 1 7
（a ） 晴 天 且 逆 光 条 件 下 的 检 测 结 果 （b ） 阴 天 逆 光 条 件 下 的 检 测 结 果
（c ） 晴 天 背 光 条 件 下 的 检 测 结 果 （d ） 晴 天 逆 光 条 件 下 的 检 测 结 果
注 ：1 、2 、3 分 别 为 强 光 照 、 阴 影 、 半 阴 影 半 强 光 检 测 结 果 ；4 表 示 检 测 失 败 结 果 ；5 表 示 目 标 被 遮 挡 检 测 结 果 ；6 表 示 置 信 度 误
差 导 致 的 检 测 结 果 ；7 表 示 异 色 花 蕊 检 测 结 果
图11 梨 树 花 序 识 别 结 果 示 例
Fig.11Examplesofpearinflorescencerecognitionresults
该 方 法 共 检 测 到 测 试 集 中 目 标 花 朵572 朵 、 花 苞 对 花 朵 与 花 苞 进 行 分 类 识 别 ， 对 于 对 速 度 要 求 大
290 个 ， 其 中 真 实 花 朵538 朵 ， 花 苞271 个 ， 花 于 精 度 要 求 的 疏 花 任 务 效 果 较 为 可 靠 。
朵 、 花 苞 的 召 回 率 和 准 确 率 分 别 为 85.3% 、
4 结 论
89.4% 和94.6% 和93.2% 。 从 试 验 数 据 结 果 及 实
际 测 试 结 果 来 看 ， 模 型 对 于 两 种 类 型 目 标 的 识 别
本 研 究 提 出 了 一 种 融 合BiFPN 和Ghost 模 块
效 果 较 好 。 结 果 中 同 时 发 现 同 一 模 型 中 ， 花 苞 的
的 改 进YOLOv5s 模 型 ， 对 梨 树 水 平 棚 架 规 律 枝
召 回 率 往 往 高 于 花 朵 ， 观 察 识 别 示 例 后 推 断 其 原 干 下 的 花 序 进 行 识 别 ， 将 BiFPN 加 入 到 YO ‐
因 在 于 花 朵 的 形 态 各 异 ， 特 征 更 为 复 杂 ， 而 花 苞 LOv5s 主 干 网 络 后 ， 通 过 可 学 习 的 加 权 方 式 对 大
的 特 征 较 为 统 一 。 因 此 在 模 型 中 拥 有 更 高 的 召 回
尺 寸 与 小 尺 寸 的 目 标 特 征 进 行 融 合 同 时 增 加 了
率 。 从 图11 例5 中 可 以 观 察 到 ， 在 遮 挡 条 件 下 也
160 ×160 的 特 征 融 合 与 检 测 层 以 更 好 地 识 别 小 尺
模 型 可 较 为 准 确 检 测 出 目 标 。 从 图11 例7 观 察 寸 目 标 ， 提 高 了 整 体 检 测 精 度 。 通 过 在 主 干 网 络
到 ， 异 色 花 蕊 的 花 朵 也 被 成 功 检 测 ， 进 一 步 推 断 中 以Ghost 卷 积 替 换 传 统 卷 积 方 式 ， 以 更 低 的 算
模 型 具 有 一 定 的 泛 化 能 力 ， 对 出 现 一 定 变 化 的 目 力 成 本 得 到 了 冗 余 的 特 征 图 ， 极 大 地 降 低 了 参 数
标 也 可 成 功 识 别 。 从 图11 例4 和6 观 察 发 现 模 型
量 ， 简 化 了 模 型 使 其 更 适 用 于 嵌 入 式 设 备 。
同 时 也 存 在 部 分 目 标 漏 检 和 多 次 检 测 的 情 况 ， 此
（1 ） 在 本 实 验 梨 树 花 序 测 试 集 上 的 试 验 结 果
类 情 况 多 为 两 个 目 标 具 有 重 叠 部 分 导 致 模 型 对 其 表 明 ， 改 进 后 的YOLOv5s-BiFPN-Ghost 模 型 平
交 并 比 （IntersectionoverUnion ，IoU ） 判 断 后 舍 均 检 测 精 度 达 到 了 91.3 ％ ， 召 回 率 达 到 了
弃 了 部 分 目 标 。 后 续 需 要 针 对 这 类 重 叠 目 标 增 加 89.9 ％ ， 与 原YOLOv5s 网 络 相 比 ， 参 数 量 降 低
对 应 数 据 集 以 对 模 型 进 行 改 进 。 从 图11 的 整 体
了46.6 ％ ， 平 均 检 测 时 间 仅 需29 ms 。 虽 然 增 加
识 别 效 果 判 断 ， 模 型 可 以 在 相 对 复 杂 环 境 下 成 功 Ghost 模 块 相 比 于 原 始 网 络 损 失 了 一 定 准 确 度 ，智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.3
1 1 8
下 草 莓 生 育 期 识 别 方 法[J]. 智 慧 农 业( 中 英 文),2021,
但 相 对 于 模 型 轻 量 化 的 程 度 ， 检 测 精 度 的 较 小 变
3(4):99-110.
化 是 可 以 接 受 的 。 后 续 可 对 比 通 道 剪 枝 的 模 型 量
LONG J, GUO W, LIN S, et al. Strawberry growth pe ‐
化 方 法 寻 找 对 于 此 任 务 的 最 佳 模 型 轻 量 化 策 略 。
riod recognition method under greenhouse environ ‐
ment based on improved YOLOv4[J]. Smart Agricul ‐
（2 ） 在 实 际 测 试 中 虽 然 可 以 较 好 地 检 测 出 独
ture,2021,3(4):99-110.
立 的 目 标 ， 但 对 于 两 个 目 标 相 互 重 叠 的 情 况 模 型
[8] WU D, LYU S, JIANG M, et al. Using channel prun ‐
ing-basedYOLO v4 deep learning algorithm for the re ‐
展 现 的 检 测 效 果 并 不 理 想 。 后 续 需 要 更 改 标 注 策
al-time and accurate detection of apple flowers in natu ‐
略 并 增 加 对 应 情 况 数 据 集 以 迁 移 学 习 ， 同 时 调 整
ral environments[J]. Computers and Electronics in Ag ‐
寻 找 最 佳IoU 参 数 以 改 进 网 络 。 针 对 花 朵 类 目 标
riculture,2020,178:ID105742.
[9] FARJON G, KRIKEB O, HILLEL A, et al. Detection
的 低 召 回 率 情 况 ， 后 续 考 虑 添 加CBAM 注 意 力
andcountingofflowersonappletreesforbetterchemi ‐
机 制 以 提 高 模 型 对 这 类 目 标 的 召 回 率 。
cal thinning decisions[J]. Precision Agriculture, 2020,
21(3):503-521.
[10] GIRSHICK R, DONAHUE J, DARRELLT, et al. Rich
参 参 考 考 文 文 献 献 ：
feature hierarchies for accurate object detection and se ‐
[1] 张 伏, 陈 自 均, 鲍 若 飞, 等. 基 于 改 进 型YOLOv4-LI ‐
mantic segmentation[C]// The IEEE Conference on
TE 轻 量 级 神 经 网 络 的 密 集 圣 女 果 识 别[J]. 农 业 工 程
Computer Vision and Pattern Recognition. Piscataway,
学 报,2021,37(16):270-278.
NewYork,USA:IEEE,2014:580-587.
ZHANG F, CHEN Z, BAO R, et al. Recognition of
[11] LIU W,ANGUELOV D, ERHAN D, et al. Ssd: Single
dense cherry tomatoes based on improved YOLOv4-
shot multibox detector[C]// European Conference on
LITE lightweight neural network[J]. Transactions of
Computer Vision. Berlin, German: Springer, 2016:
theCSAE,2021,37(16):270-278.
21-37.
[2] 刘 天 真, 滕 桂 法, 苑 迎 春, 等. 基 于 改 进YOLO v3 的
[12] REDMON J, DIVVALA S, GIRSHICK R, et al. You
自 然 场 景 下 冬 枣 果 实 识 别 方 法[J]. 农 业 机 械 学 报,
only look once: Unified, real-time object detection[C]//
2021,52(5):17-25.
The IEEE Conference on Computer Vision and Pattern
LIU T, TENG G, YUAN Y, et al. Winter jujube fruit
Recognition. Piscataway, New York, USA: IEEE,
recognition method based on improvedYOLOv3 under
2016:779-788.
natural scene[J]. Transactions of the CSAM, 2021, 52
[13] SHAFIEE M J, CHYWL B, LI F, et al. Fast YOLO:A
(5):17-25.
fast you only look once system for real-time embedded
[3] KANG H, CHEN C. Fruit detection. segmentation and
object detection in video[J/OL]. arXiv: 1709.05943,
3D visualisation of environments in apple orchards[J].
2017.
Computers and Electronics in Agriculture, 2020, 171:
[14] REDMON J, FARHADI A. Yolov3: An incremental
ID105302.
improvement[J/OL].arXiv:1804.02767,2018.
[4] WANGY, LYU J, XU L, et al. Asegmentation method
[15] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yo ‐
for waxberry image under orchard environment[J]. Sci ‐
lov4: Optimal speed and accuracy of object detec ‐
entiaHorticulturae,2020,266:ID109309.
tion[J/OL]. arXiv:2004.10934,2020.
[5] 杜 文 圣, 王 春 颖, 朱 衍 俊, 等. 采 用 改 进Mask R-CNN
[16] HAN K,WANGY,TIAN Q, et al. Ghostnet: More fea ‐
算 法 定 位 鲜 食 葡 萄 疏 花 夹 持 点[J]. 农 业 工 程 学 报,
tures from cheap operations[C]// The IEEE/CVF Con ‐
2022,38(1):169-177.
ference on Computer Vision and Pattern Recognition.
DU W, WANG C, ZHU Y, et al. Fruit stem clamping
Piscataway,NewYork,USA:IEEE,2020:1580-1589.
points location for table grape thinning using improved
[17] HOWARD A G, ZHU M, CHEN B, et al. Mobilenets:
mask R-CNN[J]. Transactions of the CSAE, 2022, 38 Efficient convolutional neural networks for mobile vi ‐
(1):169-177.
sionapplications[J/OL].arXiv:1704.04861,2017.
[6] 陈 新, 伍 萍 辉, 祖 绍 颖, 等. 基 于 改 进SSD 轻 量 化 神 经
[18] SANDLER M, HOWARD A, ZHU M, et al. Mobile ‐
网 络 的 番 茄 疏 花 疏 果 农 事 识 别 方 法[J]. 中 国 瓜 菜, NetV2: Inverted Residuals and Linear Bottlenecks[C]//
2021,34(9):38-44.
2018 IEEE/CVF Conference on Computer Vision and
CHEN X, WU P, ZU S, et al. Study on identification
Pattern Recognition (CVPR). Piscataway, New York,
method of thinning flower and fruit of tomato based on USA:IEEE,2018.
improved SSD lightweight neural network[J]. China [19] HOWARD A, SANDLER M, CHU G, et al. Searching
CucurbitsandVegetables,2021,34(9):38-44.
formobilenetv3[C]//TheIEEE/CVFInternationalCon ‐
[7] 龙 洁 花, 郭 文 忠, 林 森, 等. 改 进YOLOv4 的 温 室 环 境 ference on Computer Vision. Piscataway, New York,Vol.4,No.3 夏 烨 等 ： 基 于 改 进 G h o s t - Y O L O v 5 s - B i F P N 算 法 检 测 梨 树 花 序
1 1 9
USA:IEEE,2019:1314-1324. 2018:116-131.
[20] ZHANG X, ZHOU X, LIN M, et al. Shufflenet:An ex ‐ [22] LIU S, QI L, QIN H, et al. Path aggregation network
tremely efficient convolutional neural network for mo ‐ for instance segmentation[C]// The IEEE Conference
bile devices[C]// The IEEE Conference on Computer on Computer Vision and Pattern Recognition. Piscat ‐
Vision and Pattern Recognition. Piscataway, New away,NewYork,USA:IEEE,2018:8759-8768.
York,USA:IEEE,2018:6848-6856. [23] TAN M, PANG R, LE Q V. Efficientdet: Scalable and
[21] MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: efficient object detection[C]// The IEEE/CVF Confer ‐
Practical guidelines for efficient cnn architecture de ‐ ence on ComputerVision and Pattern Recognition. Pis ‐
sign[C]// The European Conference on COMPUTER cataway,NewYork,USA:IEEE,2020:10781-10790.
VISIon (ECCV). Piscataway, New York, USA: IEEE,
DetectionofPearInflorescenceBasedonImproved
Ghost-YOLOv5s-BiFPNAlgorithm
1,2 1 1 1 1 1
XIAYe ,LEIXiaohui,QIYannan,XUTao,YUANQuanchun,PANJian,
1 1
JIANGSaike,LYUXiaolan
（1. Institute ofAgricultural Facilities and Equipment, JiangsuAcademy ofAgricultural Sciences / Key Laboratory
of Modern Horticultural Equipment, Ministry ofAgriculture and RuralAffairs, Nanjing210014, China;2. Institute
ofAgricultural Engineering Jiangsu University, Zhenjiang210200, China ）
Abstract: Mechanized and intelligent flower thinning is a high-speed flower thinning method nowadays. The classification and
detection of flowers and flower buds are the basic requirements to ensure the normal operation of the flower thinning machine.
Aimingattheproblemsofpearinflorescencedetectionandclassificationinthecurrentintelligentproductionofpearorchards,a
Y-shaped shed pear orchard inflorescence recognition algorithm Ghost-YOLOv5s-BiFPN based on improved YOLOv5s was
proposedinthisresearch.Thedetectionmodelwasobtainedbylabelingandexpandingthepeartreebudandflowerimagescol ‐
lected in the field and sending them to the algorithm for training.The Ghost-YOLOv5s-BiFPN algorithm used the weighted bi ‐
directional feature pyramid network to replace the original path aggregation network structure, and effectively fuse the features
of different sizes.At the same time, ghost module was used to replace the traditional convolution, so as to reduce the amount of
model parameters and improve the operation efficiency of the equipment without reducing the accuracy. The field experiment
results showed that the detection accuracy of the Ghost-YOLOv5s-BiFPN algorithm for the bud and flower in the pear inflores ‐
cencewere93.21% and89.43%,respectively,withanaverageaccuracyof91.32%,andthedetectiontimeofasingleimagewas
29 ms. Compared with the originalYOLOv5s algorithm, the detection accuracy was improved by 4.18%, and the detection time
and model parameters were reduced by 9 ms and 46.63% respectively. Compared with the original YOLOV5s network, the
mAP and recall rate were improved by 4.2% and 2.7%, respectively; the number of parameters, model size and floating point
operations were reduced by 46.6%, 44.4% and 47.5% respectively, and the average detection time was shortened by 9 ms.With
Ghost convolution and BIFPN adding model, the detection accuracy has been improved to a certain extent, and the model has
been greatly lightweight, effectively improving the detect efficiency. From the thermodynamic diagram results, it can be seen
that BIFPN structure effectively enhances the representation ability of features, making the model more effective in focusing on
the corresponding features of the target.The results showed that the algorithm can meet the requirements of accurate identifica ‐
tion and classification of pear buds and flowers, and provide technical support for the follow-up pear garden to achieve intelli ‐
gentflowerthinning.
Keywords: pearflower;intelligentrecognition;YOLOv5s;BiFPN;lightweightmodel
（ 登 陆www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ）