2023 年 12 月 第 5 卷 第 4 期 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Dec. 2023 Vol. 5, No. 4
基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法
1 1 2 2
周 华 茂 ， 王 婧 ， 殷 华 ， 陈 琦
（1. 江 西 农 业 大 学 工 学 院 ， 江 西 南 昌 330045 ， 中 国 ； 2. 江 西 农 业 大 学 计 算 机 与 信 息 工 程 学 院 ， 江 西 南 昌 330045 ， 中 国 ）
摘 要 ： ［ ［ 目 目 的 的 / 意 意 义 义 ］ ］ 秀 珍 菇 表 型 是 其 品 质 和 栽 培 环 境 适 应 性 的 反 映 ， 但 目 前 人 工 测 量 表 型 参 数 耗 时 费 力 、 主 观
性 强 ， 亟 需 自 动 化 分 析 手 段 。 ［ ［ 方 方 法 法 ］ ］ 一 种 基 于 改 进 Mask R-CNN 的 秀 珍 菇 测 量 模 型 PG-Mask R-CNN （Pleurotus
geesteranus-Mask Region-Based Convolutional Neural Network ） ， 提 出 以 损 伤 率 为 指 标 的 裂 纹 评 价 方 法 ， 并 对 其 进 行
量 化 评 价 。PG-Mask R-CNN 模 型 以 Mask R-CNN 为 主 体 ， 通 过 向 特 征 提 取 网 络 Resnet101 中 添 加 SimAM 注 意 力 机
制 ， 在 不 增 加 原 始 网 络 参 数 的 情 况 下 提 高 网 络 性 能 ； 采 用 改 进 的 特 征 金 字 塔 进 行 多 尺 度 融 合 ， 融 合 多 层 级 的 信 息
进 行 预 测 ； 将 GIoU （Generalized Intersection over Union ） 边 界 框 回 归 损 失 函 数 替 代 原 有 的 IoU （Intersection over
Union ） 损 失 函 数 ， 完 善 图 像 重 叠 度 的 计 算 ， 进 一 步 提 高 模 型 性 能 。 ［ ［ 结 结 果 果 和 和 讨 讨 论 论 ］ ］ PG-Mask R-CNN 模 型 目 标 检 测
的 mAP 和 mAR 分 别 为 84.8% 和 87.7% ， 均 高 于 目 前 主 流 的 YOLACT （You Only Look At CoefficienTs ） 、InstaBoost 、
QueryInst 和 Mask R-CNN 模 型 ； 实 例 分 割 结 果 的 MRE （Mean Relative Error ） 为 0.90% ， 均 低 于 其 他 实 例 分 割 模 型 ；
PG-Mask R-CNN 模 型 的 参 数 量 为 51.75 M ， 略 大 于 原 始 的 Mask R-CNN ， 均 小 于 其 他 实 例 分 割 模 型 。 对 分 割 后 的 菌
盖 和 裂 纹 进 行 测 量 ， 所 得 结 果 的 MRE 分 别 为 1.30% 和 7.54% ， 损 伤 率 的 MAE （Mean Absolute Error ） 为 0.14% 。 ［ ［ 结 结
论 论 ］ ］ 本 研 究 提 出 的 PG-Mask R-CNN 模 型 对 秀 珍 菇 的 菌 柄 、 菌 盖 及 裂 纹 识 别 与 分 割 具 有 较 高 的 准 确 率 ， 在 此 基 础
上 能 够 实 现 对 秀 珍 菇 表 型 参 数 的 自 动 化 测 量 ， 这 为 后 续 秀 珍 菇 智 慧 化 育 种 、 智 能 栽 培 与 分 级 奠 定 了 技 术 基 础 。
关 键 词 ： 秀 珍 菇 ；Mask R-CNN ；SimAM 模 块 ；Resnet101 ； 表 型 分 析 ； 改 进 的 特 征 金 字 塔
中 图 分 类 号 ： S24 ； S646 文 献 标 志 码 ： A 文 章 编 号 ： SA202309024
引 用 格 式 ： 周 华 茂, 王 婧, 殷 华, 陈 琦 . 基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法[J]. 智 慧 农 业( 中 英
文), 2023, 5(4): 117-126. DOI ： 10.12133/j.smartag.SA202309024
ZHOU Huamao, WANG Jing, YIN Hua, CHEN Qi. Phenotype analysis of Pleurotus geesteranus based on improved Mask
R-CNN[J]. Smart Agriculture, 2023, 5(4): 117-126. DOI ： 10.12133/j.smartag.SA202309024 (in Chinese with English ab‐
stract)
珍 菇 品 质 的 体 现 ， 但 目 前 受 技 术 水 平 的 限 制 ， 这 些
0 引 言
参 数 在 育 种 、 生 产 过 程 中 还 需 要 通 过 人 工 测 量 确
秀 珍 菇 ， 学 名 环 柄 侧 耳 （Pleurotus geestera ‐
定 ， 劳 动 强 度 大 、 效 率 低 ， 具 有 一 定 的 主 观 性 。 这
nus ） ， 因 其 子 实 体 口 感 鲜 爽 ， 富 含 多 种 人 体 所 需 的
也 在 一 定 程 度 上 阻 碍 了 秀 珍 菇 高 通 量 育 种 和 智 慧 栽
［1 ］
营 养 元 素 ， 深 受 人 们 喜 爱 。 为 了 满 足 人 们 对 优 质
培 的 高 速 发 展 。
秀 珍 菇 的 需 求 ， 培 养 外 形 完 整 、 生 长 周 期 短 且 运 输
随 着 计 算 机 视 觉 技 术 的 不 断 发 展 ， 采 用 机 器 视
时 不 易 损 坏 的 新 品 种 势 在 必 行 。 表 现 型 是 基 因 型 和
［2 ］
觉 分 析 农 作 物 形 态 的 方 法 已 逐 渐 趋 于 成 熟 。 但 在 对
环 境 型 共 同 作 用 的 结 果 ， 也 是 消 费 者 关 注 的 重 点
食 用 菌 表 型 分 析 方 面 ， 目 前 研 究 较 少 ， 仅 有 的 研 究
以 及 菇 农 调 整 种 植 策 略 和 分 级 定 价 的 依 据 。 根 据 相
［3 ］ ［4 ］ ［5 ］
关 标 准 ， 菌 柄 粗 细 、 菌 盖 大 小 及 裂 纹 数 量 都 是 秀 则 集 中 在 菌 盖 形 态 的 测 量 与 获 取 方 面 。 王 玲 等
收 稿 日 期 ：2023-09-22
基 金 项 目 ： 国 家 自 然 科 学 基 金 项 目 （62362039 ）
作 者 简 介 ： 周 华 茂 ， 研 究 方 向 为 测 试 、 传 感 技 术 。E-mail ：zhoueefo@163.com
通 信 作 者 ： 陈 琦 ， 硕 士 ， 副 教 授 ， 研 究 方 向 为 植 物 表 型 。E-mail ：37914448@qq.com
copyright?2023 by the authors118 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
提 出 了 一 种 基 于 结 构 光 SR300 深 度 相 机 的 褐 蘑 菇 原 棒 性 ， 使 用 手 机 （ 红 米 K40 ， 分 辨 率 4 000 ×2 250 ）
位 测 量 技 术 ， 其 能 够 分 割 粘 连 菇 、 满 足 褐 蘑 菇 的 工 静 态 拍 摄 图 像 作 为 补 充 。 最 终 采 集 到 344 幅 原 始 秀
［6 ］
厂 化 实 时 采 摘 机 器 人 的 需 求 。Liu 等 提 出 了 一 种 珍 菇 正 面 图 像 用 于 模 型 训 练 ， 其 中 相 机 和 手 机 拍 摄
改 进 的 YOLOX 方 法 检 验 香 菇 的 表 面 纹 理 ，mAP 达 的 图 像 数 量 分 别 为 168 张 和 176 张 ， 并 按 照 8 ∶2 比
到 99.96% ， 有 效 应 用 于 香 菇 生 产 过 程 中 的 快 速 质 量 例 划 分 为 训 练 集 和 测 试 集 。 在 训 练 之 前 进 行 10 倍
［7 ］
分 类 ；Yin 等 提 出 一 种 基 于 YOLOv4 和 距 离 滤 波 数 据 增 强 ， 对 秀 珍 菇 图 像 进 行 随 机 亮 度 增 减 、 图 像
器 的 黑 皮 鸡 枞 菌 盖 直 径 估 测 方 法 ， 其 识 别 准 确 率 达 翻 转 、 添 加 不 同 噪 声 等 处 理 ， 共 获 得 3 440 张 图
［8 ］
95.36% 。 黄 星 奕 等 对 畸 形 秀 珍 菇 识 别 方 法 进 行 像 用 于 模 型 的 训 练 ， 其 中 训 练 集 和 测 试 集 分 别 为
了 讨 论 ， 但 未 对 秀 珍 菇 裂 纹 进 行 定 量 分 析 。 2 752 张 和 688 张 。 同 时 再 拍 摄 50 个 新 选 的 秀 珍 菇
为 满 足 育 种 、 生 产 等 对 秀 珍 菇 表 型 快 速 定 量 分 样 本 用 于 表 型 参 数 测 量 验 证 ， 其 中 手 机 和 相 机 分 别
析 的 需 求 ， 本 研 究 根 据 秀 珍 菇 形 态 的 特 点 ， 构 建 了 拍 摄 25 张 。 使 用 LabelMe 软 件 中 的 多 边 形 标 注 工 具
PG-Mask R-CNN 实 例 分 割 模 型 ， 提 出 了 秀 珍 菇 裂 进 行 人 工 标 注 ， 为 每 个 秀 珍 菇 标 注 出 菌 盖 、 菌 柄 、
纹 程 度 评 价 方 法 ， 完 成 对 秀 珍 菇 菌 柄 粗 细 、 菌 盖 面 裂 纹 ， 如 图 1 所 示 。
积 及 裂 纹 率 的 自 动 化 测 量 算 法 ， 并 验 证 了 算 法 的 有
效 性 。
1 数 据 采 集 与 预 处 理
实 验 数 据 来 源 于 江 西 九 江 东 晟 生 物 科 技 有 限 公
司 ， 研 究 对 象 为 台 秀 57 、 高 邮 818 两 个 常 见 秀 珍 菇
品 种 。 在 流 水 线 装 置 中 完 成 图 片 采 集 ， 传 送 带 为
绿 色 ， 将 相 机 （ 大 恒 MER-500-14 GM ， 分 辨 率
图 1 秀 珍 菇 数 据 集 标 注 样 例
2 592 ×1 944 ） 和 镜 头 （HN-0619-5M ） 固 定 于 传 送
Fig. 1 Sample of Pleurotus geesteranus dataset label
带 上 方 ， 贴 近 传 送 带 处 安 装 有 红 外 对 射 开 关 （ 欧 姆
2 研 究 方 法
龙 E3X-NA ） ， 相 机 、 对 射 开 关 、 传 送 带 控 制 器 通
过 数 据 线 与 工 控 机 （ 磐 仪 FPC-7703 ） 相 连 并 受 上
由 于 秀 珍 菇 的 个 体 差 异 ， 而 受 摆 放 位 置 、 角 度
位 机 程 序 控 制 。 为 避 免 传 送 带 运 行 时 拍 摄 造 成 的 图
的 影 响 产 生 阴 影 使 得 用 传 统 形 态 学 方 法 处 理 误 差 较
像 模 糊 ， 影 响 对 裂 纹 的 判 断 ， 整 个 系 统 采 取 “ 走-
大 。 因 此 ， 本 研 究 提 出 一 种 新 的 改 进 模 型 获 取 秀 珍
停- 走 ” 的 策 略 工 作 ， 即 当 秀 珍 菇 行 至 相 机 正 下 方
菇 的 菌 柄 、 菌 盖 和 裂 纹 大 小 ， 并 根 据 分 割 结 果 计 算
时 触 发 对 射 开 关 ， 工 控 机 控 制 传 送 带 停 止 工 作 并 拍
菌 盖 面 积 、 菌 柄 长 度 、 宽 度 、 裂 纹 率 等 表 型 参 数 ，
摄 照 片 ， 待 拍 摄 结 束 后 继 续 工 作 。
其 具 体 流 程 如 图 2 所 示 。
为 了 增 加 数 据 集 中 的 图 像 数 量 并 提 高 系 统 的 鲁
图 2 基 于 PG-Mask R-CNN 的 秀 珍 菇 表 型 分 析 方 法 流 程
Fig. 2 Phenotyping methodology process of Pleurotus geesteranus based on PG-Mask R-CNN?
Vol. 5, No. 4 周 华 茂 等 ： 基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法 119
中 没 有 区 分 每 个 空 间 维 度 特 征 的 重 要 性 的 不 足 ， 将
2.1 PG-Mask R-CNN 模 型 构 建
SimAM 注 意 力 机 制 模 块 添 加 到 其 残 差 模 块 的 conv3
Mask R-CNN 网 络 是 一 种 实 例 分 割 （Instance
层 ， 以 提 高 模 型 的 特 征 提 取 能 力 ； 2 ） 在 FPN
［9 ］
Segmentation ） 算 法 ， 与 其 他 算 法 相 比 ， 具 有 检
（Feature Pyramid Networks ） 网 络 中 引 入 一 条 自 下
测 速 度 快 和 准 确 率 高 的 优 势 ， 使 其 在 农 产 品 图 像 识
向 上 的 新 特 征 融 合 路 径 （Dual Feature Pyramid Net‐
别 领 域 有 着 广 泛 的 应 用 。 传 统 的 Mask R-CNN 网 络
works ，DFPN ） ， 避 免 高 层 语 义 信 息 的 丢 失 ；3 ） 采
［10 ］
虽 然 在 公 开 数 据 集 上 取 得 了 不 错 的 结 果 ， 但 是 由 于
用 GIoU （Generalized Intersection over Union ） 边
秀 珍 菇 裂 纹 与 菌 盖 的 颜 色 对 比 度 低 ， 部 分 裂 纹 过
界 框 回 归 损 失 函 数 替 代 原 有 的 IoU （Intersection
小 且 图 片 背 景 的 阴 影 部 分 对 裂 纹 识 别 有 影 响 ， 并
over Union ） 损 失 函 数 ， 完 善 图 像 重 叠 度 的 计 算 ，
不 能 完 全 适 合 。 因 此 ， 本 研 究 中 改 进 的 部 分 包 括 ：
进 一 步 优 化 网 络 模 型 。 改 进 后 模 型 具 体 结 构 如 图 3
1 ） 针 对 主 干 网 络 中 Resnet101 网 络 在 特 征 融 合 过 程 所 示 。
图 3 PG-Mask R-CNN 网 络 结 构 图
Fig. 3 Structure of PG-Mask R-CNN network
2.1.1 SimAM 注 意 力 机 制 模 块 Resnet101 残 差 模 块 的 Bottleneck 卷 积 层 后 可 以 得 到
由 于 摆 放 位 置 、 光 照 角 度 等 原 因 ， 秀 珍 菇 菌 柄
较 好 的 效 果 ， 但 SimAM 模 型 的 插 入 方 法 不 固 定 ，
菌 盖 结 合 区 域 、 部 分 裂 纹 与 菌 盖 结 合 区 域 存 在 颜 色
经 过 多 次 实 验 后 本 研 究 将 SimAM 模 块 嵌 入 到 层
相 近 现 象 ， 传 统 模 型 识 别 难 以 取 得 满 意 的 结 果 。 为
conv3 层 。
使 得 网 络 模 型 能 够 更 多 关 注 上 述 区 域 的 细 节 引 入 注
2.1.2 DFPN 路 径
［11-13 ］
意 力 模 块 。 目 前 ， 注 意 力 模 块 的 种 类 很 多 ， 但 特 征 金 字 塔 （Feature Pyramid Network ，FPN ）
［14 ］
作 为 Mask R-CNN 的 特 征 融 合 网 络 ， 可 以 在 多 个 尺
与 其 他 注 意 力 模 块 不 同 ，SimAM 注 意 力 机 制 原
度 上 提 取 特 征 ， 提 高 准 确 性 和 特 征 提 取 速 度 。 原 始
理 简 单 且 不 引 入 额 外 模 型 参 数 。 其 定 义 的 第 n 个 序
特 征 金 字 塔 有 一 条 自 顶 向 下 的 特 征 连 接 ， 路 径 过 长
号 的 神 经 元 能 量 函 数 为 e ， 如 公 式 （1 ） 所 示 。
n
2
使 得 低 层 特 征 无 法 影 响 高 层 特 征 ， 导 致 高 层 特 征 语
4 (? + φ )
e = （1 ）
n
2 2
(t - μ ) + 2? + 2 φ
n
义 信 息 弱 ， 并 缺 少 低 层 特 征 的 定 位 信 息 。 从 图 4 中
2
其 中 ， φ 为 正 则 项 ；? 为 所 有 神 经 元 在 单 个 通
可 以 看 出 ， 原 始 特 征 金 字 塔 生 成 的 特 征 图 P5 仅 有
道 上 的 方 差 ；t 为 输 入 特 征 图 在 单 个 通 道 上 的 第 n
其 当 前 层 次 的 语 义 信 息 ， 而 P2 、P3 、P4 却 有 自 顶
n
个 神 经 元 。
向 下 的 语 义 信 息 。 对 秀 珍 菇 裂 纹 进 行 检 测 时 ， 由 于
在 SimAM 模 块 工 作 时 首 先 将 特 征 图 输 入 获 得
裂 纹 面 积 远 小 于 菌 盖 面 积 ， 且 部 分 裂 纹 形 状 不 规
所 有 神 经 元 权 重 ， 然 后 采 用 Sigmoid 函 数 对 其 进 行 则 、 边 缘 不 平 滑 、 存 在 阴 影 。 因 此 ， 当 语 义 信 息 弱
［15 ］
权 值 归 一 化 ， 将 结 果 与 原 始 特 征 相 乘 ， 最 后 输 出 特 时 会 导 致 裂 纹 检 测 结 果 出 现 漏 检 、 错 检 。 为 了
征 图 。 现 有 研 究 表 明 ， 将 SimAM 模 块 嵌 入 到 提 高 裂 纹 检 测 性 能 和 小 目 标 目 标 检 测 精 度 ， 在 原 始120 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
特 征 金 字 塔 的 基 础 上 增 加 一 条 自 下 向 上 的 特 征 融 合
路 径 DFPN 用 于 多 尺 寸 特 征 融 合 ， 加 强 语 义 信 息 。
如 图 4 所 示 ， 首 先 将 原 始 特 征 图 P2 作 为 D2 ， 通 过
3 ×3 卷 积 上 采 样 ， 并 与 经 过 1 ×1 卷 积 的 P3 水 平 连
接 ， 得 到 D3 ， 从 下 至 上 的 方 式 将 D4 、D5 用 相 同 的
图 5 GIoU 边 界 框 损 失 函 数 原 理 图
方 式 生 成 。 新 生 成 的 特 征 图 D2 、D3 、D4 、D5 具 有
Fig. 5 Schematic diagram of GIoU bounding box loss function
更 丰 富 的 语 义 信 息 ， 进 一 步 提 升 了 特 征 金 字 塔 特 征
融 合 的 性 能 。
GIoU 的 定 义 如 公 式 （3 ） 所 示 。
| S - B ∪ G |
GIoU = IoU - （3 ）
| S |
式 中 ：S 为 真 实 框 和 预 测 框 的 最 小 外 包 面 积 ；
B ∪ G 为 预 测 框 和 真 实 框 覆 盖 的 并 集 ； 边 界 框 回 归
损 失 函 数 GIoU 取 值 的 区 间 为 ［-1 ，1 ］ 。
2.2 秀 珍 菇 表 型 参 数 测 量
2.2.1 测 量 指 标
经 过 PG-Mask R-CNN 网 络 模 型 对 秀 珍 菇 进 行
实 例 分 割 后 ， 已 经 能 够 识 别 菌 柄 、 菌 盖 及 裂 纹 ， 并
得 到 其 轮 廓 ， 但 需 要 进 一 步 对 它 们 进 行 量 化 。 由 于
秀 珍 菇 形 态 并 不 规 则 ， 因 此 本 研 究 中 菌 盖 及 裂 纹 采
图 4 DFPN 网 络 结 构
用 面 积 作 为 其 量 化 指 标 ； 而 对 于 菌 柄 则 选 择 长 度 及
Fig. 4 Structure of DFPN network
粗 细 进 行 量 化 ， 具 体 如 下 。
2.1.3 边 界 框 回 归 损 失 函 数 改 进
2
菌 盖 面 积 （mm ） ： 图 像 上 菌 盖 图 形 所 占 面 积 ，
边 界 框 回 归 损 失 函 数 用 于 衡 量 真 实 值 和 预 测 值
是 拍 摄 自 然 状 态 下 将 秀 珍 菇 正 面 放 置 时 的 测 量
之 间 的 误 差 大 小 ， 并 预 测 目 标 的 坐 标 位 置 。Mask
结 果 。
R-CNN 采 用 IoU 作 为 边 界 框 回 归 损 失 函 数 计 算 预 测
菌 柄 长 度 （mm ） ： 菌 柄 最 小 外 接 矩 形 框 的
框 和 目 标 框 的 交 并 比 ， 从 而 对 模 型 进 行 迭 代 优 化 。
长 度 。
当 预 测 框 与 真 实 框 不 相 交 时 ，IoU 为 0 ， 即 Loss 为
菌 柄 宽 度 （mm ） ： 菌 柄 最 小 外 接 矩 形 框 的
0 ， 此 时 模 型 无 法 优 化 ， 网 络 便 无 法 进 行 训 练 。 由
宽 度 。
于 边 界 框 回 归 损 失 函 数 IoU 只 关 注 预 测 框 与 目 标 框
裂 纹 条 数 （ 条 ） ： 秀 珍 菇 子 实 体 裂 纹 数 量 。
的 重 叠 区 域 ， 忽 略 非 重 叠 区 域 导 致 秀 珍 菇 各 部 位 目
菌 盖 损 伤 率 ： 裂 纹 在 完 整 菌 盖 面 积 中 所 占 的 比
标 检 测 的 坐 标 位 置 不 准 确 。 针 对 这 一 情 况 ， 参 考 文
例 。 参 考 文 献 ［17 ］ 的 思 路 ， 其 定 义 如 公 式 （4 ）
献 ［16 ］ ， 考 虑 目 标 的 非 重 叠 区 域 ， 将 边 界 框 回 归
所 示 。
损 失 函 数 由 IoU 更 换 为 GIoU ， 用 于 减 少 其 他 特 征 影
S
crack
? = × 100% （4 ）
S + S
响 并 完 善 图 像 重 叠 度 的 计 算 ， 进 一 步 提 高 秀 珍 菇 各 pileus crack
式 中 ：S 、S 分 别 为 秀 珍 菇 菌 盖 和 裂 纹 面
部 位 的 目 标 检 测 性 能 。 如 图 5 所 示 ，B 和 G 分 别 代
pileus crack
2
积 的 大 小 ，mm ；? 为 裂 盖 损 伤 率 ，% ， 值 越 小 说
表 真 实 框 和 预 测 框 ；S 表 示 B 和 G 的 最 小 外 包 框 ；a
明 菌 盖 完 整 度 越 高 。
表 示 预 测 框 和 真 实 框 覆 盖 的 并 集 B ∪ G 。
2.2.2 测 量 方 法
IoU 的 定 义 如 公 式 （2 ） 所 示 。
对 于 秀 珍 菇 表 型 参 数 的 计 算 步 骤 如 下 ：
| |
| | B ∩ G | |
| | | |
IoU = （2 ）
| B ∪ G | 1 ） 首 先 通 过 标 定 消 除 相 机 畸 变 及 获 取 像 素Vol. 5, No. 4 周 华 茂 等 ： 基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法 121
［18 ］
比 例 。 公 式 如 （9 ） 和 公 式 （10 ） 所 示 。
| |
2 ） 利 用 PG-Mask R-CNN 模 型 获 得 包 含 菌 盖 、
1 | | y - x | |
n
k k
MRE = | | | | （9 ）
∑
k = 1
n x
| |
k
裂 纹 和 菌 柄 的 分 割 结 果 及 其 像 素 数 量 。
1
n
3 ） 由 于 部 分 菌 柄 存 在 倾 斜 ， 利 用 外 接 矩 形 难
MAE = | y - x | （10 ）
∑
k k
k = 1
n
以 准 确 描 述 表 型 参 数 ， 而 主 成 分 分 析 能 够 得 到 样 本
式 中 ：n 表 示 秀 珍 菇 的 个 数 ；y 表 示 预 测 的 第 k
k
中 分 布 差 异 最 大 的 成 分 （ 主 方 向 ） 且 已 广 泛 应
个 秀 珍 菇 实 例 的 像 素 点 个 数 ；x 表 示 标 注 的 第 k 个
k
［19, 20 ］
用 。 因 此 ， 使 用 主 成 分 分 析 算 法 提 取 菌 柄 掩 膜
秀 珍 菇 实 例 的 像 素 点 个 数 。
主 方 向 并 旋 转 至 水 平 方 向 。
4 ） 作 最 小 外 接 矩 形 框 ， 获 取 其 长 和 宽 作 为 菌 2.4 实 验 环 境 与 模 型 训 练
柄 的 长 度 和 宽 度 ， 得 到 菌 柄 的 长 度 及 粗 细 ； 同 时 计
使 用 Pycharm 集 成 开 发 环 境 对 PG-Mask R-CNN
算 菌 盖 、 裂 纹 的 面 积 得 到 最 终 结 果 。
网 络 模 型 进 行 构 建 与 测 试 。 硬 件 平 台 的 处 理 器 为
2.3 评 价 方 法 Intel Xeon Silver 4310 CPU 、 显 卡 为 NVIDIA Ge‐
Force RTX 3090 ， 并 在 Ubuntu 18.04.0 操 作 系 统 和
为 验 证 PG-Mask R-CNN 模 型 在 秀 珍 菇 图 像 数
Python 3.7 、Pytorch 1.10.0 等 编 程 环 境 中 进 行 模 型
据 集 的 性 能 ， 采 用 推 理 时 间 （Inference Time ） 、
训 练 与 开 发 。 模 型 共 训 练 100 轮 次 ， 设 置 学 习 率 为
mAP 、mAR 这 3 个 指 标 进 行 评 价 。Inference Time
0.002 ， 动 量 因 子 为 0.9 ， 权 重 衰 减 系 数 为 0.000 1 ，
表 示 模 型 识 别 一 张 图 像 所 需 的 时 间 ；mAP 表 示 当 预
Batch Size 为 4 。
测 结 果 与 真 实 结 果 阈 值 交 集 的 比 例 为 0.5 ~0.95 时 ，
所 有 类 别 的 平 均 AP 计 算 方 法 如 公 式 （5 ） 所 示 ；
3 结 果 与 分 析
mAP@0.5 表 示 当 预 测 结 果 与 真 实 结 果 阈 值 交 集 的
比 例 为 0.5 时 ， 所 有 类 别 的 平 均 AP ；mAR 表 示 当 预 3.1 SimAM 模 块 插 入 位 置 分 析
测 结 果 与 真 实 结 果 阈 值 交 集 的 比 例 为 0.5 ~0.95 时 ，
SimAM 注 意 力 机 制 为 一 个 即 插 即 用 的 模 块 ，
所 有 类 别 的 平 均 AR 计 算 方 法 如 公 式 （6 ） 所 示 。
其 插 入 模 型 的 位 置 目 前 尚 无 确 定 的 方 法 ， 需 要 根 据
C
AP
∑
i
i = 1
实 际 情 况 进 行 尝 试 。 将 SimAM 注 意 力 模 块 分 别 嵌
mAP = （5 ）
C
入 到 Resnet101 残 差 模 块 的 Bottleneck 的 第 1 层
C
AR
∑ i
i = 1
mAR = （6 ）
conv1 、 第 2 层 conv2 和 第 3 层 conv3 后 ， 并 进 行 结
C
果 对 比 。 如 表 1 所 示 ， 将 SimAM 模 块 嵌 入 到 conv3
式 中 ：C 表 示 类 别 数 ， 个 ；AP 表 示 平 均 精 度 ，
后 mAP 为 84.8% ， mAR 为 87.7% ， Inference Time
其 计 算 方 式 如 公 式 （7 ） ；AR 表 示 平 均 召 回 率 ， 其
为 0.069 ms 。 相 对 于 其 他 模 型 目 标 检 测 精 度 更 高 但
计 算 方 法 如 公 式 （8 ） 。
N
模 型 推 理 时 间 仅 相 差 0.009 ms ， 因 此 最 终 选 择 将 Si‐
AP = P j ?R ( j ) （7 ）
∑ ( )
j = 1 mAM 模 块 嵌 入 到 conv3 层 之 后 。
1
表 1 添 加 SimAM 后 模 型 训 练 结 果
AR = 2 R o do （8 ）
( )
∫
0.5
Table 1 Model training results after adding SimAM
式 中 ：N 表 示 数 据 总 量 ；j 为 每 个 样 本 点 的 索
Module mAP/% mAR/% Inference time/ms
引 ；P 表 示 精 确 度 ，R 表 示 召 回 率 ；o 表 示 预 测 掩 膜
conv1+SimAM 84.1 87.6 0.067
与 真 值 之 间 的 交 并 比 。
conv2+SimAM 84.4 87.7 0.060
conv3+SimAM 84.8 87.7 0.069
为 了 定 量 描 述 实 例 分 割 结 果 ， 采 用 平 均 相 对 误
差 （Mean Relative Error ，MRE ） 和 平 均 绝 对 误 差
3.2 消 融 实 验
（Mean Absolute Error ，MAE ） 进 行 评 价 ， 其 定 义 为
预 测 结 果 与 手 工 标 注 结 果 之 间 像 素 点 数 量 差 异 ， 如 为 探 究 PG-Mask R-CNN 网 络 模 型 的 有 效 性 进122 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
行 消 融 实 验 ， 结 果 如 表 2 所 示 。 在 仅 使 用 SimAM 检 测 的 mAP 、 mAP@0.5 、 mAR 分 别 为 84.8% 、
注 意 力 进 行 改 进 后 ， mAP 为 84.2% ， 比 原 有 的
95.3% 、 87.7% ， 均 优 于 YOLACT 、 InstaBoost 、
Mask R-CNN 模 型 提 高 2% ； 而 DFPN 特 征 金 字 塔
QueryInst 、 Mask R-CNN 算 法 ； PG-Mask R-CNN
的 引 入 使 模 型 的 mAP 提 高 0.4% ，parameters 增 加
的 MRE 为 0.90% ， 均 小 于 InstaBoost 、 Mask R-
5.91 M 。 引 入 GIoU 代 替 IoU 边 界 框 回 归 损 失 函 数 ，
CNN 、QueryInst 和 YOLACT 。 综 合 结 果 表 明 ，PG-
同 时 添 加 SimAM 注 意 力 机 制 和 DFPN 特 征 金 字 塔
Mask R-CNN 在 对 秀 珍 菇 图 像 进 行 实 例 分 割 时 相 较
后 ，mAP 提 高 2.2% ，mAR 提 高 1.6% ，parameters
于 其 他 模 型 具 有 更 高 精 确 度 ， 其 预 测 结 果 与 真 值 最
大 小 不 变 ，Inference Time 仅 增 加 0.009 ms 。 这 些 模
接 近 ， 边 界 更 清 晰 ， 区 域 更 完 整 。
块 的 加 入 可 以 提 高 秀 模 型 的 精 度 ， 在 精 确 度 和 识 别
表 3 不 同 实 例 分 割 方 法 实 验 结 果 对 比
效 率 之 间 实 现 更 好 的 平 衡 。
Table 3 Results comparison of different instance segmentation
表 2 消 融 实 验 结 果
training methods
Table 2 Results of ablation experiments
Algorithm mAP@
mAP/% mAR/% Parameters/M MRE/%
（Bbox ） 0.5/%
Module Exp No.1 Exp No.2 Exp No.3 Exp No.4
SimAM × √ × √
Mask R-CNN 95.2 82.2 86.4 45.84 1.24
DFPN × × √ √
YOLACT 91.7 72.5 77.2 53.73 1.41
GIoU × × × √
InstaBoost 81.0 60.4 67.1 62.75 4.13
mAP/% 82.2 84.2 82.6 84.8
QueryInst 93.0 76.4 84.2 191.27 7.49
mAR/% 86.4 87.4 86.1 87.7
Inference time/ms 0.050 0.063 0.060 0.069
PG-Mask R-
95.3 84.8 87.7 51.75 0.90
CNN （ ours ）
Parameters/M 45.84 45.84 51.75 51.75
注 ：√ 为 加 入 该 模 块 到 模 型 ； × 为 不 选 择 该 模 块 。
注 ： 加 粗 实 验 得 到 最 佳 结 果 ； 加 波 浪 线 表 示 实 验 得 到 结 果 排 名 第 二 。
3.3 与 其 他 分 割 方 法 对 比 图 6 是 使 用 不 同 方 法 对 秀 珍 菇 进 行 分 割 的 结
果 ， 在 使 用 YOLACT 、InstaBoost 、QueryInst 时 结
Grabcut 算 法 是 一 种 前 景 分 割 算 法 。 通 过 人 机
果 存 在 漏 检 、 错 检 的 情 况 ， 且 分 割 出 的 掩 膜 存 在 明
交 互 完 成 矩 形 输 入 ， 无 需 阈 值 选 取 过 程 并 直 接 获 得
显 缺 损 ， 而 Mask R-CNN 虽 然 能 够 分 割 出 裂 纹 掩
［21 ］
分 割 结 果 ， 已 经 广 泛 用 于 各 个 场 景 。YOLACT
膜 ， 但 完 整 度 及 平 滑 度 不 如 PG-Mask R-CNN 。
是 一 种 在 实 时 实 例 分 割 中 大 量 应 用 的 模 型 ， 具 有 训
练 耗 时 短 、 识 别 速 度 快 和 可 支 持 多 实 例 的 优 点 ；In‐
3.4 表 型 参 数 测 量 结 果 分 析
staBoost 是 一 种 基 于 crop-paste 的 实 例 分 割 模 型 ， 它
将 秀 珍 菇 测 试 图 片 放 入 PG-Mask R-CNN 模 型
能 够 改 善 模 型 在 复 杂 场 景 下 的 性 能 ， 并 提 高 目 标 检
中 得 到 各 部 位 掩 膜 ， 同 时 使 用 LabelMe 软 件 标 注 出
测 的 准 确 率 和 鲁 棒 性 ；Queryinst 是 一 种 基 于 Query
秀 珍 菇 测 试 图 片 的 真 值 ， 通 过 像 素 点 个 数 计 算 两 个
的 实 例 分 割 新 方 法 ， 相 比 其 他 实 例 分 割 模 型 能 够 更
实 验 结 果 的 菌 盖 、 裂 纹 的 面 积 和 损 伤 率 ? 。 选 取 所
好 地 应 对 遮 挡 和 密 集 场 景 中 的 目 标 实 例 。 由 于
［22 ］ ［23 ］ ［24 ］
采 集 的 50 张 用 于 验 证 的 秀 珍 菇 样 本 进 行 实 验 ， 分
YOLACT 、 InstaBoost 、 Queryinst 算 法 与
别 测 量 其 菌 盖 、 裂 纹 及 损 伤 率 并 计 算 误 差 ， 结 果 如
传 统 的 实 例 分 割 算 法 相 比 在 COCO （Microsoft
图 7 所 示 。 测 量 得 到 菌 盖 的 MRE 为 1.30% 、 裂 纹 的
Common Objects in Context ） 数 据 集 上 面 分 割 精 度
MRE 为 7.54% ， 损 伤 率 的 MAE 为 0.14% 。 但 是 ， 从
都 高 于 传 统 的 实 例 分 割 算 法 （ 如 Mask R-CNN 、
图 7 中 可 以 看 出 对 于 某 些 样 品 裂 纹 MRE 值 较 大 。 这
Cascade R-CNN 、SOLO V2 、CondInst 等 ） ， 故 将 它
是 由 于 拍 摄 角 度 不 正 确 以 及 阴 影 的 影 响 ， 模 型 无 法
们 与 PG-Mask R-CNN 进 行 对 比 ， 验 证 改 进 后 算 法
准 确 检 测 某 些 面 积 较 大 的 菌 盖 上 的 细 小 裂 纹 ， 造 成
的 有 效 性 。 相 应 的 实 验 结 果 如 表 3 所 示 。GrabCut
算 法 分 割 出 的 掩 膜 边 缘 不 清 晰 ， 并 且 无 法 适 应 复 杂 漏 检 所 致 ， 如 图 8 所 示 。 但 在 实 际 应 用 过 程 中 ， 若
背 景 ， 故 未 在 表 中 列 出 ； 而 PG-Mask R-CNN 目 标 裂 纹 与 菌 盖 本 身 相 比 较 小 ， 则 大 多 数 情 况 下 会 忽Vol. 5, No. 4 周 华 茂 等 ： 基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法 123
（a ） 原 图 及 真 值 （b ） GrabCut 分 割 （c ） GrabCut （d ） Mask R-CNN （e ） PG-Mask （f ） YOLACT （g ） InstaBoost （h ） QueryInst
菌 盖 、 菌 柄 分 割 裂 纹 模 型 R-CNN 模 型 模 型 模 型 模 型
图 6 秀 珍 菇 在 Grabcut 和 不 同 实 例 分 割 方 法 下 的 分 割 实 验 结 果 对 比
Fig. 6 Comparison of the results of the segmentation experimental of Pleurotus geesteranus between Grabcut and other different in‐
stance segmentation methods
略 。 因 此 ， 引 入 损 伤 率 更 能 对 秀 珍 菇 品 质 情 况 进 行
3.5 测 量 结 果 量 化 与 量 化 方 法 合 理 性 分 析
评 价 。
对 测 量 结 果 进 行 量 化 ， 结 果 如 表 4 所 示 ， 得 到
菌 盖 、 裂 纹 的 面 积 以 及 菌 柄 的 长 度 及 粗 细 等 参 数 。
表 4 利 用 PG-Mask R-CNN 模 型 测 量 秀 珍 菇 表 型 参 数 结 果
Table 4 Results of the phenotype measurement of the Pleurotus
geesteranus by PG-Mask R-CNN model
秀 珍 菇 菌 盖 面 积/ 菌 柄 长 菌 柄 宽 裂 纹 数/
菌 盖 损 伤 率/%
2
序 号 mm 度/mm 度/mm 条
0 551.18 35.06 12.58 1 1.48
1 589.12 32.08 13.71 2 1.98
2 977.29 43.77 14.09 1 0.63
图 7 利 用 PG-Mask R-CNN 模 型 测 量 秀 珍 菇 损 伤 率 并 与 真 值
3 602.26 39.23 12.22 1 0.29
对 比 4 1 000.49 43.98 14.24 2 1.01
5 797.17 36.00 14.80 3 1.58
Fig. 7 Damage rate comparison results of Pleurotus geestera ‐
6 754.48 46.11 14.66 1 0.66
nus between the measured values using PG-Mask R-CNN mod‐
7 462.24 45.12 12.99 1 0.94
el and the true value
8 557.78 28.39 13.13 1 2.17
9 328.67 40.59 9.42 0 0.00
10 796.91 53.51 15.40 1 0.47
11 1 664.96 52.04 19.29 3 3.10
12 561.90 27.71 15.16 2 1.80
13 716.65 39.11 14.12 1 0.45
14 1 650.42 49.41 16.82 2 2.11
注 ： 蓝 色 框 代 表 检 测 到 的 裂 缝 ； 红 色 框 代 表 错 检 或 遗 漏 的 裂 缝 。
图 8 检 测 秀 珍 菇 裂 纹 时 出 现 的 漏 检 和 错 检 情 况
由 于 秀 珍 菇 的 形 态 不 规 则 难 以 测 量 其 真 值 ， 为
Fig. 8 Missing detection and wrong detection when detecting
了 验 证 采 用 上 述 算 法 的 合 理 性 ， 参 考 文 献 ［25 ］ 的
Pleurotus geesteranus crack
方 法 ， 利 用 标 准 块 进 行 验 证 ： 使 用 4 个 测 量 专 用 的124 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
标 准 量 块 代 替 秀 珍 菇 ， 在 同 一 环 境 下 对 其 进 行 测 1.96% ，MAE 为 0.33 ~1.05 mm ； 面 积 测 得 的 MRE
2
量 ； 同 时 ， 使 用 游 标 卡 尺 获 取 标 准 块 真 值 ， 最 后 将 为 2.30% ，MAE 为 36.06 mm 。 因 此 ， 通 过 标 定 物
测 量 结 果 与 实 际 测 量 结 果 进 行 对 比 。 通 过 计 算 得 到 测 量 实 验 结 果 表 明 ， 利 用 本 研 究 算 法 测 量 秀 珍 菇 菌
的 量 块 长 度 、 宽 度 、 面 积 与 实 测 值 ， 如 表 5 所 示 。 盖 和 裂 纹 可 达 到 类 似 的 精 度 ， 能 够 满 足 实 际 应 用
其 中 ， 量 块 的 长 度 和 宽 度 测 得 的 MRE 为 1.02% ~ 需 求 。
表 5 秀 珍 菇 标 定 物 图 像 测 量 与 实 际 测 量 结 果 比 较
Table 5 Comparison between the measurement results of reference and ground truth of Pleurotus geesteranus
量 块 长 度 宽 度 面 积
图 像 测 量 图 像 测 量
2 2 2
材 料 实 测 值/mm MRE/% MAE/mm 实 测 值/mm MRE/% MAE/mm 实 测 值/mm 图 像 测 量 值/mm MRE/% MAE/mm
值/mm 值/mm
a 80.03±0.02 82.11±1.02 2.60 2.08 34.87±0.01 34.47±0.58 1.21 0.42 2 790.91±1.23 2 830.92±82.25 1.80 50.32
b 60.01±0.01 60.63±0.94 1.14 0.68 34.94±0.03 34.79±0.67 0.59 0.21 2 096.53±1.58 2 109.60±72.69 1.26 26.32
c 40.02±0.01 40.58±0.95 1.63 0.65 35.06±0.01 35.18±0.78 1.05 0.37 1 402.96±0.89 1 428.03±66.02 2.65 47.16
d 34.67±0.02 35.44±0.91 2.26 0.79 25.00±0.01 25.22±0.64 1.22 0.31 866.93±0.42 893.80±44.34 3.51 30.45
均 值 ? ? 1.96 1.05 ? ? 1.02 0.33 ? ? 2.30 36.06
注 ：? 表 示 该 值 无 需 计 算 均 值 。
研 究 成 果 有 关 的 利 益 冲 突 。
4 结 论
本 研 究 提 出 了 一 种 改 进 的 PG-Mask R-CNN 模
参 参 考 考 文 文 献 献 ：
型 来 对 秀 珍 菇 各 个 部 位 进 行 分 割 及 表 型 参 数 进 行
[ 1 ] 刘 凌 云, 周 宇, 陈 华, 等 . 秀 珍 菇 研 究 进 展[J]. 微 生 物 学
测 量 。
通 报, 2020, 47(11): 3650-3657.
LIU L Y, ZHOU Y, CHEN H, et al. Research progress of
实 验 结 果 表 明 ，PG-Mask R-CNN 模 型 对 秀 珍
Pleurotus geesteranus[J]. Microbiology China, 2020, 47
菇 进 行 目 标 检 测 的 mAP 和 mAR 分 别 为 84.8% 和
(11): 3650-3657.
87.7% ， 均 高 于 目 前 主 流 的 YOLACT 、InstaBoost 、 [ 2 ] 徐 云 碧 . 作 物 科 学 中 的 环 境 型 鉴 定(Envirotyping) 及 其 应
用[J]. 中 国 农 业 科 学, 2015, 48(17): 3354-3371.
QueryInst 和 Mask R-CNN 模 型 ； 以 像 素 为 单 位 ， 与
XU Y B. Envirotyping and its applications in crop sci‐
手 工 标 注 相 比 ， 本 模 型 对 秀 珍 菇 菌 盖 测 量 的 MRE
ence[J]. Scientia agricultura sinica, 2015, 48(17): 3354-
3371.
为 1.30% ， 裂 纹 的 MRE 为 7.54% ， 损 伤 率 的 MAE
[ 3 ] T/GXEFA 0002 —2022. 富 硒 秀 珍 菇 生 产 技 术 规 程[S]. 广
为 0.14% ， 具 有 较 高 精 度 。 因 此 ， 该 算 法 可 用 于 秀
西: 广 西 食 用 菌 协 会, 2022.
珍 菇 表 型 的 定 量 分 析 。
[ 4 ] YIN H, YI W L, HU D M, Computer vision and machine
learning applied in the mushroom industry: A critical re‐
但 是 ， 该 算 法 在 某 些 情 况 下 仍 存 在 局 限 性 。 例
view[J]. Computers and electronics in agriculture, 2022,
如 ， 某 些 秀 珍 菇 菌 柄 弯 曲 角 度 较 大 ， 利 用 最 小 外 接
198: ID 107015.
矩 形 进 行 长 、 宽 计 算 显 然 误 差 较 大 。 如 何 准 确 测 量
[ 5 ] 王 玲, 徐 伟, 杜 开 炜, 等 . 基 于 SR300 深 度 相 机 的 褐 蘑 菇
原 位 测 量 技 术 [J]. 农 业 机 械 学 报 , 2018, 49(12): 13-
秀 珍 菇 的 弯 曲 的 菌 柄 是 一 个 需 要 解 决 的 问 题 。 另
19, 108.
外 ， 目 前 本 文 提 出 的 算 法 针 对 的 是 单 个 秀 珍 菇 表
WANG L, XU W, DU K W, et al. Portabella mushrooms
measurement in situ based on SR300 depth camera[J].
型 ， 不 能 同 时 检 测 视 野 中 的 多 个 秀 珍 菇 。 当 视 野 中
Transactions of the Chinese society for agricultural ma‐
有 多 个 秀 珍 菇 时 秀 珍 菇 到 相 机 的 距 离 不 一 致 ， 会 出
chinery, 2018, 49(12): 13-19, 108.
现 测 量 误 差 。 若 都 是 相 机 正 下 方 又 容 易 造 成 遮 挡 无
[ 6 ] LIU Q, FANG M, LI Y S, et al. Deep learning based re‐
search on quality classification of shiitake mushrooms[J].
法 测 量 。 后 续 将 继 续 改 进 算 法 ， 进 一 步 提 高 检 测 精
LWT, 2022, 168: ID 113902.
度 并 在 更 丰 富 的 场 景 中 进 行 验 证 ， 以 增 强 模 型 的 鲁
[ 7 ] YIN H A, XU J L, WANG Y L, et al. A novel method of
棒 性 和 通 用 性 。 situ measurement algorithm for Oudemansiella raphanip ‐
ies caps based on YOLOv4 and distance filtering[J].
利 益 冲 突 声 明 ： 本 研 究 不 存 在 研 究 者 以 及 与 公 开 Agronomy, 2022, 13(1): ID 134.Vol. 5, No. 4 周 华 茂 等 ： 基 于 改 进 Mask R-CNN 模 型 的 秀 珍 菇 表 型 参 数 自 动 测 量 方 法 125
[ 8 ] 黄 星 奕, 姜 爽, 陈 全 胜, 等 . 基 于 机 器 视 觉 技 术 的 畸 形 秀 21-31.
珍 菇 识 别[J]. 农 业 工 程 学 报, 2010, 26(10): 350-354. [17] ZHENG Z Z, HU Y H, YANG H B, et al. AFFU-Net: At‐
HUANG X Y, JIANG S, CHEN Q S, et al. Identification tention feature fusion U-net with hybrid loss for winter ju‐
of defect Pleurotus geesteranus based on computer vi‐ jube crack detection[J]. Computers and electronics in agri‐
sion[J]. Transactions of the Chinese society of agricultural culture, 2022, 198: ID 107049.
engineering, 2010, 26(10): 350-354. [18] ZHANG Z Y. Aflexible new technique for camera calibra‐
[ 9 ] HE K M, GKIOXARI G, DOLLAR P, et al. Mask R- tion[J]. IEEE transactions on pattern analysis and machine
CNN[J]. IEEE transactions on pattern analysis and ma‐ intelligence, 2000, 22(11): 1330-1334.
chine intelligence, 2020, 42(2): 386-397. [19] YANG S, ZHENG L H, YANG H J, et al. A synthetic data‐
[10] REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized sets based instance segmentation network for high-
intersection over union: A metric and a loss for bounding throughput soybean pods phenotype investigation[J]. Ex‐
box regression[C]// 2019 IEEE/CVF Conference on Com‐ pert systems with applications, 2022, 192: ID 116403.
puter Vision and Pattern Recognition (CVPR). Piscat‐ [20] 周 丽, 冯 百 明, 关 煜, 等 . 面 向 智 能 手 机 拍 摄 的 变 形 文 档
away, New Jersey, USA: IEEE, 2019: 658-666. 图 像 校 正[J]. 计 算 机 工 程 与 科 学, 2022, 44(1): 102-109.
[11] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excita‐ ZHOU L, FENG B M, GUAN Y, et al. Correcting distort‐
tion networks[J]. IEEE transactions on pattern analysis ed document images on smartphones[J]. Computer engi‐
and machine intelligence, 2020, 42(8): 2011-2023. neering & science, 2022, 44(1): 102-109.
[12] HOU Q B, ZHOU D Q, FENG J S. Coordinateattention [21] ROTHER C, KOLMOGOROV V, BLAKE A. "GrabCut":
for efficient mobile network design[C]// 2021 IEEE/CVF Interactive foreground extraction using iterated graph
Conference on Computer Vision and Pattern Recognition cuts[J]. ACM transactions on graphics, 23(3): 309-314.
(CVPR). IEEE, 2021. [22] BOLYA D, ZHOU C, XIAO F Y, et al. YOLACT: Real-
[13] WANG Q L, WU B G, ZHU P F, et al. ECA-net: Efficient time instance segmentation[C]// 2019 IEEE/CVF Interna‐
channel attention for deep convolutional neural net‐ tional Conference on Computer Vision (ICCV). Piscat‐
works[C]// 2020 IEEE/CVF Conference on Computer Vi‐ away, New Jersey, USA: IEEE, 2019: 9157-9166.
sion and Pattern Recognition (CVPR). Piscataway, New [23] FANG H S, SUN J H, WANG R Z, et al. InstaBoost:
Jersey, USA: IEEE, 2020. Boosting instance segmentation via probability map guid‐
[14] YANG L X, ZHANG R Y, LI L D, et al. SimAM: A sim‐ ed copy-pasting[C]// 2019 IEEE/CVF International Con‐
ple, parameter-free attention module for convolutional ference on Computer Vision (ICCV). Piscataway, New
neural networks[C]// International Conference on Ma‐ Jersey, USA: IEEE, 2019: 682-691.
chine Learning. New York, USA: PMLR, 2021: 11863- [24] FANG Y X, YANG S S, WANG X G, et al. QueryInst:
11874. Parallelly supervised mask query for instance segmenta‐
[15] LIU S, QI L, QIN H F, et al. Path aggregation network for tion[EB/OL]. arXiv: 2105.01928, 2021.
instance segmentation[C]// 2018 IEEE/CVF Conference [25] 朱 怡 航, 张 小 斌, 沈 颖 越, 等 . 基 于 图 像 识 别 技 术 的 金 针
on Computer Vision and Pattern Recognition. Piscataway, 菇 表 型 高 通 量 采 集 与 分 析[J]. 菌 物 学 报, 2021, 40(3):
New Jersey, USA: IEEE, 2018. 626-640.
[16] 俞 林 森, 陈 志 国 . 融 合 前 景 注 意 力 的 轻 量 级 交 通 标 志 检 ZHU Y H, ZHANG X B, SHEN Y Y, et al. High-through‐
测 网 络[J]. 电 子 测 量 与 仪 器 学 报, 2023, 37(1): 21-31. put phenotyping collection and analysis of Flammulina fi ‐
YU L S, CHEN Z G. Lightweight traffic sign detection liformis based on image recognition technology[J]. Myco‐
network with fused foreground attention[J]. Journal of systema, 2021, 40(3): 626-640.
electronic measurement and instrumentation, 2023, 37(1):
Phenotype Analysis of Pleurotus Geesteranus Based on
Improved Mask R-CNN
1 1 2 2
ZHOU Huamao , WANG Jing , YIN Hua , CHEN Qi
（1. College of Engineering, Jiangxi Agricultural University, Nanchang 330000, China;
2. College of Computer and Information Engineering, Jiangxi Agricultural University, Nanchang 330000, China ）
Abstract:
[Objective] Pleurotus geesteranus is a rare edible mushroom with a fresh taste and rich nutritional elements, which is popular among
consumers. It is not only cherished for its unique palate but also for its abundant nutritional elements. The phenotype of Pleurotus
geesteranus is an important determinant of its overall quality, a specific expression of its intrinsic characteristics and its adaptation to 126 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
various cultivated environments. It is crucial to select varieties with excellent shape, integrity, and resistance to cracking in the breed‐
ing process. However, there is still a lack of automated methods to measure these phenotype parameters. The method of manual mea‐
surement is not only time-consuming and labor-intensive but also subjective, which lead to inconsistent and inaccurate results. Thus,
the traditional approach is unable to meet the demand of the rapid development Pleurotus geesteranus industry.
[Methods] To solve the problems which mentioned above, firstly, this study utilized an industrial-grade camera (Daheng MER-500-
14GM) and a commonly available smartphone (Redmi K40) to capture high-resolution images in DongSheng mushroom industry (Jiu‐
jiang, Jiangxi province). After discarding blurred and repetitive images, a total of 344 images were collected, which included two com‐
monly distinct varieties, specifically Taixiu 57 and Gaoyou 818. A series of data augmentation algorithms, including rotation, flipping,
mirroring, and blurring, were employed to construct a comprehensive Pleurotus geesteranus image dataset. At the end, the dataset con‐
sisted of 3 440 images and provided a robust foundation for the proposed phenotype recognition model. All images were divided into
training and testing sets at a ratio of 8:2, ensuring a balanced distribution for effective model training. In the second part, based upon
foundational structure of classical Mask R-CNN, an enhanced version specifically tailored for Pleurotus geesteranus phenotype recog‐
nition, aptly named PG-Mask R-CNN (Pleurotus geesteranus-Mask Region-based Convolutional Neural Network) was designed. The
PG-Mask R-CNN network was refined through three approaches: 1) To take advantage of the attention mechanism, the SimAM atten‐
tion mechanism was integrated into the third layer of ResNet101feature extraction network after analyzing and comparing carefully, it
was possible to enhance the network''s performance without increasing the original network parameters. 2) In order to avoid the prob‐
lem of Mask R-CNN''s feature pyramid path too long to split low-level feature and high-level feature, which may impair the semantic
information of the high-level feature and lose the positioning information of the low-level feature, an improved feature pyramid net‐
work was used for multiscale fusion, which allowed us to amalgamate information from multiple levels for prediction. 3) To address
the limitation of IoU (Intersection over Union) bounding box, which only considered the overlapping area between the prediction box
and target box while ignoring the non-overlapping area, a more advanced loss function called GIoU (Generalized Intersection over
Union) was introduced. This replacement improved the calculation of image overlap and enhanced the performance of the model. Fur‐
thermore, to evaluate crack state of Pleurotus geesteranus more scientifically, reasonably and accurately, the damage rate as a new
crack quantification evaluation method was introduced, which was calculated by using the proportion of cracks in the complete pileus
of the mushroom and utilized the MRE (Mean Relative Error) to calculate the mean relative error of the Pleurotus geesteranus''s dam‐
age rate. Thirdly, the PG-Mask R-CNN network was trained and tested based on the Pleurotus geesteranus image dataset. According
to the detection and segmentation results, the measurement and accuracy verification were conducted. Finally, considering that it was
difficult to determine the ground true of the different shapes of Pleurotus geesteranus, the same method was used to test 4 standard
blocks of different specifications, and the rationality of the proposed method was verified.
[Results and Discussions] In the comparative analysis, the PG-Mask R-CNN model was superior to Grabcut algorithm and other 4
instance segmentation models, including YOLACT (You Only Look At Coefficien Ts), InstaBoost, QueryInst, and Mask R-CNN. In
object detection tasks, the experimental results showed that PG-Mask R-CNN model achieved a mAP of 84.8% and a mAR (mean Av‐
erage Recall) of 87.7%, respectively, higher than the five methods were mentioned above. Furthermore, the MRE of the instance seg‐
mentation results was 0.90%, which was consistently lower than that of other instance segmentation models. In addition, from a model
size perspective, the PG-Mask R-CNN model had a parameter count of 51.75 M, which was slightly larger than that of the unim‐
proved Mask R-CNN model but smaller than other instance segmentation models. With the instance segmentation results on the pileus
and crack, the MRE were 1.30% and 7.54%, respectively, while the MAE of the measured damage rate was 0.14%.
[Conclusions] The proposed PG-Mask R-CNN model demonstrates a high accuracy in identifying and segmenting the stipe, pileus,
and cracks of Pleurotus geesteranus. Thus, it can help the automated measurements of phenotype measurements of Pleurotus geestera ‐
nus, which lays a technical foundation for subsequent intelligent breeding, smart cultivation and grading of Pleurotus geesteranus.
Key words: Pleurotus geesteranus; Mask R-CNN; SimAM attention mechanism; Resnet101; phenotype analysis; improved feature
pyramid network
Foundation item: National Natural Science Foundation of China(62362039)
Biography: ZHOU Huamao, E-mail: zhoueefo@163.com
Corresponding author: CHEN Qi, E-mail: 37914448@qq.com
（ 登 陆 www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ） |
|
