冬季猕猴桃树单木骨架提取与冠层生长预测方法

2023 年 12 月 第 5 卷 第 4 期 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Dec. 2023 Vol. 5, No. 4
冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法

李 政 凯 ， 于 嘉 辉 ， 潘 时 佳 ， 贾 泽 丰 ， 牛 子 杰
（ 西 北 农 林 科 技 大 学 机 械 与 电 子 工 程 学 院 ， 陕 西 咸 阳 712100 ， 中 国 ）
摘 要 ： ［ ［ 目 目 的 的 / 意 意 义 义 ］ ］ 猕 猴 桃 果 树 生 长 重 叠 明 显 ， 树 冠 结 构 复 杂 ， 利 用 传 统 方 式 无 法 实 现 果 树 单 木 骨 架 提 取 与 冠
层 预 测 ， 为 对 密 集 栽 培 的 猕 猴 桃 果 园 进 行 高 效 无 损 监 测 并 获 取 果 树 生 长 参 数 ， 本 研 究 利 用 冬 季 简 单 树 形 进 行 骨 架
提 取 ， 并 集 成 深 度 学 习 与 数 学 形 态 学 方 法 ， 提 高 单 木 骨 架 预 测 精 度 ， 提 出 了 一 种 融 合 骨 架 信 息 的 冠 层 分 割 方 案 。
［ ［ 方 方 法 法 ］ ］ 采 用 低 成 本 无 人 机 图 像 获 取 高 分 辨 率 数 据 支 持 ， 改 进 PSP-Net 语 义 分 割 模 型 ， 引 入 数 学 形 态 学 处 理 提 取 单
木 骨 架 并 优 化 骨 架 连 续 性 ， 以 优 化 单 木 骨 架 为 先 验 实 现 冠 层 分 割 。 ［ ［ 结 结 果 果 与 与 讨 讨 论 论 ］ ］ 优 化 骨 架 提 取 精 度 可 达 95% 以
上 ， 相 较 于 传 统 方 式 精 度 提 高 约 15.71% ， 像 素 准 确 率 （Pixel Accuracy ，PA ） 值 达 95.84% ， 平 均 交 并 比 （Mean In?
tersection over Union ，MIoU ） 值 达 95.76% ， 冠 层 分 割 加 权 得 分 （Weighted F Score ，W F ） 达 94.07% 左 右 ； 而 冠 层
1 1
预 测 像 素 准 确 率 PA 可 达 95% 以 上 ， 冠 层 分 割 W F 达 95.76% 左 右 ， 与 直 接 利 用 原 始 骨 架 相 比 ， 优 化 骨 架 提 高 了 冠
1
层 分 割 的 PA 为 13.2% ，MIoU 为 10.9% ，W F 为 18.4% ， 显 著 改 善 了 分 割 指 标 。 ［ ［ 结 结 论 论 ］ ］ 该 研 究 为 高 效 监 测 猕 猴 桃 园
1
以 获 取 果 树 数 据 提 供 了 可 靠 技 术 支 撑 ， 并 为 高 效 、 低 成 本 的 果 园 精 细 化 管 理 提 供 了 全 新 的 技 术 方 案 ， 具 有 重 要 的
应 用 前 景 。
关 键 词 ： 果 树 骨 架 提 取 ； 冠 层 预 测 ； 深 度 学 习 ； 机 器 视 觉 ； 数 字 图 像 处 理 ； 无 人 机 遥 感 ； 冠 层 预 测
中 图 分 类 号 ： TP751.1 文 献 标 志 码 ： A 文 章 编 号 ： SA202308015
引 用 格 式 ： 李 政 凯, 于 嘉 辉, 潘 时 佳, 贾 泽 丰, 牛 子 杰 . 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法[J]. 智 慧 农 业
( 中 英 文), 2023, 5(4): 92-104. DOI ： 10.12133/j.smartag.SA202308015
LI Zhengkai, YU Jiahui, PAN Shijia, JIA Zefeng, NIU Zijie. Individual tree skeleton extraction and crown prediction meth ‐
od of winter kiwifruit trees[J]. Smart Agriculture, 2023, 5(4): 92-104. DOI ： 10.12133/j.smartag.SA202308015 (in Chi ‐
nese with English abstract)
可 持 续 发 展 能 力 ， 并 为 智 慧 农 业 发 展 提 供 参 考 。
0 引 言
树 冠 特 征 的 电 子 测 量 是 在 施 用 杀 虫 剂 时 提 供 有
获 取 果 树 生 长 数 据 是 开 展 精 准 果 园 管 理 的 关 键
［1 ］
关 预 期 目 标 的 可 靠 和 客 观 信 息 的 较 准 确 方 法 。 可
步 骤 之 一 。 精 确 获 取 果 树 的 生 长 尺 寸 、 空 间 分 布 等
［2-4 ］
变 速 率 的 应 用 概 念 要 求 用 能 够 测 量 、 保 存 和 管
数 据 ， 可 以 监 测 猕 猴 桃 的 生 长 发 育 状 况 ， 及 时 发 现
理 树 冠 几 何 形 状 的 大 量 信 息 的 电 子 设 备 来 更 新 喷 雾
病 虫 害 、 缺 水 、 缺 肥 等 问 题 ， 提 高 果 园 的 抗 逆 能 力
器 。 然 后 ， 树 冠 几 何 形 状 信 息 将 被 用 于 实 时 修 改 喷
［4 ］
和 产 量 ， 帮 助 管 理 者 提 前 预 测 产 量 和 制 定 合 理 的 种
雾 器 的 工 作 参 数 ， 或 者 以 后 处 理 的 方 式 开 发 冠 层
［5-7 ］
植 密 度 ， 提 高 土 地 、 人 力 等 资 源 的 利 用 效 率 ， 增 加
图 ， 作 为 进 一 步 农 学 应 用 的 决 策 工 具 。 当 前 在
单 位 面 积 和 时 间 的 收 益 ， 果 树 冠 层 生 长 预 测 技 术 也
果 园 管 理 过 程 中 ， 植 株 的 冠 层 信 息 的 获 取 仍 存 在 一
可 以 促 进 猕 猴 桃 的 种 质 创 新 ， 如 筛 选 优 良 品 种 、 探
系 列 挑 战 ， 如 枝 条 交 叉 、 冠 层 荫 蔽 和 植 株 特 征 差 异
［8 ］
索 遗 传 机 制 、 培 育 新 品 种 等 ， 提 高 果 园 的 竞 争 力 和 性 不 足 等 。 遥 感 图 像 获 取 不 受 实 地 观 察 角 度 的 限
收 稿 日 期 ：2023-08-14
基 金 项 目 ： 国 家 自 然 科 学 基 金 联 合 基 金 重 点 项 目 （U2243235 ） ； 国 家 重 点 研 发 计 划 （2022YFD1900802 ）
作 者 简 介 ： 李 政 凯 ， 研 究 方 向 为 农 业 机 械 化 及 其 自 动 化 。E-mail ：[e-mail]

通 信 作 者 ： 牛 子 杰 ， 博 士 ， 副 教 授 ， 研 究 方 向 为 智 能 农 机 装 备 设 计 。E-mail ：[e-mail]
copyright?2023 by the authorsVol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 93
制 ， 因 此 可 以 降 低 由 观 察 角 度 不 同 所 带 来 的 误 现 有 的 语 义 分 割 算 法 基 于 整 体 图 像 信 息 ， 可 以
［9 ］
差 。 同 时 ， 遥 感 图 像 处 理 可 以 减 少 人 工 测 量 的 工 识 别 图 片 中 所 有 枝 条 区 域 ， 但 无 法 实 现 单 木 识 别 的
作 量 ， 并 为 果 园 机 械 化 自 动 化 管 理 提 供 重 要 的 数 据
效 果 ， 也 就 无 法 实 现 对 单 棵 果 树 的 骨 架 结 构 提 取 ，
支 撑 。 但 目 前 卫 星 遥 感 影 像 与 航 空 摄 影 图 获 取 图 像
无 法 满 足 精 细 化 果 园 管 理 对 单 木 信 息 的 需 求 。 为 实
的 实 时 性 差 、 成 本 偏 高 ， 同 时 其 分 辨 率 难 以 满 足 枝 现 从 语 义 分 割 向 实 例 分 割 的 转 变 ， 实 现 对 单 棵 树 精
条 的 识 别 和 冠 层 细 节 的 分 割 需 求 ， 因 此 难 以 完 成 作 确 骨 架 提 取 ， 本 研 究 通 过 改 进 损 失 函 数 、 引 入 注 意
物 细 节 信 息 的 提 取 ， 仅 能 完 成 大 面 积 整 体 评 力 机 制 优 化 网 络 结 构 ， 提 高 语 义 分 割 的 准 确 性 ， 将
［10, 11 ］
估 。 这 些 问 题 不 仅 限 制 了 机 械 化 设 备 开 发 调 研 分 割 结 果 与 每 个 果 树 主 干 位 置 信 息 相 结 合 。 通 过 分
过 程 中 的 数 据 获 取 ， 而 且 与 果 园 的 机 械 化 、 自 动 化 析 判 断 不 同 位 置 的 枝 条 所 属 的 树 个 体 ， 实 现 无 需 人
管 理 的 初 衷 背 道 而 驰 。 因 此 ， 迫 切 需 要 开 发 一 种 基
工 监 督 的 自 动 归 类 和 实 例 分 割 ， 从 而 提 高 解 析 单 棵
于 遥 感 图 像 处 理 的 快 速 、 非 破 坏 性 并 可 靠 的 技 术 ，
树 骨 架 结 构 的 效 率 。 这 种 结 合 语 义 信 息 和 位 置 信 息
以 准 确 测 量 和 获 取 整 个 果 园 的 作 物 数 据 。 这 样 的 技
的 方 法 ， 可 有 效 解 决 单 棵 密 集 生 长 果 树 骨 架 准 确 提
术 将 有 助 于 克 服 传 统 人 工 测 量 方 法 所 面 临 的 困 难 ，
取 的 难 题 。
实 现 高 效 的 果 园 管 理 和 机 械 化 、 自 动 化 管 理 基 于 上 述 分 析 ， 考 虑 到 猕 猴 桃 为 多 年 生 植 物 ，
［12 ］
目 标 。 其 树 冠 结 构 分 布 在 多 年 内 较 为 稳 定 ， 冬 季 图 像 可 以
劳 动 力 短 缺 是 获 取 果 树 生 长 数 据 所 面 临 的 关 键
较 准 确 反 映 夏 季 冠 层 位 置 ， 本 研 究 利 用 冬 季 猕 猴 桃
问 题 ， 而 基 于 无 人 机 遥 感 图 像 的 监 察 系 统 可 以 简 化
骨 架 结 构 提 取 图 像 与 猕 猴 桃 树 的 结 构 特 点 ， 提 出 了
勘 察 程 序 ， 降 低 劳 动 力 成 本 ， 减 少 数 据 收 集 时 间 ，
一 种 新 的 冠 层 分 割 方 案 ： 在 利 用 冬 季 猕 猴 桃 果 树 遥
并 提 供 关 键 而 有 效 的 信 息 ， 可 作 为 一 种 在 高 分 辨 率
感 图 像 完 成 植 株 定 位 和 枝 条 识 别 后 ， 建 立 描 述 单 木
［13-15 ］
环 境 下 获 取 图 像 的 低 成 本 方 法 。 本 研 究 提 出 的
枝 条 结 构 分 布 的 模 型 。 以 此 为 判 定 标 准 ， 判 断 不 同
基 于 无 人 机 遥 感 图 像 的 猕 猴 桃 果 树 骨 架 提 取 与 冠 层
枝 条 的 所 属 树 个 体 ， 从 而 实 现 单 个 树 冠 的 分 割 。 此
生 长 预 测 模 型 可 用 于 低 成 本 地 获 取 果 树 生 长 数 据 。 外 ， 基 于 现 有 无 人 机 遥 感 技 术 ， 可 以 实 现 高 精 度 的
为 获 取 植 株 的 冠 层 信 息 等 数 据 带 来 极 大 便 利 ， 并 为
单 株 猕 猴 桃 果 树 骨 架 提 取 和 冠 层 分 割 。 这 不 仅 有 利
上 述 问 题 提 供 了 可 靠 的 解 决 方 案 。 近 些 年 来 ， 多 光
于 现 代 化 精 细 管 理 ， 提 高 猕 猴 桃 产 业 自 动 化 水 平 ，
［16 ］ ［17 ］
谱 成 像 技 术 、 高 光 谱 成 像 技 术 、 热 红 外 成 像
也 将 促 进 对 树 木 生 长 和 基 因 表 型 的 研 究 。
［18 ］ ［2 ］ ［4 ］
技 术 、 激 光 雷 达 技 术 、 超 声 波 传 感 技 术 等
1 实 验 数 据 采 集 与 处 理
在 农 业 遥 感 上 展 现 出 巨 大 的 应 用 潜 力 ， 目 前 可 见 光
设 备 能 够 满 足 与 冠 层 分 布 相 关 信 息 的 获 取 需 要 ， 同
1.1 　 数 据 采 集 　
时 其 无 论 在 成 像 精 度 、 经 济 性 和 设 备 轻 量 化 上 均 具
［19 ］
有 更 大 的 优 势 ， 因 而 采 用 无 人 机 遥 感 拍 摄 可 见 研 究 区 是 西 北 农 林 科 技 大 学 国 家 猕 猴 桃 育 种 研
光 图 像 对 果 树 的 冠 层 信 息 进 行 获 取 是 较 为 高 效 的 究 眉 县 创 新 基 地 的 试 验 田 ， 位 于 陕 西 省 宝 鸡 市 眉 县
方 案 。 （34°7 ′28 ″E ，107°59 ′31 ″N ） ， 果 园 内 架 设 钢 丝 以 供
猕 猴 桃 藤 蔓 生 长 缠 绕 。 本 研 究 选 取 的 实 验 地 植 株 树
本 研 究 的 冬 季 图 像 枝 条 提 取 是 骨 架 特 征 获 取 与
龄 为 4 ~8 年 ， 株 距 约 3 m ， 行 间 距 约 4 m 。
冠 层 预 测 的 基 础 。 利 用 现 有 成 熟 的 语 义 分 割 算 法 如
［20 ］
本 研 究 数 据 采 集 分 两 阶 段 进 行 。 第 一 阶 段 在
深 度 学 习 U-Net 可 以 有 效 实 现 枝 条 区 域 的 分 割 。
但 是 从 语 义 分 割 向 精 确 的 骨 架 结 构 提 取 方 面 而 言 ， 2022 年 1 月 对 经 过 剪 枝 的 冬 季 猕 猴 桃 果 树 获 取 图
目 前 分 割 网 络 在 处 理 树 冠 复 杂 图 像 时 ， 对 目 标 边 界 像 ， 使 用 DJI Phantom 4 Pro 无 人 机 以 2.6 m/s 的 速 度
［21 ］
和 细 节 特 征 的 学 习 效 果 仍 需 提 升 。 与 常 规 作 物 在 15 m 高 度 飞 行 ， 航 向 和 旁 向 重 叠 度 均 为 80 % ，
不 同 ， 猕 猴 桃 树 枝 条 生 长 密 集 ， 存 在 高 度 的 覆 盖 重 获 取 果 树 冬 季 图 像 。 第 二 阶 段 在 2022 年 5 月 ， 以 相
叠 现 象 ， 树 冠 结 构 复 杂 。 同 参 数 获 取 舒 展 新 枝 的 夏 季 猕 猴 桃 果 树 图 像 。 所 有94 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
图 像 分 辨 率 像 素 均 为 5 472 ×3 648 的.jpg 格 式 。 针 项 为 0.9 的 异 步 随 机 梯 度 下 降 ， 每 一 个 batch 包 含 2
-4
对 获 取 到 的 图 像 信 息 ， 图 像 中 的 猕 猴 桃 树 目 标 具 有 张 图 像 ， 权 值 的 初 始 学 习 率 为 1 ×10 ， 衰 减 的 系 数
-5
较 为 明 显 的 特 征 ， 可 以 满 足 猕 猴 桃 树 识 别 的 研 究
设 置 为 1 ×10 。 为 方 便 以 后 测 试 其 最 佳 权 重 文 件 ，
需 要 。
根 据 训 练 实 际 情 况 ， 训 练 时 每 100 次 迭 代 保 存 一 次
网 络 的 权 重 文 件 。
1.2 　 数 据 集 构 建 　
2 猕 猴 桃 果 树 骨 架 提 取 与 生 长 预 测
首 先 ， 对 冬 季 图 像 中 的 枝 条 与 非 枝 条 的 像 素 进
模 型
行 语 义 分 割 。 由 人 工 标 定 猕 猴 桃 树 的 枝 干 遥 感 图 形
成 数 据 集 。 猕 猴 桃 枝 条 的 颜 色 与 土 壤 颜 色 较 为 接
2.1 　 总 体 思 路 　
近 ， 但 与 树 干 存 在 明 显 差 别 。 为 了 突 出 枝 条 的 纹 理
［22 ］
特 点 ， 不 同 于 以 往 于 整 株 猕 猴 桃 树 的 标 注 方 式 ，
本 研 究 旨 在 针 对 密 集 种 植 的 猕 猴 桃 果 园 ， 采 用
本 研 究 将 猕 猴 桃 树 的 枝 条 单 条 作 为 一 个 对 象 进 行 标
无 人 机 遥 感 图 像 进 行 猕 猴 桃 果 树 冠 层 分 割 和 信 息 提
注 ， 不 包 含 树 干 部 分 ， 如 图 1 所 示 。
取 ， 采 用 了 树 枝- 骨 架- 冠 层 多 层 级 逐 步 提 取 的 方 式
提 出 了 一 种 融 合 骨 架 信 息 的 果 树 冠 层 提 取 方 案 。 冠
层 图 像 的 分 割 对 单 棵 树 以 多 个 水 平 维 度 逐 一 处 理 ，
主 要 涉 及 到 4 个 方 面 ：1 ） 冬 季 图 像 中 枝 条 的 语 义
分 割 ；2 ） 结 合 树 干 位 置 与 植 株 结 构 特 点 筛 选 单 木
骨 架 结 构 ；3 ） 通 过 数 字 图 像 处 理 对 冬 季 图 像 中 非 冠
层 部 分 进 行 去 除 ， 获 得 冠 层 骨 架 分 割 效 果 ；4 ） 预 测
单 木 枝 条 生 长 情 况 ， 并 对 其 夏 季 图 像 进 行 单 木 冠 层
范 围 估 计 ， 总 体 流 程 如 图 2 所 示 。
（a ） 果 树 枝 干 遥 感 原 图
2.2 　 猕 猴 桃 果 树 枝 条 提 取 　
本 研 究 改 进 了 PSP-Net 作 为 语 义 分 割 模 型 ， 对
冬 季 猕 猴 桃 果 树 图 像 进 行 枝 条 区 域 的 提 取 。PSP-
Net 是 一 种 集 成 了 多 尺 度 上 下 文 信 息 的 语 义 分 割 网
［23 ］
络 结 构 。 如 图 3 所 示 ， 其 基 本 架 构 包 含 了 一 个
Res-Net （Residual Network ） 骨 干 特 征 提 取 网 络 ，
以 及 在 Res-Net 最 后 一 层 连 接 的 金 字 塔 池 化 模 块 。
该 模 块 通 过 不 同 尺 度 （1 ×1 、2 ×2 、3 ×3 、6 ×6 ）
（b ） 数 据 集 标 定 结 果
（ 像 素 单 位 ） 的 平 均 池 化 ， 可 以 捕 捉 从 局 部 到 全 局
图 1 　 猕 猴 桃 果 树 枝 干 数 据 集 标 定 ［24 ］
不 同 范 围 的 语 义 上 下 文 信 息 。 这 些 多 尺 度 特 征
Fig. 1 Calibration of kiwifruit trunk data set
经 过 上 采 样 和 融 合 ， 充 分 整 合 了 图 像 中 的 全 局 及 局
部 信 息 ， 显 著 提 升 了 对 小 目 标 和 细 节 的 识 别 能 力 。
最 终 的 标 注 结 果 呈 现 条 状 。 共 制 作 目 视 手 标 数
PSP-Net 结 构 简 单 且 效 果 显 著 ， 已 在 多 个 视 觉 任 务
据 集 200 张 ， 图 像 像 素 大 小 为 2 200 ×2 200 ， 包 含
中 验 证 了 其 卓 越 的 建 模 能 力 。
学 习 目 标 1 232 个 ， 将 数 据 集 以 9 ∶1 划 分 为 训 练 集
和 测 试 集 ， 并 用 未 参 与 训 练 的 冬 季 原 始 图 片 进 行 效 在 切 割 中 ， 本 研 究 引 入 了 注 意 力 机 制 ， 帮 助 网
果 验 证 。 络 更 好 地 捕 捉 图 像 中 的 重 要 信 息 。 注 意 力 机 制 可 以
本 研 究 在 对 PSP-Net （Pyramid Scene Parsing 帮 助 模 型 在 不 同 位 置 和 尺 度 上 关 注 不 同 的 区 域 ， 从
Network ） 进 行 训 练 的 过 程 中 ， 训 练 阶 段 采 用 动 量 而 提 高 语 义 分 割 的 准 确 性 。 本 研 究 首 先 对 PSP-NetVol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 95
图 2 　 骨 架 提 取 与 冠 层 预 测 的 总 体 流 程 图
Fig. 2 The overall flow chart of skeleton extraction and canopy prediction
图 3 　 语 义 分 割 原 理 图
Fig. 3 Schematic diagram of semantic segmentation
网 络 架 构 进 行 改 进 ， 在 传 统 的 PSP-Net 模 型 基 础 上 ， MIoU 、WF 分 别 为 95.84% 、95.76% 和 95.69% ， 较
1
引 入 卷 积 注 意 力 模 块 （Convolutional Block Atten ‐ U-Net 分 别 提 高 了 12.30% 、22.22% 和 17.96% ， 较
tion Module ，CBAM ） ， 此 模 块 可 以 自 动 学 习 每 个 传 统 的 PSP-Net 分 别 提 高 了 21.39% ， 21.51% ，
通 道 的 权 重 ， 从 而 增 强 重 要 特 征 的 表 示 能 力 。 其 次 18.12% 。 本 研 究 中 改 进 后 的 PSP-Net 模 型 在 枝 条 连
设 计 了 一 种 结 合 像 素 级 别 交 叉 熵 损 失 和 注 意 力 损 失
续 性 与 识 别 准 确 性 明 显 优 于 传 统 切 割 算 法 。
的 定 制 损 失 函 数 。 注 意 力 损 失 可 以 衡 量 网 络 对 重 要
2.3 　 单 木 骨 架 结 构 提 取 及 优 化 　
区 域 的 关 注 程 度 ， 鼓 励 网 络 更 多 地 关 注 感 兴 趣 的 区
树 干 位 置 的 锁 定 和 枝 条 目 标 的 准 确 识 别 是 冬 季
域 ， 从 而 提 高 分 割 的 准 确 性 。 本 研 究 改 进 后 的 PSP-
单 木 结 构 提 取 的 两 个 前 置 条 件 。 根 据 3.2 节 得 到 的
Net 模 型 在 枝 条 连 续 性 和 识 别 准 确 性 方 面 明 显 优 于
冬 季 猕 猴 桃 树 图 像 枝 干 信 息 ， 截 取 位 于 种 子 点 中 心
传 统 切 割 算 法 。 与 传 统 PSP-Net 与 U-Net 网 络 进 行
对 比 结 果 如 图 4 所 示 ， 各 项 指 标 对 比 结 果 如 表 1 所 的 像 素 为 2 200 ×2 200 范 围 的 单 棵 树 作 为 冬 季 单 木
示 。 改 进 的 PSP-Net 在 树 枝 语 义 分 割 方 面 的 PA 、 结 构 提 取 的 对 象 。 为 了 优 化 单 木 树 干 结 构 预 测 效96 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
（a ） 改 进 PSP-Net （b ） U-Net （c ） 传 统 PSP-Net
图 4 　 改 进 PSP-Net 与 传 统 PSP-Net 、 U-Net 的 骨 架 提 取 算 法 连 续 性 与 完 整 性 效 果 对 比
Fig. 4 Comparison of continuity and completeness of skeleton extraction algorithm between improved PSP-Net and traditional
PSP-Net and U-Net
表 1 改 进 PSP-Net 模 型 与 传 统 模 型 对 比
果 ， 并 弥 补 利 用 PSP-Net 网 络 进 行 图 像 分 割 过 程 中
Table 1 Comparison between improved PSP-Net model and tra ‐
出 现 的 枝 条 断 裂 现 象 ， 同 时 提 高 识 别 精 度 ， 获 取 更
ditional model
准 确 的 生 长 种 子 点 ， 在 将 猕 猴 桃 枝 条 分 割 结 果 转 化
模 型 PA/% MIoU/% WF /%
1
为 二 值 化 图 像 后 ， 分 别 使 用 矩 形 算 子 、 菱 形 算 子 、
改 进 PSP-Net 95.84 95.76 95.69
圆 形 算 子 和 线 形 算 子 进 行 闭 运 算 ， 实 现 枝 条 的 光 滑
U-Net 83.54 73.54 77.73
连 接 ， 如 图 5 所 示 。
传 统 PSP-Net 74.45 74.45 77.57
图 5 　 对 原 始 图 片 猕 猴 桃 果 树 的 单 木 骨 架 提 取 进 行 优 化
Fig.5 The extraction of single wood skeleton of kiwifruit tree in the original picture was optimized
根 据 程 序 运 行 的 实 际 效 果 与 实 际 单 木 骨 架 进 行 利 用 枝 条 从 树 干 向 外 生 长 的 特 点 ， 选 择 图 像 中
对 比 ， 结 果 如 图 6 所 示 ， 通 过 对 比 4 种 算 子 的 各 项 心 区 域 为 生 长 种 子 点 向 外 扩 展 ， 提 取 与 种 子 点 连 接
指 标 除 圆 形 算 子 外 ， 其 余 算 子 骨 架 提 取 效 果 图 中 ， 的 枝 条 区 域 ， 实 现 单 木 的 骨 架 提 取 。 参 考 猕 猴 桃 果
均 存 在 枝 条 膨 胀 严 重 、 结 构 不 清 晰 等 问 题 。 同 时 ， 树 的 生 长 特 性 ， 此 二 值 化 图 像 中 心 像 素 150 ×900
根 据 图 六 所 示 结 果 选 择 圆 形 算 子 长 度 为 50 ， 根 据 猕 位 置 一 般 属 于 树 干 的 生 长 范 围 ， 因 此 人 工 将 此 范 围
猴 桃 为 多 年 生 植 物 ， 其 树 冠 结 构 分 布 在 多 年 内 较 为 内 的 像 素 判 定 为 正 确 中 心 位 置 的 枝 条 目 标 连 接 为 同
稳 定 ， 将 枝 条 生 长 角 度 选 择 为 实 际 猕 猴 桃 树 干 主 要 一 个 连 通 域 ， 并 将 其 作 为 生 长 的 种 子 点 ， 筛 选 靠 近
生 长 角 度 20° 和 160° ， 并 采 用 圆 形 算 子 作 为 闭 运 算 该 区 域 的 像 素 以 完 成 目 标 单 木 枝 条 的 初 步 筛 选 ， 整
对 象 ， 使 提 取 结 果 更 接 近 于 实 际 骨 架 结 构 。 体 过 程 如 图 7 所 示 。 至 此 骨 架 结 构 提 取 完 成 。Vol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 97
（a ） 不 同 矩 形 算 子 长 度 的 骨 架 提 取 PA 值 （b ） 不 同 矩 形 算 子 长 度 的 骨 架 提 取 MIoU 值
（c ） 不 同 矩 形 算 子 长 度 的 骨 架 提 取 WF 值 （d ） 不 同 菱 形 算 子 长 度 的 骨 架 提 取 PA 值
1
（e ） 不 同 菱 形 算 子 长 度 的 骨 架 提 取 MIoU 值 （f ） 不 同 菱 形 算 子 长 度 的 骨 架 提 取 WF 值
1
（g ） 不 同 圆 形 算 子 长 度 的 骨 架 提 取 PA 值 （h ） 不 同 圆 形 算 子 长 度 的 骨 架 提 取 MIoU 值
（i ） 不 同 圆 形 算 子 长 度 的 骨 架 提 取 WF 值 （j ） 不 同 线 形 算 子 长 度 的 骨 架 提 取 PA 值
1
（k ） 不 同 线 形 算 子 长 度 的 骨 架 提 取 MIoU 值 （l ） 不 同 线 形 算 子 长 度 的 骨 架 提 取 WF 值
1
图 6 　 矩 形 、 菱 形 、 圆 形 ， 以 及 线 形 四 种 算 子 的 冠 层 预 测 指 标 对 比 图
Fig.6 Comparison of crown prediction indicators for four operators of rectangular ， diamond ， circular ， and linear shapes
像 素 目 标 ， 预 测 单 棵 植 株 可 能 覆 盖 的 范 围 大 小 ， 最
2.4 　 单 木 骨 架 结 构 优 化 结 果 冠 层 预 测 　
终 实 现 基 于 冠 层 生 长 的 天 然 结 构 的 冠 层 预 测 。 根 据
为 提 高 冬 季 猕 猴 桃 果 树 骨 架 与 其 实 际 夏 季 生 长
经 验 ， 将 与 预 测 单 木 枝 干 欧 氏 距 离 小 于 120 pixel 的
的 相 关 性 ， 本 研 究 将 骨 架 图 像 分 为 9 部 分 ， 统 计 每
叶 片 视 为 本 植 株 的 冠 层 范 围 内 ； 利 用 2.3 节 中 预 测
个 部 分 的 平 均 枝 条 生 长 方 向 ， 作 为 后 续 膨 胀 运 算 的
获 得 的 单 木 骨 架 ， 将 与 枝 条 部 分 重 合 以 及 距 离 较 近
方 向 参 数 。 分 别 选 取 线 性 、 圆 形 、 矩 形 和 菱 形 结 构
的 超 像 素 区 域 进 行 筛 选 ， 并 进 行 闭 运 算 ， 将 分 离 结
元 素 对 单 木 骨 架 进 行 膨 胀 处 理 ， 模 拟 枝 条 生 长 ， 通
果 转 化 为 同 一 连 通 域 ， 得 到 单 木 冠 层 分 割 结 果 ， 如
过 对 不 同 算 子 及 参 数 下 的 冠 层 预 测 结 果 进 行 分 析 ，
图 8 所 示 。
比 较 预 测 结 果 与 实 际 夏 季 冠 层 结 果 ， 发 现 圆 形 算 子
3 实 验 结 果 与 分 析
对 冠 层 预 测 效 果 更 为 贴 合 实 际 ， 最 终 选 择 尺 寸 size
为 50 的 圆 形 膨 胀 算 子 进 行 模 拟 枝 条 生 长 和 冠 层 预
3.1 　 单 木 骨 架 结 构 提 取 及 优 化 的 验 证 　
测 。 根 据 枝 条 位 置 和 自 然 生 长 规 律 ， 将 分 裂 后 获 得
的 超 像 素 作 为 冠 层 筛 选 的 主 要 对 象 ， 以 枝 条 生 长 情 本 研 究 采 用 了 3 个 主 要 的 回 归 指 标 作 为 性 能 工
况 为 依 据 ， 并 结 合 骨 架 提 取 结 果 合 并 属 于 冠 层 的 超 具 ： 像 素 准 确 率 （Pixel Accuracy ，PA ） ， 平 均 交 并98 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
图 8 　 四 种 结 构 元 素 的 猕 猴 桃 树 冠 层 预 测 对 比
Fig.8 Comparison of canopy prediction of kiwifruit tree with
four structural element treatments
被 正 确 预 测 的 像 素 数 ， 反 映 了 被 正 确 预 测 的 像 素 占
全 部 像 素 的 比 例 ；TP （True Positive ） 为 真 正 例 ，
表 示 预 测 结 果 中 正 确 预 测 为 正 的 样 本 数 ， 个 ， 反 映
模 型 正 确 预 测 某 类 的 能 力 ；FP （False Positive ） 为
假 正 例 ， 表 示 预 测 结 果 中 错 误 预 测 为 正 的 样 本 数 ，
个 ， 反 映 模 型 过 度 预 测 某 类 的 错 误 ； FN （False
Negative ） 为 模 型 未 预 测 为 某 个 类 别 ， 但 标 注 为 该
注 ： 红 色 部 分 为 被 识 别 为 枝 条 的 像 素 位 置 ； 白 色 部 分 为 数 学 形 态 学
类 别 的 像 素 数 ， 个 ， 反 映 模 型 漏 预 测 某 类 的 错 误 ；
处 理 后 的 像 素 位 置 ， 枝 条 连 续 性 得 到 提 高 ； 紫 色 矩 形 是 被 作 为 种 子 点
的 像 素 位 置 。
NoC （Number of Classes ） 为 分 割 目 标 的 类 别 总 数 ，
图 7 　 猕 猴 桃 树 单 木 枝 条 筛 选 的 总 体 流 程 图
个 ；NoP （Number of Pixels ） 为 每 个 类 别 在 整 个 图
Fig. 7 General flow chart of single tree branch selection of ki ‐
像 中 所 占 的 比 重 。
wifruit tree
闭 运 算 选 用 的 圆 形 算 子 的 长 度 对 于 枝 条 筛 选 结
果 有 较 大 影 响 。 随 着 算 子 长 度 的 增 加 ， 闭 运 算 能 够
比 （Mean Intersection over Union ，MIoU ） 和 F 加
1
将 断 开 的 连 通 域 连 接 起 来 ， 从 而 提 高 枝 条 的 MIoU ，
权 得 分 （Weighted F -Score ，WF ） ， 如 公 式 （1 ） ~
1 1
但 当 算 子 长 度 过 大 时 会 造 成 不 同 枝 条 发 生 粘 连 从 而
（3 ） 所 示 。
Number of CPP 将 其 他 植 株 的 枝 条 错 误 地 拾 取 ， 造 成 PA 下 降 。 基
PA = （1 ）
Total Number Pixels
于 被 连 接 拾 取 枝 条 结 果 中 的 PA 与 MIoU 呈 现 负 相 关
NoC
1 TP
i
MIoU = （2 ）
∑ 关 系 ， 选 择 使 用 WF 来 评 价 算 子 的 综 合 性 能 。 实 际
1
NoC TP + FP + FN
i = 1 i i i
输 出 结 果 如 图 9 所 示 ， 从 具 有 代 表 性 的 三 种 指 数 选
NoC
F - Score × NoP
∑ 1 i i
i = 1
WF = （3 ）
1
NoC 择 结 果 进 行 对 比 可 以 看 出 ， 当 圆 形 算 子 尺 寸 size 为
NoP
∑ i
50 时 ， 识 别 结 果 最 接 近 理 想 目 标 ， 而 size 为 0 时 ，
i = 1
式 中 ： CPP （Correctly Predicted Pixels ） 表 示 也 就 是 未 进 行 数 学 形 态 学 处 理 优 化 的 结 果 中 存 在 明Vol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 99
显 枝 条 断 裂 而 识 别 不 全 的 现 象 ， 而 当 优 化 时 size 选 枝 条 进 行 拾 取 的 现 象 ， 从 而 使 PA 降 低 。
取 过 大 ， 以 size 为 70 为 例 ， 出 现 多 处 将 其 他 树 木 的
（a ） 圆 形 算 子 长 度 筛 选 PA 结 果
（b ） 圆 形 算 子 长 度 筛 选 MIoU 结 果
（c ） 圆 形 算 子 长 度 筛 选 WF 结 果
1
图 9 　 冠 层 预 测 圆 形 算 子 长 度 筛 选
Fig.9 Crown prediction circular operator length screening
为 验 证 所 提 出 方 法 的 效 果 ， 本 研 究 从 骨 架 提 取 95.69% ， 骨 架 信 息 的 完 整 性 和 连 续 性 都 得 到 显 著
和 冠 层 预 测 两 个 关 键 角 度 开 展 了 定 量 评 估 实 验 。 将 提 升 。
模 型 共 进 行 训 练 5 000 次 ， 在 测 试 中 ， 当 训 练 网 络 在 获 取 高 质 量 骨 架 信 息 后 ， 作 者 团 队 利 用 膨 胀
的 迭 代 次 数 超 过 一 定 数 量 时 出 现 过 拟 合 的 现 象 ， 在 运 算 模 拟 枝 条 生 长 ， 实 现 从 冬 季 到 夏 季 的 骨 架 结 构
训 练 迭 代 3 000 次 时 可 得 到 较 好 的 收 敛 效 果 。 应 用 预 测 。 这 充 分 证 实 了 预 测 骨 架 能 高 度 契 合 夏 季 树 冠
人 工 标 定 枝 条 的 测 试 集 ， 利 用 PSP-Net 模 型 第 3 000 实 际 分 布 状 况 ， 为 后 续 冠 层 分 割 提 供 了 可 靠 的 先 验
代 训 练 结 果 进 行 效 果 的 检 验 。 在 骨 架 提 取 环 节 ， 基 结 构 信 息 。 最 后 ， 基 于 预 测 骨 架 完 成 了 单 木 冠 层 的
于 Image-Net 进 行 预 训 练 的 PSP-Net 模 型 ， 在 测 试 分 割 工 作 ， 如 图 7 所 示 。 结 果 表 明 ， 与 直 接 使 用 原
集 上 的 平 均 精 度 （Mean Average Precision ，mAP ） 始 骨 架 相 比 ， 优 化 骨 架 的 应 用 显 著 提 升 了 分 割 效
可 达 71.79% 。 这 充 分 验 证 了 PSP-Net 在 复 杂 树 冠 环 果 ， 冠 层 WF 从 77.36% 大 幅 提 升 至 95.76% 。 考 虑
1
境 下 ， 提 取 精 细 树 枝 的 卓 越 建 模 能 力 。 但 仅 依 靠 深 到 实 际 应 用 中 树 冠 遮 挡 等 负 面 因 素 的 影 响 ， 该 结 果
度 学 习 方 法 ， 分 割 结 果 中 的 树 枝 往 往 不 是 完 全 连 续 较 为 优 异 。
的 ， 存 在 一 定 断 裂 。 为 弥 补 这 一 缺 陷 ， 作 者 团 队 引 使 用 算 子 长 度 分 别 为 1 ~90 的 圆 形 算 子 分 别 进
入 了 数 学 形 态 学 方 法 进 行 骨 架 连 续 性 优 化 。 结 果 表 行 闭 运 算 后 ， 与 未 进 行 优 化 的 枝 条 识 别 结 果 直 接 进
明 相 较 于 全 树 干 的 标 注 方 式 ， 数 学 形 态 学 方 法 的 引 行 筛 选 的 结 果 进 行 对 比 ， 拾 取 结 果 由 人 工 计 数 统
入 使 得 枝 条 的 特 征 获 取 更 为 明 确 ， 使 得 枝 条 的 分 割 计 ， 枝 条 是 否 被 完 整 识 别 是 问 题 的 关 键 ， 因 此 将 被
效 果 mAP 为 84.99% ， 相 比 于 基 于 Image-Net 进 行 预 成 功 识 别 长 度 超 过 85% 的 枝 条 定 义 为 拾 取 成 功 。 随
训 练 的 PSP-Net 模 型 所 处 理 的 处 理 效 果 有 了 明 显 提 机 抽 取 150 棵 果 树 ， 对 其 近 千 条 枝 条 拾 取 结 果 中 的
升 ， 同 时 识 别 结 果 图 像 中 的 枝 条 形 态 明 显 更 加 连 续 正 误 数 量 统 计 后 ， 利 用 公 式 （1 ） 、 公 式 （2 ） 和 公
性 ， 断 裂 现 象 减 少 。 当 圆 形 闭 运 算 算 子 长 度 为 50 式 （3 ） 获 得 在 不 同 size 下 的 PA 、MIoU 和 WF 数
1
时 ， 骨 架 的 PA 和 WF 得 分 分 别 达 到 95.84% 和 据 ， 并 绘 制 曲 线 图 （ 图 10 ） 。
1100 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
（a ） 传 统 算 法 骨 架 提 取 及 冠 层 预 测 结 果 （b ） 改 进 PSP-Net 算 法 骨 架 提 取 及 冠 层 预 测 结 果
图 10 　 传 统 冠 层 预 测 结 果 与 深 度 学 习 结 合 数 学 形 态 学 方 案 预 测 结 果 对 比 图
Fig.10 Comparison between traditional canopy prediction results and deep learning combined with mathematical morphology scheme
prediction results
检 测 样 本 集 中 识 别 出 的 枝 条 目 标 的 MIoU 随 着 土 壤 颜 色 较 为 接 近 ， 同 时 受 到 地 面 残 枝 、 架 设 的 铁
size 的 增 加 而 提 高 ， 当 size 提 高 到 50 时 MIoU 能 够 丝 等 的 干 扰 ， 利 用 传 统 数 字 图 像 处 理 方 法 仍 有 相 当
提 高 到 95.84% ， 当 size 继 续 提 高 时 MIoU 不 再 显 著 大 的 难 度 ， 而 利 用 深 度 学 习 方 法 则 能 高 效 地 解 决 枝
提 高 ；PA 与 MIoU 的 变 化 趋 势 相 反 ， 在 提 高 size 大 条 的 语 义 分 割 问 题 。 针 对 语 义 分 割 中 常 见 的 轮 廓 识
小 的 过 程 中 会 将 非 目 标 枝 条 进 行 错 误 拾 取 ， 造 成 别 不 完 整 造 成 的 枝 条 断 裂 的 问 题 ， 本 研 究 利 用 传 统
PA 的 损 失 ， 在 size 提 高 至 大 于 或 等 于 56 时 PA 呈 现 图 像 处 理 方 法 对 深 度 学 习 分 割 结 果 进 行 优 化 ， 减 少
出 显 著 的 下 降 趋 势 ， 在 size 提 高 至 70 时 PA 已 经 下 目 标 粘 连 与 断 裂 ， 提 高 识 别 效 果 ， 并 实 现 枝 条 的 走
降 到 90.22% ， 并 且 在 此 后 PA 呈 现 出 快 速 下 降 趋 势 向 和 长 度 等 信 息 的 提 取 ， 保 证 关 键 输 出 的 稳 定 性 。
已 不 能 满 足 枝 条 拾 取 的 需 要 ； 使 用 WF 评 价 PA 与 同 时 为 了 弥 补 冬 季 与 夏 季 枝 条 生 长 存 在 的 必 然
1
MIoU 的 综 合 效 果 ， 在 size 取 46 ~53 时 WF 相 对 稳 差 异 ， 利 用 数 学 形 态 学 处 理 的 方 案 对 于 冬 季 植 株 骨
1
定 地 维 持 在 了 较 高 水 平 ， 其 中 在 size 取 50 时 WF 达 架 结 构 进 行 了 补 偿 ， 以 期 获 得 更 贴 近 夏 季 实 际 枝 条
1
到 最 高 值 94.07% ， 此 时 PA 为 99.25% 、 MIoU 为 分 布 的 骨 架 结 构 ， 在 此 过 程 中 采 用 了 多 种 系 数 进 行
95.76% 。 因 而 在 后 续 的 处 理 中 用 选 取 size 为 50 的 圆 验 证 ， 以 获 得 的 最 终 冠 层 范 围 与 实 际 最 为 接 近 为 标
形 膨 胀 算 子 。 准 ， 筛 选 出 了 适 宜 的 算 子 长 度 。 本 研 究 针 对 的 是 冠
层 覆 盖 范 围 到 达 最 大 的 阶 段 ， 其 对 应 的 枝 条 长 度 也
3.2 　 单 木 骨 架 结 构 提 取 的 性 能 　
是 夏 季 最 终 生 长 长 度 ， 如 果 更 改 这 一 步 骤 的 算 子 长
从 语 义 分 割 到 实 例 分 割 的 转 化 是 当 前 单 木 分 割
度 便 能 实 现 对 不 同 生 长 阶 段 枝 条 分 布 情 况 的 预 测 。
面 临 的 主 要 难 点 。 本 研 究 通 过 对 不 同 植 株 进 行 单 木
将 枝 条 位 置 信 息 作 为 夏 季 冠 层 分 割 的 参 考 信 息
骨 架 提 取 ， 以 解 决 从 语 义 分 割 向 实 例 分 割 的 转 化 问
进 行 输 入 ， 其 输 出 结 果 可 作 为 猕 猴 桃 树 生 长 情 况 分
题 ， 为 监 测 树 木 生 长 提 供 基 础 数 据 。 但 是 在 处 理 断
析 和 精 准 管 理 的 通 用 依 据 ， 能 够 提 高 猕 猴 桃 树 分 割
裂 和 植 株 实 例 分 割 过 程 中 ， 也 出 现 了 非 目 标 枝 条 被
的 准 确 性 ， 减 少 人 为 干 预 ， 提 高 分 割 效 率 。
错 分 的 问 题 ， 这 是 冠 层 骨 架 提 取 过 程 中 的 一 大 难
3.3 　 冠 层 分 割 与 生 长 预 测 的 性 能 　
题 ； 对 正 确 枝 条 的 丢 失 和 非 正 确 目 标 的 错 误 框 选 ，
探 寻 识 别 综 合 效 果 最 好 的 方 案 是 解 决 问 题 的 关 键 。 本 研 究 提 出 的 方 法 在 对 密 集 栽 培 的 猕 猴 桃 果 园
本 研 究 采 用 的 优 化 方 案 能 够 较 好 地 提 高 枝 条 正 确 分 进 行 高 效 无 损 监 测 并 对 果 树 进 行 冠 层 分 割 与 生 长 预
类 的 目 标 ， 然 而 针 对 在 二 维 图 像 中 有 重 合 的 枝 条 的 测 方 面 取 得 了 良 好 的 效 果 。 如 图 10 所 示 ， 在 传 统
情 况 ， 由 于 其 属 于 同 一 连 通 域 ， 难 以 被 分 开 ， 造 成 冠 层 预 测 结 果 与 本 方 案 预 测 结 果 对 比 当 中 ， 可 以 直
了 难 以 避 免 的 误 差 。 观 地 看 到 本 方 案 可 将 猕 猴 桃 果 树 从 高 度 重 叠 、 生 长
针 对 语 义 分 割 问 题 ， 由 于 猕 猴 桃 树 枝 条 目 标 与 交 叉 严 重 的 环 境 中 较 为 完 整 地 提 取 出 果 树 骨 架 结Vol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 101
构 ， 并 成 功 建 立 其 冠 层 生 长 模 型 。 出 以 优 化 骨 架 为 参 考 进 行 冠 层 预 测 的 思 路 ， 实 现 从
本 研 究 采 用 了 无 人 机 低 空 遥 感 图 像 作 为 数 据 单 木 骨 架 到 冠 层 结 构 的 有 效 预 测 ， 较 好 地 解 决 了 冠
源 ， 相 比 卫 星 遥 感 或 航 拍 图 像 ， 提 供 了 更 高 分 辨 层 分 割 过 程 中 的 实 例 分 割 问 题 。
率 、 更 低 价 格 的 数 据 支 持 ， 有 利 于 果 园 定 期 监 测 与 实 验 结 果 表 明 ， 优 化 骨 架 提 取 精 度 可 达 95% 以
管 理 。 本 研 究 改 进 PSP-Net 等 语 义 分 割 算 法 实 现 精 上 ，PA 值 达 99.25% ，MIoU 值 达 95.76% ， 冠 层 分
确 的 枝 条 提 取 ， 极 大 地 提 高 了 分 割 精 度 ， 为 单 木 骨 割 WF 达 94.07% 左 右 ； 与 直 接 利 用 原 始 骨 架 相 比 ，
1
架 分 割 提 供 高 质 量 基 础 数 据 。 通 过 数 字 图 像 处 理 优 优 化 骨 架 提 高 了 冠 层 分 割 的 PA 为 13.2% ，MIoU 为
化 骨 架 结 果 以 获 得 单 木 骨 架 数 据 ， 并 有 效 解 决 了 深 10.9% ，WF 为 18.4% ， 显 著 改 善 了 分 割 指 标 。 而 优
1
度 学 习 分 割 存 在 的 断 裂 问 题 ， 提 升 了 骨 架 提 取 完 整 化 骨 架 后 的 平 均 分 割 PA 可 达 95% 以 上 ， 明 显 高 于
性 。 预 测 结 果 与 实 际 枝 条 分 布 高 度 吻 合 。 本 研 究 提 原 始 骨 架 的 81.5% ， 如 图 11 和 图 12 所 示 。
图 11 　 优 化 骨 架 处 理 中 所 有 预 测 样 本 的 PA 值
Fig.11 Optimize the skeleton processing all the prediction data in PA value curve
图 12 　 优 化 骨 架 处 理 中 所 有 预 测 样 本 的 WF 值
1
Fig.12 Optimize the skeleton in processing all predict WF value curve of samples
1
后 续 从 数 据 集 中 随 机 选 取 了 50 张 图 像 作 为 验
证 集 ， 用 于 验 证 融 合 骨 架 信 息 的 冠 层 分 割 方 案 结
果 。 如 图 13 所 示 ， 其 中 RGB 图 像 为 夏 季 真 实 冠 层
图 像 ， 而 二 值 化 图 像 则 代 表 验 证 集 数 据 处 理 的 结
果 。 通 过 对 比 评 估 ， 可 以 得 出 预 测 结 果 与 夏 季 真 实
冠 层 高 度 吻 合 ， 且 其 差 异 较 小 ， 表 现 出 较 高 的 拟 合
度 ， 边 际 误 差 极 小 。 同 时 对 验 证 集 各 项 指 标 进 行 测
试 ， 结 果 如 图 14 所 示 。
4 结 论
本 研 究 提 出 了 一 种 基 于 冬 季 图 像 的 猕 猴 桃 单 木
注 ： 右 侧 图 像 为 预 测 结 果 与 真 值 之 间 的 误 差 。
骨 架 提 取 与 冠 层 预 测 方 法 ， 从 方 法 创 新 、 数 据 获
图 13 　 二 值 化 验 证 集 样 本 预 测 结 果 与 夏 季 RGB 真 实 冠 层 图
取 、 问 题 解 决 多 方 面 展 现 了 利 用 无 人 机 图 像 进 行 果
像 对 比 验 证
园 精 细 化 管 理 的 巨 大 潜 力 。 解 决 了 夏 季 树 冠 过 于 复
Fig.13 The prediction results of binarization verification set
compared with the real summer RGB canopy images
杂 导 致 猕 猴 桃 骨 架 提 取 效 果 不 佳 的 问 题 。 采 用 无 人102 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
（a ） 冠 层 预 测 验 证 集 样 本 预 测 结 果 PA 值
（b ） 冠 层 预 测 验 证 集 样 本 预 测 结 果 MIoU 值
（c ） 冠 层 预 测 验 证 集 样 本 预 测 结 果 WF 值
1
图 14 　 融 合 骨 架 信 息 的 冠 层 分 割 方 案 预 测 验 证 集 样 本 预 测 结 果
Fig.14 Canopy segmentation scheme prediction verification set sample prediction curve results fused with skeleton information
机 低 空 遥 感 图 像 作 为 数 据 源 ， 提 供 了 更 高 分 辨 率 、 了 良 好 的 分 割 与 预 测 结 果 ， 为 构 建 自 动 化 智 能 果 园
更 低 价 格 的 数 据 支 持 ； 用 改 进 PSP-Net 等 前 沿 的 语 管 理 系 统 奠 定 了 算 法 基 础 。 后 续 工 作 将 通 过 扩 大 数
义 分 割 算 法 实 现 精 确 的 猕 猴 桃 果 树 枝 条 提 取 ， 为 单 据 集 、 丰 富 模 型 等 进 行 优 化 提 升 进 一 步 提 升 模 型 鲁
木 骨 架 分 割 提 供 高 质 量 基 础 数 据 ； 通 过 数 字 图 像 处
棒 性 ， 扩 大 融 合 骨 架 信 息 的 冠 层 分 割 方 案 适 用 范
理 优 化 骨 架 结 果 以 获 得 单 木 骨 架 数 据 ， 并 有 效 解 决
围 。 本 研 究 为 构 建 精 细 、 高 效 、 低 成 本 的 智 慧 果 园
了 深 度 学 习 分 割 存 在 的 断 裂 问 题 ； 提 出 以 优 化 骨 架
管 理 系 统 奠 定 了 坚 实 基 础 ， 具 有 重 要 的 科 学 价 值 。
为 参 考 进 行 冠 层 预 测 的 思 路 ， 实 现 从 单 木 骨 架 到 冠
利 益 冲 突 声 明 ： 本 研 究 不 存 在 研 究 者 以 及 与 公 开
层 结 构 的 有 效 预 测 ， 较 好 地 解 决 了 冠 层 分 割 过 程 中
研 究 成 果 有 关 的 利 益 冲 突 。
的 实 例 分 割 问 题 。 实 验 结 果 表 明 ， 优 化 后 的 骨 架 提
取 精 度 可 达 95% 以 上 ，MIoU 值 达 95.76% ， 冠 层 分
参 参 考 考 文 文 献 献 ：
割 WF 达 94.07% 左 右 ； 与 直 接 利 用 原 始 骨 架 相 比 ，
1
[ 1 ] HIRATA M. A new technique to describe canopy charac ‐
优 化 骨 架 提 高 了 冠 层 分 割 的 PA 为 13.2% ，MIoU 为
teristics of grass swards with spatial distribution, dry-mat ‐
10.9% ，WF 为 18.4% ， 显 著 改 善 了 分 割 指 标 。 优 化 ter digestibility and dry weight of small-size canopy com ‐
1
ponents[J]. Grass and forage science, 1996, 51(2): 209-218.
骨 架 后 的 平 均 分 割 PA 也 到 达 95% 以 上 ， 明 显 高 于
[ 2 ] LLORENS J, GIL E, LLOP J, et al. Georeferenced Li ‐
原 始 骨 架 的 81.5% ， 预 测 骨 架 与 实 际 夏 季 骨 架 平 均
DAR 3D vine plantation map generation[J]. Sensors,
2011, 11(6): 6237-6256.
吻 合 度 达 87% ， 具 有 良 好 的 预 测 结 果 。 该 方 法 可 为
[ 3 ] BALSARI P, MARUCCO P, TAMAGNONE M. Variable
精 准 果 园 管 理 提 供 有 效 数 据 支 持 ， 相 比 传 统 的 人 工
spray application rate in orchards according to vegetation
统 计 法 ， 该 方 法 实 现 了 自 动 高 效 的 果 树 结 构 监 测 。 characteristics[C]// Agricultural and Biosystems Engineer ‐
ing for a Sustainable World International Conference on
为 构 建 智 慧 果 园 管 理 系 统 提 供 关 键 技 术 基 础 。 研 究
Agricultural Engineering. Silsoe, UK: European Society
内 容 以 猕 猴 桃 果 树 展 开 ， 但 流 程 经 适 当 调 整 ， 可 适
of Agricultural Engineers, 2008: ID 20083322024.
[ 4 ] GIL E, ESCOLà A, ROSELL J R, et al. Variable rate ap ‐
用 于 其 他 果 树 冠 层 变 化 监 测 ， 具 有 广 阔 的 应 用
plication of plant protection products in vineyard using ul ‐
前 景 。
trasonic sensors[J]. Crop protection, 2007, 26(8): 1287-
总 体 而 言 ， 融 合 骨 架 信 息 的 冠 层 分 割 方 案 获 得 1297.Vol. 5, No. 4 李 政 凯 等 ： 冬 季 猕 猴 桃 树 单 木 骨 架 提 取 与 冠 层 生 长 预 测 方 法 103
[ 5 ] SHIMBORSKY E. Digital tree mapping and its applica ‐ [15] LYU X, LI X B, DANG D L, et al. Unmanned aerial vehi ‐
tions[C]// Precision agriculture: Papers from the 4th Euro ‐ cle (UAV) remote sensing in grassland ecosystem monitor ‐
pean Conference on Precision Agriculture. Wageningen, ing: A systematic review[J]. Remote sensing, 2022, 14(5):
Netherlands: Wageningen Academic Publishers, 2003: ID 1096.
645-650. [16] 李 鑫 星, 曹 闪 闪, 白 雪 冰, 等 . 多 光 谱 技 术 在 土 壤 成 分 含
[ 6 ] ROSELL POLO J R, ARNó J, VALLèS J M, et al. 量 检 测 中 的 研 究 进 展[J]. 光 谱 学 与 光 谱 分 析, 2020,40
Ground Laser Scanner Data Analysis for LAI Prediction (7): 2042-2047.
in Orchards and Vineyards[C]// Proceedings of Interna ‐ LI X X, CAO S S, BAI X B, et al. Research progress of
tional Conference on Agricultural Engineering. La ciutat multi-spectral technique in the determination of soil com ‐
de Barcelona, Espanya: Universitat Politècnica de Catalu ‐ ponent content[J]. Spectroscopy and spectral analysis,
nya, 2006: 311-312. 2020, 40(7): 2042-2047.
[ 7 ] QAMAR-UZ-ZAMAN, SCHUMANN A W. Nutrient [17] WANG C Y, LIU B H, LIU L P, et al. A review of deep
management zones for Citrus based on variation in soil learning used in the hyperspectral image analysis for agri ‐
properties and tree performance[J]. Precision agriculture, culture[J]. Artificial intelligence review, 2021, 54(7):
2006, 7(1): 45-63. 5205-5253.
[ 8 ] SONG B, CHEN J Q, DESANDER P V, et al. Modeling [18] VADIVAMBAL R, JAYAS D S. Applications of thermal
canopy structure and heterogeneity across scales: From imaging in agriculture and food industry: A review[J].
crowns to canopy[J]. Forest ecology and management, Food and bioprocess technology, 2011, 4(2): 186-199.
1997, 96(3): 217-229. [19] OMASA K, ONO E, ISHIGAMI Y,et al. Plant functional
[ 9 ] LU X Q, WANG B Q, ZHENG X T, et al. Exploring mod ‐ remote sensing and smart farming applications[J]. Interna ‐
els and data for remote sensing image caption genera ‐ tional journal of agricultural and biological engineering,
tion[J]. IEEE transactions on geoscience and remote sens ‐ 2022, 15(4): 1-6.
ing, 2018, 56(4): 2183-2195. [20] TOLDO M, MARACANI A, MICHIELI U, et al. Unsu ‐
[10] ZHANG B, WU Y F, ZHAO B Y, et al. Progress and chal ‐ pervised domain adaptation in semantic segmentation: A
lenges in intelligent remote sensing satellite systems[J]. review[J]. Technologies, 2020, 8(2): ID 35.
IEEE journal of selected topics in applied earth observa ‐ [21] ZENG L H, FENG J, HE L. Semantic segmentation of
tions and remote sensing, 2022, 15: 1814-1822. sparse 3D point cloud based on geometrical features for
[11] ZHANG Q, ZHANG P L. An uncertainty descriptor for trellis-structured apple orchard[J]. Biosystems engineer ‐
quantitative measurement of the uncertainty of remote ing, 2020, 196: 46-55.
sensing images[J]. Remote sensing, 2019, 11(13): ID [22] DENG J T, NIU Z J, ZHANG X, et al. Kiwifruit vine ex ‐
1560. traction based on low altitude UAV remote sensing and
[12] TANG L N, SHAO G F. Drone remote sensing for forest ‐ deep semantic segmentation[C]// 2021 IEEE International
ry research and practices[J]. Journal of forestry research, Conference on Artificial Intelligence and Computer Appli ‐
2015, 26(4): 791-797. cations (ICAICA). Piscataway, New Jersey, USA: IEEE,
[13] AMPATZIDIS Y, PARTEL V. UAV-based high throughput 2021: 843-846.
phenotyping in Citrus utilizing multispectral imaging and [23] LONG X D, ZHANG W W, ZHAO B. PSPNet-SLAM: A
artificial intelligence[J]. Remote sensing, 2019, 11(4): semantic SLAM detect dynamic object by pyramid scene
ID 410. parsing network[J]. IEEE access, 2020, 8: 214685-214695.
[14] LIAO X H, YUE H Y, LIU R G, et al. Launching an un ‐ [24] SONG Z Z, ZHOU Z X, WANG W Q, et al. Canopy seg ‐
manned aerial vehicle remote sensing data carrier: Con ‐ mentation and wire reconstruction for kiwifruit robotic
cept, key components and prospects[J]. International jour ‐ harvesting[J]. Computers and electronics in agriculture,
nal of digital earth, 2020, 13(10): 1172-1185. 2021, 181: ID 105933.
Individual Tree Skeleton Extraction and Crown Prediction
Method of Winter Kiwifruit Trees

LI Zhengkai, YU Jiahui, PAN Shijia, JIA Zefeng, NIU Zijie
（College of Mechanical and Electronic engineering, Northwest A&F University, Xianyang 712100, China ）
Abstract:
[Objective] The proliferation of kiwifruit trees severely overlaps, resulting in a complex canopy structure, rendering it impossible to ex ‐
tract their skeletons or predict their canopies using conventional methods. The objective of this research is to propose a crown segmen ‐
tation method that integrates skeleton information by optimizing image processing algorithms and developing a new scheme for fusing
winter and summer information. In cases where fruit trees are densely distributed, achieving accurate segmentation of fruit tree cano ‐104 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
pies in orchard drone images can efficiently and cost-effectively obtain canopy information, providing a foundation for determining
summer kiwifruit growth size, spatial distribution, and other data. Furthermore, it facilitates the automation and intelligent develop ‐
ment of orchard management.
[Methods] 　 The 4- to 8-year-old kiwifruit trees were chosen and remote sensing images of winter and summer via unmanned aerial ve ‐
hicles were obtain as the primary analysis visuals. To tackle the challenge of branch extraction in winter remote sensing images, a con ‐
volutional attention mechanism was integrated into the PSP-Net network, along with a joint attention loss function. This was designed
to boost the network''s focus on branches, enhance the recognition and targeting capabilities of the target area, and ultimately improve
the accuracy of semantic segmentation for fruit tree branches.For the generation of the skeleton, digital image processing technology
was employed for screening. The discrete information of tree branches was transformed into the skeleton data of a single fruit tree us ‐
ing growth seed points. Subsequently, the semantic segmentation results were optimized through mathematical morphology calcula ‐
tions, enabling smooth connection of the branches. In response to the issue of single tree canopy segmentation in summer, the growth
characteristics of kiwifruit trees were taken into account, utilizing the outward expansion of branches growing from the trunk. The
growth of tree branches was simulated by using morphological expansion to predict the summer canopy. The canopy prediction results
were analyzed under different operators and parameters, and the appropriate expansion operators along with their corresponding opera ‐
tion lengths were selected. The skeleton of a single tree was extracted from summer images. By combining deep learning with mathe ‐
matical morphology methods through the above steps, the optimized single tree skeleton was used as a prior condition to achieve cano ‐
py segmentation.
[Results and Discussions] 　 In comparison to traditional methods, the accuracy of extracting kiwifruit tree canopy information images
at each stage of the process has been significantly enhanced. The enhanced PSP Net was evaluated using three primary regression met ‐
rics: pixel accuracy (PA), mean intersection over union ratio (MIoU), and weighted F Score (WF ). The PA, MIoU and WF of the im ‐
1 1 1
proved PSP-Net were 95.84%, 95.76% and 95.69% respectively, which were increased by 12.30%, 22.22% and 17.96% compared
with U-Net, and 21.39% , 21.51% and 18.12% compared with traditional PSP-Net, respectively. By implementing this approach, the
skeleton extraction function for a single fruit tree was realized, with the predicted PA of the canopy surpassing 95%, an MIoU value of
95.76%, and a WF of canopy segmentation approximately at 94.07%.The average segmentation precision of the approach surpassed
1
95%, noticeably surpassing the original skeleton''s 81.5%. The average conformity between the predicted skeleton and the actual sum ‐
mer skeleton stand at 87%, showcasing the method''s strong prediction performance. Compared with the original skeleton, the PA,
MIoU and WF of the optimized skeleton increased by 13.2%, 10.9% and 18.4%, respectively. The continuity of the predicted skele ‐
1
ton had been optimized, resulting in a significant improvement of the canopy segmentation index. The solution effectively addresses
the issue of semantic segmentation fracture, and a single tree canopy segmentation scheme that incorporates skeleton information
could effectively tackle the problem of single fruit tree canopy segmentation in complex field environments. This provided a novel
technical solution for efficient and low-cost orchard fine management.
[Conclusions] 　 A method for extracting individual kiwifruit plant skeletons and predicting canopies based on skeleton information
was proposed. This demonstrates the enormous potential of drone remote sensing images for fine orchard management from the per ‐
spectives of method innovation, data collection, and problem solving. Compared with manual statistics, the overall efficiency and ac ‐
curacy of kiwifruit skeleton extraction and crown prediction have significantly improved, effectively solving the problem of case seg ‐
mentation in the crown segmentation process.The issue of semantic segmentation fragmentation has been effectively addressed, result ‐
ing in the development of a single tree canopy segmentation method that incorporates skeleton information. This approach can effec ‐
tively tackle the challenges of single fruit tree canopy segmentation in complex field environments, thereby offering a novel technical
solution for efficient and cost-effective orchard fine management. While the research is primarily centered on kiwifruit trees, the meth ‐
odology possesses strong universality. With appropriate modifications, it can be utilized to monitor canopy changes in other fruit trees,
thereby showcasing vast application potential.
Key words: extraction of fruit tree skeleton; canopy prediction; deep learning; machine vision; digital image processing; drone remote
sensing; crown prediction
Foundation items: National Natural Science Foundation of China (U2243235); National Key Research and Development Program of
China (2022YFD1900802)
Biography: LI Zhengkai, E-mail: [e-mail]
Corresponding author: NIU Zijie, E-mail: [e-mail]
（ 登 陆 www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ）