深度学习在家畜智慧养殖中研究应用进展

2023 年 3 月 第 5 卷 第 1 期 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Mar. 2023 Vol. 5, No. 1
深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展

1 2 3 1
郭 阳 阳 ， 杜 书 增 ， 乔 永 亮 ， 梁 栋
（1. 安 徽 大 学 互 联 网 学 院 ， 安 徽 合 肥 230039 ； 2. 南 阳 农 业 职 业 学 院 ， 河 南 南 阳 ， 473000 ； 3. 悉 尼 大 学 工 学 院 ， 悉 尼
NSW2006 ， 澳 大 利 亚 ）
摘 要 ： 准 确 高 效 地 监 测 动 物 信 息 ， 及 时 分 析 动 物 的 生 理 与 身 体 健 康 状 况 ， 并 结 合 智 能 化 技 术 进 行 自 动 饲 喂 和 养
殖 管 理 ， 对 于 家 畜 规 模 化 养 殖 意 义 重 大 。 深 度 学 习 技 术 由 于 具 有 自 动 特 征 提 取 和 强 大 图 像 表 示 能 力 ， 更 适 用 于 复
杂 的 畜 牧 养 殖 环 境 中 动 物 信 息 监 测 。 为 进 一 步 分 析 人 工 智 能 技 术 在 当 下 智 慧 畜 牧 业 中 研 究 应 用 ， 本 文 针 对 牛 、 羊
和 猪 三 种 家 畜 ， 介 绍 了 深 度 学 习 技 术 在 目 标 检 测 识 别 、 体 况 评 价 与 体 重 估 计 以 及 行 为 识 别 与 量 化 分 析 的 研 究 现 状 。
其 中 ， 目 标 检 测 识 别 有 利 于 构 建 动 物 个 体 电 子 档 案 ， 在 此 基 础 上 可 以 关 联 动 物 的 体 况 体 重 信 息 、 行 为 信 息 以 及 健
康 情 况 等 ， 这 也 是 智 慧 畜 牧 业 发 展 的 趋 势 。 智 慧 畜 牧 养 殖 技 术 当 前 面 临 着 应 用 场 景 存 在 多 视 角 、 多 尺 度 、 多 场 景
和 少 样 本 等 挑 战 以 及 智 能 技 术 泛 化 应 用 的 问 题 ， 本 文 结 合 畜 牧 业 实 际 饲 养 和 管 理 需 求 ， 对 智 慧 畜 牧 业 发 展 进 行 展
望 并 提 出 了 ： 结 合 半 监 督 或 者 少 样 本 学 习 来 提 高 深 度 学 习 模 型 的 泛 化 能 力 ； 人 、 装 备 和 养 殖 动 物 这 三 者 的 统 一 协
作 及 和 谐 发 展 ； 大 数 据 、 深 度 学 习 技 术 与 畜 牧 养 殖 的 深 度 融 合 等 发 展 建 议 ， 以 期 进 一 步 推 动 畜 牧 养 殖 智 能 化 发 展 。
关 键 词 ： 智 慧 畜 牧 ； 精 准 养 殖 ； 个 体 识 别 ； 信 息 感 知 ； 行 为 识 别 ； 深 度 学 习
中 图 分 类 号 ： S-1 ； TP18 ； S823 文 献 标 志 码 ： A 文 章 编 号 ： SA202205009
引 用 格 式 ： 郭 阳 阳, 杜 书 增, 乔 永 亮, 梁 栋 . 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展[J]. 智 慧 农 业( 中 英 文), 2023, 5
(1): 52-65. DOI ： 10.12133/j.smartag.SA202205009
GUO Yangyang, DU Shuzeng, QIAO Yongliang, LIANG Dong. Advances in the applications of deep learning technology
for livestock smart farming[J]. Smart Agriculture, 2023, 5(1): 52-65. DOI ： 10.12133/j.smartag.SA202205009 (in Chinese
with English abstract)
［2 ］
价 、 行 为 识 别 等 。
1 引 言
其 中 ， 计 算 机 视 觉 技 术 由 于 具 有 客 观 、 无 创 等
畜 产 品 是 人 类 重 要 食 物 来 源 ， 贡 献 了 25% 以 上
［3 ］
优 点 被 广 泛 应 用 于 畜 牧 监 测 中 。 早 期 的 计 算 机 视
的 膳 食 蛋 白 ， 研 究 畜 产 品 对 食 品 安 全 具 有 重 要 意
觉 技 术 主 要 从 图 像 或 视 频 中 提 取 人 工 设 计 的 特 征
义 。 随 着 人 口 总 数 增 长 和 农 业 劳 动 力 的 下 降 ， 如 何
（ 颜 色 、 形 状 、 纹 理 等 ） 并 结 合 机 器 学 习 算 法 实 现
在 有 限 的 土 地 和 资 源 下 ， 通 过 机 械 化 、 智 能 化 来 提
识 别 或 检 测 ， 但 整 体 的 精 度 很 大 程 度 依 赖 于 特 征 提
高 动 物 产 出 效 率 ， 增 加 肉 、 奶 产 品 供 应 数 量 和 提 高
取 方 法 ， 且 复 杂 的 场 景 、 牲 畜 间 的 遮 挡 以 及 光 照 等
产 品 质 量 ， 已 成 为 未 来 智 慧 畜 牧 业 发 展 的 重 要 方
都 会 影 响 特 征 的 提 取 ， 从 而 影 响 识 别 效 果 。 近 年
［1 ］
向 。 在 智 慧 畜 牧 业 中 ， 常 利 用 接 触 式 （ 温 度 、 加
来 ， 深 度 学 习 的 发 展 不 仅 突 破 了 视 觉 特 征 表 征 困 难
速 度 ） 传 感 器 、 非 接 触 式 计 算 机 视 觉 传 感 器 或 两 者
的 问 题 ， 提 高 了 对 图 像 和 视 频 的 认 知 水 平 ， 也 加 速
［4 ］
相 结 合 的 技 术 来 获 取 动 物 信 息 ， 随 后 用 机 器 学 习 等
了 计 算 机 视 觉 技 术 在 畜 牧 业 的 技 术 进 步 。 其 中 ，
方 法 构 建 模 型 ， 最 终 实 现 畜 类 目 标 检 测 、 体 况 评 获 取 动 物 目 标 视 觉 特 征 的 神 经 网 络 有 ： 卷 积 神 经 网
收 稿 日 期 ：2022-05-28
基 金 项 目 ： 国 家 自 然 基 金 项 目 （62273001 ）
作 者 简 介 ： 郭 阳 阳 ， 博 士 ， 讲 师 ， 研 究 方 向 为 智 能 化 监 测 与 技 术 、 机 器 视 觉 技 术 在 畜 禽 信 息 化 领 域 中 的 应 用 。 E-mail ： guoyang‐
[e-mail]

通 信 作 者 ： 乔 永 亮 ， 博 士 ， 副 研 究 员 ， 研 究 方 向 为 农 业 机 器 人 、 智 慧 畜 牧 业 、 智 能 感 知 。E-mail ：[e-mail]. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 53
［5 ］
络 （Convolutional Neural Network ，CNN ） 、 基 于 法 已 被 用 于 动 物 信 息 监 测 ， 并 作 为 决 策 支 持 工 具 。
［6 ］
区 域 的 卷 积 神 经 网 络 （Region-CNN ，R-CNN ） 、 深 度 学 习 在 智 慧 畜 牧 中 应 用 如 图 1 所 示 ， 首 先 利 用
［7, 8 ］
YOLO （You Only Look Once ） 系 列 等 。 动 物 视 传 感 器 获 取 能 够 反 映 牲 畜 福 利 和 健 康 的 原 始 数 据 。
频 信 息 中 往 往 包 含 时 间 信 息 ， 故 需 要 提 取 时 间 信 其 次 利 用 深 度 学 习 技 术 提 取 原 始 数 据 中 的 特 征 并 构
息 ， 常 用 的 深 度 学 习 网 络 获 取 时 序 信 息 的 模 型 有 循 建 信 息 感 知 模 型 ， 将 模 型 应 用 于 牲 畜 养 殖 中 得 到 模
［9 ］
环 神 经 网 络 （Recurrent Neural Network ，RNN ） 、 型 对 应 的 统 计 信 息 （ 如 行 为 识 别 统 计 信 息 、 个 体 识
长 短 时 记 忆 网 络 （Long Short-Term Memory ， 别 统 计 信 息 等 ） 。 最 后 ， 利 用 深 度 学 习 算 法 得 到 统
［10 ］ ［11, 12 ］
LSTM ） 以 及 衍 生 算 法 等 。 此 外 可 将 两 者 相 计 信 息 反 馈 到 畜 牧 养 殖 场 的 管 理 、 决 策 和 调 控 （ 如
结 合 来 获 取 时 空 特 征 来 提 高 动 物 目 标 检 测 和 行 为 识 生 产 指 标 、 环 境 调 控 、 精 准 喂 养 、 疾 病 防 控 等 ） 。
别 的 准 确 率 。 在 当 前 智 慧 畜 牧 研 究 中 ， 深 度 学 习 方
图 1 　 深 度 学 习 在 家 畜 智 慧 养 殖 中 的 应 用
Fig. 1 Application of deep learning in smart animal farming
虽 然 深 度 学 习 技 术 相 对 于 传 统 的 计 算 机 视 觉 技 畜 牧 中 ， 可 做 到 及 时 检 测 动 物 目 标 ， 确 定 动 物 个 体
术 在 复 杂 场 景 下 能 够 取 得 更 好 的 效 果 ， 但 构 建 智 能 身 份 并 获 取 相 关 信 息 ， 建 立 动 物 个 体 档 案 ， 为 数 字
化 牲 畜 养 殖 仍 需 要 结 合 实 际 情 况 进 一 步 探 索 研 究 。
化 管 理 和 畜 牧 产 品 溯 源 提 供 信 息 支 撑 。
针 对 牲 畜 生 理 生 态 信 息 获 取 、 生 长 发 育 、 繁 殖 等 生 目 前 通 常 通 过 给 动 物 赋 予 一 个 独 特 的 标 识 符 或
［1, 13 ］
理 调 控 、 健 康 诊 断 及 品 种 选 育 等 现 代 养 殖 产 业 发 展
标 志 来 检 测 识 别 动 物 个 体 。 其 中 ， 最 常 见 的 方
需 求 ， 本 文 以 牛 、 猪 、 羊 等 主 要 家 畜 为 研 究 对 象 ， 法 是 采 用 塑 料 耳 标 或 射 频 识 别 设 备 来 标 识 动 物 个
介 绍 并 分 析 了 深 度 学 习 技 术 在 动 物 目 标 检 测 识 别 、
体 ， 但 该 方 法 存 在 设 备 损 坏 或 丢 失 以 及 碰 撞 等 外 界
体 况 评 价 与 体 重 估 计 ， 以 及 行 为 识 别 与 量 化 分 析 的 的 干 扰 问 题 。 近 年 来 ， 随 着 信 息 技 术 的 发 展 ， 基 于
研 究 现 状 和 面 临 的 挑 战 ， 并 对 现 代 化 畜 牧 业 的 发 展
计 算 机 视 觉 技 术 的 目 标 检 测 识 别 方 法 由 于 具 有 非 接
方 向 进 行 了 展 望 ， 为 现 代 畜 牧 业 智 能 化 、 精 准 化 管 触 性 和 实 用 性 等 优 点 而 被 广 泛 应 用 于 牲 畜 识 别 研 究
理 生 产 建 设 提 供 参 考 。
中 ， 通 常 基 于 目 标 样 本 的 视 觉 特 征 （ 如 形 状 、 纹
理 、 颜 色 等 ） ， 结 合 智 能 算 法 实 现 目 标 检 测 识
2 动 物 目 标 检 测 识 别
［14, 15 ］
别 。 动 物 个 体 检 测 识 别 的 常 用 样 本 图 像 包 括 口
［16, 17 ］ ［18, 19 ］ ［20 ］
动 物 目 标 检 测 识 别 已 成 为 畜 牧 业 的 组 成 部 分 ， 鼻 、 面 部 、 躯 干 等 区 域 ， 并 基 于 区 域
是 实 现 现 代 精 细 化 科 学 畜 牧 业 的 必 由 之 路 。 在 智 慧 特 征 信 息 来 实 现 个 体 检 测 识 别 （ 图 2 ） 。54 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
［23 ］
Xue 等 提 出 了 一 种 基 于 欧 式 空 间 度 量 的 绵 羊 脸
部 检 测 识 别 方 法 （SheepFaceNet ） ， 利 用 自 然 环 境
下 的 羊 脸 图 像 样 本 对 网 络 进 行 训 练 ， 以 实 现 非 接 触
式 绵 羊 身 份 识 别 。 此 外 ， 其 针 对 羊 脸 图 像 中 无 效 信
息 多 、 羊 脸 姿 势 和 角 度 差 的 问 题 ， 提 出 羊 脸 检 测 与
校 正 （SheepFaceRepair ） 方 法 ， 使 绵 羊 面 部 区 域 对
齐 ， 最 后 利 用 SheepFaceNet 实 现 羊 脸 的 识 别 。Li
（b ） 脸 部 区 域
（a ） 眼 部 区 域
［24 ］
等 将 Mobilenetv2 与 Vision Transformer 结 合 ， 提
出 了 一 种 名 为 MobileViTFace 的 羊 脸 检 测 识 别 模 型 。
该 模 型 增 强 了 模 型 提 取 细 粒 度 特 征 的 能 力 ， 并 通 过
Transformer 抑 制 背 景 信 息 的 干 扰 ， 从 而 更 有 效 地 区
［25 ］
分 不 同 的 羊 脸 。Kumar 等 开 发 了 一 种 基 于 奶 牛
口 鼻 图 像 样 本 的 个 体 识 别 深 度 学 习 网 络 模 型 ， 采 用
CNN 和 深 度 信 念 网 络 （Deep Belief Nets ， DBN ）
提 取 一 组 纹 理 特 征 并 表 示 牛 的 口 鼻 图 像 ， 通 过 堆 叠
（c ） 口 鼻 区 域
（d ） 躯 干 区 域
降 噪 自 动 编 码 器 技 术 （Stacked Denoising Auto En‐
图 2 　 家 畜 常 用 的 目 标 检 测 区 域
coder ，SDAE ） 对 提 取 的 图 像 特 征 进 行 编 码 ， 优 于
Fig. 2 Common target detection area for livestock
基 于 口 鼻 图 像 数 据 库 识 别 牛 的 最 先 进 方 法 。
2.1 　 脸 部 检 测 识 别 　
2.2 　 整 体 及 关 键 区 域 检 测 识 别 　
基 于 深 度 学 习 的 非 接 触 式 动 物 检 测 识 别 能 够 有
在 智 慧 畜 牧 领 域 中 ， 进 一 步 对 动 物 整 体 以 及 关
效 减 轻 畜 牧 场 压 力 并 推 动 精 细 化 科 学 养 殖 业 的 发
键 区 域 的 检 测 识 别 将 有 利 于 更 深 层 次 的 挖 掘 动 物 信
展 。 近 期 研 究 人 员 利 用 深 度 学 习 算 法 实 现 了 猪 、
息 ， 比 如 腿 部 与 躯 干 间 的 位 置 关 系 ， 腿 部 间 的 相 对
羊 、 牛 等 动 物 脸 部 的 无 接 触 高 效 检 测 识 别 。
［19 ］
关 系 等 ， 可 以 反 映 出 动 物 健 康 信 息 ， 而 基 于 深 度 学
李 向 宇 和 李 慧 盈 利 用 相 似 度 较 高 的 猪 脸 匹
习 在 这 一 方 面 的 信 息 挖 掘 研 究 仍 需 进 一 步 探 索 。
配 数 据 集 训 练 形 变 卷 积 神 经 网 络 （Deformable Con‐
［26 ］
Qiao 等 提 出 了 一 种 基 于 图 像 序 列 的 肉 牛 个 体 识
volution Networks ，DCN ） ， 得 到 形 变 后 的 猪 脸 数 据
别 的 深 度 学 习 模 型 。 通 过 CNN 网 络 从 图 像 序 列 中
集 ， 并 使 用 形 变 猪 脸 数 据 集 对 脸 部 特 征 点 检 测 神 经
提 取 视 觉 特 征 ， 然 后 将 这 些 提 取 的 特 征 用 于 训 练
网 络 模 型 （Tweaked Convolutional Neural Network ，
LSTM 以 捕 获 时 空 信 息 并 识 别 牛 只 个 体 ， 在 15 帧 和
TCNN ） 进 行 微 调 ， 得 到 猪 脸 特 征 点 检 测 模 型 ， 用
20 帧 视 频 长 度 上 分 别 达 到 了 88% 和 91% 的 准 确 率 。
该 方 法 进 行 猪 脸 特 征 点 检 测 ， 错 误 率 仅 为 5.60% 。
［27 ］
［21 ］
何 东 健 等 提 出 了 一 种 改 进 的 YOLOv3 模 型 用 于
何 屿 彤 等 在 YOLOv3 模 型 引 入 密 连 块 和 SPP
奶 牛 个 体 识 别 ， 在 奶 牛 背 部 图 像 数 据 集 中 改 进 的
（Spatial Pyramid Pooling ） 模 块 ， 提 出 YOLOv3DB‐
YOLOv3 模 型 的 奶 牛 个 体 识 别 准 确 率 为 95.91% ， 平
SPP （YOLOv3-DenseBlock-SPP ） 模 型 来 检 测 识 别
［28 ］
均 帧 率 为 32 f/s ， 可 快 速 识 别 奶 牛 个 体 。Hu 等
猪 只 ， 实 现 了 90.18% 的 平 均 精 度 ， 并 且 当 感 兴 趣
采 用 YOLO 模 型 从 原 始 图 像 中 检 测 并 分 割 出 奶 牛 区
区 域 阈 值 为 0.5 、 分 类 概 率 阈 值 为 0.1 时 ， 模 型 的 平
［22 ］
域 ， 并 将 检 测 到 的 奶 牛 对 象 分 割 成 三 个 部 分 ， 即 头
均 精 度 均 值 比 YOLOv3 模 型 高 9.87% 。 魏 斌 等
将 YOLOv3 算 法 检 测 到 的 羊 脸 作 为 个 体 识 别 的 数 部 、 躯 干 和 腿 部 ， 通 过 训 练 三 个 独 立 的 CNN 网 络
据 ， 利 用 VGGFace 模 型 训 练 后 取 得 了 64% 左 右 的 从 这 三 个 部 分 中 提 取 深 层 特 征 ， 并 设 计 了 特 征 融 合
识 别 准 确 率 ； 选 取 正 面 羊 脸 作 为 输 入 数 据 训 练 VG‐ 模 型 获 取 最 终 特 征 ， 最 后 通 过 支 持 向 量 机 （Sup‐
GFace 模 型 时 ， 得 到 了 91% 以 上 的 识 别 准 确 率 。 port Vector Machines ，SVM ） 分 类 器 来 识 别 每 一 头Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 55
奶 牛 ， 实 现 了 98.36% 的 奶 牛 识 别 准 确 率 。 Jiang 的 图 像 ， 然 而 头 部 也 会 呈 现 多 角 度 的 情 况 ， 且 实 际
［29 ］
等 提 出 了 一 种 FLYOLOv3 （FilterLayer YO‐ 需 求 中 更 希 望 在 现 场 或 远 程 监 控 视 频 时 ， 随 机 抓 取
一 幅 图 像 即 可 检 测 并 识 别 牛 只 个 体 ， 以 及 个 体 其 他
LOv3 ） 深 度 学 习 框 架 ， 实 现 了 复 杂 场 景 下 奶 牛 个
体 关 键 区 域 的 检 测 （ 如 躯 干 、 腿 和 头 部 ） ， 并 在 白 的 相 关 信 息 。 因 此 ， 需 要 构 建 更 为 复 杂 的 样 本 集
天 和 夜 间 数 据 集 上 进 行 了 验 证 ， 均 取 得 了 较 好 的 检 （ 多 角 度 、 昼 夜 ） 等 来 模 拟 实 际 饲 养 中 的 场 景 ， 构
测 结 果 。 建 可 应 用 于 不 同 场 景 的 智 能 算 法 ， 并 进 一 步 开 发 高
效 精 准 及 方 便 操 作 的 检 测 与 识 别 系 统 。
2.3 　 无 人 机 图 像 目 标 检 测 　
3 动 物 体 况 评 价 与 体 重 估 计
放 牧 养 殖 的 畜 牧 场 地 由 于 活 动 范 围 较 大 ， 往 往
使 用 无 人 机 （Unmanned Aerial Vehicle ，UAV ） 航
动 物 表 型 信 息 包 含 了 尾 头 轮 廓 曲 率 、 体 长 和 体
［30 ］
拍 并 监 测 牲 畜 活 动 信 息 。 而 基 于 UAV 的 动 物 监
表 面 积 等 ， 其 中 尾 头 轮 廓 曲 率 主 要 用 于 的 动 物 体 况
测 ， 虽 然 目 前 UAV 硬 件 处 理 速 度 得 到 很 大 的 改 善 ，
评 分 ， 体 长 和 体 表 信 息 主 要 应 用 于 动 物 的 体 重 估
［36, 37 ］
但 算 法 性 能 仍 会 影 响 基 于 UAV 实 时 检 测 的 效 果 ，
计 。 目 前 的 研 究 首 先 提 取 动 物 体 尺 参 数 特 征 ，
［31 ］
而 深 度 学 习 可 以 满 足 这 一 需 求 。Andrew 等 首 先
通 过 构 建 基 于 机 器 视 觉 或 深 度 学 习 等 相 关 模 型 来 获
在 无 人 机 航 拍 视 频 数 据 基 础 上 ， 通 过 区 域 卷 积 神 经
取 动 物 表 型 信 息 以 评 价 动 物 体 况 和 体 重 估 计 。
网 络 R-CNN 和 核 相 关 滤 波 算 法 （Kernel Correlation
3.1 　 体 况 评 价 　
Filter ，KCF ） 实 现 荷 斯 坦 奶 牛 的 个 体 检 测 和 跟 踪 ，
身 体 状 况 评 分 （Body Condition Score ，BCS ）
再 通 过 Inception V3-LSTM 网 络 结 构 实 现 奶 牛 的 个
［32 ］
是 动 物 福 利 重 要 指 标 之 一 ， 可 以 反 映 动 物 的 饮 食 情
体 识 别 ， 最 终 识 别 准 确 率 为 98.1% 。Shao 等 和
［38 ］
［33 ］
况 、 胖 瘦 、 生 产 力 以 及 健 康 和 福 利 。 以 奶 牛 为
Barbedo 等 通 过 CNN 网 络 模 型 在 UAV 图 像 上 实
例 （ 图 3 ） ，BCS 的 重 点 区 域 包 括 背 部 、 尾 根 、 臀
现 了 奶 牛 的 目 标 检 测 和 个 数 统 计 。
以 上 研 究 表 明 ， 深 度 学 习 技 术 应 用 于 UAV 图 尖 、 髋 骨 、 肋 骨 和 胸 部 。BCS 系 统 通 常 使 用 5 点 量
表 （1 代 表 瘦 弱 的 牛 ，5 代 表 肥 胖 的 牛 ） 表 达 评 估
像 的 目 标 检 测 识 别 是 可 行 的 ， 且 将 深 度 学 习 技 术 应
结 果 。 传 统 上 ，BCS 通 常 由 经 验 丰 富 的 农 民 使 用 触
用 于 其 他 硬 件 设 备 （ 机 器 人 、 地 面 车 辆 等 ） 构 建 智
［39, 40 ］
［34 ］
觉 或 视 觉 方 法 获 得 。 然 而 ， 人 工 方 法 主 观 性
能 化 监 测 系 统 也 是 未 来 发 展 的 主 要 趋 势 之 一 。
强 ， 且 易 受 到 外 部 环 境 的 影 响 。 因 此 ， 迫 切 需 要 客
2.4 　 小 结 　
观 、 准 确 和 稳 健 的 BCS 测 量 方 法 。 在 现 代 畜 牧 业
尽 管 深 度 学 习 技 术 已 经 在 动 物 检 测 识 别 领 域 取
中 ， 通 常 采 用 计 算 机 视 觉 技 术 获 取 动 物 的 体 表 信
得 进 展 ， 但 仍 存 在 一 些 问 题 ， 比 如 缺 乏 基 准 数 据 集
息 ， 再 通 过 机 器 学 习 等 算 法 构 建 评 估 模 型 实 现 BCS
［41, 42 ］
和 评 估 标 准 。 由 于 研 究 使 用 的 数 据 集 、 预 处 理 技
评 估 。
术 、 指 标 和 模 型 不 同 ， 因 此 对 现 有 方 法 进 行 比 较 得
基 于 计 算 机 视 觉 技 术 的 体 况 评 价 主 要 使 用 后 视
［35 ］
到 的 结 果 并 不 完 全 合 理 。 具 体 来 说 ， 目 标 检 测 图 或 顶 视 图 来 获 取 动 物 背 部 区 域 相 应 的 身 体 参 数 来
［43-45 ］
的 结 果 好 坏 与 样 本 有 直 接 关 系 ， 对 于 样 本 中 只 包 含 进 行 体 况 评 估 。 为 满 足 精 准 畜 牧 的 需 求 ， 迫 切
单 个 个 体 或 目 标 相 对 比 较 突 出 时 ， 目 标 检 测 以 及 个 需 要 构 建 和 设 计 操 作 简 单 、 快 速 且 用 户 友 好 的 牛 只
体 识 别 准 确 率 高 ， 但 目 标 区 域 检 测 和 特 征 提 取 方 法
体 况 监 测 系 统 ， 近 年 来 深 度 学 习 被 应 用 于 动 物 体 况
的 选 择 也 会 直 接 影 响 最 终 的 检 测 结 果 ， 且 外 界 环 境
评 价 研 究 中 。
［46 ］
（ 光 照 强 度 、 遮 挡 等 ） 以 及 拍 摄 角 度 和 图 像 质 量 都 孔 商 羽 和 陈 春 雨 采 用 Mask R-CNN 分 割 猪
会 影 响 检 测 结 果 。 故 通 过 多 角 度 构 建 样 本 集 来 实 现 只 图 像 ， 并 结 合 ResNet101-FPN 提 取 猪 只 特 征 ， 通
目 标 检 测 与 个 体 识 别 仍 需 要 进 一 步 探 索 。 例 如 基 于 过 多 任 务 学 习 回 归 网 络 来 预 测 猪 只 体 重 和 体 况 评
脸 部 的 个 体 识 别 研 究 ， 大 多 数 数 据 集 是 脸 正 面 拍 摄 分 。 体 重 预 测 准 确 率 提 高 了 5% ， 体 况 评 分 预 测 准56 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
可 能 不 会 完 全 取 代 2D 工 具 。 另 外 ， 为 完 善 一 个 完
整 的 5 点 尺 度 BCS 系 统 ， 也 需 要 一 个 样 本 分 布 均 匀
的 数 据 集 以 帮 助 系 统 更 快 地 收 敛 并 更 好 地 泛 化 。 其
次 ， 也 需 要 更 客 观 、 可 实 际 度 量 的 BCS 真 实 标 准 ，
以 消 除 人 为 评 分 过 程 中 的 主 观 错 误 。 此 外 ， 在 实 际
饲 养 环 境 下 ， 动 物 存 在 多 姿 态 、 多 尺 度 ， 甚 至 遮 挡
的 情 况 ， 从 而 影 响 目 标 区 域 特 征 的 提 取 ， 故 深 度 学
习 在 实 际 饲 养 环 境 下 ， 实 现 实 时 的 体 况 评 分 仍 需 要
注 ： 1. 背 部 ； 2. 尾 根 ； 3. 臀 尖 ； 4. 髋 部 ； 5. 肋 骨 ； 6. 胸 部
图 3 　 用 于 确 定 牛 BCS 的 区 域
进 一 步 探 索 。
Fig. 3 Areas used for visually determining body condition
3.2 　 体 重 估 计 　
score in cattle
动 物 体 重 在 优 化 生 长 性 能 、 增 加 农 民 收 入 和 监
［47 ］
确 率 提 高 了 3% 。?evik 和 Mustafa 通 过 R-CNN
测 动 物 福 利 方 面 发 挥 着 重 要 作 用 。 体 重 会 影 响 动 物
网 络 模 型 对 奶 牛 原 始 图 像 中 标 记 的 BSC 区 域 进 行 识
［51, 52 ］
泌 乳 、 生 长 、 怀 孕 和 生 育 能 力 等 ， 因 此 ， 动 物
［48 ］
别 提 取 ， 最 终 正 确 分 类 准 确 率 为 67.39% 。Li 等
养 殖 户 需 要 一 种 自 动 、 准 确 、 非 侵 入 性 的 称 重 方
采 用 YOLOv2 模 型 检 测 并 识 别 出 可 以 代 表 奶 牛 肥 胖
法 。 目 前 ， 体 重 估 计 方 法 可 分 为 直 接 法 和 间 接 法 。
程 度 的 牛 尾 巴 周 围 区 域 ， 并 将 该 区 域 输 入 到
通 过 电 子 或 机 械 秤 来 单 独 称 重 的 直 接 体 重 估 计 方 法
ResNet50 分 类 器 中 实 现 牛 身 体 状 况 评 分 估 计 ， 在
虽 然 可 以 实 现 最 准 确 的 称 重 ， 但 存 在 耗 时 且 可 能 对
BCS 估 计 值 与 真 实 值 相 差 0.0 点 单 位 内 准 确 率 为
动 物 造 成 伤 害 和 压 力 的 现 象 ， 无 法 便 捷 使 用 。 间 接
64.55% ， 而 在 相 差 0.5 个 单 位 内 准 确 率 达 到 了
体 重 估 计 是 通 过 2D 或 3D 设 备 （RGB 、 热 红 外 、 激
［49 ］
94.5% 的 奶 牛 身 体 状 况 评 分 估 计 精 度 。Huang 等
光 （Light Detection and Ranging ，LiDAR ） 和 TOF
采 用 单 步 多 框 检 测 器 （Single Shot MultiBox Detec‐
（Time of Flight ） 等 ） 获 取 动 物 表 型 数 据 信 息 ， 然
tor ，SSD ） 方 法 来 检 测 尾 部 并 评 估 BCS ， 在 奶 牛 图
［53-55 ］
后 基 于 数 据 分 析 构 建 身 体 参 数 与 体 重 的 关 系 ，
像 上 可 以 达 到 98.46% 的 分 类 准 确 率 和 89.63% 的 定
［50 ］ 如 图 4 所 示 。 通 常 思 路 是 ， 首 先 提 取 体 长 、 体 宽 和
位 准 确 率 。Alvarez 等 采 用 Kinect v2 获 取 奶 牛 在
面 积 等 形 态 特 征 ， 然 后 基 于 图 像 分 析 和 机 器 学 习 ，
通 道 行 走 的 俯 视 图 ， 并 提 取 奶 牛 的 深 度 信 息 以 及 边
构 建 特 征 和 权 重 之 间 的 模 型 以 用 于 估 计 体 重 。
缘 信 息 等 ， 分 别 通 过 SqueezeNet 模 型 和 CNN 网 络
基 于 深 度 学 习 技 术 在 体 重 估 计 研 究 中 得 到 了 应
来 估 计 BCS 。 实 验 结 果 表 明 ，BCS 估 计 值 与 真 实 值
［56 ］
用 。Pezzuolo 等 分 别 使 用 深 度 相 机 和 手 动 测 量
相 差 0.25 个 单 位 内 的 总 体 准 确 率 达 到 了 82% ， 而 相
获 取 猪 的 胸 围 、 长 度 、 高 度 等 特 征 数 据 ， 并 利 用 线
差 0.50 个 单 位 以 内 的 总 体 准 确 度 高 达 97% 。 上 述 中
性 回 归 模 型 和 非 线 性 回 归 模 型 验 证 基 于 深 度 相 机 测
虽 然 取 得 了 些 许 成 果 ， 但 样 本 图 像 获 取 角 度 比 较 单
量 出 的 数 据 在 体 重 估 计 方 面 的 有 效 性 ， 其 误 差 比 手
一 且 视 场 中 往 往 只 有 一 头 动 物 ， 而 在 实 际 饲 养 环 境
［57 ］
动 测 量 的 模 型 低 10% 。 张 建 龙 等 对 比 分 析 了
以 及 不 同 饲 养 环 境 下 ， 能 否 安 装 采 集 设 备 是 实 际 问
Xception 、 MobileNetV2 、 DenseNet201 和
题 ， 因 此 迫 切 需 要 灵 活 的 图 像 获 取 装 备 或 系 统 以 应
ResNet152V2 4 种 模 型 对 育 肥 猪 体 重 估 测 效 果 ， 发
用 于 实 际 场 所 。
现 深 度 卷 积 网 络 可 用 于 猪 体 重 的 快 速 估 计 。Zhang
综 上 所 述 ， 体 况 评 价 研 究 中 数 据 采 集 通 常 基 于
［58 ］
等 通 过 Intel Realsense D435 深 度 相 机 获 取 猪 的
2D 或 3D 视 觉 采 集 设 备 ， 且 其 相 关 技 术 的 体 况 评 分
身 高 ， 并 实 际 测 量 体 型 数 据 包 括 体 长 （BL ） 、 肩 宽
工 作 取 得 了 重 大 进 展 。 但 应 该 指 出 的 是 ， 尽 管 在 畜
（SW ） 、 肩 高 （SH ） 、 臀 宽 （HW ） 和 臀 高 （HH ） ，
牧 业 中 ， 研 究 者 对 3D 技 术 的 兴 趣 越 来 越 大 ， 但 3D
传 感 器 比 2D 工 具 更 昂 贵 ，3D 数 据 处 理 和 相 关 算 法 提 出 一 种 使 用 基 于 Xception 的 多 输 出 回 归 CNN 模
［59 ］
也 更 复 杂 。 因 此 ， 在 自 动 BCS 评 估 中 ，3D 传 感 器 型 ， 实 现 了 猪 体 重 和 体 型 估 计 。Ruchay 等 获 取Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 57
故 可 探 索 在 行 走 通 道 中 获 取 牛 脸 图 像 或 背 部 图 像 来
实 现 牛 的 个 体 检 测 和 识 别 ， 以 及 体 况 评 价 和 体 重 估
计 ， 将 两 者 相 关 联 ， 可 实 现 并 构 建 牛 只 ID 与 体 况
体 重 相 关 联 的 监 测 系 统 。 此 外 ， 基 于 3D 数 据 的 深
度 学 习 技 术 在 猪 体 重 方 面 的 应 用 仍 有 很 大 的 提 升
空 间 。
（a ） RGB 图 像 （b ） 近 红 外 图 像
4 动 物 行 为 识 别
动 物 行 为 可 反 映 其 身 体 健 康 和 生 理 情 况 ， 是 畜
［62 ］
牧 养 殖 管 理 的 重 要 依 据 。 目 前 常 通 过 接 触 式 和
非 接 触 式 两 种 方 法 监 测 动 物 行 为 。 接 触 式 监 测 方 法
是 将 一 个 或 多 个 传 感 器 安 装 在 动 物 身 上 来 完 成 数 据
（c ） 深 度 图 像 （d ） 3D 图 像
采 集 ， 通 过 数 据 分 析 与 建 模 来 实 现 动 物 行 为 识
图 4 　 基 于 2D 或 3D 设 备 的 家 畜 信 息 获 取 展 示
［63 ］
别 ； 而 非 接 触 式 监 测 方 法 通 常 基 于 图 像 视 频 等
Fig. 4 Acquisition and display of livestock information using
［64 ］
信 息 ， 提 取 相 关 特 征 并 构 建 行 为 识 别 模 型 。 深
2D or 3D equipment
度 学 习 在 这 两 种 监 测 方 法 中 都 得 到 了 应 用 。
牛 的 RGB-D 侧 视 图 像 ， 通 过 双 边 滤 波 进 行 图 像 预
4.1 　 接 触 式 动 物 行 为 识 别 方 法 　
处 理 并 归 一 化 ， 构 建 CNN 网 络 训 练 并 测 试 样 本 数
据 来 实 现 牛 的 体 重 预 测 ， 其 平 均 绝 对 误 差 为 9.1% 。 基 于 电 子 接 触 式 传 感 器 和 深 度 学 习 技 术 ， 可 以
［60 ］
克 服 传 统 人 力 监 测 方 法 的 弊 端 ， 解 放 劳 动 力 ， 提 高
Gjergji 等 分 析 了 CNN 网 络 、RNN 网 络 、RA 模
畜 牧 养 殖 业 的 智 能 化 管 理 。 当 前 常 用 的 动 物 行 为 信
型 和 RA-CNN 网 络 在 奶 牛 体 重 预 测 应 用 方 面 的 性
息 采 集 的 传 感 器 主 要 有 加 速 度 传 感 器 和 声 音 传 感 器
能 ， 结 果 表 明 CNN 网 络 性 能 最 高 ， 其 平 均 误 差 为
［61 ］
等 。 通 过 将 三 轴 加 速 度 传 感 器 、RFID （Radio Fre‐
23.19 kg 。Dohmen 等 使 用 Mask-RCNN 分 割 算 法
quency Identification ） 等 设 备 安 装 在 动 物 身 体 部 位
从 场 景 中 提 取 分 割 出 牛 的 区 域 ， 并 通 过 CNN 网 络
2 （ 图 5 ） 上 获 取 相 关 行 为 数 据 ， 再 通 过 深 度 学 习 技 术
来 预 测 牛 的 体 重 ， 其 中 基 于 侧 视 图 模 型 的 R 为
2 进 行 数 据 分 析 ， 可 以 大 大 提 高 动 物 行 为 识 别 的 准 确
0.91 ， 均 方 根 误 差 为 27 kg ， 顶 视 图 模 型 的 R 为
率 和 识 别 效 率 。
0.96 ， 均 方 根 误 差 为 20 kg 。
深 度 学 习 技 术 在 智 慧 畜 牧 养 殖 业 中 的 体 重 估 计
应 用 不 太 广 泛 ， 仍 需 探 索 低 成 本 、 灵 活 、 高 精 度 的
动 物 体 重 估 计 方 法 或 系 统 。 虽 然 基 于 2D 或 3D 设 备
的 方 法 构 成 了 一 种 非 侵 入 式 的 体 量 估 计 系 统 ， 但 对
活 体 动 物 的 非 接 触 式 研 究 仍 受 到 动 物 姿 态 变 化 、 拍
摄 角 度 和 光 线 条 件 等 诸 多 因 素 的 限 制 。 用 于 农 场 环 （ a ） 颈 部 （ b ） 腿 部 （ c ） 耳 部
图 5 　 常 见 牛 只 行 为 检 测 传 感 器 的 佩 戴 位 置
境 的 实 用 性 体 重 估 计 系 统 需 要 适 应 各 种 挑 战 ， 包 括
Fig. 5 Wear position of sensors for common cattle behavior
不 同 的 照 明 条 件 和 动 物 运 动 姿 态 等 ， 以 便 能 够 可 靠
detection
地 提 取 体 重 有 关 的 特 征 ， 实 现 体 重 的 精 确 估 计 。
［65 ］
Wang 等 在 绵 羊 颈 部 佩 戴 麦 克 风 并 采 集 采 食
3.3 　 小 结 　
声 音 信 号 ， 同 时 比 较 了 深 度 神 经 网 络 （Deep Neu‐
将 深 度 学 习 技 术 应 用 于 动 物 的 体 况 评 价 与 体 重 ral Networks ，DNN ） 、CNN 和 RNN 网 络 在 采 食 行
估 计 中 仍 有 挑 战 。 由 于 牛 场 中 往 往 有 行 走 的 通 道 ， 为 识 别 上 的 性 能 。 结 果 表 明 ，RNN 、CNN 和 DNN58 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
模 型 的 准 确 率 分 别 为 93.17% 、92.53% 和 79.43% 。 机 视 觉 系 统 获 取 目 标 图 像 和 视 频 等 信 息 ， 再 通 过 深
［66 ］
应 烨 伟 等 提 出 一 种 基 于 区 间 阈 值 与 遗 传 算 法 优 度 学 习 模 式 实 现 生 物 视 觉 特 征 和 时 空 特 征 提 取 、 目
化 支 持 向 量 机 （Genetic Algorithm-Support Vector
标 检 测 和 行 为 识 别 分 类 。 下 面 分 别 从 生 物 视 觉 特 征
Machine ，GA-SVM ） 分 类 模 型 的 母 羊 产 前 行 为 识 和 时 空 特 征 的 角 度 阐 述 近 年 研 究 人 员 对 非 接 触 式 动
别 方 法 。 该 方 法 对 基 于 颈 环 采 集 节 点 获 得 的 加 速 度 物 行 为 识 别 方 法 的 研 究 情 况 。
数 据 进 行 小 波 降 噪 和 提 取 轮 廓 线 预 处 理 后 ， 利 用 区 4.2.1 　 基 于 生 物 视 觉 特 征 的 行 为 识 别 研 究 　
基 于 生 物 视 觉 特 征 的 行 为 识 别 方 法 通 过 深 度 学
间 阈 值 分 类 法 和 GA-SVM 方 法 实 现 母 羊 的 行 为 识
习 网 络 从 样 本 视 频 帧 或 图 像 中 检 测 出 目 标 区 域 并 获
别 。 该 方 法 实 现 了 97.88% 的 行 为 识 别 准 确 率 。 张
［67 ］
取 该 区 域 的 视 觉 特 征 ， 然 后 基 于 此 特 征 训 练 并 构 建
春 慧 等 基 于 羊 只 牧 食 的 三 轴 加 速 度 数 据 ， 利 用
行 为 识 别 网 络 模 型 。 当 前 常 用 的 模 型 有 YOLOv3 和
CNN 实 现 对 羊 只 采 食 、 咀 嚼 、 反 刍 3 种 牧 食 行 为 的
YOLOv4 等 。
分 类 识 别 ， 该 方 法 对 羊 只 牧 食 行 为 的 平 均 识 别 率 达
［71 ］
［68 ］
Kim 等 采 用 YOLOv3 、YOLOv4 和 改 进 YO‐
到 了 93.8% 。 郝 玉 胜 等 基 于 Wi-Fi 信 号 获 取 奶 牛
LOv3 对 猪 的 采 食 和 饮 水 行 为 进 行 识 别 分 类 ， 准 确
的 运 动 状 态 数 据 ， 通 过 数 据 处 理 得 到 包 含 奶 牛 动 作
率 普 遍 大 于 90% ， 但 猪 群 聚 集 引 起 重 叠 或 拥 挤 会 导
的 信 道 状 态 信 息 （Channel State Information ，CSI ）
［72 ］
致 行 为 检 测 失 败 是 一 个 研 究 难 点 。Jiang 等 通 过
序 列 片 段 ， 最 终 通 过 LSTM 模 型 构 建 奶 牛 行 为 识 别
［69 ］
YOLOv4 模 型 检 测 出 山 羊 目 标 区 域 ， 并 获 取 目 标 区
模 型 ， 识 别 准 确 率 为 96.67% 。Peng 等 采 用 惯 性
域 与 饮 水 和 采 食 区 的 位 置 关 系 信 息 以 及 质 心 的 时 间
测 量 单 元 获 取 牛 的 行 为 数 据 ， 并 采 用 具 有 长 短 期 记
移 动 量 ， 来 实 现 采 食 、 饮 水 、 活 动 以 及 非 活 动 行 为
忆 的 循 环 神 经 网 络 （Long Short Term Memory-Re‐
［73 ］
的 识 别 分 类 。 王 少 华 和 何 东 健 通 过 改 进 YO‐
current Neural Network ，LSTM-RNN ） 对 牛 的 八 种
LOv3 模 型 ， 获 取 奶 牛 发 情 时 爬 跨 行 为 的 视 觉 特 征 ，
行 为 进 行 分 类 ， 分 类 准 确 率 达 到 了 80% 以 上 。Hos‐
［70 ］
并 训 练 YOLOv3 网 络 实 现 了 奶 牛 的 发 情 行 为 检 测 ，
seininoorbin 等 通 过 包 含 三 轴 加 速 度 计 的 传 感 器
［74 ］
准 确 率 为 99.15% 。Wu 等 提 出 一 种 基 于 YOLOv3
获 取 肉 牛 的 颈 部 运 动 数 据 ， 并 结 合 深 度 学 习 技 术 实
模 型 和 相 对 步 长 特 征 向 量 对 瘸 腿 奶 牛 和 非 跛 脚 奶 牛
现 肉 牛 多 种 行 为 的 识 别 ， 其 中 2 分 类 的 F 值 为
1
进 行 分 类 的 方 法 ， 该 方 法 采 用 YOLOv3 模 型 提 取 奶
94.9% ，9 分 类 的 F 值 为 89.3% ， 说 明 将 深 度 学 习 技
1
牛 关 键 区 域 （ 如 腿 部 ， 头 部 ） 的 视 觉 特 征 并 训 练 检
术 用 于 分 析 传 感 器 数 据 是 可 行 有 效 的 。
测 网 络 模 型 ， 在 检 测 关 键 区 域 的 基 础 上 结 合 奶 牛 前
接 触 式 获 取 动 物 行 为 信 息 的 方 法 往 往 需 要 在 动
后 腿 的 相 对 步 长 构 建 特 征 向 量 ， 将 其 输 入 到 长 短 期
物 身 上 安 装 相 应 的 传 感 器 ， 可 能 导 致 动 物 产 生 应 激
记 忆 网 络 分 类 模 型 中 判 断 奶 牛 是 否 跛 行 ， 识 别 准 确
反 应 ， 影 响 动 物 健 康 和 福 利 。 此 外 ， 基 于 传 感 器 的
［75 ］
率 达 98.57% 。Ayadi 等 采 用 CNN 模 型 提 取 奶 牛
行 为 建 模 的 主 要 挑 战 之 一 是 ， 由 于 传 感 器 故 障 和 动
嘴 部 视 觉 特 征 ， 实 现 了 奶 牛 反 刍 行 为 的 检 测 和 识
物 项 圈 的 物 理 运 动 导 致 传 感 器 重 新 定 位 ， 从 而 造 成
别 ， 其 识 别 准 确 率 为 95% 。
数 据 的 丢 失 或 者 偏 差 。 此 外 ， 牛 场 养 殖 场 中 ， 通 信
然 而 ， 上 述 研 究 中 只 关 注 图 像 特 征 ， 而 不 关 注
信 号 偏 弱 ， 传 感 器 获 取 的 数 据 是 否 可 以 实 时 且 完 整
时 间 信 息 。 且 视 频 帧 或 图 像 中 特 征 提 取 时 易 受 到 外
地 上 传 到 云 端 需 要 实 际 测 试 ， 且 获 取 传 感 器 数 据 后
界 环 境 的 干 扰 （ 如 光 照 强 度 、 背 景 颜 色 、 建 筑 物
也 面 临 一 个 需 求 问 题 。 目 前 农 场 主 不 仅 仅 关 注 动 物
行 为 ， 而 且 更 加 关 注 动 物 健 康 问 题 ， 因 此 需 要 对 数 等 ） ， 故 基 于 生 物 视 觉 特 征 的 行 为 识 别 模 型 是 否 可
应 用 于 不 同 场 景 下 的 农 场 检 测 仍 需 要 进 一 步 探 索 。
据 进 一 步 细 化 ， 以 达 到 对 饲 养 员 的 指 导 作 用 ， 但 这
4.2.2 　 基 于 时 空 特 征 的 行 为 识 别 研 究 　
需 要 大 量 的 数 据 积 累 。
动 物 行 为 是 一 个 运 动 的 连 续 过 程 ， 除 了 空 间 信
4.2 　 非 接 触 式 动 物 行 为 识 别 方 法 　
息 外 还 包 含 时 间 信 息 ， 故 提 取 动 物 行 为 的 时 序 特 征
［76 ］
目 前 ， 非 接 触 式 动 物 行 为 识 别 方 法 常 通 过 计 算 对 行 为 识 别 有 着 重 要 意 义 。Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 59
［77 ］ ［87 ］
Chen 等 提 出 了 Xception 和 LSTM 相 结 合 的 评 估 动 物 行 为 与 环 境 间 的 相 关 性 研 究 中 。Guo 等
行 为 识 别 模 型 ， 通 过 Xception 提 取 图 像 序 列 的 空 间 采 用 背 景 减 法 和 帧 间 差 的 集 成 方 法 对 犊 牛 与 场 景 的
特 征 ， 并 输 入 LSTM 中 进 一 步 提 取 时 空 特 征 ， 通 过 交 互 行 为 进 行 了 检 测 ， 实 现 犊 牛 采 食 、 饮 水 和 休 息
［78 ］
Softmax 实 现 猪 的 饮 水 行 为 检 测 。Guo 等 和 Qiao 行 为 等 与 场 景 交 互 行 为 的 识 别 。 试 验 结 果 表 明 ， 该
［79 ］
等 分 别 构 建 了 基 于 BiGRU-attention 和 C3D-Con‐ 方 法 对 于 牛 进 入 牛 栏 、 离 开 牛 栏 、 保 持 静 止 （ 站 和
vLSTM 的 奶 牛 典 型 行 为 识 别 模 型 ， 在 提 取 奶 牛 行 躺 等 静 态 行 为 ） 和 转 身 的 环 境 交 互 行 为 识 别 的 准 确
为 视 频 段 的 时 序 特 征 基 础 上 对 奶 牛 的 行 走 、 站 立 、 率 分 别 为 94.38% 、 92.86% 、 96.85% 和 93.51% 。
［88 ］
梳 理 、 探 索 以 及 采 食 行 为 进 行 了 识 别 ， 并 在 不 同 生 Costa 等 通 过 图 像 分 析 技 术 探 索 猪 的 活 动 与 猪 舍
长 阶 段 的 奶 牛 数 据 集 上 进 行 了 验 证 ， 试 验 结 果 表 内 环 境 参 数 （ 通 风 率 、 温 度 和 湿 度 ） 之 间 的 关 系 ，
［89 ］
明 ， BiGRU-attention 和 C3D-ConvLSTM 识 别 准 确 旨 在 研 究 环 境 对 猪 生 长 的 影 响 。 Chen 等 在
［80 ］
率 分 别 约 为 82% 和 95.5% 。Jiang 等 采 用 单 流 光 CNN-LSTM 检 测 猪 的 目 标 区 域 的 基 础 上 ， 提 出 了
流 卷 积 网 络 ， 对 奶 牛 跛 行 行 为 进 行 了 检 测 ， 准 确 率 一 种 基 于 最 大 熵 分 割 、HSV 颜 色 空 间 变 换 和 模 板 匹
［81 ］
为 98.24% 。Wu 等 采 用 CNN-LSTM 网 络 模 型 ， 配 的 图 像 处 理 算 法 ， 计 算 猪 头 部 的 圆 度 、 头 部 进 采
对 奶 牛 的 饮 水 、 反 刍 、 行 走 、 站 立 和 休 息 5 种 行 为 食 区 域 的 比 例 、 头 部 运 动 的 累 积 像 素 ， 以 及 头 部 到
进 行 了 识 别 ， 首 先 通 过 CNN 网 络 获 取 图 像 的 视 觉 猪 背 上 数 字 标 签 的 距 离 ， 以 确 定 每 头 猪 的 身 份 和 喂
特 征 ， 再 通 过 LSTM 来 获 取 时 空 特 征 ， 其 结 果 优 于 食 时 间 ， 识 别 猪 喂 养 行 为 的 准 确 率 为 95.9% 。
其 他 基 于 视 觉 特 征 或 者 空 间 特 征 的 深 度 学 习 模 型 。 如 上 研 究 ， 计 算 机 视 觉 技 术 在 评 估 动 物 行 为 与
上 述 深 度 学 习 提 取 行 为 识 别 时 空 特 征 的 研 究 结 环 境 间 的 相 关 性 方 面 取 得 了 较 好 的 成 果 。 然 而 ， 在
果 表 明 ， 大 部 分 研 究 是 通 过 将 CNN 模 型 与 LSTM 识 别 动 物 与 环 境 交 互 的 行 为 中 仍 然 存 在 许 多 难 以 识
模 型 结 合 提 取 数 据 的 时 空 特 征 ， 以 此 提 升 行 为 识 别 别 和 识 别 错 误 的 问 题 。 例 如 ， 小 牛 头 部 在 进 食 前 后
模 型 的 性 能 。 然 而 ， 在 目 前 的 研 究 中 仍 然 存 在 相 似 在 喂 养 盆 中 静 止 不 动 ， 或 者 小 牛 头 部 的 阴 影 被 错 误
性 行 为 （ 如 饮 水 和 游 戏 ） 识 别 错 误 的 现 象 。 因 此 ， 地 识 别 为 喂 养 行 为 。 且 深 度 学 习 技 术 在 该 方 面 的 应
基 于 时 空 特 征 的 行 为 识 别 研 究 仍 需 要 进 一 步 研 究 。 用 较 少 ， 仍 需 结 合 实 际 需 求 进 一 步 探 索 。
4.3 　 行 为 量 化 分 析 　 4.4 　 小 结 　
当 前 对 动 物 行 为 的 研 究 缺 乏 定 量 分 析 （ 采 食 频 深 度 学 习 方 法 用 于 动 物 行 为 识 别 面 临 着 两 个 主
率 、 运 动 时 长 、 反 刍 时 长 等 ） ， 而 分 析 动 物 与 其 周 要 挑 战 。 首 先 ， 深 度 学 习 模 型 的 训 练 需 要 大 数 据
围 环 境 的 语 义 关 系 场 景 图 ， 对 家 畜 站 立 、 进 食 、 行 集 ， 而 基 于 深 度 学 习 的 识 别 方 法 在 推 广 到 新 的 数 据
走 及 爬 跨 等 不 同 行 为 在 时 空 域 下 进 行 统 计 和 量 化 分 集 或 其 他 类 型 的 动 物 时 往 往 存 在 局 限 性 。 另 外 ， 现
析 ， 构 建 行 为 图 谱 ， 可 为 动 物 异 常 行 为 判 断 以 及 精 有 的 动 物 行 为 识 别 缺 少 时 间 维 度 、 空 间 场 景 信 息 及
准 养 殖 管 理 提 供 科 学 依 据 。 在 检 测 动 物 行 为 的 基 础 动 物 与 环 境 交 互 活 动 的 分 析 ， 难 以 实 现 高 级 复 杂 行
上 ， 进 一 步 对 行 为 的 时 长 、 幅 度 等 进 行 量 化 研 究 有 为 的 语 义 理 解 和 分 析 ， 需 建 立 动 物 时 空 场 景 行 为 识
利 于 提 高 对 动 物 畜 牧 场 的 管 理 效 率 ， 提 高 效 益 ， 比 别 与 理 解 的 新 理 论 方 法 。 目 前 采 用 深 度 学 习 技 术 在
如 影 响 动 物 的 采 食 、 饮 水 或 休 息 行 为 的 外 界 因 素 等 检 测 和 识 别 动 物 行 为 的 基 础 上 ， 进 一 步 挖 掘 行 为 时
的 研 究 ， 有 利 于 对 动 物 活 动 规 律 的 认 知 ， 改 善 管 理 长 或 频 次 信 息 的 研 究 仍 比 较 缺 乏 ， 需 要 进 一 步 探
决 策 。 目 前 主 要 通 过 改 变 饲 料 、 光 照 、 温 度 、 垫 料 索 。 此 外 ， 微 小 行 为 的 检 测 和 识 别 也 面 临 着 一 些 挑
［82-84 ］
等 因 素 定 性 分 析 对 动 物 行 为 的 影 响 ， 以 此 为 动 战 ， 例 如 复 杂 的 场 景 、 可 变 光 照 、 遮 挡 、 牲 畜 之 间
物 提 供 舒 适 场 所 提 高 动 物 福 利 。 然 而 ， 大 多 数 研 究 的 接 触 和 重 叠 ， 而 深 度 学 习 技 术 结 合 注 意 力 机 制 模
［85, 86 ］
主 要 通 过 人 工 观 察 记 录 动 物 的 行 为 变 化 情 况 。 块 已 被 证 明 在 一 定 程 度 上 解 决 了 局 部 细 节 的 辨 识 问
随 着 计 算 机 视 觉 技 术 的 发 展 ， 该 技 术 也 被 用 于 题 ， 并 被 用 于 识 别 牲 畜 行 为 ， 但 无 法 记 录 环 境 变60 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
量 ， 仍 需 与 传 感 器 相 结 合 构 建 一 套 完 整 的 监 测 系 平 。 其 中 ， 智 能 装 备 用 于 畜 牧 生 产 ， 根 据 不 同 的 需
统 。 环 境 参 数 的 调 控 有 利 于 为 动 物 提 供 舒 适 场 所 ， 求 ， 智 能 装 备 存 在 多 样 性 ， 智 能 装 备 精 细 化 作 业 也
提 高 动 物 健 康 福 利 ， 故 对 环 境 参 数 与 行 为 的 量 化 关 是 智 慧 畜 牧 面 临 的 挑 战 之 一 。
（3 ） 大 数 据 、 深 度 学 习 技 术 与 畜 牧 养 殖 的 深 度
系 研 究 具 有 重 大 意 义 。
融 合 。 随 着 深 度 学 习 、 物 联 网 、 传 感 器 技 术 的 发
5 挑 战 与 展 望
展 ， 获 取 动 物 信 息 数 据 的 数 量 和 质 量 都 有 较 大 的 提
高 。 制 定 统 一 、 高 效 的 畜 牧 行 业 数 据 标 准 ， 增 强 数
规 模 化 、 标 准 化 、 智 能 精 准 化 健 康 养 殖 与 管 理
据 的 安 全 性 和 可 维 护 性 ， 结 合 深 度 学 习 和 智 能 计 算
是 畜 牧 养 殖 大 势 所 趋 。 近 年 来 虽 然 规 模 化 、 标 准 化
对 大 数 据 进 行 数 据 分 析 和 处 理 ， 并 将 智 能 化 技 术 应
养 殖 快 速 提 升 ， 但 中 国 大 多 数 牛 场 智 能 精 细 化 管 理
用 到 疾 病 防 控 、 精 准 饲 喂 、 环 境 控 制 以 及 良 品 选 育
水 平 仍 处 于 初 级 阶 段 ， 整 体 信 息 化 、 自 动 化 程 度 不
等 重 大 核 心 问 题 ， 将 对 智 慧 畜 牧 业 的 发 展 有 重 大 推
高 。 深 度 学 习 技 术 与 畜 牧 业 相 结 合 ， 能 够 加 强 畜 牧
动 作 用 。 而 数 据 采 集 设 备 的 布 局 、 数 据 的 实 时 传 输
养 殖 过 程 中 远 程 信 息 感 知 能 力 ， 获 取 动 物 生 长 状 况
通 信 、 算 法 高 效 精 准 的 性 能 以 及 监 测 结 果 如 何 与 动
和 养 殖 环 境 信 息 ， 实 时 监 测 动 物 健 康 情 况 ， 从 而 对
物 健 康 信 息 关 联 具 有 挑 战 性 。
动 物 进 行 精 准 化 管 理 。 畜 牧 业 养 殖 涉 及 环 境 监 测 、
（4 ） 以 深 度 学 习 模 型 为 代 表 的 人 工 智 能 技 术 在
设 施 布 局 、 信 息 采 集 和 传 输 ， 营 养 供 给 ， 以 及 动 物
养 殖 领 域 面 临 的 可 解 释 性 和 安 全 性 挑 战 。 可 解 释 性
生 理 和 心 理 变 化 的 感 知 等 ， 深 度 学 习 模 型 已 向 轻 量
是 指 模 型 从 数 据 中 学 到 了 哪 些 知 识 （ 以 人 类 可 以 理
化 结 构 发 展 ， 在 占 用 较 少 的 存 储 空 间 的 同 时 ， 实 现
解 的 方 式 表 达 的 ） 从 而 产 生 了 最 终 的 决 策 ， 以 及 基
高 效 高 精 度 的 信 息 处 理 。 目 前 相 关 研 究 中 ， 深 度 学
于 哪 些 因 素 进 行 的 判 断 和 如 何 进 行 最 终 决 策 。 然 而
习 技 术 已 被 用 于 动 物 目 标 检 测 、 个 体 识 别 、 体 况 评
这 种 “ 端 到 端 ” 的 决 策 模 式 导 致 深 度 学 习 模 型 的 解
价 、 体 重 估 计 、 行 为 检 测 等 任 务 中 。 然 而 ， 深 度 学
释 性 极 弱 。 这 也 是 为 什 么 在 深 度 学 习 准 确 率 这 么 高
习 在 模 型 轻 量 化 、 泛 化 性 以 及 与 机 械 装 备 、 机 器 人
的 情 况 下 ， 仍 然 有 一 大 部 分 人 倾 向 于 应 用 可 解 释 性
等 智 能 装 备 相 结 合 等 方 面 仍 需 进 一 步 发 展 ， 以 满 足
高 的 传 统 统 计 学 模 型 的 原 因 。 安 全 性 方 面 是 指 以 深
实 际 饲 养 和 管 理 需 求 ， 具 体 主 要 面 临 的 挑 战 如 下 ：
度 神 经 网 络 为 代 表 的 人 工 智 能 技 术 由 于 其 算 法 复
（1 ） 深 度 学 习 模 型 往 往 依 赖 大 量 带 有 标 记 的 数
杂 ， 参 数 众 多 ， 需 海 量 数 据 驱 动 等 特 性 使 得 其 自 身
据 样 本 ， 在 推 广 到 新 的 数 据 集 或 其 他 类 型 的 动 物 时
具 有 众 多 安 全 缺 陷 。 随 着 智 慧 畜 牧 的 发 展 ， 人 工 智
往 往 存 在 局 限 性 ， 且 在 复 杂 的 饲 养 环 境 下 ， 对 家 畜
能 技 术 的 广 泛 推 广 ， 其 与 养 殖 产 业 管 理 与 经 济 密 切
图 像 和 视 频 数 据 的 标 记 费 时 耗 力 （ 如 对 动 物 体 况 评
相 关 ， 而 这 些 安 全 隐 患 很 可 能 在 某 个 节 点 彻 底 爆
分 以 及 微 小 行 为 变 化 标 记 等 ） 。 如 何 结 合 半 监 督 或
发 。 所 以 ， 对 人 工 智 能 技 术 的 安 全 性 研 究 变 得 尤 为
者 少 样 本 学 习 来 提 高 深 度 学 习 模 型 的 泛 化 能 力 ， 实
重 要 。
现 对 家 畜 生 理 生 境 的 感 知 和 分 析 ， 构 建 实 时 全 天 候
综 上 ， 深 度 学 习 技 术 已 逐 渐 被 应 用 到 家 畜 自 动
的 智 能 监 测 和 分 析 系 统 仍 有 挑 战 性 。 目 前 常 采 用 图
识 别 和 健 康 监 测 等 任 务 ， 但 实 现 实 时 监 测 以 及 多 场
像 增 强 的 方 法 进 行 风 格 迁 移 、 图 像 生 成 来 实 现 样 本
景 下 的 应 用 仍 需 进 一 步 优 化 监 测 模 型 。 另 外 ， 许 多
扩 充 ， 但 与 真 实 饲 养 环 境 仍 有 差 异 。 此 外 ， 基 于 少
实 际 应 用 环 境 下 的 挑 战 仍 需 不 断 克 服 ， 比 如 不 同 生
样 本 的 研 究 是 否 可 应 用 到 畜 牧 养 殖 中 仍 需 进 一 步
长 阶 段 、 不 同 动 物 品 种 下 模 型 的 泛 化 性 能 和 鲁 棒 性
探 索 。
等 。 为 了 促 进 畜 牧 业 的 发 展 ， 必 将 结 合 畜 牧 实 际 的
（2 ） 人 、 装 备 和 养 殖 动 物 这 三 者 的 统 一 协 作 及
饲 养 模 式 、 空 间 布 局 、 管 理 模 式 、 生 产 预 期 等 ， 从
和 谐 发 展 。 智 能 装 备 应 用 于 畜 牧 业 中 ， 可 以 提 高 生
实 际 情 况 出 发 开 发 构 建 智 能 化 监 测 系 统 ， 才 能 推 动
产 效 率 ， 解 放 劳 动 力 ， 但 在 保 障 动 物 福 利 同 时 便 于
畜 牧 业 的 发 展 。
畜 牧 养 殖 人 员 操 作 管 理 仍 需 不 断 进 行 理 论 与 实 践 的
探 索 ， 才 能 最 终 从 整 体 上 提 高 养 殖 效 率 和 管 理 水 利 益 冲 突 声 明 ： 本 研 究 不 存 在 研 究 者 以 及 与 公 开Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 61
[10] KARIM F, MAJUMDAR S, DARABI H, et al. Multivari‐
研 究 成 果 有 关 的 利 益 冲 突 。
ate LSTM-FCNs for time series classification[J]. Neural
networks, 2019, 116: 237-245.
参 参 考 考 文 文 献 献 ：
[11] LI W J, QI F, TANG M, et al. Bidirectional LSTM with
[ 1 ] QIAO Y L, KONG H, CLARK C, et al. Intelligent percep‐
self-attention mechanism and multi-channel features for
tion for cattle monitoring: A review for cattle identifica‐
sentiment classification[J]. Neurocomputing, 2020, 387:
tion, body condition score evaluation, and weight estima‐
63-77.
tion[J]. Computers and electronics in agriculture, 2021,
[12] LIU J, YANG Y H, LYU S Q, et al. Attention-based BiG‐
185: ID 106143.
RU-CNN for Chinese question classification[J]. Journal
[ 2 ] 何 东 健, 刘 冬, 赵 凯 旋 . 精 准 畜 牧 业 中 动 物 信 息 智 能 感 知
of ambient intelligence and humanized computing, 2019:
与 行 为 检 测 研 究 进 展[J]. 农 业 机 械 学 报, 2016, 47(5):
1-12.
231-244.
[13] AWAD A I. From classical methods to animal biometrics:
HE D J, LIU D, ZHAO K X. Review of perceiving animal
A review on cattle identification and tracking[J]. Comput‐
information and behavior in precision livestock farm‐
ers and electronics in agriculture, 2016, 123: 423-435.
ing[J]. Transactions of the Chinese society for agricultural
[14] KAIXUAN Z, DONGJIAN H. Target detection method
machinery, 2016, 47(5): 231-244.
for moving cows based on background subtraction[J]. In‐
[ 3 ] 秦 箐, 刘 志 红, 赵 存, 等 . 机 器 视 觉 技 术 在 畜 牧 业 中 的 应
ternational journal of agricultural and biological engineer‐
用[J]. 农 业 工 程, 2021, 11(7): 27-33.
ing, 2015, 8(1): 42-49.
QIN Q, LIU Z H, ZHAO C, et al. Application of machine
[15] 刘 生 智, 李 春 蓉, 刘 同 金, 等 . 基 于 YOLO V3 模 型 的 奶 牛
vision technology in livestock and poultry[J]. Agricultural
目 标 检 测[J]. 塔 里 木 大 学 学 报, 2019, 31(2): 85-90.
engineering, 2021, 11(7): 27-33.
LIU S Z, LI C R, LIU T J, et al. Detection of dairy cows
[ 4 ] CHEN C, ZHU W X, NORTON T. Behaviour recognition
based on YOLOv3 model[J]. Journal of tarim university,
of pigs and cattle: Journey from computer vision to deep
2019, 31(2): 85-90.
learning[J]. Computers and electronics in agriculture,
[16] THARWAT A, GABER T, HASSANIEN A E. Cattle iden‐
2021, 187: ID 106255.
tification based on muzzle images using Gabor features
[ 5 ] ZIN T T, PHYO C N, TIN P, et al. Image technology
and SVM classifier[C]// International conference on ad‐
based cow identification system using deep learning[C]//
vanced machine learning technologies and applications.
International Multi Conference of Engineers and Comput‐
Cham, German: Springer, 2014: 236-247.
er Scientists. Piscataway, NJ, USA: IEEE, 2018
[17] KIM H T, IKEDA Y, CHOI H L. The identification of Jap‐
[ 6 ] 李 丹, 张 凯 锋, 李 行 健, 等 . 基 于 Mask R-CNN 的 猪 只 爬
anese black cattle by their faces[J]. Asian-australasian
跨 行 为 识 别 [J]. 农 业 机 械 学 报 , 2019, 50(S1): 261-
journal of animal sciences, 2005, 18(6): 868-872.
266, 275.
[18] KUMAR S, SINGH S K, SINGH R, et al. Recognition of
LI D, ZHANG K F, LI X J, et al. Mounting behavior rec‐
cattle using face images[M]// Animal biometrics. Singa‐
ognition for pigs based on mask R-CNN[J]. Transactions pore: Springer, 2017: 79-110.
of the Chinese society for agricultural machinery, 2019, 50
[19] 李 向 宇, 李 慧 盈 . 基 于 卷 积 神 经 网 络 的 猪 脸 特 征 点 检 测
(S1): 261-266, 275. 方 法[J]. 吉 林 大 学 学 报( 理 学 版), 2022, 60(3): 609-616.
[ 7 ] CHENG M, YUAN H B, WANG Q F, et al. Application of LI X Y, LI H Y. Feature point detection method of pig face
deep learning in sheep behaviors recognition and influ‐
based on convolutional neural network[J]. Journal of Jilin
ence analysis of training data characteristics on the recog‐ university (science edition), 2022, 60(3): 609-616.
nition effect[J]. Computers and electronics in agriculture, [20] ANDREW W, HANNUNA S, CAMPBELL N, et al. Auto‐
2022, 198: ID 107010.
matic individual Holstein Friesian cattle identification via
[ 8 ] SONG S, LIU T H, WANG H, et al. Using pruning-based selective local coat pattern matching in RGB-D imag‐
YOLOv3 deep learning algorithm for accurate detection ery[C]// 2016 IEEE International Conference on Image
of sheep face[J]. Animals: An open access journal from
Processing (ICIP). Piscataway, NJ, USA: IEEE, 2016:
MDPI, 2022, 12(11): ID 1465. 484-488.
[ 9 ] DENG Z W, VAHDAT A, HU H X, et al. Structure infer‐ [21] 何 屿 彤, 李 斌, 张 锋, 等. 基 于 改 进YOLOv3 的 猪 脸 识 别[J].
ence machines: Recurrent neural networks for analyzing
中 国 农 业 大 学 学 报, 2021, 26(3): 53-62.
relations in group activity recognition[C]// IEEE Confer‐ HE Y T, LI B, ZHANG F, et al. Pig face recognition based
ence on Computer Vision and Pattern Recognition. Piscat‐ on improved YOLOv3[J]. Journal of China agricultural
away, NJ, USA: IEEE, 2016: 4772-4781. university, 2021, 26(3): 53-62.62 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
[22] 魏 斌, MASUM BILLAH, 王 美 丽, 等 . 基 于 深 度 学 习 的 术 应 用 研 究 现 状 与 发 展 趋 势[J]. 智 慧 农 业, 2019, 1(1):
羊 脸 检 测 与 识 别 方 法[J]. 家 畜 生 态 学 报, 2022, 43(3): 20-31.
47-50. ZHAO Y G, YANG L, ZHENG S S, et al. Advances in the
WEI B, BILLAH M, WANG M L, et al. Method of goat development and applications of intelligent equipment
face detection and recognition based on deep learning[J]. and feeding technology for livestock production[J]. Smart
Journal of domestic animal ecology, 2022, 43(3): 47-50. agriculture, 2019, 1(1): 20-31.
[23] XUE H, QIN J, QUAN C, et al. Open set sheep face rec‐ [35] BAHLO C, DAHLHAUS P, THOMPSON H, et al. The
ognition based on euclidean space metric[J]. Mathemati‐ role of interoperable data standards in precision livestock
cal problems in engineering 2021, 2021: 1-5. farming in extensive livestock systems: A review[J]. Com‐
[24] LI X P, DU J Z, YANG J L, et al. When Mobilenetv2 puters and electronics in agriculture, 2019, 156: 459-466.
meets transformer: A balanced sheep face recognition [36] CAM M A, OLFAZ M, SOYDAN E. Body measurements
model[J]. Agriculture, 2022, 12(8): ID 1126. reflect body weights and carcass yields in Karayaka
[25] KUMAR S, PANDEY A, SATWIK KSAI RAM, et al. sheep[J]. Asian journal of animal and veterinary advances,
Deep learning framework for recognition of cattle using 2010, 5(2): 120-127.
muzzle point image pattern[J]. Measurement, 2018, 116: [37] DOHMEN R, CATAL C, LIU Q Z. Computer vision-
1-17. based weight estimation of livestock: A systematic litera‐
[26] QIAO Y, SU D, KONG H, et al. Individual cattle identifi‐ ture review[J]. New Zealand journal of agricultural re‐
cation using a deep learning based framework [J]. IFAC- search, 2022, 65(2/3): 227-247.
PapersOnLine, 2019, 52(30): 318-323. [38] BELL M J, MAAK M, SORLEY M, et al. Comparison of
[27] 何 东 健, 刘 建 敏, 熊 虹 婷, 等 . 基 于 改 进 YOLOv3 模 型 的 methods for monitoring the body condition of dairy
挤 奶 奶 牛 个 体 识 别 方 法[J]. 农 业 机 械 学 报, 2020, 51(4): cows[J]. Frontiers in sustainable food systems, 2018, 2:
250-260. ID 80.
HE D J, LIU J M, XIONG H T, et al. Individual identifica‐ [39] SALAU J, HAAS J H, JUNGE W, et al. Feasibility of au‐
tion of dairy cows based on improved YOLOv3[J]. Trans‐ tomated body trait determination using the SR4K time-of-
actions of the Chinese society for agricultural machinery, flight camera in cow barns[J]. SpringerPlus, 2014, 3:
2020, 51(4): 250-260. ID 225.
[28] HU H Q, DAI B S, SHEN W Z, et al. Cow identification [40] HALACHMI I, KLOP?I? M, POLAK P, et al. Automatic
based on fusion of deep parts features[J]. Biosystems engi‐ assessment of dairy cattle body condition score using ther‐
neering, 2020, 192: 245-256. mal imaging[J]. Computers and electronics in agriculture,
[29] JIANG B, WU Q, YIN X Q, et al. FLYOLOv3 deep learn‐ 2013, 99: 35-40.
ing for key parts of dairy cow body detection[J]. Comput‐ [41] LYNN N C, KYU Z M, ZIN T T, et al. Estimating body
ers and electronics in agriculture, 2019, 166: ID 104982. condition score of cows from images with the newly de‐
[30] HODGSON J C, MOTT R, BAYLIS S M, et al. Drones veloped approach[C]// 2017 18th IEEE/ACIS Internation‐
count wildlife more accurately and precisely than hu‐ al Conference on Software Engineering, Artificial Intelli‐
mans[J]. Methods in ecology and evolution, 2018, 9(5): gence, Networking and Parallel/Distributed Computing
1160-1167. (SNPD). Piscataway, NJ, USA: IEEE, 2017: 91-94.
[31] ANDREW W, GREATWOOD C, BURGHARDT T. Visu‐ [42] 吴 宇 峰, 李 一 鸣, 赵 远 洋, 等 . 基 于 计 算 机 视 觉 的 奶 牛 体
al localisation and individual identification of Holstein 况 评 分 研 究 综 述 [J]. 农 业 机 械 学 报 , 2021, 52(S1):
Friesian cattle via deep learning[C]// 2017 IEEE Interna‐ 268-275.
tional Conference on Computer Vision Workshops (IC‐ WU Y F, LI Y M, ZHAO Y Y, et al. Review of research on
CVW). Piscataway, NJ, USA: IEEE, 2018: 2850-2859. body condition score for dairy cows based on computer vi‐
[32] SHAO W, KAWAKAMI R, YOSHIHASHI R, et al. Cattle sion[J]. Transactions of the Chinese society for agricultur‐
detection and counting in UAV images based on convolu‐ al machinery, 2021, 52(S1): 268-275.
tional neural networks[J]. International journal of remote [43] TEDIN R, BECERRA J A, DURO R J, et al. Towards au‐
sensing, 2020, 41(1): 31-52. tomatic estimation of the body condition score of dairy
[33] BARBEDO J G A, KOENIGKAN L V, SANTOS P M, et cattle using hand-held images and active shape mod‐
al. Counting cattle in UAV images —Dealing with clus‐ els[M]// Advances in Knowledge-Based and Intelligent In‐
tered animals and animal/background contrast changes[J]. formation and Engineering Systems. Amsterdam: IOS
Sensors, 2020, 20(7): ID 2126. Press, 2012: 2150-2159.
[34] 赵 一 广, 杨 亮, 郑 姗 姗, 等 . 家 畜 智 能 养 殖 设 备 和 饲 喂 技 [44] SPOLIANSKY R, EDAN Y, PARMET Y, et al. Develop‐Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 63
ment of automatic body condition scoring using a low- ters, 2018, 3(3): 2032-2039.
cost 3-Dimensional Kinect camera[J]. Journal of dairy sci‐ [56] PEZZUOLO A, GUARINO M, SARTORI L, et al. On-
ence, 2016, 99(9): 7714-7725. barn pig weight estimation based on body measurements
[45] SUN Y K, HUO P J, WANG Y J, et al. Automatic monitor‐ by a Kinect v1 depth camera[J]. Computers and electron‐
ing system for individual dairy cows based on a deep ics in agriculture, 2018, 148: 29-36.
learning framework that provides identification via body [57] 张 建 龙, 冀 横 溢, 滕 光 辉 . 基 于 深 度 卷 积 网 络 的 育 肥 猪 体
parts and estimation of body condition score[J]. Journal of 重 估 测[J]. 中 国 农 业 大 学 学 报, 2021, 26(8): 111-119.
dairy science, 2019, 102(11): 10140-10151. ZHANG J L, JI H Y, TENG G H. Weight estimation of fat‐
[46] 孔 商 羽, 陈 春 雨 . 基 于 多 任 务 学 习 的 猪 只 体 重 和 体 况 评 tening pigs based on deep convolutional network[J]. Jour‐
分 预 测[J]. 黑 龙 江 大 学 工 程 学 报, 2022, 13(2): 70-77. nal of China agricultural university, 2021, 26(8): 111-119.
KONG S Y, CHEN C Y. Multi-tasking learning on predic‐ [58] ZHANG J L, ZHUANG Y R, JI H Y, et al. Pig weight and
tion of pig weight and body condition score[J]. Journal of body size estimation using a multiple output regression
engineering of Heilongjiang university, 2022, 13(2): convolutional neural network: A fast and fully automatic
70-77. method[J]. Sensors, 2021, 21(9): ID 3218.
[47] ?EVIK K K, MUSTAFA B. Body condition score (BCS) [59] RUCHAY A, DOROFEEV K, KALSCHIKOV V, et al.
segmentation and classification in dairy cows using R- Live weight prediction of cattle using deep image regres‐
CNN deep learning architecture[J]. Avrupa bilim ve sion[C]// 2021 IEEE International Workshop on Metrolo‐
teknoloji dergisi, 2019(17): 1248-1255. gy for Agriculture and Forestry (MetroAgriFor). Piscat‐
[48] LI X R, HU Z L, HUANG X P, et al. Cow body condition away, NJ, USA: IEEE, 2021: 32-36.
score estimation with convolutional neural networks[C]// [60] GJERGJI M, DE MORAES WEBER V, SILVA L O C, et
2019 IEEE 4th International Conference on Image, Vision al. Deep learning techniques for beef cattle body weight
and Computing (ICIVC). Piscataway, NJ, USA: IEEE, prediction[C]// 2020 International Joint Conference on
2020: 433-437. Neural Networks (IJCNN). Piscataway, NJ, USA: IEEE,
[49] HUANG X P, HU Z L, WANG X R, et al. An improved 2020.
single shot multibox detector method applied in body con‐ [61] DOHMEN R, CATAL C, LIU Q Z. Image-based body
dition score for dairy cows[J]. Animals: An open access mass prediction of heifers using deep neural networks[J].
journal from MDPI, 2019, 9(7): ID 470. Biosystems engineering, 2021, 204: 283-293.
[50] ALVAREZ J R, ARROQUI M, MANGUDO P, et al. Esti‐ [62] ACHOUR B, BELKADI M, FILALI I, et al. Image analy‐
mating body condition score in dairy cows from depth im‐ sis for individual identification and feeding behaviour
ages using convolutional neural networks, transfer learn‐ monitoring of dairy cows based on Convolutional Neural
ing and model ensembling techniques[J]. Agronomy, Networks (CNN) [J]. Biosystems engineering, 2020, 198:
2019, 9(2): ID 90. 31-49.
[51] DICKINSON R A, MORTON J M, BEGGS D S, et al. An [63] ANDRIAMANDROSO A L H, LEBEAU F, BECKERS
automated walk-over weighing system as a tool for mea‐ Y, et al. Development of an open-source algorithm based
suring liveweight change in lactating dairy cows[J]. Jour‐ on inertial measurement units (IMU) of a smartphone to
nal of dairy science, 2013, 96(7): 4477-4486. detect cattle grass intake and ruminating behaviors[J].
[52] TUYTTENS F A M. The importance of straw for pig and Computers and electronics in agriculture, 2017, 139:
cattle welfare: A review[J]. Applied animal behaviour sci‐ 126-137.
ence, 2005, 92(3): 261-282. [64] 王 政, 宋 怀 波, 王 云 飞, 等 . 奶 牛 运 动 行 为 智 能 监 测 研 究
[53] KASHIHA M, BAHR C, OTT S, et al. Automatic weight 进 展 与 技 术 趋 势 [J]. 智 慧 农 业 ( 中 英 文), 2022, 4(2):
estimation of individual pigs using image analysis[J]. 36-52.
Computers and electronics in agriculture, 2014, 107: WANG Z, SONG H B, WANG Y F, et al. Research prog‐
38-44. ress and technology trend of intelligent morning of dairy
[54] HANSEN M F, SMITH M L, SMITH L N, et al. Automat‐ cow motion behavior[J]. Smart agriculture, 2022, 4(2):
ed monitoring of dairy cow body condition, mobility and 36-52.
weight using a single 3D video capture device[J]. Comput‐ [65] WANG K, WU P, CUI H M, et al. Identification and clas‐
ers in industry, 2018, 98: 14-22. sification for sheep foraging behavior based on acoustic
[55] ZHU A Z, THAKUR D, ?ZASLAN T, et al. The multive‐ signal and deep learning[J]. Computers and electronics in
hicle stereo event camera dataset: An event camera dataset agriculture, 2021, 187: ID 106275.
for 3D perception[J]. IEEE robotics and automation let‐ [66] 应 烨 伟, 曾 松 伟, 赵 阿 勇, 等 . 基 于 颈 环 采 集 节 点 的 母 羊64 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 1
产 前 行 为 识 别 方 法 [J]. 农 业 工 程 学 报 , 2020, 36(21): ing Smart Networks. Berlin, German: Springer, 2020:
210-219. 123-139.
YING Y W, ZENG S W, ZHAO A Y, et al. Recognition [76] FUENTES A, YOON S, PARK J, et al. Deep learning-
method for prenatal behavior of ewes based on the acquisi‐ based hierarchical cattle behavior recognition with spatio-
tion nodes of the collar[J]. Transactions of the Chinese so‐ temporal information[J]. Computers and Electronics in
ciety of agricultural engineering, 2020, 36(21): 210-219. Agriculture, 2020, 177: ID 105627.
[67] 张 春 慧, 宣 传 忠, 于 文 波, 等 . 基 于 三 轴 加 速 度 传 感 器 的 [77] CHEN C, ZHU W X, STEIBEL J, et al. Classification of
放 牧 羊 只 牧 食 行 为 研 究 [J]. 农 业 机 械 学 报 , 2021, 52 drinking and drinker-playing in pigs by a video-based
(10): 307-313. deep learning method[J]. Biosystems Engineering, 2020,
ZHANG C H, XUAN C Z, YU W B, et al. Grazing behav‐ 196: 1-14.
ior of herding sheep based on three-axis acceleration sen‐ [78] GUO Y Y, QIAO Y L, SUKKARIEH S, et al. BiGRU-at‐
sor[J]. Transactions of the Chinese society for agricultural tention based cow behavior classification using video data
machinery, 2021, 52(10): 307-313. for precision livestock farming[J]. Transactions of the AS‐
[68] 郝 玉 胜, 林 强, 王 维 兰, 等 . 基 于 Wi-Fi 无 线 感 知 技 术 的 ABE, 2021, 64(6): 1823-1833.
奶 牛 爬 跨 行 为 识 别 [J]. 农 业 工 程 学 报 , 2020, 36(19): [79] QIAO Y L, GUO Y Y, YU K P, et al. C3D-ConvLSTM
168-176. based cow behaviour classification using video data for
HAO Y S, LIN Q, WANG W L, et al. Recognition of precision livestock farming[J]. Computers and electronics
crawling behavior of dairy cows using Wi-Fi wireless in agriculture, 2022, 193: ID 106650.
sensing technology[J]. Transactions of the Chinese society [80] JIANG B, YIN X Q, SONG H B. Single-stream long-term
of agricultural engineering, 2020, 36(19): 168-176. optical flow convolution network for action recognition of
[69] PENG Y Q, KONDO N, FUJIURA T, et al. Classification lameness dairy cow[J]. Computers and electronics in agri‐
of multiple cattle behavior patterns using a recurrent neu‐ culture, 2020, 175: ID 105536.
ral network with long short-term memory and inertial [81] WU D H, WANG Y F, HAN M X, et al. Using a CNN-
measurement units[J]. Computers and electronics in agri‐ LSTM for basic behaviors detection of a single dairy cow
culture, 2019, 157: 247-253. in a complex environment[J]. Computers and electronics
[70] HOSSEININOORBIN S, LAYEGHY S, KUSY B, et al. in agriculture, 2021, 182: ID 106016.
Deep learning-based cattle behaviour classification using [82] DOUGLAS S L, SZYSZKA O, STODDART K, et al. Ani‐
joint time-frequency data representation[J]. Computers mal and management factors influencing grower and fin‐
and electronics in agriculture, 2021, 187: ID 106241. isher pig performance and efficiency in European sys‐
[71] KIM M, CHOI Y, LEE J, et al. A deep learning-based ap‐ tems: A meta-analysis[J]. Animal, 2015, 9(7): 1210-1220.
proach for feeding behavior recognition of weanling [83] REICH L J, WEARY D M, VEIRA D M, et al. Effects of
pigs[J]. Journal of animal science and technology, 2021, sawdust bedding dry matter on lying behavior of dairy
63(6): 1453-1463. cows: A dose-dependent response[J]. Journal of dairy sci‐
[72] JIANG M, RAO Y, ZHANG J Y, et al. Automatic behav‐ ence, 2010, 93(4): 1561-1565.
ior recognition of group-housed goats using deep learn‐ [84] DEBRECENI O, LEHOTAYOVá A, BU?KO O, et al.
ing[J]. Computers and electronics in agriculture, 2020, The behaviour of the pigs housed in hot climatic condi‐
177: ID 105706. tions[J]. Journal of central european agriculture, 2014, 15
[73] 王 少 华, 何 东 健 . 基 于 改 进 YOLOv3 模 型 的 奶 牛 发 情 行 (1): 64-75.
为 识 别 研 究[J]. 农 业 机 械 学 报, 2021, 52(7): 141-150. [85] FREGONESI J A, VEIRA D M, VON KEYSERLINGK
WANG S H, HE D J. Estrus behavior recognition of dairy M A G, et al. Effects of bedding quality on lying behavior
cows based on improved YOLOv3 model[J]. Transactions of dairy cows[J]. Journal of dairy science, 2007, 90(12):
of the Chinese society for agricultural machinery, 2021, 52 5468-5472.
(7): 141-150. [86] HEPOLA H, H?NNINEN L, PURSIAINEN P, et al. Feed
[74] WU D H, WU Q, YIN X Q, et al. Lameness detection of intake and oral behaviour of dairy calves housed individu‐
dairy cows based on the YOLOv3 deep learning algorithm ally or in groups in warm or cold buildings[J]. Livestock
and a relative step size characteristic vector[J]. Biosys‐ science, 2006, 105(1/2/3): 94-104.
tems engineering, 2020, 189: 150-163. [87] GUO Y Y, HE D J, CHAI L L. A machine vision-based
[75] AYADI S, SAID ABEN, JABBAR R, et al. Dairy cow ru‐ method for monitoring scene-interactive behaviors of
mination detection: A deep learning approach[C]// In Inter‐ dairy calf[J]. Animals: An open access journal from MD‐
national Workshop on Distributed Computing for Emerg‐ PI, 2020, 10(2): ID 190.Vol. 5, No. 1 郭 阳 阳 等 ： 深 度 学 习 在 家 畜 智 慧 养 殖 中 研 究 应 用 进 展 65
[88] COSTA, ISMAYILOVA, BORGONOVO, et al. Image- ing behaviour of pigs and determination of feeding time
processing technique to measure pig activity in response of each pig by a video-based deep learning method[J].
to climatic variation in a pig barn[J]. Animal production Computers and electronics in agriculture, 2020, 176: ID
science, 2014, 54(8): 1075-1083. 105642.
[89] CHEN C, ZHU W, STEIBEL J, et al. Recognition of feed‐
Advances in the Applications of Deep Learning Technology
for Livestock Smart Farming
1 2 3 1
GUO Yangyang , DU Shuzeng , QIAO Yongliang , LIANG Dong
（1. School of Internet, Anhui University, Hefei 230039, China; 2. Nanyang Vocational College of Agriculture, Nanyang
473000, China; 3. Faculty of Engineering, The University of Sydney, Sydney NSW2006, Australia ）
Abstract: Accurate and efficient monitoring of animal information, timely analysis of animal physiological and physical health condi‐
tions, and automatic feeding and farming management combined with intelligent technologies are of great significance for large-scale
livestock farming. Deep learning techniques, with automatic feature extraction and powerful image representation capabilities, solve
many visual challenges, and are more suitable for application in monitoring animal information in complex livestock farming environ‐
ments. In order to further analyze the research and application of artificial intelligence technology in intelligent animal farming, this
paper presents the current state of research on deep learning techniques for tag detection recognition, body condition evaluation and
weight estimation, and behavior recognition and quantitative analysis for cattle, sheep and pigs. Among them, target detection and rec‐
ognition is conducive to the construction of electronic archives of individual animals, on which basis the body condition and weight in‐
formation, behavior information and health status of animals can be related, which is also the trend of intelligent animal farming. At
present, intelligent animal farming still faces many problems and challenges, such as the existence of multiple perspectives, multi-
scale, multiple scenarios and even small sample size of a certain behavior in data samples, which greatly increases the detection diffi‐
culty and the generalization of intelligent technology application. In addition, animal breeding and animal habits are a long-term pro‐
cess. How to accurately monitor the animal health information in real time and effectively feed it back to the producer is also a techni‐
cal difficulty. According to the actual feeding and management needs of animal farming, the development of intelligent animal farm‐
ing is prospected and put forward. First, enrich the samples and build a multi perspective dataset, and combine semi supervised or
small sample learning methods to improve the generalization ability of in-depth learning models, so as to realize the perception and
analysis of the animal''s physical environment. Secondly, the unified cooperation and harmonious development of human, intelligent
equipment and breeding animals will improve the breeding efficiency and management level as a whole. Third, the deep integration
of big data, deep learning technology and animal farming will greatly promote the development of intelligent animal farming. Last,
research on the interpretability and security of artificial intelligence technology represented by deep learning model in the breeding
field. And other development suggestions to further promote intelligent animal farming. Aiming at the progress of research applica‐
tion of deep learning in livestock smart farming, it provides reference for the modernization and intelligent development of livestock
farming.
Key words: livestock husbandry; intelligent farming; individual identification; information perception; behavior recognition;
deep learning
（ 登 陆 www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ）