基于高斯混合-隐马尔科夫融合算法识别奶牛步态时相

2022 年6 月 第4 卷 第2 期 智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Jun.2022 Vol.4,No.2
doi ：10.12133/j.smartag.SA202204003
基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别
奶 牛 步 态 时 相

张 楷 ， 韩 书 庆 ， 程 国 栋 ， 吴 赛 赛 ， 刘 继 芳
（ 中 国 农 业 科 学 院 农 业 信 息 研 究 所 / 农 业 农 村 部 区 块 链 农 业 应 用 重 点 实 验 室 ， 北 京 1 0 0 0 8 1 ）
摘 要 ： 奶 牛 步 态 时 相 是 反 映 奶 牛 健 康 及 跛 行 严 重 程 度 的 重 要 指 标 。 为 准 确 自 动 识 别 奶 牛 步 态 时 相 ， 本 研
究 提 出 一 种 融 合 高 斯 混 合 模 型 （ G a u s s i a n M i x t u r e M o d e l ， G M M ） 和 隐 马 尔 科 夫 模 型 （ H i d d e n M a r k o v M o d e l ，
H M M ） 的 无 监 督 学 习 奶 牛 步 态 时 相 识 别 算 法 G M M - H M M 。 使 用 惯 性 测 量 单 元 采 集 奶 牛 后 肢 加 速 度 和 角 速 度
信 号 ， 通 过 卡 尔 曼 滤 波 消 除 噪 声 ， 筛 选 并 提 取 特 征 值 ， 构 建 G M M - H M M 模 型 ， 实 现 奶 牛 静 立 相 、 连 续 步 态
中 的 站 立 相 和 摆 动 相 等 3 种 步 态 时 相 的 自 动 识 别 。 结 果 表 明 ， 静 立 相 识 别 的 准 确 率 、 召 回 率 和 F 分 别 为
1
8 9 . 2 8 % 、 9 0 . 9 5 % 和 9 0 . 9 1 % ， 连 续 步 态 中 的 站 立 相 识 别 的 准 确 率 、 召 回 率 和 F 分 别 为 9 1 . 5 5 % 、 8 6 . 7 1 % 和
1
8 9 . 0 6 % ， 连 续 步 态 中 的 摆 动 相 识 别 的 准 确 率 、 召 回 率 和 F 分 别 为 8 6 . 6 7 % 、 9 1 . 5 1 % 和 8 9 . 0 3 % 。 奶 牛 步 态 分 割
1
的 准 确 率 为 9 1 . 6 7 % ， 相 较 于 基 于 事 件 的 峰 值 检 测 法 和 动 态 时 间 规 整 算 法 准 确 率 分 别 提 高 了 4 . 2 3 % 和 1 . 1 % 。
本 研 究 可 为 下 一 步 基 于 穿 戴 式 步 态 分 析 的 奶 牛 跛 行 特 征 提 取 提 供 技 术 参 考 。
关 键 词 ： 奶 牛 跛 行 ； 步 态 时 相 ； 步 态 分 割 ； 高 斯 混 合 模 型 ； 隐 马 尔 科 夫 模 型 ； 卡 尔 曼 滤 波
中 图 分 类 号 ： S 2 4 ； T P 2 7 4 文 献 标 志 码 ： A 文 章 编 号 ： S A 2 0 2 2 0 4 0 0 3
引 用 格 式 ： 张 楷, 韩 书 庆, 程 国 栋, 吴 赛 赛, 刘 继 芳. 基 于 高 斯 混 合- 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相[J].
智 慧 农 业( 中 英 文),2022,4(2):53-63.
ZHANGKai,HANShuqing,CHENGGuodong,WUSaisai,LIUJifang.Gaitphaserecognitionofdairycowsbased
on Gaussian Mixture model and Hidden Markov model[J]. Smart Agriculture, 2022, 4(2): 53-63. (in Chinese with
Englishabstract)
［3 ］
过 了30% ， 人 工 识 别 存 在 效 率 低 、 主 观 判 断 存
1 引 言
在 偏 差 、 劳 动 力 成 本 较 高 和 容 易 造 成 奶 牛 应 激 反
奶 牛 跛 行 是 由 于 蹄 底 溃 疡 、 趾 间 皮 炎 和 腐 蹄
应 等 问 题 ， 发 展 奶 牛 跛 行 自 动 识 别 技 术 需 求
［1 ］
病 等 各 种 肢 蹄 病 引 起 奶 牛 不 适 ， 导 致 其 承 重
［4 ］
强 烈 。
能 力 不 足 以 及 步 态 异 常 。 奶 牛 跛 行 与 饲 养 方 式 、
奶 牛 跛 行 步 态 分 析 的 关 键 是 在 奶 牛 连 续 步 态
［2 ］
牧 场 环 境 卫 生 等 有 关 ， 影 响 奶 牛 正 常 生 产 生
中 识 别 摆 动 相 和 站 立 相 等 步 态 时 相 ， 通 过 分 析 奶
活 ， 进 而 导 致 产 奶 量 下 降 、 个 体 产 奶 年 限 缩 短 以
牛 各 个 步 态 时 相 的 运 动 强 度 和 持 续 时 间 判 断 奶 牛
及 治 疗 成 本 上 升 等 问 题 ， 严 重 影 响 牧 场 经 济 效
益 。 当 前 中 国 奶 牛 肢 蹄 病 发 病 率 较 高 ， 跛 行 率 超 跛 行 程 度 。 奶 牛 的 步 态 满 足 一 定 的 周 期 性 和 规 律
收 稿 日 期 ：2022-04-08
基 金 项 目 ： 国 家 自 然 科 学 基 金 项 目 （32102600 ） ； 中 国 农 业 科 学 院 科 技 创 新 工 程 项 目 （CAAS-ASTIP-2016-AII ） ； 中 央 级 公 益 性 科 研 院
所 基 本 科 研 业 务 费 专 项 （JBYW-AII-2021-33 ，JBYW-AII-2022-36 ）
作 者 简 介 ： 张 楷 （1997 － ） ， 男 ， 硕 士 研 究 生 ， 研 究 方 向 为 畜 禽 行 为 识 别 与 畜 牧 物 联 网 技 术 。E-mail ：[e-mail]

通 信 作 者 ： 刘 继 芳 （1965 － ） ， 男 ， 博 士 ， 研 究 员 ， 研 究 方 向 为 农 业 信 息 管 理 。E-mail ：[e-mail]智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.2
5 4
性 ， 但 在 现 实 环 境 中 ， 奶 牛 步 态 受 环 境 和 个 体 差 究 尚 未 展 开 。
异 的 影 响 较 大 ， 自 适 应 奶 牛 步 态 分 析 需 要 针 对 现 综 上 所 述 ， 现 有 技 术 方 法 初 步 实 现 了 奶 牛 步
实 情 况 采 取 相 应 的 技 术 方 法 。 现 较 多 采 用 计 算 机
态 分 割 ， 但 还 未 深 入 到 奶 牛 步 态 时 相 识 别 ， 并 且
［5 ］
视 觉 技 术 和 可 穿 戴 式 设 备 来 进 行 奶 牛 步 态 分
依 旧 存 在 数 据 标 注 困 难 、 准 确 率 均 未 达 到 实 际 应
析 。 计 算 机 视 觉 技 术 具 有 非 接 触 、 免 应 激 、 低 成
用 要 求 的 问 题 。 为 进 一 步 改 进 奶 牛 步 态 时 相 自 动
［6 ］
本 、 高 通 量 、 不 干 扰 奶 牛 正 常 活 动 等 优 点 ， 已
识 别 方 法 以 及 提 高 其 准 确 率 ， 本 研 究 提 出 一 种 融
［7 ］ ［8 ］
被 用 于 奶 牛 步 态 分 割 、 步 态 特 征 提 取 以 及
合GMM 和HMM 的 无 监 督 学 习 奶 牛 步 态 时 相 识
［9 ］
跛 行 检 测 中 。 但 计 算 机 视 觉 容 易 受 到 环 境 光
别 算 法GMM-HMM ， 利 用 惯 性 测 量 单 元 采 集 奶
［10 ］
线 、 复 杂 背 景 以 及 奶 牛 相 互 遮 挡 的 影 响 。 可
牛 步 态 数 据 ， 结 合 视 频 标 注 构 建 奶 牛 步 态 时 相 识
［11 ］
穿 戴 式 传 感 器 具 有 不 限 于 特 定 测 量 区 域 以 及
别 数 据 集 ； 筛 选 出 冠 状 轴 角 速 度 的 一 阶 差 分 作 为
不 受 光 照 和 遮 挡 影 响 的 优 点 ， 目 前 ， 基 于 可 穿 戴
奶 牛 步 态 时 相 识 别 的 特 征 值 ， 减 少 奶 牛 个 体 差 异
式 传 感 器 进 行 奶 牛 跛 行 的 研 究 热 点 集 中 在 奶 牛 步
对 识 别 效 果 的 影 响 ， 并 分 析 奶 牛 步 态 分 割 效 果 ，
态 分 割 和 特 征 提 取 方 面 。 常 见 的 奶 牛 步 态 分 割 方
为 奶 牛 步 态 分 析 提 供 一 种 新 的 技 术 手 段 。
式 主 要 有 基 于 事 件 的 峰 值 检 测 法 和 基 于 时 域 的 动
2 材 料 与 方 法
态 时 间 规 整 方 法 两 种 。 峰 值 检 测 法 最 先 应 用 于 奶
［12 ］
牛 步 态 分 割 和 识 别 ， 但 其 容 易 将 一 些 非 步 态
2 . 1 试 验 设 备 与 场 地
的 峰 值 识 别 为 步 态 事 件 ， 导 致 低 准 确 率 和 高 召 回
率 。 动 态 时 间 规 整 法 是 指 通 过 计 算 两 个 序 列 的 相
试 验 在 中 国 农 业 机 械 化 科 学 研 究 院 北 京 农 机
似 性 进 行 步 态 分 割 ， 设 定 阈 值 以 及 建 立 最 优 匹 配
试 验 站 奶 牛 养 殖 场 进 行 。 试 验 对 象 为5 头 随 机 选
［13 ］
模 板 ， 自 动 化 程 度 不 高 。
择 的 荷 斯 坦 奶 牛 ， 利 用MEMS 微 型 惯 性 测 量 单
隐 马 尔 科 夫 模 型 （Hidden Markov Model ，
元 传 感 器 （LPMS-B2 型 号 ） 采 集 奶 牛 后 肢 加 速
HMM ） 是 马 尔 科 夫 模 型 发 展 而 来 的 机 器 学 习 算
度 和 角 速 度 数 据 ， 采 样 频 率 为50 Hz ， 陀 螺 仪 测
法 ， 核 心 思 想 是 通 过 研 究 观 测 序 列 来 辨 识 不 可 见
量 范 围 为±2000 dps 。 在 奶 牛 活 动 场 内 ， 选 定 一
状 态 序 列 。 近 年 来 ， 许 多 研 究 在 人 的 步 态 识 别 上
条 长20 m 、 宽1.5 m 走 廊 作 为 测 量 场 地 ， 测 量 场
使 用HMM 。 在 人 体 步 态 的 研 究 中 分 析 发 现 ， 步
地 示 意 图 如 图1 所 示 。 使 用 佳 能EOS5DMarkIII
态 信 号 符 合 马 尔 科 夫 链 的 时 序 变 化 ， 针 对 时 序 数
相 机 同 步 拍 摄 奶 牛 通 过 走 廊 的 视 频 。
据 的 动 态 过 程 具 有 鲁 棒 性 以 及 能 够 处 理 牧 场 条 件
下 奶 牛 步 态 数 据 中 的 异 质 性 ， 可 以 进 行 步 态 阶 段
［14 ］
识 别 。 不 同 步 态 分 割 方 法 对 比 显 示 ， 基 于
HMM 的 分 割 方 法 优 于 动 态 时 间 规 整 模 板 匹 配 法
［15 ］
以 及 峰 值 检 测 法 。 由 于 本 研 究 解 决 的 是 长 时
间 连 续 序 列 的 奶 牛 步 态 时 相 识 别 问 题 ， 观 测 数 据
量 较 大 ， 所 以 引 入 高 斯 混 合 模 型 （GaussianMix ‐
tureModel ，GMM ） 。GMM 可 以 无 监 督 地 对 观 测
数 据 进 行 聚 类 ，GMM 和HMM 混 合 算 法 曾 用 于
人 类 步 态 识 别 ， 采 用 无 监 督 的 学 习 方 式 ， 得 到 帕
图1 测 量 场 地 示 意 图
［16 ］
金 森 患 者 步 态 分 割 ， 准 确 率 为96.2% 。 目 前 ，
Fig.1 Schematicdiagramofmeasuringsite
基 于GMM 和HMM 融 合 的 奶 牛 步 态 时 相 识 别 研Vol.4,No.2 张 楷 等 ： 基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相
5 5
差 和 测 量 误 差 。 该 传 感 器 内 置 滤 波 器 ， 在 采 集 数
2 . 2 数 据 采 集 与 预 处 理
据 之 前 已 将 滤 波 器 设 定 完 成 ， 得 到 的 数 据 噪 声 因
2 . 2 . 1 数 据 采 集
素 已 经 消 除 ， 可 以 直 接 利 用 数 据 进 行 模 型 分 析 。
［17 ］
由 于 奶 牛 蹄 病 发 生 于 后 肢 的 概 率 较 高 ，
将 图 像 数 据 采 用FFmpeg 软 件 进 行 视 频 分 帧 处 理 ，
以 及 为 方 便 收 集 数 据 ， 统 一 将 传 感 器 绑 在 奶 牛 右
通 过 逐 帧 比 对 的 方 式 ， 确 定 蹄 离 地 和 蹄 落 地 两 个
后 肢 上 。5 头 试 验 奶 牛 佩 戴 方 向 完 全 相 同 ， 在 传
步 态 事 件 ， 再 与 传 感 器 数 据 进 行 匹 配 。 由 图2 可
感 器 中 ， 定 义x 轴 为 奶 牛 前 进 方 向 ，y 轴 为 竖 直
知 ，x 轴 的 加 速 度 可 以 表 示 奶 牛 基 本 的 运 动 学 特
方 向 ；z 轴 为 冠 状 轴 方 向 ， 如 图2 所 示 。 奶 牛 在
征 ，z 轴 方 向 为 水 平 且 垂 直 于 前 进 方 向 向 外 ，z
测 量 场 地 自 由 活 动 ， 相 机 以50 f/s 帧 率 录 制 奶 牛
轴 角 速 度 可 以 捕 捉 奶 牛 细 微 的 牛 蹄 运 动 ， 可 以 进
通 过 走 廊 的 视 频 。 根 据 传 感 器 的 时 间 戳 与 相 机 记
一 步 分 析 奶 牛 的 步 态 情 况 ， 所 以 分 析 奶 牛 后 肢 的
录 的 视 频 时 间 实 现 图 像 数 据 与 传 感 器 数 据 时 间 同
x 轴 加 速 度 和z 轴 角 速 度 可 以 反 应 奶 牛 步 态 事 件 ，
步 。 试 验 中 ， 采 用 人 工 引 导 的 方 式 确 保 所 有 试 验
更 容 易 实 现 奶 牛 步 态 事 件 与 传 感 器 数 据 的 同 步 。
奶 牛 多 次 通 过 走 廊 ， 记 录 充 足 的 图 像 数 据 。 将 人
x 轴 加 速 度 和z 轴 角 速 度 折 线 图 对 应 的 奶 牛 步 态
工 标 注 的 视 频 数 据 作 为 奶 牛 步 态 时 相 识 别 的 黄 金
事 件 如 图3 所 示 。
标 准 。 试 验 采 集 了2022 年2 月23 日14:00 —16:30 的
奶 牛 步 态 数 据 ， 每 个 传 感 器 有240,000 ~260,000
2 . 3 训 练 集 和 测 试 集 数 据 构 建
条 数 据 记 录 ， 拍 摄 的 奶 牛 通 过 走 廊 的 视 频 共 计
18 段 。
数 据 集 构 建 以 测 试 集 为 基 准 ， 测 试 集 构 建 时
使 用 人 工 标 注 的 方 式 ， 将 图 像 数 据 与 传 感 器 数 据
进 行 匹 配 ， 在 传 感 器 数 据 中 标 出 步 态 事 件 （ 蹄 落
地 ， 蹄 离 地 ） ， 图 像 数 据 是 随 机 采 集 的 ， 符 合 测
试 集 构 建 的 规 则 。 观 察6 轴 传 感 器 数 据 并 做 了 大
量 尝 试 后 发 现 ， 需 要 找 出 周 期 性 最 明 显 的 数 据 ，
方 便 数 据 标 注 也 更 容 易 找 到 特 征 值 ， 最 终 确 定 将
图2 传 感 器 佩 戴 方 式 及 传 感 器 坐 标
z 轴 的 角 速 度 作 为 本 次 试 验 数 据 ， 如 图4 所 示 。
Fig.2 Sensorwearingmethodandsensorcoordinates
为 消 除 佩 戴 传 感 器 时 奶 牛 行 为 以 及 刚 佩 戴 好
传 感 器 后 奶 牛 不 适 应 带 来 的 试 验 误 差 ， 将 原 始 数
2 . 2 . 2 数 据 预 处 理
据 的 前80,000 个 记 录 点 （ 约26.7 min ） 的 数 据 作
LPMS-B2 传 感 器 数 据 中 与 奶 牛 步 态 的 运 动
为 误 差 项 去 除 ， 同 理 ， 将 后80,000 个 记 录 点 同 时
学 数 据 直 接 相 关 的 是 加 速 度 和 角 速 度 ， 使 用3 轴
去 除 。 由 于 传 感 器 存 在 时 间 戳 ， 利 用 视 频 时 间 可
加 速 度 和3 轴 角 速 度 数 据 为 基 础 进 行 奶 牛 步 态 时
相 识 别 。 由 于 传 感 器 同 时 测 量9 轴 数 据 ， 高 频 噪 以 实 现 奶 牛 步 态 时 间 与 传 感 器 数 据 同 步 ， 每 头 牛
声 较 少 ， 噪 声 多 受 系 统 干 扰 的 影 响 ， 为 去 除 系 统 有80 ~90min 的 传 感 器 数 据 ， 提 取 有 视 频 标 注 的
的 噪 声 和 干 扰 影 响 ， 还 原 真 实 的 动 态 数 据 ， 采 用 传 感 器 数 据 作 为 测 试 集 ， 剩 余 的 传 感 器 数 据 去 除
卡 尔 曼 滤 波 （Kalman filtering ） 进 行 数 据 预 处
误 差 项 作 为 无 监 督 的 训 练 集 ， 其 中 包 含 每 头 牛 至
理 。 本 试 验 使 用 的 传 感 器 集 成 加 速 度 计 、 陀 螺 仪
少30min 以 上 的 高 质 量 传 感 器 数 据 ， 测 试 集 中 连
和 磁 力 计 三 个 部 分 ， 同 时 测 量x 、y 、z 轴 三 个 方
续 步 态 有162 步 ， 训 练 集 中 连 续 步 态 有729 步 。
向 的 线 加 速 度 、 角 速 度 以 及 磁 场 强 度 。 在 测 量 过
2 . 4 G M M - H M M 融 合 算 法 描 述
程 中 合 计9 轴 的 数 据 互 相 影 响 并 且 单 位 不 同 ， 使
用 卡 尔 曼 滤 波 可 以 减 轻 传 感 器 噪 声 ， 降 低 系 统 误 本 研 究 采 用GMM-HMM 融 合 算 法 进 行 奶 牛智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.2
5 6
注 ：AX 为x 轴 加 速 度 ，GZ 为z 轴 角 速 度
图3 x 轴 加 速 度 和z 轴 角 速 度 折 线 图 对 应 的 奶 牛 步 态 事 件
Fig.3 Gaiteventsofdairycowscorrespondingtothecurveofx-axisaccelerationandz-axisangularvelocity
步 态 时 相 识 别 研 究 。 混 合 分 布 分 簇 ， 得 到 原 始 的 每 一 个 高 斯 分 布 ， 实
奶 牛 步 态 时 相 为 奶 牛 行 走 的 单 个 步 态 周 期 中 现 类 似 分 类 的 效 果 ， 进 而 将 不 同 的 状 态 分 类 。 高
不 同 阶 段 ， 本 研 究 将 连 续 步 态 分 为 摆 动 相 和 站 立 斯 混 合 模 型 的 实 现 过 程 即 为 参 数 θ 的 估 计 ， 采 用
期 望 最 大 化 （ExpectationMaximization ，EM ） 算
相 。 摆 动 相 为 奶 牛 蹄 离 地 到 蹄 着 地 的 过 程 ， 站 立
［18 ］
法 进 行 参 数 估 计 ， 该 方 法 基 于 极 大 似 然 估 计
相 为 蹄 着 地 到 蹄 离 地 的 过 程 。 在 连 续 的 步 态 序 列
算 法 可 表 示 为 ：
中 ， 摆 动 相 和 站 立 相 是 交 替 出 现 的 ， 但 是 本 试 验
n
过 程 中 ， 奶 牛 除 了 行 走 以 外 ， 还 存 在 静 止 站 立 的
P X| θ = ω Φ X （1 ）
( )
( ) ∑ i i
i = 1
状 态 。 因 此 ， 本 研 究 将 奶 牛 四 肢 同 时 着 地 静 止 不
1 1
Φ X = exp - X -
动 的 状 态 定 义 为 静 立 相 ， 区 别 于 连 续 步 态 序 列 ( )
i (
1 2 {
D 2
2
2 π Σ
( ) | |
i
中 ， 奶 牛 四 肢 交 换 站 立 的 站 立 相 。 静 立 相 、 摆 动
T
-1
μ Σ X - μ （2 ）
相 和 站 立 相 都 可 以 反 映 奶 牛 的 运 动 状 态 ， 同 时 奶 ) ( )
i i i
}
牛 步 态 时 相 的 识 别 可 以 实 现 对 奶 牛 的 步 态 分 割 ，
θ = { ω ， μ ， Σ } ；i = 1 ，2 ， ? ，n （3 ）
i i i
识 别 的 连 续 站 立 相 和 摆 动 相 就 是 一 个 完 整 的
其 中 ，n 是GMM 的 阶 数 ， 本 研 究 中n=3 ； ω
i
n
步 态 。
是 权 值 ， 且 ω > 0 ， ω = 1 ； Φ X 是 第i 个 时
( )
i ∑ i i
GMM 是 多 个 高 斯 概 率 密 度 函 数 的 线 性 组 合 。
i = 1
为 满 足 奶 牛 步 态 时 相 识 别 的 鲁 棒 性 ， 需 要 奶 牛 长
相 的 高 斯 分 布 概 率 密 度 函 数 ；D 、 μ 、 Σ 分 别 是 数
时 间 佩 戴 传 感 器 ， 采 集 的 测 量 数 据 包 含 静 立 相S
据 的 维 数 、 期 望 和 协 方 差 。
1
［19 ］
和 连 续 步 态 中 的 摆 动 相S 和 站 立 相S ， 总 共3 个
HMM 由 马 尔 科 夫 模 型 发 展 而 来 ， 是 一 种
2 3
步 态 时 相 ， 每 个 时 相 对 应 一 个 高 斯 分 布 ， 测 量 数
动 态 贝 叶 斯 的 生 成 模 型 以 及 有 向 图 模 型 ， 由 隐 状
据 符 合 这3 个 时 相 的 高 斯 混 合 分 布 。 使 用 该 模 型
态 序 列 和 观 测 序 列 构 成 ， 其 中 每 个 观 测 数 据 代 表
的 目 的 是 通 过 训 练 找 到 相 应 参 数 θ ， 进 而 将 高 斯 一 个 状 态 。 核 心 思 想 是 由 于 状 态 序 列 的 不 可 直 接Vol.4,No.2 张 楷 等 ： 基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相
5 7
（a ）AX （b ）AY
（c ）AZ （d ）GX
（e ）GY （f ）GZ
注 ：AX 、AY 、AZ 分 别 为x 、y 、z 轴 的 加 速 度 ；GX 、GY 、GZ 分 别 为x 、y 、z 轴 的 角 速 度
图4 传 感 器6 轴 数 据 折 线 图
Fig.4 Sensor6-axisdatalinechart
观 测 的 性 质 ， 通 过 研 究 观 测 序 列 来 辨 识 不 可 见 隐 状 态 转 移 概 率A 以 及 发 射 概 率 （ 隐 状 态 发 生 观 测
状 态 序 列 ， 如 图5 所 示 。 事 件 的 概 率 ）B 。 π 和A 构 成 了 隐 状 态 之 间 的 状 态
转 移 ， 如 图6 所 示 。 其 中 ，S 为 静 止 相 ，S 、S 为
HMM 由 三 个 参 数 构 成 ： 初 始 状 态 概 率 π 、
1 2 3
连 续 步 态 中 的 摆 动 相 和 站 立 相 ，a 为 第i 个 状 态
ij
转 移 到 第j 个 状 态 的 概 率i ，j=1 ，2 ，3 。B 将 隐 状
态 和 观 测 序 列 联 系 ， 观 测 序 列 由 状 态 序 列 生 成 。
该 参 数 集 可 以 表 示 为 ：
λ = { π ，A ，B } （4 ）
注 ：S 为 隐 状 态 ，O 为 观 测 状 态 ，i=1 ，2 ，3 … …n
i i
图5 隐 马 尔 科 夫 模 型 结 构
HMM 可 以 解 决 三 个 问 题 ：
Fig.5 HiddenMarkovModelstructure
（1 ） 评 估 问 题 。 给 定 观 测 序 列 和 参 数 集 λ ，智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.2
5 8
对 参 数 初 始 概 率 π 和 转 换 概 率A 进 行 初 始 化 ， 然
后 根 据EM 算 法 反 复 迭 代 训 练 得 出 参 数 ω 、 μ 和
Σ ， 此 时 已 经 得 出3 种 高 斯 分 布 ， 即3 种 状 态 ， π
直 接 按 照 输 入 的 训 练 集 初 始 状 态 定 义 ， 再 根 据 应
用 统 计 的 方 法 计 算 得 出A ， 公 式 如 下 ：
N
ij
a = （6 ）
ij
T
图6 隐 马 尔 科 夫 模 型 状 态 转 换 的 过 程 其 中 ，a 是 状 态i 转 移 到 状 态j 的 概 率 ；N 、
ij ij
Fig.6 StatetransitionprocessofHiddenMarkovModel T 分 别 是 状 态i 转 移 到 状 态j 的 个 数 、 各 个 状 态 之
间 转 换 的 总 个 数 。
计 算 观 测 序 列 出 现 的 概 率 ， 采 用 前 向- 后 向 （For ‐
GMM-HMM 使 用 Python3.8 中 hmmlearn.
ward-Backword ） 算 法 实 现 。
hmm 模 块 实 现 。
（2 ） 学 习 问 题 。 给 定 观 测 序 列 ， 估 计 模 型 参
2 . 5 奶 牛 步 态 时 相 识 别
数 集 λ ， 方 法 的 核 心 是 使 得 观 测 序 列 出 现 的 概 率
最 大 的 参 数 即 为 模 型 参 数 ， 采 用 极 大 似 然 估 计 的
经 过 对 奶 牛 行 走 的 大 量 观 察 以 及 查 阅 资 料 可
方 法 （EM 算 法 或 者Baum-Welth 算 法 ） 实 现 。 ［20 ］
知 ， 奶 牛 的 单 个 步 态 周 期 为1.2 s 左 右 。 为 满
（3 ） 解 码 问 题 。 已 知 参 数 集 λ 和 观 测 序 列 ，
足 步 态 时 相 识 别 的 自 适 应 性 和 鲁 棒 性 ， 需 要 对 连
计 算 概 率 最 大 的 状 态 序 列 ， 采 用Viterbi 算 法 实
续 长 时 间 序 列 的 步 态 数 据 进 行 研 究 。 构 建 训 练 集
现 。Viterbi 算 法 本 质 上 是 一 个 动 态 规 划 的 最 短 路
时 ， 考 虑 到 有 监 督 学 习 的 训 练 方 式 需 要 人 工 标 注
问 题 ， 找 到 使 得 状 态 序 列 发 射 概 率 最 大 即 由 观 测
的 数 据 量 过 于 庞 大 且 效 率 低 ， 因 此 本 研 究 采 用 无
状 态 序 列 最 可 能 对 应 的 状 态 序 列 。
监 督 学 习 的 训 练 方 式 。 通 过GMM-HMM 融 合 算
在 本 研 究 中 ， 先 进 行 学 习 问 题 的 训 练 ， 利 用
法 ， 从 传 感 器 的 运 动 学 数 据 中 找 到 满 足 条 件 的 特
训 练 集 得 出 参 数 集 ， 再 基 于 得 到 的 模 型 参 数 ， 利
征 值 ， 对 连 续 长 时 间 序 列 数 据 进 行 无 监 督 的 聚 类
用 测 试 集 对 观 测 序 列 进 行 解 码 。 奶 牛 的 观 测 数 据
以 及 参 数 集 训 练 ， 得 到 模 型 参 数 ， 用 测 试 集 验 证
为 观 测 序 列 ， 奶 牛 的 步 态 时 相 序 列 为 状 态 序 列 ，
结 果 ， 与 标 注 数 据 对 比 ， 得 出 识 别 结 果 ， 确 定 奶
步 态 时 相 为 隐 含 状 态 。 为 解 决 奶 牛 步 态 时 相 分 割
牛 步 态 时 相 ， 并 实 现 奶 牛 步 态 分 割 。 具 体 流 程 如
的 鲁 棒 性 ， 本 研 究 针 对 的 是 长 时 间 的 连 续 观 察 序
图7 所 示 。
列 ， 采 用 GMM 与 HMM 融 合 模 型 （GMM-
HMM ） ， 此 时 参 数 集 中 的 发 射 概 率B 由 一 组 观 察
3 结 果 与 分 析
值 的 高 斯 分 布 密 度 函 数 替 代 ， 即 发 射 概 率B 用 高
3 . 1 特 征 值 选 择
斯 混 合 模 型 的 参 数 进 行 替 代 ， 新 的 参 数 集 为 ：
λ = { π ，A ， ω ， μ ， Σ } （5 ）
对 奶 牛 步 态 的 运 动 学 数 据 进 行 统 计 化 处 理 。
其 中 ， π 、A 分 别 是HMM 的 初 始 概 率 和 状 态
将2.3 中 选 取 的z 轴 角 速 度 采 用 构 建 滑 动 时 间 窗
转 移 概 率 ； ω 、 μ 和 Σ 分 别 为 观 测 序 列 高 斯 混 合 分
和 不 使 用 构 建 滑 动 时 间 窗 的 方 式 ， 提 取 数 据 的 最
布 的 权 重 ， 均 值 和 协 方 差 。
值 、 均 值 、 方 差 、 标 准 差 、1 阶 差 分 、 线 性 回 归
将GMM-HMM 中 高 斯 分 布 数 设 定 为3 ， 对
的 斜 率 和 截 距 ， 以 及 平 均 绝 对 误 差 。 最 终 发 现 不
应 静 立 相 、 摆 动 相 和 站 立 相3 种 步 态 时 相 。 将 构
加 窗 的 情 况 下 ，1 阶 差 分 可 以 很 好 地 区 别 奶 牛 步
建 好 的 数 据 集 提 取 特 征 值 ， 将z 轴 角 速 度 的1 阶 态 不 同 时 相 的 数 学 特 征 。 图8 为 不 同 特 征 值 的 分
差 分 作 为 测 试 集 带 入 模 型 ， 进 行 学 习 问 题 。 首 先 布 比 较 情 况 ， 截 取 的 是 连 续 步 态 周 期 的 一 段 ， 两Vol.4,No.2 张 楷 等 ： 基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相
5 9
图7 奶 牛 步 态 时 相 的 自 适 应 识 别 方 法 流 程 图
Fig.7Flowchartofadaptiverecognitionmethodforgaitphaseofdairycows
侧 离 散 程 度 大 的 是 摆 动 相 ， 两 条 黑 线 之 间 离 散 程 精 度 不 足 ， 只 有1 阶 差 分 可 以 直 观 且 高 精 度 的 区
度 小 的 是 站 立 相 。 由 图8 可 知 ， 偏 度 在 站 立 相 和 分 站 立 相 和 摆 动 相 ， 其 中 站 立 相 数 据 较 为 平 缓 ，
摆 动 相 没 有 区 分 度 ， 最 值 和 均 值 的 重 合 度 过 高 且 摆 动 相 数 据 波 动 较 大 。
没 有 区 分 两 个 相 位 的 直 观 特 征 ， 标 准 差 区 分 度 和
图8 奶 牛 步 态 不 同 时 相 的 数 学 特 征
Fig.8 Mathematicalcharacteristicsofdifferentgaitphasesofdairycows
表 1 G M M - H M M 模 型 参 数
3 . 2 模 型 参 数 训 练 结 果
Table1 GMM-HMMModelparameters
经 过 训 练 得 到 的 模 型 参 数 包 括 不 同 时 相 的 初
时 相 初 始 概 率 权 重 均 值 方 差
始 概 率 、 高 斯 混 合 模 型 的 权 重 、 均 值 和 方 差 ， 如
静 立 相 0 1 0.002 0.027
表1 所 示 ， 公 式 （7 ） 表 示 步 态 时 相 的 转 移 概 率
站 立 相 0 1 -0.251 3.904
矩 阵A 。 转 移 概 率 矩 阵 按 照 静 立 相 、 站 立 相 、 摆
摆 动 相 1 1 0.357 1976.724
动 相 的 顺 序 排 列 ， 表 示 时 相 之 间 相 互 转 换 的
概 率 。智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.2
6 0
0.987 0.012 0
é ù 3 . 3 奶 牛 步 态 时 相 识 别 结 果
ê ê ú ú
ê ú
A = ê ú （7 ）
0.064 0.904 0.031
ê ê ú ú
参 数 训 练 完 成 后 进 入 解 码 阶 段 。 将 测 试 集 带
? 0 0.046 0.953 ?
入GMM-HMM 识 别 奶 牛 步 态 时 相 ， 得 到 的 部 分
测 试 结 果 如 图9 所 示 。 图 中 红 色 、 绿 色 和 蓝 色 部
从 所 得 参 数 的 结 果 可 知 ， 初 始 概 率 即 为 训 练
分 为 奶 牛 的 静 立 相 、 站 立 相 和 摆 动 相 。 从 图9 可
集 的 初 始 时 相 的 概 率 ， 模 型 构 建 时 以 摆 动 相 为 初
以 直 观 发 现 ， 较 为 平 缓 的 是 奶 牛 没 有 行 走 的 静 立
始 输 入 时 相 ， 满 足 随 机 性 。 三 个 时 相 的 高 斯 混 合
相 ； 站 立 相 是 奶 牛 蹄 着 地 到 蹄 离 地 的 这 一 过 程 ，
模 型 的 权 重 都 为1 ， 说 明 每 一 阶 段 单 独 表 示 相 应
其 角 速 度 与 图 中 体 现 的 一 致 ， 从 蹄 着 地 开 始 减 少
时 相 ， 没 有 时 相 之 间 的 交 叉 影 响 ， 提 高 了 模 型 的
再 增 加 直 到 蹄 离 地 ； 连 续 步 态 的 站 立 相 和 摆 动 相
可 解 释 性 和 准 确 性 。 转 移 概 率 的 数 值 也 表 明 了 模
交 替 出 现 ， 摆 动 相 的 角 速 度 增 加 到 一 个 步 态 周 期
型 构 建 的 准 确 性 。 每 一 组 均 值 和 方 差 代 表 一 个
的 最 大 值 ， 然 后 减 少 ， 直 到 蹄 落 地 开 始 受 力
时 相 。 为 止 。
图9 奶 牛 步 态 时 相 识 别 结 果
Fig.9 Gaitphaserecognitionresultsofdairycows
表 2 G M M - H M M 的 奶 牛 不 同 步 态 时 相 识 别 结 果
采 用 精 确 率 （Precision ，P ） ， 召 回 率 （Re ‐
Table2 GMM-HMMrecognitionresultsofdifferentgait
call ，R ） ， 特 异 率 （Specificity ，Sp ） ， 敏 感 性
phasesindairycows
（Sensitivity ，Se ） 和F 值 为 评 价 指 标 。 本 方 法 的
1
时 相 P/% R/% Sp/% Se/% F /%
步 态 时 相 识 别 结 果 中 每 一 条 测 试 集 数 据 都 会 得 到 1
静 立 相 89.28 90.95 93.83 90.95 90.91
一 个 状 态 ， 根 据 测 试 视 频 标 注 结 果 来 验 证 测 试
站 立 相 91.55 86.71 95.51 86.71 89.06
集 ， 结 果 如 表2 所 示 。
摆 动 相 86.67 91.51 93.58 91.51 89.02
由 表2 结 果 可 知 ，3 种 时 相 在 本 研 究 方 法 的
F 值 相 差 不 大 ， 静 立 相 的F 值 较 高 为90.91% ， 高 ， 分 别 为91.55% 和95.51% 。3 个 相 位 识 别 结
1 1
识 别 效 果 最 好 ， 说 明 静 立 相 与 连 续 步 态 的 两 个 时 果 的 误 差 来 源 主 要 在 于 数 据 标 注 时 数 据 质 量 以 及
相 区 分 效 果 较 好 ； 摆 动 相 的 召 回 率 和 敏 感 性 最 试 验 环 境 因 素 ， 例 如 ， 视 频 清 晰 度 不 足 以 准 确 判
高 ， 都 为91.51% ， 说 明 摆 动 相 的 特 征 较 为 明 显 ， 断 奶 牛 蹄 离 地 、 蹄 落 地 这 些 事 件 引 起 的 误 差 以 及
识 别 成 功 率 最 高 ； 站 立 相 的 准 确 率 和 特 异 性 最 搜 集 数 据 时 牛 场 湿 软 地 面 引 起 奶 牛 二 次 发 力 以 及Vol.4,No.2 张 楷 等 ： 基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相
6 1
站 立 不 稳 等 因 素 。 研 究 方 法 分 别 提 高 了4.07% 、7.7% 和9.11% 。
通 过 检 索 文 献 发 现 ， 大 部 分 针 对 奶 牛 步 态 的 本 试 验 步 态 分 割 成 功 识 别160 步 ， 蹄 落 地 的
总 误 差 为 -14.9s ， 平 均 每 步 误 差0.093s ， 蹄 离 地
研 究 关 注 奶 牛 步 态 分 割 方 法 为 提 取 跛 行 奶 牛 步 态
的 总 误 差 为 -7.2s ， 平 均 每 步 误 差 -0.045s ， 满 足
时 相 特 征 ， 本 研 究 更 进 一 步 研 究 奶 牛 步 态 时 相 识
0.1 s 的 误 差 。 其 中 “ - “ 表 示 滞 后 （ 视 频 和 传 感
别 算 法 。 试 验 通 过 人 工 引 导 奶 牛 的 方 式 ， 采 集 了
器 都 为50Hz ） 。 设 立 的 正 样 本 是 站 立 相 ， 站 立 相
奶 牛 在 不 同 行 走 速 度 的 步 态 惯 性 测 量 数 据 ， 结 果
是 奶 牛 蹄 着 地 到 奶 牛 蹄 离 地 这 一 过 程 ， 蹄 着 地 时
表 明 本 研 究 提 出 的 方 法 能 够 克 服 行 走 速 度 对 步 态
奶 牛 会 出 现 站 立 不 稳 、 滑 行 ， 以 及 二 次 用 力 重 新
时 相 识 别 结 果 的 影 响 ， 准 确 识 别 步 态 时 相 ， 有 望
站 稳 的 现 象 ， 导 致 蹄 着 地 这 一 过 程 误 差 较 大 （ 即
实 现 非 约 束 环 境 下 奶 牛 步 态 时 相 的 自 适 应 识 别 。
站 立 相 开 始 阶 段 ） ， 模 型 对 蹄 着 地 这 一 事 件 判 别
3 . 4 奶 牛 步 态 分 割 结 果 对 比 分 析
不 准 确 ， 蹄 落 地 后 ， 传 感 器 会 再 次 收 到 抖 动 的 信
号 ， 直 到 稳 定 状 态 ， 才 会 识 别 站 立 相 ， 进 而 导 致
针 对 奶 牛 连 续 步 态 阶 段 中 的 站 立 相 和 摆 动 相
蹄 着 地 这 一 事 件 识 别 会 滞 后 。 虽 然 蹄 离 地 这 一 事
进 行 奶 牛 步 态 分 割 。 在 奶 牛 连 续 步 态 中 ， 站 立 相
件 ， 不 会 有 二 次 受 力 的 情 况 ， 误 差 会 大 幅 减 小 ，
和 摆 动 相 构 成 一 个 完 整 的 步 态 周 期 ， 根 据 连 续 步
但 是 松 软 、 粘 连 的 地 面 情 况 ， 也 会 出 现 较 小 的 滞
态 中 的 站 立 相 和 摆 动 相 交 替 出 现 ， 奶 牛 步 态 时 相
后 情 况 。
识 别 连 续 步 态 阶 段 中 的 站 立 相 和 摆 动 相 的 结 果 即
为 奶 牛 步 态 分 割 的 结 果 。 奶 牛 步 态 分 割 时 不 再 以
4 结 论
每 条 数 据 为 标 准 ， 使 用 成 功 分 割 的 步 态 周 期 为 单
本 研 究 利 用 可 穿 戴 式 惯 性 测 量 单 元 采 集 奶 牛
位 进 行 结 果 评 价 ， 此 时 的 标 准 为 人 工 标 注 的 完 整
后 肢 的 3 轴 加 速 度 和 3 轴 角 速 度 数 据 ， 经 过 数 据
步 态 周 期 。 将 成 功 识 别 的 步 态 周 期 设 定 为 正 样
预 处 理 和 特 征 值 甄 别 ， 选 择 z 轴 角 速 度 的 1 阶 差 分
本 ， 连 续 步 态 中 验 证162 步 ， 设 定 误 差 为5 帧
作 为 特 征 值 ， 通 过 G M M - H M M 融 合 算 法 进 行 奶 牛
（±0.1s ） 。 为 区 别3.3 中 奶 牛 步 态 时 相 识 别 的 结
步 态 时 相 的 识 别 。 结 果 为 奶 牛 步 态 时 相 和 奶 牛 步
果 ， 重 新 定 义TP 为 准 确 识 别 单 个 步 态 周 期 的 个
态 分 割 提 供 了 理 论 依 据 ， 具 体 结 论 如 下 。
数 ，FP 为 非 单 个 步 态 周 期 ， 但 被 识 别 为 步 态 周
（1 ） 提 出 了 一 种GMM-HMM 融 合 的 无 监 督
期 的 个 数 ，FN 为 未 被 成 功 识 别 的 步 态 周 期 ， 其
学 习 奶 牛 步 态 时 相 识 别 算 法 ， 识 别 出 了 奶 牛 的 静
中TP 为121 个 ，FN 为35 个 ，FP 为11 个 ， 此
立 相 、 连 续 步 态 阶 段 的 摆 动 相 和 站 立 相 ， 其 中 静
时TN 无 意 义 ， 得 到 准 确 率 为91.67% 。
立 相 识 别 的 准 确 率 、 召 回 率 和F 分 别 为89.28% 、
1
同 时 ， 将 本 研 究 利 用 传 感 器 的 奶 牛 步 态 分 割
90.95% 和90.91% ， 连 续 步 态 中 的 站 立 相 识 别 的
方 式 准 确 率 结 果 与 基 于 图 像 处 理 的 奶 牛 步 态 分 割
准 确 率 、 召 回 率 和F 分 别 为91.55% 、86.71% 和
1
算 法 ， 包 括 支 持 向 量 机 、K 最 邻 近 法 以 及 随 机 森
89.06% ， 连 续 步 态 中 的 摆 动 相 识 别 的 准 确 率 、 召
林 等 进 行 对 比 。 峰 值 检 测 法 奶 牛 步 态 分 割 准 确 率
回 率 和F 分 别 为86.67% 、91.51% 和89.03% 。 进
1
为87.44% ， 动 态 时 间 规 整 奶 牛 步 态 分 割 准 确 率
一 步 识 别 了 奶 牛 步 态 时 相 ， 且 识 别 效 果 较 好 ， 为
［13 ］
为90.57% ， 本 研 究 奶 牛 步 态 分 割 准 确 率 为
后 期 奶 牛 跛 行 特 征 提 取 提 供 了 技 术 方 法 。
91.67% ， 不 仅 识 别 了 奶 牛 步 态 时 相 ， 而 且 相 较 于
（2 ） 根 据 连 续 步 态 的 站 立 相 和 摆 动 相 实 现 了
峰 值 检 测 法 和 动 态 时 间 规 整 分 别 将 奶 牛 步 态 分 割
奶 牛 步 态 分 割 ， 准 确 率 达 到 了91.67% ， 相 较 于
准 确 提 高4.23% 和1.1% 。 与 基 于 图 像 处 理 的 奶 牛
基 于 事 件 的 峰 值 检 测 法 和 动 态 时 间 规 整 算 法 准 确
步 态 分 割 算 法 支 持 向 量 机 、K 最 近 邻 和 随 机 森 林
率 分 别 提 高 了4.23% 和1.1% ， 分 割 效 果 较 好 。
的 准 确 率 分 别 为87.60% 、83.90% 和82.56% ， 本 为 满 足 非 约 束 条 件 下 步 态 识 别 的 应 用 要 求 ，智 慧 农 业 （ 中 英 文 ） S m a r t A g r i c u l t u r e Vol.4,No.2
6 2
2018,34(15):190-199.
今 后 将 重 点 测 试 奶 牛 在 不 同 的 行 走 速 度 、 跛 行 状
SONG H, JIANG B,WU Q, et al. Detection method of
态 以 及 地 面 类 型 的 条 件 下 的 模 型 性 能 ， 以 提 升 模
cow lameness based on fitting straight line slope char ‐
型 的 鲁 棒 性 ， 并 结 合 跛 行 引 起 的 奶 牛 躺 卧 、 采 食
acteristics of head and neck contour[J]. Transactions of
theCASE,2018,34(15):190-199.
等 日 常 行 为 波 动 状 况 分 析 ， 提 高 跛 行 判 别 的 准
[10] JIANG B, SONG H, HE D. Lameness detection of
确 性 。
dairy cows based on a double normal background sta ‐
tistical model[J]. Computers and Electronics in Agri ‐
culture,2019,158:140-149.
参 参 考 考 文 文 献 献 ：
[11] PENGY, KONDO N, FUJIURAT, et al. Classification
[1] TADICH N, FLOR E, GREEN L. Associations be ‐
of multiple cattle behavior patterns using a recurrent
tween hoof lesions and locomotion score in 1098 un ‐
neural network with long short-term memory and iner ‐
sound dairy cows[J].TheVeterinary Journal, 2010, 184
tial measurement units[J]. Computers and Electronics
(1):60-65.
inAgriculture,2019,157:247-253.
[2] OEHM A W, KNUBBEN-SCHWEIZER G, RIEGER
[12] HALADJIAN J, BRüGGE B, NüSKE S.An approach
A, et al.Asystematic review and meta-analyses of risk
for early lameness detection in dairy cattle[C]// The
factors associated with lameness in dairy cows[J].
2017 ACM International Joint Conference on Perva ‐
BMCVeterinaryResearch,2019,15(1):ID346.
sive and Ubiquitous Computing and The 2017 ACM
[3] 邵 军, 林 为 民, 孙 新 文, 等. 石 河 子 地 区 奶 牛 肢 蹄 病 类
International Symposium on Wearable Computers.
型 和 发 病 情 况 调 查 分 析[J]. 中 国 奶 牛,2017(1):30-33.
New York, USA: Association for Computing Machin ‐
SHAO J, LIN W, SUN X, et al. Investigation and anal ‐
ery, 2017.
ysis of limb hoof disease types and incidence in dairy
[13] 苏 力 德, 张 永, 王 健, 等. 基 于 改 进 动 态 时 间 规 整 算 法
cows in Shihezi area[J]. China Dairy Cattle, 2017 (1) :
的 奶 牛 步 态 分 割 方 法[J]. 农 业 机 械 学 报,2020,51(7):
30-33.
52-59.
[4] 韩 书 庆, 张 晶, 程 国 栋, 等. 奶 牛 跛 行 自 动 识 别 技 术 研
SU L, ZHANG Y, WANG J, et al. Gait segmentation
究 现 状 与 挑 战[J]. 智 慧 农 业( 中 英 文), 2020, 2(3):
method for dairy cows based on improved dynamic
21-36.
time warping algorithm[J]. Transactions of the CSAM,
HAN S, ZHANG J, CHENG G, et al. Research status
2020,51(7):52-59.
and challenges of automatic identification technology
[14] 张 向 刚, 唐 海, 付 常 君, 等. 一 种 基 于 隐 马 尔 科 夫 模 型
for cow lameness[J]. Smart Agriculture, 2020, 2 (3) :
的 步 态 识 别 算 法[J]. 计 算 机 科 学, 2016, 43(7): 285-
21-36.
289,302.
[5] 程 国 栋, 吴 建 寨, 邢 丽 玮, 等. 基 于IMU 的 细 粒 度 奶 牛
ZHANG X, TANG H, FU C, et al. A gait recognition
行 为 判 别[J]. 中 国 农 业 大 学 学 报, 2022, 27(4):
algorithm based on hidden Markov model[J]. Comput ‐
179-186.
erScience,2016,43(7):285-289,302.
CHENGG,WUJ,XINGL,etc.Thebehaviordiscrimi ‐
[15] HAJI GHASSEMI N, HANNINK J, MARTINDALE
nation of fine-grained dairy cows based on IMU[J]. C F, et al. Segmentation of gait sequences in sensor-
Journal of China Agricultural University, 2022, 27 (4):
based movement analysis:Acomparison of methods in
179-186.
Parkinson''s disease[J]. Sensors (Basel), 2018, 18(1):
[6] LI Z, ZHANG Q, LYU S, et al. Fusion of RGB, optical
ID145
flow and skeleton features for the detection of lame ‐ [16] ROTH N, KUDERLE A, ULLRICH M, et al. Hidden
ness in dairy cows[J]. Biosystems Engineering, 2022,
Markov model based stride segmentation on unsuper ‐
218:62-77.
vised free-living gait data in Parkinson''s disease pa ‐
[7] ALSAAOD M, NIEDERHAUSER J J, BEER G, et al. tients[J]. Journal of Neuro Engineering and Rehabilita ‐
Developmentandvalidationofanovelpedometeralgo ‐ tion,2021,18(1):ID93.
rithm to quantify extended characteristics of the loco ‐
[17] 王 东 源, 王 玉 舜, 谷 禹, 等. 天 津 地 区 奶 牛 蹄 病 分 析 研
motor behavior of dairy cows[J]. Journal of Dairy Sci ‐ 究[J]. 天 津 农 学 院 学 报,2015,22(2):37-39.
ence,2015,98(9):6236-6242. WANG D, WANG Y, GU Y, et al. Analysis of cow
[8] ZHAOK,BEWLEYJM,HED,etal.Automaticlame ‐
hoof disease in Tianjin[J]. Journal of Tianjin Agricul ‐
ness detection in dairy cattle based on leg swing analy ‐ turalUniversity,2015,22(2):37-39.
sis with an image processing technique[J]. Computers [18] XIA R, ZHANG Q, DENG X. Multiscale Gaussian
andElectronicsinAgriculture,2018,148:226-236. convolution algorithm for estimate of Gaussian mix ‐
[9] 宋 怀 波, 姜 波, 吴 倩, 等. 基 于 头 颈 部 轮 廓 拟 合 直 线 斜
ture model[J]. Communications in Statistics-Theory
率 特 征 的 奶 牛 跛 行 检 测 方 法[J]. 农 业 工 程 学 报, andMethods,2018,48(23):5889-5910.Vol.4,No.2 张 楷 等 ： 基 于 高 斯 混 合 - 隐 马 尔 科 夫 融 合 算 法 识 别 奶 牛 步 态 时 相
6 3
[19] RABINER L R. A Tutorial on Hidden Markov models et al. The cow pedogram —Analysis of gait cycle vari ‐
and selected applications in speech recognition[M]// ables allows the detection of lameness and foot pathol ‐
WAIBELA, LEE K-F. Readings in speech recognition. ogies[J]. Journal of Dairy Science, 2017, 100(2): 1417-
SanFrancisco:MorganKaufmann,1990. 1426.
[20] ALSAAOD M, LUTERNAUER M, HAUSEGGER T,
GaitPhaseRecognitionofDairyCowsbasedonGaussian
MixtureModelandHiddenMarkovModel

ZHANGKai,HANShuqing,CHENGGuodong,WUSaisai,LIUJifang
（Agricultural Information Institute of ChineseAcademy ofAgricultural Sciences/ Key Laboratory ofAgricultural
BlockchainApplication, Ministry ofAgriculture and RuralAffairs, Beijing100081, China ）
Abstract: The gait phase of dairy cows is an important indicator to reflect the severity of lameness. IThe accuracy of available
gait segmentation methods was not enough for lameness detection. In this study, a gait phase recognition method based on
Gaussian mixture model (GMM) and hidden Markov model (HMM) was proposed and tested. Firstly, wearable inertial sensors
LPMS-B2 were used to collect the acceleration and angular velocity signals of cow hind limbs. In order to remove the noise of
thesystem andrestoretherealdynamicdata,Kalmanfilterwasusedfordatapreprocessing.Thefirst-orderdifferenceofthean ‐
gularvelocityofthecoronalaxiswasselectedastheeigenvalue.Secondly,toanalyzethelong-termcontinuousrecordedgaitse ‐
quences of dairy cows, the processed data was clustered by GMM in the unsupervised way.The clustering results were taken as
the input of the HMM, and the gait phase recognition of dairy cows was realized by decoding the observed data. Finally, the
cow gait was segmented into 3 phases, including the stationary phase, standing phase and swing phase.At the same time, gait
segmentation was achieved according to the standing phase and swing phase. The accuracy, recall rate and F of the stationary
1
phasewere89.28%,90.95% and90.91%,respectively.Theaccuracy,recallrateand F ofthestandingphaserecognitionincon ‐
1
tinuous gait were 91.55%, 86.71% and 89.06%, respectively. The accuracy, recall rate and F of the swing phase recognition in
1
continuous gait were 86.67%, 91.51% and 89.03%, respectively. The accuracy of cow gait segmentation was 91.67%, which
was 4.23% and 1.1 % higher than that of the event-based peak detection method and dynamic time warping algorithm, respec ‐
tively. The experimental results showed that the proposed method could overcome the influence of the cow''s walking speed on
gait phase recognition results, and recognize the gait phase accurately.This experiment provides a new method for the adaptive
recognition of the cow gait phase in unconstrained environments. The degree of lameness of dairy cows can be judged by the
gaitfeatures.
Keywords: dairycowlameness;gaitphase;gaitsegmentation;gaussianmixturemodel;hiddenMarkovmodel;Kalmanfiltering
（ 登 陆www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ）