2023 年 12 月 第 5 卷 第 4 期 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Dec. 2023 Vol. 5, No. 4
基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统
1 ， 2 3 1 ， 2 1 ， 2
王 婷 ， 王 娜 ， 崔 运 鹏 ， 刘 娟
（1. 中 国 农 业 科 学 院 农 业 信 息 研 究 所 ， 北 京 100081 ， 中 国 ； 2. 农 业 农 村 部 农 业 大 数 据 重 点 实 验 室 ， 北 京 100081 ，
中 国 ； 3. 96962 部 队 ， 北 京 102206 ， 中 国 ）
摘 要 ： ［ ［ 目 目 的 的 / 意 意 义 义 ］ ］ 乡 村 振 兴 战 略 给 农 业 技 术 推 广 提 出 新 的 要 求 ， 使 农 业 推 广 知 识 的 供 给 形 式 有 待 进 一 步 创
新 。 以 果 蔬 农 技 知 识 服 务 为 需 求 导 向 ， 基 于 前 沿 大 语 言 模 型 技 术 ， 面 向 新 型 农 业 知 识 导 读 和 知 识 问 答 等 农 技 推 广
服 务 ， 构 建 果 蔬 农 技 知 识 智 能 问 答 系 统 。 ［ ［ 方 方 法 法 ］ ］ 基 于 草 莓 种 植 户 需 求 分 析 ， 把 草 莓 栽 培 农 技 知 识 划 分 为 不 同 主
题 ， 形 成 知 识 对 象 识 别 和 知 识 问 答 两 种 大 模 型 下 游 任 务 ， 结 合 机 器 自 动 标 注 和 人 工 标 注 的 方 法 构 建 小 样 本 高 质 量
训 练 语 料 ； 通 过 对 比 已 有 的 4 种 大 语 言 模 型 ：Baichuan2-13B-Chat 、ChatGLM2-6B 、Llama-2-13B-Chat 、ChatGPT
的 性 能 表 现 ， 选 择 性 能 最 优 的 模 型 作 为 基 础 模 型 ， 按 照 “ 优 质 语 料+ 预 训 练 大 模 型+ 微 调 ” 的 研 究 思 路 ， 训 练 具 有
语 义 分 析 、 上 下 文 关 联 和 生 成 能 力 ， 能 够 适 应 多 种 下 游 任 务 的 深 度 神 经 网 络 ， 构 建 农 业 知 识 问 答 大 模 型 ； 采 用 数
据 优 化 、 检 索 增 强 生 成 技 术 等 多 种 策 略 缓 解 大 模 型 幻 觉 问 题 ； 研 发 果 蔬 农 技 知 识 智 能 问 答 系 统 ， 生 成 高 精 度 、 无
歧 义 的 农 业 知 识 答 案 ， 同 时 支 持 用 户 多 轮 问 答 。 ［ ［ 结 结 果 果 和 和 讨 讨 论 论 ］ ］ 以 精 准 率 和 召 回 率 为 命 名 实 体 识 别 任 务 的 性 能 表 现
指 标 ， 参 与 测 评 的 国 内 主 流 模 型 在 微 调 后 不 同 知 识 主 题 下 的 平 均 精 准 率 均 超 过 85% ， 平 均 召 回 率 表 现 各 异 ， 其 中
知 识 实 体 类 型 的 数 量 、 标 注 语 料 数 量 等 因 素 都 会 影 响 大 模 型 性 能 ； 以 幻 觉 率 和 语 义 相 似 度 为 知 识 问 答 任 务 的 性 能
表 现 指 标 ， 数 据 优 化 、 采 用 检 索 增 强 生 成 技 术 等 策 略 以 10% ~40% 的 幅 度 有 效 降 低 大 模 型 幻 觉 率 ， 并 有 效 提 高 大
模 型 的 语 义 相 似 度 。 ［ ［ 结 结 论 论 ］ ］ 在 农 业 领 域 的 命 名 实 体 识 别 和 知 识 问 答 任 务 中 ， 预 训 练 大 模 型 ChatGLM 的 表 现 性 能
最 优 。 针 对 预 训 练 大 模 型 下 游 任 务 的 微 调 和 基 于 检 索 增 强 生 成 （Retrieval-Augmented Generation ，RAG ） 技 术 的 模
型 优 化 可 以 缓 解 大 模 型 幻 觉 问 题 ， 显 著 提 升 大 模 型 性 能 。 大 模 型 技 术 具 有 创 新 农 技 知 识 服 务 模 式 、 优 化 农 业 知 识
推 广 的 潜 力 ， 能 够 有 效 降 低 种 植 户 获 取 高 质 量 有 效 知 识 的 时 间 成 本 ， 引 导 更 多 的 种 植 户 实 现 农 业 技 术 创 新 和 转 型 。
但 是 由 于 性 能 不 稳 定 等 诸 多 问 题 ， 大 模 型 的 优 化 方 法 和 具 体 场 景 应 用 仍 需 进 一 步 深 入 研 究 。
关 键 词 ： 大 模 型 ； 生 成 式 预 训 练 变 换 器 ； 农 技 知 识 ； 智 能 问 答 ； 命 名 实 体 识 别
中 图 分 类 号 ： TP399 ； S126 文 献 标 志 码 ： A 文 章 编 号 ： SA202311005
引 用 格 式 ： 王 婷, 王 娜, 崔 运 鹏, 刘 娟 . 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统[J]. 智 慧 农 业( 中 英 文),
2023, 5(4): 105-116. DOI ： 10.12133/j.smartag.SA202311005
WANG Ting, WANG Na, CUI Yunpeng, LIU Juan. Agricultural technology knowledge intelligent question-answering sys ‐
tem based on large language model[J]. Smart Agriculture, 2023, 5(4): 105-116. DOI ： 10.12133/j.smartag.SA202311005
(in Chinese with English abstract)
［1 ］
为 中 国 农 业 现 代 化 亟 须 解 决 的 问 题 。 传 统 农 业 技
0 引 言
术 推 广 存 在 “ 供 需 矛 盾 突 出 ” 的 问 题 ： 首 先 ， 很 多
现 代 信 息 技 术 的 飞 速 发 展 促 进 了 中 国 农 业 技 术
农 业 科 研 成 果 没 有 得 到 有 效 的 推 广 和 使 用 ， 导 致 农
的 不 断 进 步 。 如 何 推 广 普 及 先 进 实 用 的 农 业 技 术 成 业 生 产 力 和 市 场 需 求 不 匹 配 。 其 次 ， “ 大 水 漫 灌 式 ”
收 稿 日 期 ：2023-11-01
基 金 项 目 ： 北 京 市 数 字 农 业 创 新 团 队 项 目 （BAIC10-2023 ） ； 中 国 农 业 科 学 院 基 本 科 研 业 务 费 项 目 （JBYW-AII-2023-31 ） ； 国 家 重 点 研 发 计 划
项 目 （2022YFF0711902 ）
作 者 简 介 ： 王 婷 ， 研 究 方 向 为 深 度 学 习 方 法 的 理 论 研 究 与 应 用 、 生 信 分 析 。E-mail ：wangting01@caas.cn
通 信 作 者 ： 崔 运 鹏 ， 博 士 ， 研 究 员 ， 研 究 方 向 为 农 业 大 数 据 挖 掘 分 析 、 自 然 语 言 处 理 、 生 信 分 析 。E-mail ：cuiyunpeng@caas.cn
copyright?2023 by the authors106 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
的 农 技 推 广 无 法 满 足 农 业 生 产 者 的 个 性 化 、 易 接 统 ， 能 够 为 农 业 生 产 者 提 供 高 精 度 、 无 歧 义 的 有 效
受 、 好 吸 收 的 需 求 。 在 乡 村 振 兴 战 略 给 农 业 技 术 推 知 识 ， 全 面 助 力 农 业 生 产 者 解 决 实 际 问 题 。
广 提 出 新 要 求 的 背 景 下 ， 农 业 推 广 知 识 的 供 给 形 式
1 智 能 问 答 技 术 相 关 研 究
［2 ］
有 待 进 一 步 创 新 。 如 何 在 果 蔬 栽 培 过 程 中 ， 针 对
种 植 户 面 临 的 实 际 生 产 问 题 ， 随 时 随 地 提 供 高 质 量
1.1 命 名 实 体 识 别
的 答 疑 解 惑 ， 并 辅 助 种 植 户 快 速 有 效 地 消 化 和 吸 收
根 据 命 名 实 体 识 别 领 域 的 研 究 进 展 ， 主 要 可 以
农 业 知 识 ， 都 是 农 技 知 识 推 广 亟 须 解 决 的 问 题 ， 实
划 分 为 以 下 3 个 阶 段 。
现 技 术 分 别 对 应 自 然 语 言 处 理 领 域 中 的 命 名 实 体 识
（1 ） 基 于 词 典 和 规 则 的 方 法 。 在 专 家 制 定 好 规
别 和 知 识 问 答 。
则 和 词 典 后 ， 通 过 文 本 匹 配 的 方 式 实 现 命 名 实 体 识
深 度 学 习 、 大 规 模 神 经 网 络 等 人 工 智 能 技 术 的
别 。 这 种 方 法 过 于 依 赖 专 家 知 识 ， 人 工 成 本 和 时 间
快 速 突 破 性 进 展 ， 尤 其 是 大 语 言 模 型 （Large Lan ‐
guage Models ，LLM ） 的 出 现 ， 给 命 名 实 体 识 别 和 成 本 较 高 ， 且 无 法 面 向 新 领 域 、 新 实 体 类 型 或 新 数
［5 ］
知 识 问 题 提 供 了 新 的 手 段 和 方 法 ， 从 而 也 使 得 拟 人 据 集 进 行 迁 移 或 扩 展 。
［3 ］
化 、 智 能 化 的 农 业 技 术 推 广 成 为 可 能 。LLM 在 （2 ） 基 于 传 统 机 器 学 习 的 方 法 。 命 名 实 体 识 别
被 转 化 为 序 列 标 注 问 题 ， 当 前 的 预 测 标 签 不 仅 与 当
大 规 模 数 据 训 练 过 程 中 可 以 自 动 学 习 一 些 高 级 复 杂
前 的 输 入 特 征 相 关 ， 还 与 之 前 的 预 测 标 签 相 关 ， 利
的 功 能 ， 拥 有 更 准 确 的 逻 辑 推 理 学 习 能 力 ， 在 很 多
［4 ］
方 面 都 拥 有 了 接 近 人 类 认 知 的 表 现 。 聊 天 生 成 式 用 序 列 之 间 的 强 相 互 依 赖 关 系 来 实 现 命 名 实 体 识
［6 ］
预 训 练 变 换 器 （Chat Generative Pre-trained Trans ‐ 别 。 常 见 方 法 包 括 隐 马 尔 可 夫 模 型 、 支 持 向 量
［7 ］ ［8 ］
former ，ChatGPT ） 的 出 现 将 大 语 言 模 型 技 术 推 向 机 和 条 件 随 机 场 等 。
了 爆 发 阶 段 ， 引 发 了 大 模 型 技 术 产 业 前 所 未 有 的 发 （3 ） 基 于 深 度 学 习 的 方 法 。 在 命 名 实 体 识 别 任
展 契 机 。OpenAI 、 微 软 、 谷 歌 、Facebook 、 百 度 等 务 适 用 于 非 线 性 转 化 的 特 性 条 件 下 ， 由 于 深 度 学 习
科 技 巨 头 企 业 纷 纷 布 局 了 相 关 业 务 ， 在 大 语 言 模 型
以 端 到 端 的 训 练 方 式 ， 通 过 梯 度 传 播 方 法 构 建 更 复
领 域 持 续 不 断 地 进 行 探 索 创 新 ， 推 出 ChatGPT 、
杂 的 网 络 结 构 ， 从 而 能 够 提 取 自 然 语 言 中 更 有 效 的
GPT-4 、 文 心 一 言 、 通 义 千 问 、ChatGLM-6B 、Bai ‐ 特 征 ， 更 好 地 挖 掘 命 名 实 体 和 实 体 类 型 之 间 的 关
chuan2-13B-Chat 等 人 工 智 能 大 模 型 产 品 。 系 ， 所 以 注 意 力 机 制 、 图 神 经 网 络 、 迁 移 学 习 、 远
同 时 ， 中 国 政 府 也 推 出 多 项 与 人 工 智 能 领 域 相 监 督 学 习 等 热 门 研 究 技 术 成 为 命 名 实 体 识 别 目 前 的
［9 ］
关 的 利 好 政 策 。 其 中 ， 《 北 京 市 促 进 通 用 人 工 智 能
主 流 研 究 方 向 。 常 见 方 法 包 括 BiLSTM-CRF 、
［10 ］ ［11 ］ ［12 ］
创 新 发 展 的 若 干 措 施 （2023 —2025 年 ） 》 提 出 “ 开
IDCNN-CRF 、 CAN-NER 、 LatticeLSTM 、
［13 ］ ［14 ］
展 大 模 型 创 新 算 法 及 关 键 技 术 研 究 ” “ 加 强 大 模 型
BERT 和 ERNIE 等 。
训 练 数 据 采 集 及 治 理 工 具 研 发 ” 等 ， 面 向 政 务 服
1.2 知 识 问 答
务 、 医 疗 、 科 学 研 究 、 金 融 等 领 域 拓 展 应 用 场 景 ，
抢 抓 大 模 型 发 展 机 遇 ， 推 动 通 用 人 工 智 能 领 域 实 现 根 据 知 识 问 答 领 域 的 研 究 进 展 ， 主 要 可 以 划 分
为 以 下 4 个 阶 段 。
创 新 引 领 。
（1 ） 传 统 基 于 规 则 的 方 法 。 通 常 包 括 问 题 分
因 此 ， 本 研 究 在 把 握 农 业 需 求 、 跟 踪 前 沿 人 工
类 、 答 案 检 索 和 答 案 生 成 。 这 种 方 法 人 工 成 本 和 时
智 能 技 术 的 基 础 上 ， 以 草 莓 栽 培 技 术 为 例 ， 利 用 预
［15 ］
间 成 本 较 高 ， 且 无 法 有 效 处 理 未 知 问 题 和 答 案 。
训 练 大 语 言 模 型 ， 按 照 “ 优 质 语 料+ 预 训 练 大 模 型+
微 调 ” 的 大 模 型 技 术 研 究 思 路 ， 训 练 具 有 语 义 分 （2 ） 基 于 知 识 图 谱 的 方 法 。 首 先 通 过 结 构 化 数
析 、 上 下 文 关 联 和 生 成 能 力 ， 能 够 适 应 知 识 对 象 实 据 、 文 本 语 料 库 和 半 结 构 化 数 据 构 建 领 域 知 识 图
体 识 别 、 关 系 抽 取 、 知 识 问 答 等 多 种 下 游 任 务 的 深 谱 ， 然 后 基 于 此 提 取 准 确 和 详 细 的 答 案 。 由 于 知 识
度 神 经 网 络 模 型 ， 构 建 新 一 代 果 蔬 农 技 知 识 问 答 系 图 谱 存 在 过 于 依 赖 专 家 知 识 、 知 识 不 完 备 性 、 缺 乏Vol. 5, No. 4 王 婷 等 ： 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 107
表 1 果 蔬 农 技 知 识 需 求 调 研 种 植 户 的 基 本 特 征
语 言 理 解 等 缺 点 ， 所 以 这 种 方 法 具 有 很 大 的 局
［16 ］ Table 1 The characteristics of farmers related with the require ‐
限 性 。
ment study on agricultural knowledge
（3 ） 基 于 传 统 深 度 学 习 的 方 法 。 基 于 深 度 学 习
样 样 本 本 种 种 植 植 户 户 描 描 述 述 百 百 分 分 比 比/%
方 法 中 小 型 神 经 网 络 ， 如 循 环 神 经 网 络 、 长 短 期 记
男 95.5
忆 网 络 和 注 意 力 机 制 等 ， 将 自 然 语 言 转 化 为 语 义 表
性 别
女 4.5
示 ， 并 将 问 题 和 答 案 表 示 为 向 量 形 式 ， 通 过 问 题 向
40 岁 及 以 下 29.1
量 和 答 案 向 量 之 间 的 相 似 匹 配 得 分 确 定 最 优
年 龄 40 ~50 35.3
［17 ］
50 岁 及 以 上 35.6
答 案 。
初 中 及 以 下 81.3
（4 ） 基 于 大 语 言 模 型 的 方 法 。 把 深 度 学 习 方 法
学 历
高 中 及 以 上 18.7
中 大 型 神 经 网 络 作 为 预 训 练 模 型 ， 如 BERT 、Ro ‐
30% 及 以 下 14.2
［18 ］ ［19 ］ ［20 ］
BERTa 、BART 、GPT 和 ChatGLM 等 ， 根
家 庭 务 农 人 口 比 例 30% ~90% 72.1
90% 及 以 上 13.7
据 下 游 任 务 进 行 微 调 ， 以 实 现 迁 移 学 习 。 这 些 模 型
5 万 及 以 下 24.4
的 参 数 规 模 巨 大 ， 网 络 结 构 十 分 复 杂 ， 在 设 计 的 预
年 家 庭 收 入 5 万 ~8 万 63.9
训 练 任 务 下 从 大 规 模 无 标 注 文 本 中 学 习 自 然 语 言 上
8 万 及 以 上 11.7
下 文 相 关 的 意 义 和 结 构 ， 可 以 捕 捉 到 更 丰 富 的 语 言 2
20 t/hm 及 以 上 49.3
2
特 征 ， 从 而 能 够 更 好 地 应 对 各 种 自 然 语 言 处 理 任 草 莓 单 产 水 平 5 ~20 t/hm 47.2
2
5 t/hm 及 以 下 3.5
务 ， 知 识 问 答 便 是 其 中 一 个 。 但 是 由 于 GPT 、
ChatGLM 等 大 模 型 生 成 回 复 时 ， 在 “ 事 实 性 ” “ 实
时 性 ” 等 方 面 存 在 缺 陷 ， 在 需 要 精 准 回 答 的 领 域 知
识 问 答 场 景 无 法 满 足 需 求 ， 所 以 必 须 借 助 外 部 知 识
库 生 成 高 质 量 的 准 确 回 复 。
2 果 蔬 农 技 知 识 需 求 分 析
以 针 对 草 莓 的 果 蔬 农 技 知 识 需 求 分 析 为 例 ， 本
研 究 分 别 对 北 京 市 12 个 区 县 的 草 莓 种 植 户 进 行 随
机 抽 样 问 卷 调 查 ， 基 本 涵 盖 了 北 京 市 郊 区 主 要 的 草
莓 生 产 区 域 ， 涉 及 种 植 户 基 本 情 况 、 技 术 需 求 及 获
图 1 果 蔬 农 技 知 识 需 求 调 研 种 植 户 的 区 域 分 布
得 途 径 等 。 本 次 调 研 共 计 发 放 193 份 调 查 问 卷 ， 回
Fig. 1 The district distribution of farmers related with the re ‐
收 165 份 ， 问 卷 有 效 率 为 85.5% 。
quirement study on agricultural knowledge
（1 ） 果 蔬 农 技 知 识 需 求 调 研 种 植 户 的 基 本 特
征 ， 包 括 性 别 、 年 龄 、 学 历 、 家 庭 背 景 、 家 庭 收
运 及 加 工 技 术 。 总 体 上 ， 北 京 市 郊 设 施 草 莓 种 植 户
入 、 草 莓 单 产 水 平 等 ， 如 表 1 所 示 。
对 各 种 类 型 技 术 都 表 现 出 强 烈 的 需 求 欲 望 ， 各 类 技
（2 ） 从 调 研 种 植 户 的 区 域 分 布 来 看 ， 基 本 上 涵
术 都 有 七 成 以 上 的 种 植 户 选 择 。 设 施 草 莓 生 产 大 多
盖 了 北 京 市 郊 区 主 要 的 草 莓 生 产 区 域 ， 包 括 昌 平 、
是 大 棚 保 护 地 生 产 ， 属 于 劳 动 密 集 型 农 业 ， 机 械 作
通 州 、 顺 义 等 ， 如 图 1 所 示 。
业 的 替 代 性 较 小 ， 所 以 种 植 户 对 省 工 机 械 技 术 的 需
（3 ） 种 植 户 的 技 术 需 求 类 型 。 种 植 户 对 草 莓 种 求 较 少 。
植 农 业 技 术 的 整 体 需 求 如 表 2 所 示 。93.3% 的 种 植 （4 ） 种 植 户 的 技 术 需 求 。 通 过 种 植 户 按 照 急 需
户 需 要 增 加 产 量 的 良 种 技 术 ；91.3% 的 种 植 户 需 求 性 和 重 要 性 对 设 施 草 莓 栽 培 技 术 需 求 的 排 序 发 现 ，
是 病 虫 害 防 控 技 术 ； 排 在 第 3 位 的 是 节 本 高 效 栽 培 种 植 户 普 遍 对 良 种 技 术 需 求 迫 切 。 首 先 ，27.9% 的
技 术 ； 种 植 户 需 求 较 低 的 技 术 是 省 工 机 械 技 术 、 贮 种 植 户 将 提 高 品 质 良 种 技 术 的 急 需 程 度 排 在 第 1108 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
表 2 草 莓 种 植 户 的 农 技 需 求 分 布
（5 ） 种 植 户 获 取 技 术 的 来 源 途 径 。 关 于 种 植 户
Table 2 Agticultural technology demand distribution of straw ‐
技 术 获 得 途 径 的 调 查 结 果 显 示 ， 近 九 成 种 植 户 没 有
berry farmers
参 加 过 任 何 和 草 莓 种 植 相 关 的 技 术 培 训 ， 基 本 上 还
种 植 户 对 现 有 技 术 水 平 的 评 价
是 以 自 己 摸 索 、 凭 经 验 生 产 为 主 ； 其 次 是 通 过 向 其
需 求
技 术 类 型
基 本 有 待 亟 待
他 种 植 户 学 习 获 得 技 术 。48.97% 的 种 植 户 生 产 主 要
比 例/%
满 足/%
满 足/% 提 高/% 提 高/%
依 靠 自 己 ；39.65% 的 种 植 户 则 是 模 仿 其 他 种 植 户 生
种 苗 培 育 技 术 75.5 13.85 23.08 40.00 23.08
产 。 在 其 他 获 得 技 术 途 径 方 面 ，4.91% 的 种 植 户 从
水 肥 及 管 理 技 术 81.2 7.69 32.31 38.46 21.54
病 虫 害 防 治 技 术 91.3 7.58 16.67 51.52 24.24
政 府 各 级 农 技 推 广 站 的 农 技 人 员 那 里 学 到 相 关 生 产
贮 运 及 加 工 技 术 85.6 13.85 29.23 47.69 9.23
技 术 ；2.65% 和 2.26% 的 种 植 户 分 别 从 媒 体 或 乡 村
优 质 生 产 技 术 72.1 10.77 21.54 41.54 26.15
干 部 那 里 获 得 生 产 技 术 知 识 ， 农 业 合 作 组 织 或 龙 头
增 加 产 量 良 种 技 术 93.3 21.54 33.85 23.08 21.54
企 业 在 草 莓 生 产 技 术 供 给 方 面 的 作 用 则 微 乎 其 微 。
节 本 高 效 栽 培 技 术 90.7 7.69 26.15 53.85 12.31
省 工 机 械 技 术 77.7 10.77 38.46 33.85 16.92 基 于 以 上 需 求 分 析 ， 本 研 究 通 过 构 建 基 于 大 模
新 品 种 应 用 69.3 25.76 37.88 16.67 19.70
型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 创 新 农 业 技 术
新 农 药 和 肥 料 应 用 技 术 67.9 32.31 26.15 30.77 10.77
推 广 模 式 ， 以 此 加 强 对 农 业 技 术 知 识 服 务 的 管 控 ，
新 农 具 应 用 技 术 73.7 29.23 30.77 26.15 13.85
降 低 种 植 户 优 化 农 技 知 识 储 备 的 时 间 成 本 ， 从 而 引
品 牌 经 营 技 术 49.2 33.85 15.38 30.77 20.00
导 更 多 的 种 植 户 实 现 农 业 技 术 创 新 和 转 型 。
位 ； 其 次 有 24.5% 的 种 植 户 将 提 高 产 量 良 种 技 术 排
3 果 蔬 农 技 知 识 智 能 问 答 大 模 型 构 建
在 第 2 位 ， 说 明 随 着 生 活 水 平 的 提 高 ， 种 植 户 顺 应
本 研 究 基 于 农 技 推 广 现 状 和 草 莓 农 技 知 识 需 求
人 们 消 费 需 求 的 变 化 ， 在 高 产 稳 产 的 基 础 上 愈 发 重
分 析 ， 针 对 农 技 知 识 导 读 和 农 技 知 识 问 答 等 农 业 领
视 草 莓 的 品 质 ； 急 需 性 排 名 第 3 位 的 是 病 虫 害 防 控
技 术 ，19.8% 的 种 植 户 认 为 最 需 要 此 项 技 术 ； 种 植 域 行 业 应 用 ， 形 成 知 识 对 象 识 别 和 知 识 问 答 两 种 大
户 对 水 肥 及 管 理 技 术 、 省 工 机 械 技 术 、 节 本 高 效 栽 模 型 下 游 任 务 ， 获 取 相 关 农 技 知 识 语 料 ， 构 建 小 样
本 高 质 量 标 注 语 料 ， 训 练 农 业 领 域 知 识 大 模 型 ， 并
培 技 术 的 重 视 程 度 相 当 ， 分 别 排 在 第 4 、5 、6 位 ；
构 建 果 蔬 农 技 知 识 智 能 问 答 系 统 ， 总 体 框 架 如 图 2
在 对 各 种 类 型 技 术 进 行 排 序 的 过 程 中 ，41.1% 的 种
植 户 把 贮 运 及 加 工 技 术 排 在 最 后 ， 可 见 目 前 大 部 分 所 示 。
种 植 户 不 太 关 注 草 莓 的 产 后 技 术 。
图 2 果 蔬 农 技 知 识 智 能 问 答 系 统 总 体 框 架 图
Fig. 2 The general framework of intelligent question answering system oriented to agricultural technologyVol. 5, No. 4 王 婷 等 ： 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 109
表 3 大 模 型 训 练 标 注 语 料 数 据 统 计
3.1 获 取 农 技 知 识 语 料
Table 3 The statistical analysis of labeled database for the
基 于 本 研 究 第 3 节 中 种 植 户 对 草 莓 农 技 知 识 的
LLM training
需 求 分 析 ， 本 研 究 首 先 对 草 莓 栽 培 技 术 知 识 进 行 了
生 产 基 品 种 套 种 虫 害 诊 断 病 害 诊 断 药 害 诊 断
知 识 专 题 总 量
梳 理 ， 划 分 了 草 莓 生 产 基 本 知 识 、 品 种 筛 选 、 套 种
本 知 识 筛 选 知 识 与 防 治 与 防 治 与 防 治
知 识 、 虫 害 诊 断 与 防 治 、 病 害 诊 断 与 防 治 、 药 害 诊 标 注 语 料
151 107 61 212 232 106 869
数 量
断 与 防 治 6 个 专 题 的 知 识 对 象 。 然 后 ， 分 别 根 据 果
知 识 对 象
5 1 3 4 4 4 21
蔬 农 技 知 识 的 知 识 对 象 确 定 实 体 类 型 ， 形 成 关 键
数 量
词 ， 并 构 建 关 键 词 检 索 式 。 举 例 说 明 如 下 ： 专 题 病
知 识 实 体 类
9 2 4 6 6 5 32
型 数 量
害 的 诊 断 与 防 治 的 知 识 对 象 包 括 农 作 物 、 作 物 部
问 答 对 数 量 63 47 22 44 48 36 260
位 、 病 害 诊 断 与 防 治 ； 知 识 对 象 “ 病 害 诊 断 与 防
治 ” 的 实 体 类 型 包 括 病 害 、 症 状 、 防 治 措 施 ， 关 键 3.3 构 建 农 业 知 识 实 体 识 别 和 农 业 知 识 问 答
词 为 病 害 、 灰 霉 病 、 霜 霉 病 等 ， 对 应 的 关 键 词 检 索
大 模 型
式 为 ：Summary ： （ “ 病 害 ”or “ 灰 霉 病 ”or “ 霜 霉
农 业 知 识 实 体 识 别 和 农 业 知 识 问 答 大 模 型 的 构
病 ”or … … ） 。
建 过 程 如 下 所 述 ：
面 向 草 莓 农 技 知 识 的 6 个 专 题 ， 通 过 关 键 词 检
（1 ） 初 期 基 础 模 型 候 选 集 构 建 。 基 于 以 下 3 个
索 式 检 索 知 网 、 维 普 、 万 方 、 国 家 科 技 图 书 文 献 中
方 面 的 综 合 考 虑 构 建 初 期 基 础 预 训 练 大 模 型 集 ：
心 （National Science and Technology Library ，
① SuperCLUE 针 对 中 文 通 用 大 模 型 的 逻 辑 推 理 、
NSTL ） 、 中 国 科 学 引 文 数 据 库 等 权 威 学 术 网 站 ， 下
知 识 百 科 、 语 言 理 解 、 生 成 创 作 、 对 话 等 各 种 能
载 相 关 摘 要 或 全 文 ， 经 过 清 洗 、 内 容 重 新 组 织 等 数
力 的 排 名 ；② github 平 台 上 相 关 应 用 获 取 的 星 数 ；
据 预 处 理 过 程 ， 共 获 取 869 条 草 莓 农 技 知 识 语 料 。
③ 是 否 开 源 可 商 用 ， 最 终 选 择 Baichuan2-13B-Chat
［22 ］
3.2 形 成 小 样 本 高 质 量 标 注 语 料
（Baichuan ） 、 ChatGLM2-6B （ChatGLM ） 、 Lla ‐
［23 ］
ma-2-13B-Chat （Llama ） 作 为 初 期 基 础 预 训 练 大
分 别 针 对 果 蔬 农 技 知 识 对 象 识 别 和 果 蔬 农 技 知
模 型 集 ， 并 同 时 和 业 界 热 度 比 较 高 的 大 模 型 ChatG ‐
识 问 答 两 种 下 游 任 务 形 成 预 训 练 大 模 型 微 调 需 要 的
［24 ］
PT 进 行 性 能 对 比 。
小 样 本 高 质 量 标 注 语 料 。
［25 ］
（2 ） 预 训 练 大 模 型 微 调 。 由 于 Lora 微 调 是
（1 ） 标 注 知 识 对 象 实 体 。 利 用 机 器 自 动 标 注 和
一 种 通 过 将 模 型 参 数 矩 阵 分 解 为 低 秩 形 式 ， 只 对 部
人 工 标 注 结 合 的 方 式 对 869 条 知 识 语 料 进 行 标 注 。
分 重 要 参 数 进 行 微 调 ， 从 而 加 速 模 型 训 练 和 提 高 模
首 先 针 对 每 种 知 识 对 象 实 体 类 型 随 机 抽 取 40 条 知
［21 ］
型 性 能 的 方 法 ， 具 有 以 下 优 点 ：① 参 数 量 小 ， 对 算
识 语 料 ， 使 用 标 注 工 具 doccano 进 行 人 工 标 注 。
力 和 存 储 的 要 求 较 低 ；② 属 于 小 型 微 调 ， 减 少 模 型
然 后 把 其 他 标 注 语 料 放 到 大 模 型 ChatGPT 里 生 成 伪
参 数 优 化 的 时 间 ， 效 率 较 高 ；③ 性 能 与 全 参 微 调 方
标 签 ， 最 后 通 过 人 工 校 对 形 成 大 模 型 标 注 语 料 。 其
法 相 差 不 大 ；④ 生 成 单 独 模 块 ， 可 以 和 其 他 微 调 方
中 ， 数 据 属 性 包 含 知 识 实 体 、 知 识 实 体 类 型 及 其
法 结 合 使 用 ， 所 以 针 对 知 识 实 体 识 别 任 务 ， 本 研 究
位 置 。
采 用 Lora 微 调 方 法 。
（2 ） 构 建 问 答 对 。 根 据 知 识 语 料 的 内 容 ， 通 过
由 于 知 识 问 答 任 务 需 要 根 据 大 模 型 的 生 成 内 容
领 域 专 家 转 换 成 高 质 量 的 问 答 对 。
进 行 多 次 调 整 ， 所 以 本 研 究 采 用 Prompt-tuning 方
（3 ） 构 建 训 练 集 和 测 试 集 。 构 建 的 标 注 语 料
［26 ］
法 进 行 微 调 。Prompt-tuning 微 调 通 过 设 计 和 优
中 ， 不 同 知 识 主 题 下 ， 标 注 语 料 、 知 识 对 象 、 知 识
对 象 类 型 、 问 答 对 数 量 的 具 体 分 布 如 表 3 所 示 。 其 化 输 入 提 示 或 模 板 ， 来 指 导 预 训 练 模 型 生 成 所 需 要
中 ，70% 的 标 注 语 料 和 问 答 被 用 作 大 模 型 微 调 ； 的 输 出 内 容 ， 以 适 应 下 游 任 务 ， 其 优 点 包 括 ：① 不
30% 作 为 测 试 集 检 验 模 型 性 能 。 需 要 修 改 模 型 参 数 ， 计 算 成 本 低 ， 需 要 的 训 练 时 间110 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
少 ， 效 率 高 ；② 属 于 手 动 试 错 过 程 ， 允 许 创 建 特 容 和 检 索 到 的 知 识 片 段 给 出 问 题 答 案 ， 既 包 含 了 用
定 任 务 的 提 示 ， 可 以 更 灵 活 地 适 应 各 种 下 游 任 务 ； 户 查 询 内 容 的 上 下 文 信 息 ， 也 融 合 了 知 识 库 中 检 索
③ 对 于 超 过 10 亿 参 数 量 的 模 型 来 说 ， 小 样 本 甚 至
到 的 信 息 。
是 零 样 本 的 微 调 性 能 也 能 够 极 大 地 被 激 发 出 来 。
4 结 果 与 讨 论
（3 ） 模 型 优 化 。 随 着 大 模 型 在 各 个 领 域 的 应 用
不 断 增 加 ， 很 多 研 究 表 明 大 模 型 生 成 的 文 本 存 在 不
4.1 知 识 实 体 识 别 结 果 分 析
遵 循 原 文 或 者 不 符 合 事 实 的 现 象 ， 称 之 为 大 模 型 幻
［27 ］
4.1.1 性 能 评 价 指 标
觉 问 题 。 针 对 本 研 究 的 内 容 ， 根 据 大 模 型 幻 觉
本 研 究 采 用 精 准 率 （Precision ，Pre ） 和 召 回 率
问 题 产 生 内 容 的 性 质 ， 主 要 分 为 3 种 类 型 ： 信 息 冲
［30 ］
（Recall ） 作 为 评 价 知 识 实 体 识 别 的 性 能 指 标 。
突 ， 大 模 型 的 回 复 是 错 误 的 信 息 ； 无 中 生 有 ， 对 大
（1 ） 精 准 率 ：Pre 为 预 测 正 确 的 实 体 个 数 与 预
模 型 的 回 复 无 法 验 证 其 真 假 ； 信 息 不 匹 配 ， 大 模 型
测 的 实 体 总 个 数 的 商 ， 表 示 衡 量 检 测 知 识 实 体 识 别
的 回 复 和 问 题 不 相 关 。
的 整 体 有 效 性 。
针 对 大 模 型 幻 觉 问 题 ， 分 别 从 数 据 和 模 型 两 个
（2 ） 召 回 率 ：Recall 为 预 测 正 确 的 实 体 个 数 与
方 面 进 行 了 微 调 优 化 。 在 数 据 方 面 ， 分 别 采 用 标 注
［28 ］
标 注 的 实 体 总 个 数 的 商 ， 表 示 正 确 识 别 知 识 实 体 的
语 料 去 重 和 人 工 剔 除 可 能 导 致 幻 觉 的 数 据 ； 在
数 量 占 所 有 知 识 实 体 的 比 值 。
模 型 方 面 ， 采 用 检 索 增 强 生 成 （Retrieval-Augment ‐
［29 ］
4.1.2 精 准 率 分 析
ed Generation ，RAG ） 方 法 增 强 大 模 型 对 领 域
本 研 究 对 比 了 微 调 前 后 不 同 大 模 型 在 不 同 知 识
知 识 的 理 解 和 生 成 能 力 。
主 题 下 的 精 准 率 ， 如 表 4 所 示 ， 可 以 看 出 ：① 微 调
RAG 技 术 基 于 检 索 模 型 ， 将 大 模 型 和 外 部 知
对 不 同 模 型 的 作 用 不 同 。 微 调 后 Llama 的 精 准 率 由
识 源 结 合 在 一 起 ， 不 仅 可 以 通 过 知 识 库 的 补 充 ， 提
76.6% 提 升 到 86.52% ， 得 到 明 显 的 提 升 ；Baichuan 、
高 专 业 知 识 的 广 度 和 深 度 ， 加 深 大 模 型 对 专 业 知 识
ChatGPT 和 ChatGLM 的 提 升 幅 度 为 10% ~15% ； 国
的 理 解 和 分 析 ， 还 为 大 模 型 赋 予 能 够 随 时 查 询 最 新
内 业 界 主 流 模 型 ChatGLM 、Baichuan 、Llama ， 微
知 识 的 能 力 ， 保 持 大 模 型 的 知 识 更 新 ， 保 证 知 识 的
调 后 在 不 同 知 识 主 题 下 的 平 均 精 准 率 均 达 到 85% 以
时 效 性 。 因 此 ， RAG 技 术 能 够 有 效 缓 解 大 模 型
上 。② 不 同 模 型 的 精 准 度 不 同 。 在 微 调 前 ， 精 准 率
“ 幻 觉 ” 导 致 的 大 模 型 生 成 结 果 不 准 确 、 不 相 关 或
最 高 的 模 型 是 ChatGPT ； 微 调 后 ， 精 准 度 最 高 的 模
虚 构 的 问 题 ， 提 高 大 模 型 生 成 答 案 内 容 的 质 量 和 有
型 是 ChatGLM 。③ 知 识 对 象 实 体 类 型 的 数 量 对 精
效 性 。 同 时 ， 在 非 开 源 大 模 型 的 应 用 中 ， 还 能 够 有
准 度 的 影 响 不 同 。 相 比 其 他 知 识 主 题 ， 定 义 了 9 种
效 解 决 数 据 安 全 的 问 题 ， 保 证 敏 感 数 据 的 安 全 性 。
实 体 类 型 的 生 产 基 本 知 识 主 题 的 精 准 率 最 低 ； 定
RAG 技 术 具 体 的 实 现 过 程 如 下 ：① 构 建 外 部 知 识
义 了 2 种 实 体 类 型 的 品 种 筛 选 主 题 的 精 准 率 最 高 。
库 。 基 于 维 基 百 科 、 科 技 文 献 、 技 术 教 程 等 数 据
④ 微 调 使 用 的 标 注 语 料 规 模 影 响 模 型 的 精 准 度 。 在
源 ， 通 过 网 络 爬 取 的 方 法 获 取 专 业 领 域 知 识 ， 形 成
针 对 知 识 问 答 的 外 部 知 识 源 。② 构 建 知 识 向 量 库 。 实 体 类 型 数 量 相 同 的 条 件 下 ， 标 注 语 料 越 多 ， 精 准
率 越 高 。 例 如 ， 在 知 识 主 题 虫 害 诊 断 和 防 治 、 病 害
将 知 识 库 中 的 文 档 转 换 成 可 以 处 理 的 文 本 块 ， 使 用
诊 断 与 防 治 、 药 害 诊 断 与 防 治 的 知 识 实 体 类 型 数 量
向 量 模 型 将 文 本 块 转 换 成 向 量 形 式 ， 并 创 建 文 本 块
都 是 4 的 条 件 下 ， 药 害 诊 断 与 防 治 的 标 注 语 料 为
向 量 的 索 引 ， 以 实 现 知 识 库 内 容 的 快 速 搜 索 。③ 向
232 条 ， 知 识 主 题 虫 害 诊 断 和 防 治 、 病 害 诊 断 与 防
量 检 索 。 对 用 户 查 询 内 容 进 行 处 理 ， 提 取 关 键 词 转
化 为 向 量 形 式 ， 利 用 知 识 向 量 索 引 ， 通 过 近 似 最 近 治 的 语 料 条 数 分 别 为 212 和 106 条 ， 药 害 诊 断 与 防
邻 检 索 等 方 法 在 知 识 向 量 库 中 查 找 最 相 近 的 文 本 块 治 的 模 型 精 准 率 最 高 。 对 于 命 名 实 体 识 别 任 务 ， 如
向 量 ， 获 取 与 用 户 查 询 内 容 最 相 关 的 知 识 片 段 。④ 答 本 研 究 中 的 知 识 实 体 识 别 ， 大 语 言 模 型 的 表 现 性 能
案 生 成 。 基 于 Prompt ， 使 得 大 模 型 结 合 用 户 查 询 内 和 模 型 架 构 、 标 注 语 料 规 模 、 实 体 类 型 数 量 等 因 素Vol. 5, No. 4 王 婷 等 ： 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 111
有 密 不 可 分 的 关 系 。 经 网 络 强 大 的 泛 化 能 力 ， 所 以 相 比 微 调 之 前 能 够 更
好 地 适 应 下 游 任 务 ， 从 而 提 升 模 型 的 精 准 率 和 召 回
表 4 初 期 预 训 练 大 模 型 精 准 率 分 析
Table 4 Accuracy analysis of initial pre-trained LLMs
率 ， 优 化 了 模 型 针 对 命 名 实 体 识 别 任 务 的 表 现 性
Baichuan Llama ChatGPT ChatGLM 能 。 精 准 率 提 升 的 幅 度 和 微 调 语 料 的 数 量 有 关 ， 所
知 识 主 题
B/% A/% B/% A/% B/% A/% B/% A/%
以 会 出 现 相 同 模 型 在 不 同 知 识 主 题 下 的 精 准 率 得 到
生 产 基 本 知 识 62.7 82.9 66.7 82.9 62.7 81.9 79.7 86.5
不 同 程 度 提 升 的 情 况 。 由 于 模 型 参 数 的 优 化 ， 在 模
品 种 筛 选 76.3 87.4 80.3 87.4 76.3 82.4 80.3 89.4
型 识 别 的 命 名 实 体 中 正 确 识 别 的 比 例 更 大 ， 识 别 的
套 种 知 识 71.8 85.9 77.8 85.9 73.8 79.9 77.8 87.9
虫 害 诊 断 与 防 治 72.3 85.9 78.3 88.5 74.7 80.9 78.3 91.6
实 体 数 量 相 对 会 有 所 减 少 ， 于 是 会 造 成 召 回 率 升 高
病 害 诊 断 与 防 治 75.0 86.5 80.3 89.2 74.1 81.7 78.3 92.5
幅 度 小 于 精 准 率 升 高 幅 度 ， 甚 至 相 比 微 调 前 降 低 的
药 害 诊 断 与 防 治 72.2 85.2 76.2 85.2 72.2 80.2 76.2 87.2
现 象 。
平 均 值 71.7 85.6 76.6 86.5 72.3 81.2 78.4 89.2
注 ： A 代 表 模 型 微 调 后 召 回 率 ； B 代 表 模 型 微 调 前 召 回 率 。
4.2 农 技 知 识 问 答 结 果 分 析
4.1.3 召 回 率 分 析
4.2.1 大 模 型 性 能 定 量 分 析
对 比 了 微 调 前 后 各 个 模 型 的 召 回 率 ， 如 表 5 所
本 研 究 通 过 指 标 幻 觉 率 和 语 义 相 似 度 定 量 评 估
示 ， 可 以 看 出 ：① 不 同 模 型 的 召 回 率 不 同 。 微 调
大 模 型 提 供 答 案 的 质 量 和 大 模 型 幻 觉 问 题 的 严 重 程
前 ， 召 回 率 最 高 的 模 型 是 Llama ； 微 调 后 ， 召 回 率
度 ， 并 对 比 分 析 了 大 模 型 在 “ 微 调+ 优 化 ” 前 后 的
最 高 的 模 型 是 ChatGPT 。② 微 调 前 后 ， 精 准 率 和 召
表 现 性 能 。
回 率 的 趋 势 不 一 致 。 微 调 后 ， 所 有 模 型 的 精 准 率 都
（1 ） 性 能 评 价 指 标 。 包 括 幻 觉 率 （Hallucina ‐
有 所 增 加 ， 但 只 有 模 型 ChatGLM 和 Llama 的 召 回 率
tion Rate ，HR ） 和 语 义 相 似 度 （Semantic Similari ‐
是 增 加 的 ， 其 他 模 型 都 稍 微 有 些 降 低 。③ 不 同 模 型
ty ，SS ） 。
的 精 准 率 和 召 回 率 的 表 现 不 一 致 。 微 调 后 ，Chat ‐
幻 觉 率 。 模 型 提 供 的 答 案 中 存 在 大 模 型 幻 觉 现
GLM 的 平 均 精 准 率 最 高 ， 而 Llama 的 平 均 召 回 率
象 的 答 案 占 所 回 答 问 题 总 量 的 比 例 ， 作 为 衡 量 大 模
最 高 。
型 提 供 的 答 案 是 否 符 合 事 实 及 大 模 型 幻 觉 问 题 严 重
表 5 初 期 预 训 练 大 模 型 召 回 率 对 比 分 析
程 度 的 评 价 指 标 。 本 研 究 采 用 “ 投 票 决 定 制 ” 决 定
Table 5 Recall analysis of initial pre-trained LLMs
大 模 型 提 供 的 答 案 是 否 存 在 大 模 型 幻 觉 问 题 ， 邀 请
Baichuan Llama ChatGPT ChatGLM
知 识 主 题
B/% A/% B/% A/% B/% A/% B/% A/%
相 关 专 业 领 域 的 5 名 研 究 人 员 针 对 “ 是 ” 或 “ 否 ”
生 产 基 本 知 识 56.1 47.5 57.3 59.5 51.8 46.7 69.7 70.4
进 行 投 票 ， 票 数 多 的 选 项 作 为 最 终 结 果 。
品 种 筛 选 70.7 69.6 70.1 72.9 70.4 62.4 70.2 72.1
语 义 相 似 度 。 衡 量 模 型 预 测 答 案 和 语 料 库 中 提
套 种 知 识 66.6 67.5 69.2 71.5 68.9 60.1 68.0 70.6
［31 ］
虫 害 诊 断 与 防 治 68.5 63.2 68.2 76.7 69.4 63.5 67.5 75.9
供 答 案 之 间 的 相 似 程 度 。 具 体 流 程 如 下 ： 对 预
病 害 诊 断 与 防 治 67.2 65.4 68.1 77.9 68.2 65.9 69.3 76.3
测 答 案 和 语 料 答 案 进 行 分 词 、 去 除 停 用 词 ； 使 用 词
药 害 诊 断 与 防 治 65.3 67.1 67.5 77.2 67.3 61.4 65.9 70.1
平 均 值 65.7 63.4 66.7 72.6 66.0 60.0 68.4 72.6
频- 逆 文 本 频 率 指 数 （Term frequency-Inverse Docu ‐
注 ： A 代 表 模 型 微 调 后 召 回 率 ； B 代 表 模 型 微 调 前 召 回 率 。
ment Frequency ，TF-IDF ） 方 法 计 算 两 条 答 案 的 词
频 向 量 ； 计 算 两 个 词 频 向 量 的 余 弦 相 似 度 ， 值 越 大
4.1.4 微 调 效 果 分 析
由 本 研 究 对 Lora 微 调 前 后 的 模 型 性 能 分 析 可 表 示 预 测 答 案 和 语 料 答 案 的 相 似 度 越 大 。
（2 ） 幻 觉 率 分 析 。 以 幻 觉 率 为 指 标 对 比 分 析 不
得 ，Lora 微 调 后 ， 所 有 测 评 模 型 在 所 有 知 识 主 题 下
同 知 识 主 题 下 ChatGLM 、Baichuan 、Llama 、Chat ‐
的 精 准 率 都 有 明 显 提 高 ， 大 部 分 召 回 率 都 有 所 提
GPT 这 4 种 大 模 型 在 “ 微 调+ 优 化 ” 前 后 出 现 大 模
高 。Lora 微 调 在 预 训 练 大 模 型 已 有 的 神 经 网 络 结 构
和 参 数 的 基 础 上 ， 根 据 下 游 任 务 — — 命 名 实 体 识 别 型 幻 觉 现 象 的 严 重 程 度 ， 如 图 3 所 示 。 其 中 ， 图 3
更 改 输 出 层 ， 并 通 过 输 入 带 有 实 体 类 型 标 签 的 语 料 中 蓝 色 条 形 代 表 “ 微 调+ 优 化 ” 前 的 幻 觉 率 ； 橙 色
数 据 来 更 新 模 型 的 部 分 参 数 ， 有 效 地 利 用 了 深 度 神 条 形 代 表 “ 微 调+ 优 化 ” 后 的 幻 觉 率 。 由 图 3 可 得 ：112 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
① 不 同 知 识 主 题 范 围 下 ， 大 模 型 幻 觉 问 题 的 缓 解 的 幻 觉 率 降 低 10.9% ，ChatGLM 降 低 43.5% ， 其 他
程 度 不 同 。 对 于 药 害 诊 断 与 防 治 专 题 ， 药 害 的 种 类 主 题 的 对 比 可 以 得 出 类 似 结 论 。 “ 微 调+ 优 化 ” 后 ，
相 对 病 虫 害 较 少 ， 且 标 注 语 料 比 较 充 分 ， 所 以 大 模 幻 觉 率 以 10% ~40% 的 幅 度 降 低 ， 大 模 型 幻 觉 现 象
型 幻 觉 问 题 的 改 善 更 显 著 。② 相 同 “ 微 调+ 优 化 ” 得 到 有 效 缓 解 ， 大 模 型 问 答 回 复 的 质 量 有 了 明 显
方 式 下 ， 不 同 大 模 型 对 大 模 型 幻 觉 问 题 的 缓 解 程 度 提 升 。
不 同 。 例 如 ， 在 病 害 诊 断 与 防 治 主 题 下 ，ChatGPT
（a ） 生 产 基 本 知 识 （b ） 品 种 筛 选 （c ） 套 种 知 识
（d ） 虫 害 诊 断 与 防 治 （e ） 病 害 诊 断 与 防 治 （f ） 药 害 诊 断 与 防 治
图 3 不 同 知 识 主 题 下 大 模 型 “ 微 调+ 优 化 ” 前 后 的 幻 觉 率 对 比 分 析
Fig. 3 The hallucination rate comparative analysis of LLMs before and after fine-tuning and optimization in different knowledge topics
（3 ） 语 义 相 似 度 分 析 。 由 于 知 识 主 题 病 害 诊 断
与 防 治 的 数 据 量 最 大 ， 本 研 究 以 此 主 题 为 例 ， 通 过
指 标 语 义 相 似 度 对 比 分 析 4 种 大 模 型 的 预 测 答 案 和
标 注 答 案 的 相 似 性 ， 如 图 4 所 示 。 其 中 ， 图 4 中 蓝
色 条 形 代 表 “ 微 调+ 优 化 ” 前 的 语 义 相 似 度 ； 橙 色
条 形 代 表 “ 微 调+ 优 化 ” 后 的 语 义 相 似 度 。 由 图 4
可 得 ， 在 模 型 “ 微 调+ 优 化 ” 后 ， 所 有 测 评 模 型 的
图 4 大 模 型 “ 微 调+ 优 化 ” 前 后 的 语 义 相 似 度 对 比 分 析
语 义 相 似 度 都 得 到 提 升 ， 增 长 幅 度 均 大 于 15% ； 在
Fig. 4 The semantic similarity comparative analysis of LLMs
模 型 “ 微 调+ 优 化 ” 后 ，ChatGLM 的 表 现 最 好 ， 其
before and after fine-tuning and optimization
次 是 Llama ， 最 后 是 ChatGPT 和 Baichuan 。
（4 ） “ 微 调+ 优 化 ” 效 果 分 析 。 由 本 研 究 对 “ 微
所 有 测 评 模 型 在 “ 微 调+ 优 化 ” 后 ， 大 模 型 生 成 的
调+ 优 化 ” 前 后 的 模 型 性 能 分 析 可 得 ，promp-tuning
答 案 质 量 得 到 显 著 提 升 。
微 调 和 RAG 技 术 优 化 后 ， 所 有 测 评 模 型 的 幻 觉 率
4.2.2 具 体 问 答 案 例 分 析
都 大 幅 度 降 低 ， 语 义 相 似 度 都 明 显 提 高 。 由 于 模 型
本 节 以 ChatGLM 对 问 题 “ 大 拱 棚 半 促 成 草 莓
在 prompt-tuning 的 微 调 过 程 中 ， 根 据 答 案 生 成 的 质
栽 培 有 什 么 特 点 ” 的 回 复 为 例 ， 说 明 大 模 型 在 微 调
量 不 断 调 整 模 型 的 输 入 提 示 ， 迭 代 优 化 模 型 性 能 ，
前 后 性 能 表 现 的 变 化 ， 如 表 6 所 示 。ChatGLM 在 微
从 而 可 以 更 灵 活 地 适 应 知 识 问 答 任 务 。 同 时 ， 由 于
调 前 提 供 的 答 案 不 仅 分 别 介 绍 了 “ 大 拱 棚 ” 和 “ 半
RAG 技 术 给 模 型 增 加 了 外 部 语 料 库 ， 使 得 模 型 能
够 更 深 入 地 理 解 知 识 问 答 任 务 的 领 域 知 识 。 因 此 ， 促 成 ” 栽 培 的 特 点 ， 还 针 对 “ 草 莓 品 种 选 择 ” “ 土Vol. 5, No. 4 王 婷 等 ： 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 113
壤 选 择 ” 和 “ 病 虫 害 控 制 ” 等 栽 培 技 术 给 出 建 议 。 GLM 提 供 的 答 案 首 先 概 括 介 绍 “ 大 拱 棚 半 促 成 草
虽 然 这 些 扩 展 知 识 都 是 在 大 拱 棚 半 促 成 栽 培 方 式 下 莓 栽 培 ” 及 其 优 点 ， 然 后 对 比 分 析 “ 露 地 促 成 栽
草 莓 栽 培 需 要 注 意 的 问 题 ， 但 却 导 致 答 案 中 存 在 培 ” 和 “ 半 促 成 栽 培 ” 的 不 同 ， 相 比 之 前 的 回 复 ，
“ 避 重 就 轻 ， 重 点 丢 失 ” 的 问 题 。 在 微 调 后 ，Chat ‐ 对 应 问 题 更 具 有 针 对 性 ， 质 量 得 到 明 显 提 升 。
表 6 大 模 型 “ 微 调+ 优 化 ” 前 后 的 回 复 内 容 对 比
Table 6 The comparative analysis of LLMs'' reply before and after fine-tuning and optimization
问 题 微 调 前 微 调 后
大 拱 棚 半 促 成 草 莓 栽 培 是 一 种 高 效 、 经 济 、 方 便 的 草 莓
大 拱 棚 半 促 成 草 莓 栽 培 是 一 种 草 莓 种 植 技 术 ， 其 特 点 是 ：
种 植 技 术 ， 适 合 在 不 同 地 区 进 行 推 广 和 应 用 。 大 拱 棚 半 促
1 ） 大 拱 棚 ： 该 栽 培 结 构 较 大 ， 通 常 采 用 60 ~70 cm 的 高 拱 棚 ，
成 栽 培 是 指 草 莓 在 露 地 促 成 栽 培 与 大 拱 棚 保 护 下 促 成 栽 培
顶 部 有 通 风 口 和 排 水 口 ， 可 以 保 持 土 壤 湿 度 和 通 风 良 好
的 混 合 栽 培 形 式 。 相 对 于 露 地 促 成 栽 培 ， 半 促 成 栽 培 具 有
2 ） 半 促 成 ： 在 这 种 栽 培 结 构 中 ， 草 莓 生 长 期 较 短 ， 通 常 为
以 下 几 个 特 点 ：
20 ~30 d ， 而 果 实 成 熟 期 较 长 ， 通 常 为 50 ~60 d 。 因 此 ， 草 莓 的 生
1 ） 充 分 利 用 白 天 高 温 资 源 ， 加 快 草 莓 生 长 ， 缩 短 上 市
长 期 和 果 实 成 熟 期 比 较 接 近 ， 可 以 满 足 消 费 者 对 快 速 生 长 和 大
大 拱 棚 半 促 期 ， 经 济 效 益 高
量 果 实 的 需 求
成 草 莓 栽 培 2 ） 节 省 劳 动 力 ， 减 少 人 工 辅 助 次 数 ， 节 约 劳 动 力 成 本
3 ） 草 莓 品 种 选 择 ： 半 促 成 草 莓 栽 培 适 合 选 择 生 长 期 较 短 、 果
有 什 么 特 点 3 ） 在 半 促 成 栽 培 期 间 ， 温 度 更 为 灵 活 ， 可 以 根 据 实 际 情
实 大 小 适 中 、 口 感 鲜 美 的 草 莓 品 种 ， 如 红 颜 、 赤 星 、 巨 峰 等
况 适 时 调 整 温 度 ， 使 植 株 生 长 更 为 适 宜
4 ） 土 壤 选 择 ： 半 促 成 草 莓 栽 培 通 常 需 要 在 土 壤 肥 沃 、 排 水 良
4 ） 露 地 促 成 栽 培 草 莓 在 低 温 下 容 易 “ 休 眠 ” ， 而 半 促 成
好 的 地 区 进 行 种 植 ， 同 时 需 要 合 理 施 肥 和 浇 水 ， 以 保 持 土 壤 湿 度
栽 培 可 以 在 露 地 促 成 栽 培 与 保 护 地 促 成 栽 培 之 间 实 现 “ 中
和 营 养 供 给
间 状 态 ” ， 顺 利 实 现 “ 休 眠 ” 与 “ 清 醒 ” 的 转 变
5 ） 病 虫 害 控 制 ： 半 促 成 草 莓 栽 培 需 要 加 强 对 病 虫 害 的 控 制 ，
5 ） 大 拱 棚 半 促 成 栽 培 相 对 于 露 地 促 成 栽 培 更 为 灵 活 ，
可 以 使 用 农 药 进 行 预 防 和 治 理 ， 以 保 证 草 莓 的 安 全 和 丰 收
可 提 前 采 果 ， 减 少 空 袋 率 ， 提 高 果 实 产 量
的 答 案 ， 如 图 5 所 示 。 其 中 ，ChatGLM 模 型 的 命 名
4.3 果 蔬 农 技 知 识 智 能 问 答 系 统
实 体 识 别 任 务 在 智 能 问 答 中 的 表 现 形 式 为 ： 输 入 一
基 于 以 上 分 析 可 得 ，ChatGLM 在 农 业 领 域 命
段 农 业 科 技 文 献 、 农 业 新 闻 等 农 业 领 域 知 识 ， 同 时
名 实 体 识 别 任 务 和 知 识 问 答 任 务 中 的 表 现 都 是 最 优
以 自 然 语 言 的 形 式 要 求 系 统 给 出 农 业 实 体 类 型 。
的 ， 且 是 开 源 可 商 用 的 ， 所 以 本 研 究 选 择 Chat ‐
（2 ） 问 答 信 息 源 查 看 。 在 系 统 给 出 问 题 答 案 的
GLM 作 为 构 建 果 蔬 农 技 知 识 智 能 问 答 系 统 的 基 础
同 时 ， 会 把 模 型 生 成 答 案 参 考 的 信 息 源 提 供 给 用
预 训 练 模 型 。 果 蔬 农 技 知 识 智 能 问 答 系 统 的 功 能 包
户 。 用 户 可 以 通 过 点 击 信 息 源 链 接 获 取 信 息 源 的 详
括 以 下 两 个 部 分 ：
细 信 息 ， 包 含 文 本 、 图 片 等 多 模 态 的 内 容 ， 如 图 6
（1 ） 智 能 问 答 。 针 对 用 户 的 问 题 需 求 给 出 相 应 所 示 。
图 5 果 蔬 农 技 知 识 智 能 问 答 系 统 问 答 界 面
Fig. 5 The QA interface of agriculture technology question answering system114 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
利 益 冲 突 声 明 ： 本 研 究 不 存 在 研 究 者 以 及 与 公 开
研 究 成 果 有 关 的 利 益 冲 突 。
参 参 考 考 文 文 献 献 ：
[ 1 ] 李 秋 生, 郑 凯 欣, 刘 小 春 . 新 时 代 基 层 农 技 推 广 体 系 改 革
创 新 实 践 探 索 、 制 约 因 素 及 深 化 路 径[J]. 世 界 农 业,
2022(2): 80-89.
LI Q S, ZHENG K X, LIU X C. Practical exploration,
constraints and deepening paths of the reform and innova ‐
tion of grass-roots agricultural technology extension sys ‐
tem in the new era[J]. World agriculture, 2022(2): 80-89.
图 6 检 索 信 息 源 详 细 内 容 展 示
[ 2 ] 刘 娜 . 浅 析 我 国 农 业 推 广 的 现 状 及 策 略[J]. 河 北 农 业,
Fig. 6 The details presentation of indexed information sources
2023, 10: 27-28.
LIU N. Analysis of the current situation and strategy of ag ‐
5 结 论
ricultural extension in China[J]. Hebei agriculture, 2023,
10: 27-28.
在 农 业 知 识 服 务 有 待 进 一 步 优 化 的 背 景 下 ， 本
[ 3 ] RADFORD A, WU J, CHILD R, et al. Language models
are unsupervised multitask learners[J]. Computer science,
研 究 在 分 析 大 模 型 业 界 发 展 态 势 的 基 础 上 ， 面 向 农
2019: ID 160025533.
技 知 识 导 读 和 农 技 知 识 问 答 等 农 业 领 域 行 业 应 用 ，
[ 4 ] ZHAO W X, ZHOU K, LI J Y, et al. A survey of large lan ‐
guage models[EB/OL]. arXiv: 2303.18223, 2023.
利 用 Baichuan2-13B-Chat 、 ChatGLM2-6B 、 Llama-
[ 5 ] 李 冬 梅, 罗 斯 斯, 张 小 平, 等 . 命 名 实 体 识 别 方 法 研 究 综
2-13B-Chat 、ChatGPT 这 4 种 已 有 的 预 训 练 大 模 型 ，
述[J]. 计 算 机 科 学 与 探 索, 2022, 16(9): 1954-1968.
构 建 知 识 实 体 识 别 和 知 识 问 答 两 种 农 业 领 域 大 模 LI D M, LUO S S, ZHANG X P, et al. Review on named
entity recognition[J]. Journal of frontiers of computer sci ‐
型 ， 形 成 果 蔬 农 技 知 识 智 能 问 答 系 统 。 在 知 识 实 体
ence and technology, 2022, 16(9): 1954-1968.
识 别 任 务 中 ， 通 过 精 准 率 和 召 回 率 对 比 分 析 了 4 种
[ 6 ] MORWAL S. Named entity recognition using hidden mar ‐
kov model (HMM)[J]. International journal on natural lan ‐
大 模 型 的 性 能 表 现 ， 可 以 得 出 ：
guage computing, 2012, 1(4): 15-23.
（1 ） 针 对 农 业 领 域 的 命 名 实 体 识 别 任 务 和 知 识
[ 7 ] EKBAL A, BANDYOPADHYAY S. Named entity recog ‐
nition using support vector machine: A language indepen ‐
问 答 任 务 ， 预 训 练 大 模 型 ChatGLM 的 表 现 性 能
dent approach[J]. International journal of electrical and
最 优 。
computer engineering, 2010, 4(3): 589-604.
（2 ） 针 对 预 训 练 大 模 型 下 游 任 务 的 微 调 和 基 于
[ 8 ] SONG S L, ZHANG N, HUANG H T. Named entity rec ‐
ognition based on conditional random fields[J]. Cluster
RAG 技 术 的 模 型 优 化 可 以 显 著 提 升 大 模 型 的 性 能 ，
computing, 2019, 22(3): 5195-5206.
且 对 不 同 大 模 型 性 能 的 影 响 程 度 不 同 。
[ 9 ] LUO L, YANG Z H, YANG P, et al. An attention-based
BiLSTM-CRF approach to document-level chemical
（3 ） 知 识 实 体 类 型 的 数 量 、 标 注 语 料 数 量 等 因
named entity recognition[J]. Bioinformatics, 2018, 34(8):
素 都 会 影 响 大 模 型 性 能 。 在 知 识 问 答 任 务 中 ， 采 用
1381-1388.
了 数 据 优 化 、 检 索 增 强 生 成 技 术 等 大 模 型 幻 觉 缓 解
[10] CHANG Y A, KONG L, JIA K J, et al. Chinese named en ‐
tity recognition method based on BERT[C]// 2021 IEEE
策 略 ， 通 过 幻 觉 率 和 语 义 相 似 度 两 种 指 标 定 量 分 析
International Conference on Data Science and Computer
了 大 模 型 幻 觉 现 象 和 缓 解 策 略 使 用 的 有 效 性 ， 并 通
Application (ICDSCA). Piscataway, New Jersey, USA:
IEEE, 2021: 294-299.
过 具 体 问 答 案 例 对 比 分 析 了 微 调 前 后 大 模 型 回 复 质
[11] ZHU Y Y, WANG G X, KARLSSON B F. CAN-NER:
量 的 变 化 。
Convolutional attention network for Chinese named entity
通 过 以 上 分 析 ， 可 以 得 出 大 模 型 技 术 在 知 识 对
recognition[EB/OL]. arXiv: 1904.02141, 2019.
[12] ZHANG Y, YANG J. Chinese NER using lattice
象 实 体 识 别 和 知 识 问 答 任 务 中 表 现 优 异 。 随 着 大 语
LSTM[EB/OL]. arXiv: 1805.02023, 2018.
言 模 型 在 涌 现 能 力 中 的 不 断 升 级 ， 在 多 模 态 知 识 处
[13] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-train ‐
ing of deep bidirectional transformers for language under ‐
理 和 决 策 制 定 方 面 都 将 有 突 破 性 的 表 现 。 但 是 大 模
standing[EB/OL]. arXiv: 1810.04805, 2018.
型 依 然 存 在 性 能 不 稳 定 等 各 种 问 题 ， 在 行 业 领 域 内
[14] SUN Y, WANG S H, LI Y K, et al. ERNIE: Enhanced rep ‐
的 应 用 有 待 进 一 步 深 入 研 究 。 resentation through knowledge integration[EB/OL]. arX ‐Vol. 5, No. 4 王 婷 等 ： 基 于 人 工 智 能 大 模 型 技 术 的 果 蔬 农 技 知 识 智 能 问 答 系 统 115
iv: 1904.09223, 2019. [24] FLORIDI L, CHIRIATTI M. GPT-3: Its nature, scope,
[15] RILOFF E, THELEN M. A rule-based question answering limits, and consequences[J]. Minds and machines, 2020,
system for reading comprehension tests[C]// Proceedings 30(4): 681-694.
of the 2000 ANLP/NAACL Workshop on Reading Com ‐ [25] DING N, QIN Y J, YANG G A, et al. Parameter-efficient
prehension Tests as Evaluation for Computer-Based Lan ‐ fine-tuning of large-scale pre-trained language models[J].
guage Understanding Sytems-Volume 6. New York,USA: Nature machine intelligence, 2023, 5(3): 220-235.
ACM, 2000: 13-19. [26] LIU X A, JI K X, FU Y C, et al. P-tuning: Prompt tuning
[16] YANI M, KRISNADHI A A. Challenges, techniques, and can be comparable to fine-tuning across scales and
trends of simple knowledge graph question answering: A tasks[C]// Proceedings of the 60th Annual Meeting of the
survey[J]. Information, 2021, 12(7): ID 271. Association for Computational Linguistics (Volume 2:
[17] SHARMA Y, GUPTA S. Deep learning approaches for Short Papers). Stroudsburg, PA, USA: Association for
question answering system[J]. Procedia computer science, Computational Linguistics, 2022: 61-68.
2018, 132: 785-794. [27] BANG Y J, CAHYAWIJAYA S, LEE N, et al. A multitask,
[18] LIU Y H, OTT M, GOYAL N, et al. RoBERTa: A robustly multilingual, multimodal evaluation of ChatGPT on rea ‐
optimized BERT pretraining approach[EB/OL]. arXiv: soning, hallucination, and interactivity[EB/OL]. arXiv:
1907.11692, 2019. 2302.04023, 2023.
[19] CHIPMAN H A, GEORGE E I, MCCULLOCH R E. [28] LEE K, IPPOLITO D, NYSTROM A, et al. Deduplicating
BART: Bayesian additive regression trees[J]. The annals training data makes language models better[EB/OL]. arX ‐
of applied statistics, 2010, 4(1): 266-298. iv: 2107.06499, 2021.
[20] PEREIRA J, FIDALGO R, LOTUFO R, et al. Visconde: [29] PENG B L, GALLEY M, HE P C, et al. Check your facts
Multi-document QA with GPT-3 and Neural Rerank ‐ and try again: Improving large language models with ex ‐
ing[C]// European Conference on Information Retrieval. ternal knowledge and automated feedback[EB/OL]. arX ‐
Cham: Springer Nature Switzerland, 2023: 534-543. iv: 2302.12813, 2023.
[21] DAUDERT T. A web-based collaborative annotation and [30] CHANG Y P, WANG X, WANG J D, et al. A survey on
consolidation tool[J]. International conference on lan ‐ evaluation of large language models[EB/OL]. arXiv:
guage resources and evaluation, 2020: 7053-7059. 2307.03109, 2023.
[22] YANG A Y, XIAO B, WANG B N, et al. Baichuan 2: [31] CORLEY C, MIHALCEA R. Measuring the semantic sim ‐
Open large-scale language models[EB/OL]. arXiv: ilarity of texts[C]// Proceedings of the ACL Workshop on
2309.10305, 2023. Empirical Modeling of Semantic Equivalence and Entail ‐
[23] TOUVRON H, LAVRIL T, IZACARD G, et al. LLaMA: ment-EMSEE ''05. Morristown, New Jersey, USA: Associ ‐
Open and efficient foundation language models[EB/OL]. ation for Computational Linguistics, 2005: 13-18.
arXiv: 2302.13971, 2023.
Agricultural Technology Knowledge Intelligent Question-
Answering System Based on Large Language Model
1,2 3 1,2 1,2
WANG Ting , WANG Na , CUI Yunpeng , LIU Juan
（1. Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081, China; 2. Key Laborato ‐
ry of Big Agri-data, Ministry of agriculture and rural areas, Beijing 100081, China; 3. Unit 96962, Beijing 102206, China ）
Abstract:
[Objective] The rural revitalization strategy presents novel requisites for the extension of agricultural technology. However, the con ‐
ventional method encounters the issue of a contradiction between supply and demand. Therefore, there is a need for further innovation
in the supply form of agricultural knowledge. Recent advancements in artificial intelligence technologies, such as deep learning and
large-scale neural networks, particularly the advent of large language models (LLMs), render anthropomorphic and intelligent agricul ‐
tural technology extension feasible. With the agricultural technology knowledge service of fruit and vegetable as the demand orienta ‐
tion, the intelligent agricultural technology question answering system was built in this research based on LLM, providing agricultural
technology extension services, including guidance on new agricultural knowledge and question-and-answer sessions. This facilitates
farmers in accessing high-quality agricultural knowledge at their convenience.
[Methods] Through an analysis of the demands of strawberry farmers, the agricultural technology knowledge related to strawberry
cultivation was categorized into six themes: basic production knowledge, variety screening, interplanting knowledge, pest diagnosis 116 智 慧 农 业 （ 中 英 文 ） Smart Agriculture Vol. 5, No. 4
and control, disease diagnosis and control, and drug damage diagnosis and control. Considering the current situation of agricultural
technology, two primary tasks were formulated: named entity recognition and question answering related to agricultural knowledge. A
training corpus comprising entity type annotations and question-answer pairs was constructed using a combination of automatic ma ‐
chine annotation and manual annotation, ensuring a small yet high-quality sample. After comparing four existing Large Language
Models (Baichuan2-13B-Chat, ChatGLM2-6B, Llama 2-13B-Chat, and ChatGPT), the model exhibiting the best performance was
chosen as the base LLM to develop the intelligent question-answering system for agricultural technology knowledge. Utilizing a high-
quality corpus, pre-training of a Large Language Model and the fine-tuning method, a deep neural network with semantic analysis,
context association, and content generation capabilities was trained. This model served as a Large Language Model for named entity
recognition and question answering of agricultural knowledge, adaptable to various downstream tasks. For the task of named entity
recognition, the fine-tuning method of Lora was employed, fine-tuning only essential parameters to expedite model training and en ‐
hance performance. Regarding the question-answering task, the Prompt-tuning method was used to fine-tune the Large Language
Model, where adjustments were made based on the generated content of the model, achieving iterative optimization. Model perfor ‐
mance optimization was conducted from two perspectives: data and model design. In terms of data, redundant or unclear data was
manually removed from the labeled corpus. In terms of the model, a strategy based on retrieval enhancement generation technology
was employed to deepen the understanding of agricultural knowledge in the Large Language Model and maintain real-time synchroni ‐
zation of knowledge, alleviating the problem of LLM hallucination. Drawing upon the constructed Large Language Model, an intelli ‐
gent question-answering system was developed for agricultural technology knowledge. This system demonstrates the capability to gen ‐
erate high-precision and unambiguous answers, while also supporting the functionalities of multi-round question answering and re ‐
trieval of information sources.
[Results and Discussions] Accuracy rate and recall rate served as indicators to evaluate the named entity recognition task perfor ‐
mance of the Large Language Models. The results indicated that the performance of Large Language Models was closely related to
factors such as model structure, the scale of the labeled corpus, and the number of entity types. After fine-tuning, the ChatGLM Large
Language Model demonstrated the highest accuracy and recall rate. With the same number of entity types, a higher number of annotat ‐
ed corpora resulted in a higher accuracy rate. Fine-tuning had different effects on different models, and overall, it improved the aver ‐
age accuracy of all models under different knowledge topics, with ChatGLM, Llama, and Baichuan values all surpassing 85%. The av ‐
erage recall rate saw limited increase, and in some cases, it was even lower than the values before fine-tuning. Assessing the question-
answering task of Large Language Models using hallucination rate and semantic similarity as indicators, data optimization and retriev ‐
al enhancement generation techniques effectively reduced the hallucination rate by 10% to 40% and improved semantic similarity by
more than 15%. These optimizations significantly enhanced the generated content of the models in terms of correctness, logic, and
comprehensiveness.
[Conclusion] The pre-trained Large Language Model of ChatGLM exhibited superior performance in named entity recognition and
question answering tasks in the agricultural field. Fine-tuning pre-trained Large Language Models for downstream tasks and optimiz ‐
ing based on retrieval enhancement generation technology mitigated the problem of language hallucination, markedly improving mod ‐
el performance. Large Language Model technology has the potential to innovate agricultural technology knowledge service modes and
optimize agricultural knowledge extension. This can effectively reduce the time cost for farmers to obtain high-quality and effective
knowledge, guiding more farmers towards agricultural technology innovation and transformation. However, due to challenges such as
unstable performance, further research is needed to explore optimization methods for Large Language Models and their application in
specific scenarios.
Key words: LLM; generative pre-trained transformer; agricultural technology knowledge; intelligent question answering; name entity
identity
Foundation items: Beijing Digital Agriculture Innovation Consortium Project (BAIC10-2023); Fundamental Research Funds of Chi ‐
nese Academy of Agricultural Sciences (JBYW-AII-2023-31); National Key Research and Development Program of China
(2022YFF0711902)
Biography: WANG Ting, E-mail: wangting01@caas.cn
Corresponding author: CUI Yunpeng, E-mail: cuiyunpeng@caas.cn
（ 登 陆 www.smartag.net.cn 免 费 获 取 电 子 版 全 文 ） |
|
