|
来源公众号：优享智库 整体架构农业大数据平台整体架构为5个层次，即用户层、应用层、传输层、感知层和对象层。各层的功能、构成和逻辑关系如下图所示。  整体架构 1.用户层。农业大数据平台用户不仅包括农业生产者，也包括系统管理员、远程专家、物流运输者、农产品加工者、经销零售商、终端消费者等各个环节使用者，各环节用户使用的技术类别和实现的技术功能有所差异。 2.应用层。应用层主要包括三个部分：一是终端设备；二是由各模块集成的管理信息系统；三是云端中心。其中，终端设备主要指农业各级用户使用的各类网络计算机、智能手机、其他手持终端以及其他身份识别标签读取设备。集成管理信息系统主要包括环境感知、无损感知、过程感知、灾害感知、专家咨询、安全溯源、视频监控及专家系统等功能模块。云端中心主要指提供云计算、云存储、云服务和云应用的云端中心。 3.传输层。传输层主要指网络传输层，具有两种主要网络传输类型：一是无线网络传输。包括无线传感网络（如 Zigbee、WiFi、6LoWPAN、Bluetooth、3G、GPRS等无线网络传输技术）和卫星通信网络（如遥感技术、北斗短报文技术）；二是有线网络传输：包括有线广域网(WAN)、局域网(LAN)和个域网(PAN)等网络传输技术。具体传输过程主要是由传感器件、遥感设备和身份识别技术标签等获取感知监测对象的各种数据信息，传入无线传输网络，并通过网关传入有线网络，由有线网络传入云端中心进行加工和存储等。 4.感知层。感知层是利用卫星遥感技术、射频识别、二维码、传感器件、北斗等技术实现对农业生产监测对象实施感知和监控的环节。遥感技术可以用来对土地资源的营养状况、墒情、作物长势等信息进行实时感知监测。北斗技术可以对地面各类农作物进行地面位置调查。射频识别和二维码技术可以将标识物的信息通过读卡器传入无线传输网络。传感器件(如温、湿、光、PH 值、光谱等传感监测仪器)通过对农业生产监测对象所处环境或其自身进行实时信息监测，以便于进行预警或施加影响，以适应其生长需要。 5.对象层。对象层是指农业大数据平台的作用对象，不同农业产业其具体作用对象不同。一般根据农业产业大类可以将作用对象分为4种：设施农业、水产养殖、畜禽养殖和大田作物。其中:在设施农业领域农业相关技术应用最为广泛；在水产养殖和畜禽养殖领域的应用近年发展较快；在大田农业领域，除了智能灌溉技术外，卫星遥感、北斗定位技术逐渐受到广泛重视。 综上所述，应用射频识别、二维码、电子耳标等身份识别技术，以及卫星遥感技术、传感器件技术和北斗等感知和监测技术对农业生产对象进行实时感知和监测，并将感知和监测信息通过传输层传到云端中心进行加工和存储。用户借由各种终端设备使用集成管理信息系统各个模块，访问云端中心，获取其所要感知和监测的数据，以达到实时感知和监测目标对象及其环境的目的，同时通过积累的大量数据可进行大数据的分析；并根据需要对环境或对象本身施加影响，从而使农业生产、流通和交换等各环节更加远程化、智能化、数字化和可溯源化。 数据来源 图 总体设计 农业大数据工程主要包含四方面内容：农业信息监测基础数据库、农业行业信息监测子数据库、农业信息监测分析系统、农业信息监测网络体系。其中信息监测基础数据库包含了农业经济类、农业基础类、农业生产类、农业发展类、农业投入类、主要农产品类相关数据。农业行业信息监测子数据库包含了种植业数据库、果业数据库、畜牧数据库、产业化数据库、农业市场数据库、农业经管数据库、农业科技数据库、农业发展数据库、质量监测数据库、农业机械数据库。 农业大数据平台需要大量的数据做支撑，其中包含大量的实时监控（测）数据、基础农业资源数据、地理信息数据和遥感影像数据等。根据数据不同来源及应用方式，将综合数据库从逻辑上划分为空间数据库、基础业务数据库、农业管理业务数据库、决策业务数据库、模型库、预案库、专家知识库。 空间数据库内容分为：基础电子地图、农业专题电子地图。基础电子地图主要包括：行政区划图、重点经济和政治目标分布图、居民分布图、道路交通图、社会经济状况分布图、常规组织机构分布图、地形图、DEM数字高程模型、土地利用图、下垫面特征图等；专题电子地图则可划分为：农作物产量分布图、农作物分布图、土壤养分分布图、土壤水分分布图、农田规划图、气候（降雨、气温）分布图、植株养分含量（N、P、K等）分布图等。 基础业务数据库由气象数据库、土壤数据库、农作物数据库、农村数据库、水旱灾害数据库、病虫害数据库、土地利用数据库、农业科技数据库等组成。气象数据库包括：天气预报、灾害天气（高温、台风、暴雨、冰雹等）警示、卫星云图、降雨量等。土壤数据库包括：土壤含水率、SOM含量、土壤耕作层深度、土壤结构、土壤阳离子交换能力（CEC）等。农作物数据库包括：农作物种植面积、长势、产量、农业产值等。农村数据库主要有农村人口情况、劳动力情况等。水旱灾害数据库主要有历次水旱灾害受灾情况、经济损失情况、人员伤亡情况、保险赔偿情况等。病虫害数据库主要有病虫害分布、病虫种类、名称、应对方法等。土地利用数据库主要是土地利用规划等信息。农业科技数据库主要有农业新技术、新品种、新方法、新政策等。 农业管理业务数据库主要存储农业管理单位日常办公涉及相关的业务数据，包括：各类公报文档、规划成果、行政法规、行业知识、农业事务管理等文字、图片、图表、影像数据。 决策业务数据库内容包括：农业资源评估数据库、农业生产评估数据库、病虫害预测数据库等。 模型库主要有土地评估模型、农作物估产、长势预测模型、病虫害预测模型施肥决策模型、灌溉决策模型等。 知识库包括概念性知识、事实性知识、规则性知识和规律性知识4类。 建设内容农业大数据标准体系农业大数据标准体系定义了一系列的体系规范，来规约数据的采集、存储、分析、管理和数据的表达、发布、交换的各种格式、方法和规范。这些体系根据涉及的方面不同，可以分成四大类，分别是： （1）框架体系：框架体系主要定义了一系列规范，说明其中各个规范的应用范围、作用及相互关系。 （2）数据管理：数据管理包括了数据加工流程、数据分类、数据采集、数据组织、质量控制、数据维护等方面的相应规范，比如数据的采集、数据质量控制等。 （3）数据制作：包括元数据、数据标引、数据著录、数据表示等涉及数据加工流程的操作规范。 （4）数据服务：包括了农业科学数据发布、交换和共享方面的相关规范。主要包括农业科学数据的转换格式和方法，互操作的方法和规则，以及用户认证、数据库性能监督和改进等各方面的规范。 农业监测数据库
农业大数据平台平台功能（1）实现数据库的交互； （2）根据农业大数据研究的个性化需求，形成一系列相关公开发布数据的 采集机制，将数据采集的相关程序设计并编写完善，部署此套机制在平台上周期 运转； （3）数据的浏览，对数据进行查询、展现和基础统计分析等初步应用； （4）实现农业大数据分析人员的交流平台。 平台目标（1）通过平台的建设，汇集各方资源，构建农业领域的大数据研究中心； （2）通过数据整合，采集和加工处理，建设专业的农业数据资源中心； （3）依托农业大数据相关技术，包括数据采集技术、存储技术、处理技术、 分析挖掘技术、展现技术等构建农业大数据应用平台； （4）通过分析应用平台，进行成果发布，形成农业领域专业研究的权威成果发布平台，服务于高校和政府，涉农企业，社会公众等。 建设的基本原则大数据中心系统是能够对各种信息数据进行存储、管理、更新、维护、查询、 分析等操作的一个集合，是建设智慧农业的重要组成部分。为确保数据中心建成 后能够稳定地运行和发挥作用，必须针对数据中心建设的技术要求和需求情况提 出一些基本原则。 技术解决方案遥感技术将遥感技术与野外样方采集相结合，在***境内以GF-2遥感影像为主，综合利用多源中高分辨率遥感数据和地面调查资料，通过精确识别与混合像元处理，实现像元尺度与农作物种植面积等进行对比。在此基础上，通过统计病虫害监测信息、长势信息与丰度水平，并扣除图斑内的非采集因素成份，建立面积估算模型，最终得到单元面积估算结果。 农业遥感是指利用遥感技术进行农业资源调查，土地利用现状分析，农业病虫害监测，农作物估产等农业应用的综合技术。它是将遥感技术与农学各学科及其技术结合起来，为农业发展服务的一门综合性很强的技术。主要包括利用遥感技术进行土地资源的调查，土地利用现状的调查与分析，农作物长势的监测与分析，病虫害的预测，以及农作物的估产等。是当前遥感应用的最大用户之一。 植物的光谱特征农业遥感是以土壤和作物的光谱理论为基础，主要是用于地被土壤等作物目标的发射信息。因为绿色植物的叶绿素对可见光红光的吸收更强。所以植物叶片的信息在红光波段就更加丰富。并且植被对近红外波段有较高的反射率、高的透射率和极低的吸收率，近红外对植被差异及植物长势十分敏感，因此近红外波段包含了植物冠层叶片的大量信息。这一反射光谱特性就是用卫星影像进行农业遥感的理论基础。  ， 图 绿色植物的反射光谱特性曲线 植物的共性光谱特征主要有。 1、350~490 nm 波段：400~450波段为被叶绿素强烈吸收，425~490nm波段被类胡萝卜素强吸收，所以350~490nm波段植物的反射光谱曲线的开头数值低也趋于平缓，反射率小于10%。 2、490~600nm波段：该波段式类胡萝卜素的次强吸收带，530~590nm是藻胆素中藻红蛋白的主要吸收带。550nm附件是叶绿素的绿色强反射峰区，因此490~600nm波段植物的反射光谱曲线具有波峰的形态和中等的反射率数值。 3、600~700nm 波段：该波段植物的反射光谱曲线具有波谷的形态，并具有很低的反射率值。多数植物的反射率谷值在680nm或者670nm波长处，植物的反射率自670~680nm开始随着波长的增加而急剧升高，植物对光的吸收率则自670~680nm波长开始随着波长的增加而急剧下降。 4、700~750nm 波段：该波段的主要特征是植物反射率急剧上升，曲线具有陡而接近于直线的形状，其斜率于植物单位叶面积所含叶绿素（a+b）的含量有光。 5、750~1300nm 波段：植物的反射光谱曲线在此波段具有波状起伏的形态和高反射率的数值，植物在此波段透射率也相当高，而吸收率较低，此波段的平均反射率野外测定值在25%~65%之间，这与植物的本身的生物学特征有关。 6、1300~1600nm 波段：此波段具有波谷的形态和较低的反射率，这与水和二氧化碳在此波段为强吸收带有关。 7、1600~1830nm 波段：在此波段反射光谱曲线表现为波峰的形态，并具有较高的反射率，这种特征与植物及其所含水分的波普特性有关。 8、1830~2080nm 波段：在此波段植物光谱曲线具有波谷的形态和很低的反射率数值，这与水和二氧化碳在此波段为强吸收有关。 9、2080~2350nm 波段：在此波段植物光谱曲线具有波峰的形态和中等的反射率数值，这种特征与植物及其所含水分的波谱特征有关。 气象卫星用于农业遥感气象卫星主要是应用于云图云量分析、水汽分布及大气温度分布等服务，因为其在植被探测方面具有优势，后来被广泛地应用于资源环境和农业等领域。 气象卫星应用于农业遥感主要是通过植被指数提取实现的。由于典型绿色植物反射光谱曲线上，蓝光区和红光区各有一个绿色素吸收带（吸收中心在400nm和650nm），在近红外区则有一个强反射峰，植被对可见光和近红外辐射的吸收—反射作用的两种截然不同的表现是由色素及细胞内部机构差异造成的。AVHRR观测通道的设置非常有利于扑捉这种差异：第一波段CH1（0.58~0.68um）处在叶绿素的吸收带；第二波段CH2（0.72~1.1um）则位于绿色植物的反射区。因此，这两个波段的组合常被有效地用于作物长势监测。通常应用这两个波段计算归一化植被指数NDVI： (2-1) 为了更加有效地消除云遮蔽、大气影响、观测中的几何关系、非天底角观测等不利因素，可以在一定时间内采取逐日NDVI图像的最大值合成处理方案。目前采用最多的是“准十日”的逐日合成，即对每日的上、中、下旬的逐日NDVI最大值，形成该旬的NDVI图像。此外，其他植被指数也在农业遥感中被广泛运用。 气象卫星主要在云图云量分析中应用到，并分析大气层的温度和水汽的分布。这些特点可以很好的用在植被探测方面，随着不用的发展慢慢主要被用到环境资源和农业等方面。农业遥感采用气象危险主要就是对植被指数进行提取，植物反射光谱曲线上。 高光谱农业遥感高光谱遥感技术在农作物种类大的精确识别、高精度成像、作物形态及化学组分测定等方面具有强大的信息获取能力，是获取、分析和处理农情信息及促进农业可持续发展最有力的工具。 目前对地观测技术信息源如TM、SPOT、AVHRR等在进行土地利用状况调查和农作物长势监测时，主要是通过获取不同类型植被等地物目标的光谱信息、植被指数（VI）、叶面积指数（LAI）和生物量信息来进行。但是，这些信息源的光谱分辨率都比较低，一般在50nm以上，难以识别出多种土地和作物类型，尤其在作物生长的旺季更加难以区分。 因为植被光谱特征主要因素是色素成分、细胞结构和含水量，出现在0.45um和0.65um为中心波长的强吸收带，峰值宽度为20nm；植被受害时叶绿素大量江少，叶绿素与叶黄素相对增加，在0.7um处的反射率出现“红移”现象，“红移”量为5~17nm，反映植被水分胁迫的波段主要在1.4um、1.9um、2.1um处，些现象时低光谱分辨率遥感信息源难以区分的。要区分不同的植被，并监测去生长状况，光谱分辨率为10~20nm的高光谱分辨率数据具有很大的优越性。高光谱遥感在植被信息反演深度和广度反面的改进主要体现在一下两方面： 1、 超多坡段的高光谱数据能够比较真实、全面地反映自然界中给中植被所固有的光谱特性及其差异，从而可以大大提高植被遥感分类的精细程度和准确性，也为利用光谱反射率诊断作物水肥状况成为可能。 2、 高光谱分辨率的植被图像将对传统的植被指数运算予以改进，提高了植被指数所能反演的信息量，使人们可以更加精确地获取一些诸如叶绿素浓度、叶绿素密度、叶面积指数、生物量、光合作用有效吸收系数等植被生物物理参数，并且可以利用高光谱数据提取一些生物化学成分的含量，如木质素、全氮、全磷、全钾等。 农业微波遥感微波遥感的主要特点在于微波不仅具有顺利穿透大气层的体征，而且能穿透云雾和小雨，对地面的植被和土壤能进行一定厚度的探测。探测时，不必借助于阳光反射，只利用被探测目标发射或反射的微波。这样一来就使得微波—雷达遥感与可见光遥感相比具有两项对农业应用最大的优点，即全天时全天候的探测能力。 微波遥感可以弥补可见光遥感只能在晴空条件下工作的局限性，更好地发展遥感技术在农业上应用的潜力。土壤和植物的微波后向散射特征是农业遥感的基础，根据欧洲空间局的研究，影响土壤和植物的微波后向散射的因子中属于仪器本身的有42项，植物有28项，土壤有13项，环境有12项。从农业目标返回到仪器上的辐射特征主要取决于生物量大小，介电常数（主要与农业目标物的含水量紧密相关）和植物的几何形态。因此，农作物对微波的后向反射情况取决于作物的形态和大小，进而又取决于作物的种类和武侯年龄。对土壤而言，主要影响后向散射的因子是粗糙度和介电常数（水分含量）。微波遥感在农业上的应用主要包括水分探测、作物类型探测等。 北斗应用新技术自主系统、信息安全北斗卫星导航系统是我国独立发展、自主运行的全球卫星导航系统，是国家正在建设的重要空间信息基础设施，可广泛用于诸多社会经济领域和国防安全领域。 北斗高精确定位确定人员、车辆及重要设施的精确地理位置。北斗卫星导航系统结合北斗地基增强系统可以实现对重要设施的毫米级定位，满足高精度服务需求。 短报文通信北斗卫星导航定位具有用户与用户、用户与地面控制中心之间双向通信能力。运作流程为地面控制中心接收到用户发送来的响应信号中的通信内容，进行解读后再传输给收件人客户端。一般用户1次可传输36个汉字，经核准的用户可利用连续传输方式最多可传输120个汉字。 精密授时北斗导航定位具有单向和双向两种授时功能，可提供数十纳秒级的时间同步精度，可以在服务区域内任何时间、任何地点，为用户确定其所在的地理经纬度和海拔高度，并提供双向短报文通信和精密授时服务。 大数据技术对于农业而言，海量的监测数据即用户宝贵的资源，通过大数据技术，不仅可以存储***境内各种农业作物累计的遥感数据、北斗数据，也可以实现对各数据接口信息的存储，实现多数据来源统一数据体系的维护，并且可以向上层各应用提供统一的数据接口，解决数据统一与可靠性的问题。  图 大数据整体架构 大数据处理过程大数据采集大数据的采集是指利用多个数据库来接收客户端Web、App或者传感器形式等数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。在大数据的采集过程中，其主要解决高并发数，以及如何在数据库之间进行负载均衡和分片是需要深入的思考和设计。 大数据导入及预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作，确保数据的标准和全局唯一。 大数据统计及分析统计与分析主要利用分布式数据库或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。统计与分析主要解决涉及的数据量大而对系统资源所带来的影响。在这方面，一些实时性需求会用到 EMC 的GreenPlum、Oracle的 Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用 Hadoop。 统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是 I/O 会有极大的占用。 数据挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题， 主要是在现有数据上面进行基于各种算法的计算，从而起到预测（ Predict）的 效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、 用于统计学习的SVM 和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及 的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。 整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。 大数据处理的核心技术—Hadoop大数据技术涵盖了硬软件多个方面的技术，目前各种技术基本都独立存在于 存储、开发、平台架构、数据分析挖掘的各个相对独立的领域。这一部分主要介绍和分析大数据处理的核心技术——Hadoop。        |
|
|
