多模态态势感知的知识表示、表示学习和知识推理

来源：防务快讯       

作者：王昊奋，易侃，吴蔚，胡芳槐

摘要

     

针对多模态态势存在知识表示困难、知识化过程复杂、多模态知识难以融合、知识智能应用程度低等难题，提出了面向战场态势感知多模态数据及知识的统一知识表示模型，实现了事实类知识、动态事件、规则知识和多模态知识等高效表示。在此基础上，引入基于知识图谱的表示学习技术，为多模态数据及知识的统一处理提供了方法，可支撑多模态知识的提取、融合、补全和联合学习，从而实现战场态势感知知识图谱的构建；最后，以表示学习为基础，提出了基于态势感知知识图谱的知识推理框架，实现能力强、高效率、可解释的复合推理，为上层应用提供实现途径。

1、问题的提出

     

态势感知 (SA) 指对环境中目标的认知、对其意义的理解以及对其近期状态的预测，是一种基于环境的动态从整体洞悉安全风险的能力，覆盖感知、理解和预测3个层次。Endsley的态势感知模型已被广泛采用，包括感知、理解和预测3个不同阶段或层次,该模型整个过程以人为主导，整个过程依赖指挥人员的心智。Henriques等将Endsley模型中的心智模型改为人工智能模型，使得当前热门的人工智能技术能够有效地在整个模型中发挥作用，结合人工智能的态势感知模型如图1所示。模型中态势感知、态势理解和态势预测每一步都有交互和反馈；同时形成了包含知识规则的知识库，知识能够与人工智能方法结合，对态势感知的整个流程进行指导与反馈。

态势感知也可视为等同于美国空军（USAF）战争理论家约翰·博伊德上校描述的观察—判断—决策—行动 (OODA) 循环的观察和判断阶段。

图1  结合人工智能的态势感知模型

国内一些学者在态势感知基础上提出了态势认知的概念。虽然态势认知尚无统一定义，但大多数学者认为其核心理念是模拟人类获得知识、理解知识和应用知识的过程。通过获取目标态势数据，利用专业知识认识、理解目标未来发展趋势，并给出结论判断，通常包括态势数据感知、态势理解、态势预测和态势决策评估等关键步骤。该过程中的感知与Endsley模型中态势察觉对应。由此可见，态势认知的定义与Endsley的态势感知3级延伸定义大体一致，因此本文仍采用Endsley提出的广义态势感知的概念，即不仅包含态势察觉，还包含态势理解与态势预测。

态势感知概念最早在军事领域提出，已成为军事指挥和控制 (C2)不可分割的一部分。图2给出了战场态势感知的总体概况。由图可知，战场态势感知需综合利用多方面的数据，并进行数据的处理、融合和分析，最终进行辅助作战决策。战场态势感知的数据来源包括各类情报信息（开源情报、地理空间情报和信号情报等）、传感器数据、卫星数据、侦察数据、雷达数据和各种目标装备产生的数据，以及历史规律知识和人的战场知识等。

图2  战场态势感知示意图

这些数据具有类型多、数据量大、结构复杂和数据稀疏等特点。从数据格式角度看，常用作战数据类型包括情报文本、图像、视频、语音、数据库、时序数据、地理信息系统（GIS）数据、格式报和矢量图等，包含了结构化数据、半结构化和非结构化数据。作战态势知识从各类作战数据中使用相应的知识提取技术提取出来，以及由指挥人员从历史经验中总结出来；知识类型也非常多，包括基础的目标知识及目标间的关系、战场地理环境、事件与事件间的关联、时空知识、作战规则知识和指挥流程等。计算机如何有效表示与组织这些数据和知识，如何实现数据和知识的有效处理、理解并基于这些数据和知识进行推理计算，是实现战场态势感知中感知、理解和预测3个阶段的前提条件，是最终为作战决策提供有效支撑的基础。

现有的战场态势感知数据处理及知识加工相关研究通常仅对其中部分环节进行研究，如针对作战大数据的组织、面向态势知识的表示、战场时空知识表示、态势实体知识表示学习、态势感知知识图谱构建和基于态势感知知识图谱的应用等；另外，现有研究通常仅对战场态势感知场景中部分数据或知识进行处理。

知识图谱作为大数据时代的知识工程集大成者，以其强大的语义表达能力、知识提取融合能力、多态存储能力和推理计算能力，为大规模多模态数据的知识化组织和智能应用提供了有效解决方案。知识图谱的强大语义表达能力能够有效表示战场态势场景的多模态知识，并结合多态存储能力辅助实现数据的觉察与感知；知识图谱的知识提取融合能力可从态势感知数据中有效提取知识并实现不同模态数据中知识的融合，从而提升对态势数据的理解；最后，以多模态态势知识图谱为基础的知识推理计算能力能够极大程度提升预测能力。

为支撑战场态势场景由数据→知识→推理和智能应用的全过程提升，本文重点研究基于战场态势图谱的统一知识表示、知识表示学习与知识推理技术，通过统一的知识表示方法以实现全域态势数据建模，辅助实现态势数据的觉察与感知。首先，研究态势知识表示学习技术以支撑态势知识的提取和融合，提升对态势数据的理解；然后，研究基于知识的推理技术，以实现态势图谱的知识补全，并支撑基于态势知识图谱的智能预测应用；最后，在3大核心支撑技术的基础上提出面向战场态势感知场景的新一代多模态知识表示、表示学习及知识推理框架，构建面向战场态势感知的知识中台。

2、战场态势感知知识表示

     

战场态势感知知识表示的核心目标是针对战场态势数据与知识的特点，将态势感知相关的多模态数据、事实知识、动态知识、决策过程知识和隐式模糊知识等进行统一表示与组织，为战场态势感知数据的知识化、知识组织与存储以及上层的知识应用及决策提供支撑。

主要研究内容包括：1) 实现态势感知多模态数据表示，包括传感器、卫星及侦察装备捕获的信号、图片、音频和视频等数据，开源数据、地理空间等情报数据，支撑机器对其进行有效地建模表示、存储管理并提供知识化、知识关联及知识计算的方法；2) 对态势知识进行表示，包括静态的事实类知识（目标和武器装备知识等）、动态类知识（事件）、规则类知识（判断规则和作战规则等）、过程类知识（决策的过程）以及隐式模糊类知识（决策模型），使知识能够被机器有效理解并使机器能够对知识进行推理从而支撑智能应用。良好的表示方法使数据及知识在实现机器理解、计算和推理的同时也尽可能让人能够易于理解，从而进行知识的维护管理、校验评估和反馈溯源等。

2.1  经典知识表示技术

经典的知识表示方法包括逻辑表示、产生式规则、框架表示、语义网络和Petri网等。逻辑表示法形式接近于人类的自然语言，逻辑严密精确，缺点是难以表达不确定性知识和模糊性知识。框架是描述对象（如战场目标）属性的一种数据结构，它是由若干结点和关系（统称为槽slot）构成的网络。Petri网是对离散并行系统的数学表示，适用于描述异步的、并发的计算机系统模型。这些知识表示方法因其局限性或仅适用于特定场景，在态势感知场景中基本不适用。

语义网络（semantic network）是一种以网络格式表达人类知识构造的形式，在一个语义网络中，信息被表达为一组结点，结点通过一组带标记的有向直线彼此相连，用于表示结点间的关系。知识图谱本质上也是一种语义网络，只是知识图谱中使用了更强大的知识表示方法。

产生式规则以条件-结果（IF-THEN）的形式表示知识，是一种非常直观的知识表示方法。IF 后面部分描述了规则的先决条件，而THEN 后面部分描述了规则的结论。产生式规则非常适用于态势感知场景中专家决策知识的表示。

2.2  知识图谱知识表示方法

知识图谱的核心知识表示方法有2种。1) 使用资源描述框架（模式）（RDF(S)）和网络本体语言（OWL）2种语义网知识表示技术；2) 使用属性图。

1) RDF与OWL

RDF本质是一个数据模型（data model）。其中，R为资源（resource），可指代任何具有URI标识符的网页和图片等；D为对资源的描述，包括属性和资源间的关系；F为框架，包括描述的模型、语言及描述的语法。RDF形式上表示为S-P-O形式的三元组(subject, predicate, object)，在知识图谱中也称其为一条知识或事实；RDF由节点和边组成，节点表明实体/资源、属性，边表明实体和实体间的关系以及实体和属性的关系，同时还能在节点和边的取值上增加约束，从而形成统一知识标准。RDF的存储序列化方式有RDF/XML、N-Triples、Turtle、RDFa和JSON-LD等。

RDF的表达能力有限，无法区分类和对象，也无法定义和描述类的关系/属性，而RDFS通过对RDF进行类似的类定义及其属性定义，可以在一定程度上解决RDF表达能力受限的问题；通过RDF(S)可表达一些简单语义，但在更复杂场景下，RDF(S)语义表达能力显得太弱。因此， W3C（万维网联盟）提出了OWL语言扩展RDF(S)，作为语义网上表示本体的推荐语言。OWL扩展的描述能力包括对局部值域的属性定义，类、属性和个体的等价性，不相交类的定义，基数约束，关于属性特征的描述等。

2) 属性图

属性图是由 顶点（vertex）、边（edge）、标签（label）、关系类型和属性（property）组成的有向图；顶点又称 节点（node），边又称关系（relationship）；在属性图中，节点和关系是最重要的实体。节点与关系均可包含属性，属性可以任何键值形式存在；关系连接节点，每个关系均有一个方向、一个标签、一个开始节点和结束节点。关系方向的标签使属性图具有语义化特征。关系属性又称边属性，可通过在关系上增加属性，给图方法提供有关边的元信息，如创建时间和边权重等。

属性图已被图数据库广泛采用，Neo4J和JanausGraph等图数据库均采用了属性图模型。

2.3  态势感知知识表示需求

以俄乌战场态势感知场景为例，战场态势知识包括基础静态知识（俄乌双方的军事装备、军事基地、部队编制和关键人物等）、开源情报数据（如互联网媒体中各类报道）、战场环境数据（如乌东战场的地理环境、气象天气和河湖水文等）、战场感知数据（双方的卫星、雷达和侦察机等侦察数据）、动态时空知识（事件、事件序列及其关联，如某次战斗事件、一系列的连续战斗）和作战指挥决策知识（双方作战规则、意图以及指挥员的决策流程）等多种类型。如何将这些数据及知识使用统一的框架表示，完成从战场感知数据→战场态势知识→作战态势判断决策的演化，是态势感知多模态知识表示的核心问题。

美国知名大数据情报公司Palantir提出使用动态本体论实现情报数据的组织。本体包括对象（object）、属性（properties）和关系（relationship）3种成分。对象指被建模的事物，又分为文档（document）、实体（entity）和事件（event），文档是基于文本的，实体是一些类，如人、地点，而事件是以时间出现的事物；属性指对象的特征；关系指对象间的关联。Palantir动态本体论通过对象来描述文档、实体和事件等，很大程度地增强了知识表示能力，实现了动态事件和文档知识的表示；然而，它难以实现态势感知场景中的图像视频、事件关联及主题、作战规则、决策流程及地理空间等知识的表示；同时，对于多种模态知识的统一向量表示也未提供表示方案。

由此可见，态势感知知识表示需综合利用多种知识表示方法，现在的主流知识表示方法通常只适用于表示态势感知场景中的部分数据或知识；态势感知数据和知识与常见知识表示方法的对应如表1所述。

表1  态势感知知识表示技术适用性说明

2.4  新一代态势感知知识表示

本文提出的态势感知知识表示框架如图3所示，自底向上分为基础数据表示、本体知识表示、动态本体与规则和复合知识4层。基础数据表示层实现各模态战场态势数据的表示，使得不同类别的数据使用其最适合的表示方式，从而选用相应的存储来支撑上层应用需求；本体知识表示层给出了基础（静态）态势知识的表示方法，主要使用基于语义网知识表示技术和属性图，形成以概念、概念体系、实体、属性、关系和链接数据结合的知识表示模型；动态本体与规则中定义了动态类的知识及业务规则，其中动态知识指需依据其他数据或知识动态计算的知识，或随时间动态变化的知识；复合知识包括事件主题和时空主题等主题模型、事件间的事理关系以及业务处理的流程等知识。

图3  态势感知知识表示框架

2.4.1  基础数据表示

基础数据表示层采用经典数据库的数据表示模型实现战场态势感知数据的表示，具体包括：1) 关系数据库的E-R图表示模型；2) 文档数据库的文档表示模型；3) 向量数据库的向量表示模型；4) 时态数据库的时序序列模型；5) 空间数据库的兴趣点（POI）、感兴趣区域（ROI）和路径等基础GIS模型；6) 计算机辅助建模的三维空间模型。

上述表示模型均有成熟的数据存储与计算产品及方案，因此本框架直接沿用这些成熟的表示方案。在俄乌战场态势感知场景中，地理空间数据、侦察数据和网页文档等基础数据，均以上述相应的数据表示方法进行描述。

2.4.2  本体知识表示

本体知识表示主要使用RDF(S)、OWL和QB4ST等语义网知识表示方式，描述态势感知场景中的静态知识，形成概念-实体-属性-关系-知识链接的复合模型。

1) 概念：根据语义内容的共同特点或关系划分出的类称为概念，概念具有层级，通常使用上下位关系描述概念间的层级；

2) 实体：概念中具体对象称为实体，对应于现实世界中存在的具体事物；

3) 属性：用于描述实体本身性质；

4) 关系：用于描述不同实体间的联系；

5) 知识链接：与知识图谱中各类知识关联的外部数据统称为知识链接，通过知识链接可以实现不同模态知识及数据的关联。

在俄乌战场态势感知场景中，双方军事装备、军事基地和部队编制等静态知识，以及军事基地等附带的空间属性信息等，均以本体知识方式表示。

2.4.3  动态本体与规则表示

态势感知场景中作战等规则的表示采用产生规则表示与置信规则表示2种方法；置信规则指多条带概率的规则进行条件关联形成的一组规则集合，通常采用基于置信规则库（BRB）的建模表示方法。

动态属性与关系形成依赖于其他知识，即由其他知识计算得到或当其他知识满足特定条件时才形成，例如目标敌机的前进速度和战场风力等级；由其他知识计算得到的动态知识采用数学计算公式表示，例如某飞机的速度由2次侦察位置的距离与时间计算获得；当其他知识满足特定条件才形成的知识则使用更复杂的计算模型表示，包括计算公式与规则等。

战场态势中动作可视为一系列元事件，元事件表示一个动作的发生或状态的变化，由驱动事件触发词（trigger）和描述事件结构的元素（argument，如时间地点、人物等）组成；元事件是一个简单的复合知识体。战场事件之间存在各种关系，使用事件关系表示，这些关系又称事理，包括顺承关系和因果关系等。

俄乌战场态势感知场景中双方指挥部的作战规则、部队的攻击范围、轰炸事件与交火事件以及连续发生的一系列事件等知识，属于动态本体与规则的表示范畴。

2.4.4  复合知识模型

前述3层的知识通常相对独立存在，虽然知识之间有各种关联关系，但并未将其中相似或相关的知识作为一个逻辑整体进行组织与使用，对于逻辑独立的知识之间没有实现它们之间的语义关联关系，复合知识的引入可表示该类复杂知识。其中，主题模型是实现知识逻辑划分与组织的方法，在面向态势感知场景中主题模型指从各类知识中计算出与某一抽象主题相关的知识，并使用不同方式表示，包括主题事件与时空主题。主题事件指一系列与抽象主题相关的元事件列表；时空主题通常与主题事件结合使用，即从时间和空间2个维度对主题进行描述,考虑了主题语义信息在时间及空间上的变化。

复合知识还包括事理关系与流程。事理关系用于表达事件之间的非分类学逻辑关系，包括顺承关系、因果关系和条件关系等，从而实现对动态事件知识中逻辑知识的描述。流程知识指以流程图形式组织的知识，用于说明解决已知问题的方法，如作战决策过程；流程图是对算法、工作流或流程的一种框图表示，以不同类型的框表明不同种类的步骤，每2个步骤之间以箭头连接。该表示方法便于说明解决已知问题。

俄乌战场态势感知场景中的基辅围攻及俄对乌海空军打击等主题事件、俄兵力分散导致重大损失转而集中转移到乌东等事件之间的关联，以及双方指挥官做出的攻击或防守方案的过程等流程知识均属于复合知识。

3、面向战场态势感知的表示学习

     

第2章提出了面向战场态势感知数据及知识的统一知识表示模型，其目标为通过统一的表示实现数据及知识的统一管理，进而形成面向战场态势感知的多模态知识图谱，并通过态势感知知识图谱支撑作战场景应用建设。

知识图谱的构建过程主要包括知识的建模、提取、融合和补全等步骤，每个步骤均有不同方法。知识图谱的构建总体包含了自顶向下和自底向上2种方法。前者通常由专家进行知识本体的定义和实体的编辑填充；后者则通过模型从各类数据中自动抽取概念、实体以及它们之间的关系。从方法角度而言，包含基于词典的方法、基于语言学规则的方法和基于机器学习的方法等。

战场态势感知场景因涉及的数据和知识类型繁多，如果使用传统方法对各类数据或知识采用对应的方法，则需使用很多不同类别的方法。为统一知识图谱构建、融合实例及基于知识图谱的下游任务，文献总结了基于知识图谱表示学习方法的解决方案：知识图谱的部分构建任务以及基于知识图谱的下游应用任务，大部分可转换为基于知识图谱的表示学习来解决，构建任务包括基于知识图谱的关系抽取、实体对齐、本体映射和知识补全等，应用任务主要包括基于知识图谱的推理衍生任务。另一方面，基于多模态知识图谱的表示学习为不同模态知识和知识间的联合处理提供了解决方案，这对战场态势感知场景的多模态知识提取和计算尤其重要。

广义的表示学习指从输入信息中自动学习有效特征的学习方法，以提高机器学习模型性能；表示学习的关键是解决输入数据的底层特征和高层语义信息间的语义鸿沟。机器学习中有局部表示（local representation）和分布式表示（distributed representation）2种方式来表示特征。局部表示的向量每个分量对应一个数据，各个分量相互排斥；其向量维度高，向量间距离无法表示数据间的关联，扩展性差。分布式表示使用低维稠密向量表示，向量中每个单独的分量没有意义，分量的组合才能表明具体属性。分布式表示是深度学习最重要的性质，神经网络可将高维的局部表示空间映射到低维的分布式表示空间，该过程又称嵌入，如图像矩阵嵌入和词嵌入。 

近年来，基于大规模弱标注数据的预训练模型在计算机视觉和自然语言处理领域得到了广泛应用（代表模型分别为ImageNet和BERT）。预训练模型在基础浅层嵌入的基础上进一步实现高层级特征的学习和保存，上层任务无需从底层开始训练；该预训练-微调（pre-train, fine-tune）模式成为一种新范式。为进一步简化上游任务的微调训练，一种新的、称为Prompt的新范式在自然语言处理领域兴起，让预训练模型直接适应下游任务。从预训练模型中构建知识图谱也得到了多项研究关注。

总体而言，在知识表示方面，从基于离散符号的知识表示到通过知识表示学习得到基于稠密向量的分布式表示（如图4所示），能够更好捕获隐匿的知识，并且通过对接神经网络的强大能力，将推理过程转化为向量间的计算，从而摆脱传统基于符号搜索的推理计算方式，使推理效率更高。

图4  从符号知识表示到向量知识表示

战场态势感知场景中知识图谱构建既需使用广义表示学习能力从多模态数据中学习特征并提取知识，又需利用基于态势感知知识图谱的表示学习完成知识的补全和上游任务。本章先介绍常见的知识表示学习方法，再阐述基于态势感知知识图谱的表示学习。

3.1  知识图谱表示学习方法 

面向知识图谱的表示学习，又称知识图谱的图嵌入学习，旨在将知识图谱的实体与关系映射到低维且稠密的分布式向量表示。依据图嵌入学习方法的设计思路和信息利用程度，可分为基于随机游走、基于翻译距离、基于语义匹配、基于传统深度学习、基于图神经网络以及融入额外信息6类图嵌入学习方法。图5给出了知识图谱表示学习的一个示例及常用方法示意图。

图5  知识图谱表示学习示例及常用方法

1) 基于随机游走的图嵌入学习：该方法先从图中每个节点出发进行随机游走，获取每个节点对应的随机游走节点序列，再将每个节点序列视为一个文本句子，节点序列中的节点为文本句子中词，最后利用Word2Vec法得到每个节点的表征向量。常用的节点表征方法包括DeepWalk、Node2Vec和LINE等。

2) 基于翻译距离的图嵌入学习：该方法采用距离评分函数对关系进行建模， Bordes等首次提出基于转移的表示学习模型TransE。TransE建模简单且学习效果良好，其学习效率较传统的知识推理方法高，因此能够适应大规模知识图谱构建。当然，该模型也存在不足，包括仅适用于处理1对1关系、不能利用实体的语义层级信息。基于此，学者们提出了一系列TransE的扩展模型，如TransH、TransR和TransD等。

3) 基于语义匹配的图嵌入学习：该方法通过匹配实体和关系在向量空间的相似性，采用相似度评分函数对事实三元组建模。代表模型包括RESCAL及其扩展和神经网络匹配模型等。其中，双线性（RESCAL）模型将关系映射为转换矩阵，将每个实体通过转换矩阵与向量相关联，从而获取潜在语义；DistMult模型将关系矩阵限制为对角矩阵简化运算量；Complex Embeddings（ComplEx）通过引入复值嵌入来扩展DistMult模型，以便更好地建模非对称关系。

4) 基于深度学习的图嵌入学习：该方法基于现有的深度学习模型来学习三元组知识的特征，按照使用的深度学习模型类别，大致可分为基于卷积神经网络、基于循环神经网络和基于胶囊网络3类模型。该方法已较少使用，通常被5)描述的基于图神经网络方法取代。

5) 基于图神经网络的图嵌入学习：该方法本质上是一种基于深度学习的图嵌入学习方法的一种，图神经网络凭借其强大的建模图结构数据的能力，能够更深入地挖掘学习图的结构信息，并对图的结构信息进行深度编码。目前图神经网络模型已成功应用于社交网络、医药研究和知识图谱等领域。其常用方法包括图卷积神经网络（GCN）和图注意力网络（GAT）2种，还包括图自编码器、图生成网络和图时空网络。

6) 引入额外信息的图嵌入学习：上述学习方法基本专注于学习图谱的结构特征，难以利用知识图谱中概念信息和文本描述信息等其他知识。因此，学者们提出了融入知识图谱中其他知识的图嵌入学习方法，即在图嵌入学习过程中融入实体名称、关系名称和实体描述等信息，以提升图嵌入表示可学习到的语义信息。

3.2  态势感知知识图谱表示学习 

面向战场态势感知知识图谱具有规模大、知识类别丰富等特征，且对学习方法的时效性有较高要求。综合这些特征及需求，在战场态势感知场景中重点运用基于随机游走、基于翻译距离和基于图神经网络3种图嵌入学习方法，同时使用引入额外信息的图嵌入学习方法以学习到更多语义信息。态势感知知识表示学习方法适用性说明如表2所示。

表2   态势感知知识表示学习方法适用性说明

3.3  态势感知多模态表示学习

在战场态势感知场景中，除了文本知识和事实类知识外，还包括图像、视频、语音、时空和事件等多种模态的动态知识，而且在实际作战环境中，对这些实时捕获动态多模态数据的处理比静态知识更加重要。因此，还需引入基于多模态的表示学习方法。

多模态表示学习需同时从多个异质信息源提取被研究对象的特征，还要考虑多个模态信息的一致性和互补性。按照多模态表示共享方式可将多模态表示学习分为公共表示学习和特异性表示学习2类。前者将所有模态的特征均投影到同一个表示空间；后者为不同模态学习不同的特征表示空间。多模态融合的核心问题是异质性间隙，为了便于讨论如何缩小异质性差距，根据不同模态集成的底层结构将多模态表示学习方法分为联合表示、协调表示和编解码器3个子框架。公共表示学习示意图如图6所示。

战场态势感知的多模态学习拟采用目前的多模态表示学习框架，不同之处在于除了常规的文本、图像和音频等模态数据外，还需融合时空、传感信号和动态规则等知识，为其设计合适的编码器，最终达到态势多模态知识统一表示学习的目的。

图6   公共表示学习示意图

4、面向战场态势感知的推理

     

态势感知的预测环节本质上可视作一个推理过程，即通过到目标的感知与理解，通过推理得到目标的行为预测。本章先介绍基于知识图谱推理的各种方法，再简要说明战场态势感知场景中的推理。

推理指基于已知的事实或知识推断得出未知的隐藏事实或知识的过程。面向知识图谱的知识推理分类方法有很多。按照推理模式的维度可分为演绎推理、归纳推理和溯因推理；按照知识表示方法可分为基于符号表示和基于向量表示2种推理；按照推理方法可分为基于规则的推理、基于表示学习的推理、基于神经网络的推理和混合推理。

4.1  知识推理方法

1) 基于规则的推理：基于规则的推理通过定义或学习知识中存在的规则进行推理，根据规则的真值类型又可分为硬逻辑规则和软逻辑规则。硬逻辑规则中每条规则的真值均为1，软逻辑规则即每条规则的真值为[0,1]的概率，该类规则可通过真值重写转化为硬逻辑规则。硬逻辑规则可写成知识图谱本体中的SWRL（语义网规则语言）规则，再通过Pellet、Hermit 等本体推理机进行推理。规则推理在大型知识图谱上的效率受限于其离散性，Cohen提出了一种可微的规则推理机TensorLog，将知识库中每个实体用一个one-hot向量表示，每个关系 r 定义为一个矩阵算子 M，将逻辑推理规则形式化为给定实体和关系预测另一个实体的矩阵相乘问题，由此量化为实体得分和置信度的学习问题。前者通过得分向量乘以one-hot向量转置获得；后者通过最大化知识图谱三元组学习参数表达。

2) 基于表示学习的推理：基于知识图谱的表示学习已在第3章中详述，基于知识表示学习的推理即使用表示学习的方法实现推理，在此不做赘述。基于表示学习的推理还能实现知识图谱中的多跳逻辑推理。

3) 基于神经网络的推理：基于神经网络的推理依赖神经网络的表征能力直接建模知识图谱事实元组，得到向量表示用于推理。与基于表示学习的推理相比，其表达能力更加丰富，推理能力更强，但复杂度更高，可解释性更弱。

4) 混合推理：基于规则的推理方法拥有较高准确率，但难以扩展和平移；基于神经网络的推理具备更好的推理能力、学习能力和泛化能力，但神经网络结果不可预测和解释。因此，学者们提出混合推理以结合不同推理方法间的优势，主要包括混合规则与分布式表示、混合神经网络与分布式表示的推理。混合规则与分布式表示的推理使用传统推理规则发现法通过计算关系间的分布式相似度实现；混合神经网络与分布式表示的推理通过神经网络引入外部知识建模知识图谱三元组或通过神经网络方法建模知识图谱，其输出进一步用于表示模型。此外，基于神经-符号整合的推理认为人工智能中基于形式逻辑和演绎推理的符号系统与基于人工神经网络的人工智能系统不同之处不仅在于它们的内部工作方式，还在于它们的功能。学者们通过研究神经-符号的整合推理，考虑将符号系统的透明性和推理能力与人工神经网络的健壮性和学习能力结合在一起。混合推理方法大体上可通过混合不同推理方法实现优势互补，然而深层次的混合模式才能充分利用各方法的优势。因此，如何对不同推理方法进行深度整合，特别是深度学习直接建模知识图谱以充分应用神经网络的推理性能将成为未来研究的热点。

4.2  战场态势感知知识推理 

如前文所述，在面向战场态势感知的场景中，知识的类型有很多，包括事实类三元组知识、规则知识和事理知识等。基于不同类别知识的推理需使用对应方法，例如，基于规则知识的推理需采用基于规则的推理方法，基于态势感知图谱推理可使用基于表示学习的推理；另一方面，作战环境中的推理均要求推理结果可解释。因此，在战场态势感知场景中，会分别依据各类别知识使用不同的知识推理方法，同时会使用混合推理方法来增强推理能力的同时保持推理及结果的可解释性。态势感知知识推理方法适用性说明如表3所示。

表3   态势感知知识推理方法适用性说明

5、战场态势感知知识中台

     

基于第2~4章所述面向战场态势感知的知识表示、表示学习与知识推理，能够有效为战场态势感知从数据→知识→应用的全生命周期管理提供核心技术支撑，在此基础上形成面向战场态势感知的一体化知识中台，其架构如图7所示。

图7  战场态势感知知识中台架构

知识中台的核心能力为知识表示、表示学习和知识推理，并以此为基础支撑知识全生命周期中的其他过程；统一的知识表示技术与统一的多模态知识存储相对应，知识表示技术决定知识存储方式；表示学习为知识的建模、抽取、融合与补全提供技术基础，形成以表示学习为基础的统一方法；知识推理为态势感知应用场景的深度知识应用提供实现路径。同时，知识中台还可接入外部能力来为知识全生命周期过程提供更全面的能力支撑。

基于态势感知知识中台的态势感知应用场景工作过程如下：对于场景中收集的多模态数据，使用相应的知识表示方法进行表示并存入对应的存储；通过以表示学习及外部能力为支撑的知识建模、抽取与融合等步骤，实现多模态态势感知知识图谱构建；以态势感知知识图谱为基础，基于知识推理能力及其他计算能力构建面向战场态势感知的各类应用模型，并运用于战场、国防及军事基地安全等应用场景。

6、结束语

     

人工智能技术已逐步深入应用于战场态势感知场景，以深度学习为代表的感知智能技术和以知识图谱为代表的认知智能技术目前已在态势感知场景中得到广泛应用；同时，结合数据与知识双轮驱动的新一代人工智能技术成为当前态势感知场景中研究探索的主流，同时也是未来的发展方向。数据与知识双轮驱动的战场态势感知新一代人工智能对数据及知识的有效表示、计算与推理提出了更高要求。

本文提出了一种结合多种知识表示方法的态势知识统一表示框架，以实现不同类别数据及知识的高效表示；在此基础上，提出以表示学习为基础实现数据驱动与知识驱动的融合，包括基于知识图谱的表示学习及面向战场多模态数据的表示学习，为知识抽取、融合、补全与推理提供技术支撑；最后，在表示学习基础上归纳了适用于面向战场态势感知场景的复合推理方法，为战场决策提供实现途径。基于面向战场态势感知的知识表示、表示学习与知识推理，能够有效地为战场态势感知从数据→知识→应用的全生命周期管理提供核心技术支撑；在此基础上可形成面向战场态势感知的一体化知识中台。

为了能够更好地适用于真实战场态势感知场景，后续研究的工作方向及面临的挑战包括：1）响应速度，包括数据处理、知识加工及知识推理的响应速度；2）数据缺失问题：由于相互干扰，态势感知数据不可避免出现缺失，如何处理数据缺失是方法模型适用的前提；3）错误数据剔除，由于作战双方对抗必然会接收到对方故意制造的假数据，需剔除错误数据以避免得到错误的决策模型。