|
知识结构化问答是知识图谱的一个重要的应用方向，虽然现在许多真实的使用体验上，会被评价为“鸡肋且智障”，并且在落地上还没有太多的付费场景，但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前，医疗知识图谱QAonMilitaryKG，成为了不少朋友都会参考的一个问答快速实现demo的案例，网上也有不少的复现和踩坑记录总结。本文则围绕着医疗知识图谱QAonMilitaryKG和军事武器知识图谱问答两个项目进行简要介绍，希望可以作为大家的一个指引。 因此，借着这个机会，本文从句子成分句法分析出发，从开源句子成分句法分析工具，句法树分析和特定成分提取两个角度出发进行介绍，以期加深这一NLP基础知识的理解，供大家参考。 一、军事知识图谱构建与自动问答QAonMilitaryKGQAonMilitaryKG，QaSystem based on military knowledge graph that stores in mongodb which is different from the previous one, 基于mongodb存储的军事领域知识图谱问答项目，包括飞行器、太空装备等8大类，100余小类，共计5800项的军事武器知识库，该项目不使用图数据库进行存储，通过jieba进行问句解析，问句实体项识别，基于查询模板完成多类问题的查询，主要是提供一种工业界的问答思想demo。 项目地址： https://github.com/liuhuanyong/QAonMilitaryKG 1、项目背景 基于知识图谱或知识库的问答KBQA是目前垂直领域或百科领域问答中使用较多的一种问答方式，本质上是在做结构化数据的匹配查询任务。笔者之前利用neo4g图数据库上基于医疗领域结构化知识库，阐述了基于图数据库的医疗知识图谱构建与问答方案，并实现了一个简单的demo。项目见:(https://github.com/liuhuanyong/QASystemOnMedicalKG) 技术选型是实现自动问答系统的一个重要环节，这项工作与数据样式关系尤为密切。经验上来说，对于实体类型较多以及实体关系种类较多的知识库，使用图数据进行知识存储是个较好的选择。而对应实体类型较少，实体关系较少，实体属性较多以及带有时序性的数据时，选用文档型数据库mongodb是个不错的选择。 军事领域是敏感度、机密系数较高的一个领域，其数据价值很高，获取相关军事数据并提供一个便捷的人机交互方式具有重要的战略意义。军事中的装备信息，军事基地信息，军事作战部队之间的关联信息，以图谱的形式组织，能够在作战策略推荐，军事人员培训上起到重要作用。目前，公开的军事资料不多，收录较全的有环球军事网，其中的人物，战役，兵器库，术语库等为军事提供了一个很好的信息平台。其中，武器库是其中结构化程度较高的一项数据，其中包括了飞行器、舰艇等8大类武器，轰炸机等100余小类，共计5800项武器结构化数据。这为结构化知识问答提供了一个的数据，因此，本项目选择该数据集作为知识库，使用mongodb进行自动问答的实验。 2、项目目标 本项目目的在于采集并解析军事武器库网站，进行字段信息的标准化，形成一定规范、规模的军事武器装备结构化知识库。 实现基于mongodb的军事领域知识库的自动问答。 1）项目框架
2）项目构成 1.数据集类型及统计信息
2.数据样式
3.问句类型
3）项目运行 主要文件构成如下：
3）项目运行 1.执行insert_data.py，将输入倒入至mongodb当中。 2.执行military_qa.py，开始进行问答测试。 3.若需要进行自我重新构建数据，可运行collect_data.py。 4）项目结果
二、医药领域知识图谱问答QAonMilitaryKG本项目立足医药领域，以垂直型医药网站为数据来源，以疾病为核心，构建起一个包含7类规模为4.4万的知识实体，11类规模约30万实体关系的知识图谱，并以此作为实验数据底座，实现一个基于规则的快速知识图谱问答。 项目地址： https://github.com/liuhuanyong/QASystemOnMedicalKG 1、数据来源 该项目的数据来自垂直类医疗网站寻医问药，使用爬虫脚本data_spider.py，以结构化数据为主，构建了以疾病为中心的医疗知识图谱，实体规模4.4万，实体关系规模30万。schema的设计根据所采集的结构化数据生成，对网页的结构化数据进行xpath解析。项目的数据存储采用Neo4j图数据库，问答系统采用了规则匹配方式完成，数据操作采用neo4j声明的cypher。 1）实体类型及统计信息
2）关系类型及统计信息
3）属性类型及统计信息
2、实现框架
3、支持的问题类型
4、项目构成 1.question_classifier.py：问句类型分类脚本 2.question_parser.py：问句解析脚本 3.chatbot_graph.py：问答程序脚本 5、项目效果
三、实践总结以上两个项目分别以基于mongodb、neo4j作为数据存储方式，给出了两个实现方法。分别以军事武器库网站、医疗网站进行字段信息的标准化，形成一定规范、规模的结构化知识库。在一定程度上还原了入门级的问答范式，该架构图朴实且如实地介绍了面相结构化文本的知识构建以及结构化查询流程以及粗略实现细节。 面向具有数字型数据的结构化知识的问句的形式有多种，主要有纯属性值查询如：单实体单属性，单实体多属性，多实体单属性，多实体多属性等问题。带筛选条件查询，如如单属性值与多属性值区间查询。最值条件查询共三种，本项目初步实现了对这三种主要问句类型问答。 在实体识别，属性值识别，数值识别上，主要采用的方式是领域词及扩展词，配合正则表达式的方式来实现，没有使用学习模型。作为军事领域，学习模型在武器类实体识别上效果可能不会太好，在识别后进行实体链接映射会遇到一定困难。 实体与查询属性项之间的对应和成对是整个问答查询的最核心所在，以上两个项目使用基于关系模板穷举的方式、基于问题关键词分类的方式完成该目标，准确率较高，但缺点是穷举可能性不大，构造成本较高。而既然是结构化知识问答，那么业务场景下的问答应该是简单的，多实体多属性混杂出现的情况应该要少一些，即问题的问答可以很多样，但问题的内部结构不应太复杂，否则就丢失了自动问答解放信息杂糅的本意了。 知识图谱是结构化知识的一种方式，存储方式可以用关系型，可以用nosql，也可以用图数据库，不同的方式的区别在于sql的转化上。在关系级联程度不高的情况下，使用非图数据库可能会是更好的方式。深度学习在工业界问答中，在基于qa对检索中用的比较多，在结构化知识图谱查询中较难大显身手，集中应用点在实体论元识别上，个人认为在实体属性关系的识别上不会很惊艳，很有可能没有规则来的快，来的准确。 |
|
|
