[发明专利]一种产业知识库自动构建方法、装置及存储介质

说明书

本发明公开了一种产业知识库自动构建方法、装置及存储介质。本发明在梳理出产业领域概念体系的前提下，针对不同类型的数据来源，利用模型、规则、词典等先验知识，对企业、人才等核心实体类型及其之间的关系进行高效构建，并支持对知识的按需批量更新；此外，针对产业资讯等非结构化文档数据，利用深度学习与规则相结合的方法，对文档本身进行碎片化和语义标引，对核心事件类型进行面向主体的细粒度事件抽取，并通过设计标准化文本信息抽取数据结构解决各处理阶段输出的服务及其之间的通信问题；进一步通过基于上下文的实体链接技术，实现对企业和人才等核心实体的动态事件获取，并辅助指导更新已有知识，进一步丰富产业知识维度。

技术领域

本发明涉及计算机系统、大数据、人工智能、知识图谱构建、自然语言处理等领域，具体涉及一种产业知识库自动构建方法。

背景技术

随着大数据和人工智能技术的发展，越来越多的场景技术应用案例正在形成。基于数据智能和知识智能技术的产业发展认知决策场景应用将对该领域的工作模式起到重要的转折作用。

传统的产业认知决策过程存在数据依据不足、数据来源复杂、数据孤岛严重、知识无法沉淀、无标准化系统支撑等问题，且大量依靠滞后和不够精准的人工统计数据，并没有充分结合大数据人工智能技术和标准自动化知识构建流程。基于此问题，本发明提出了一整套产业知识库自动构建方法，旨在利用数据智能技术和领域先验知识实现较为完整的产业知识库自动化构建。

结合产业认知决策场景需求，产业知识库的构建需解决包括概念体系、核心实体、动态事件、文档数据等数据和知识的处理与关联，并保持持续高质量知识的更新维护，进而支撑上层基于概念、实体、关系、属性的真实展示和深度分析需求。这使得产业知识库的构建涉及多种大数据梳理与人工智能技术，一方面，针对实体信息丰富、数据来源多样、数据质量不一等特点，需要利用规则和算法等手段解决对于每种实体知识构建流程；另一方面，对于大量复杂的非结构化文本数据，需要基于知识与算法相结合的方式实现机器阅读流程；进一步，对于知识库的持续扩充和更新，需要在实体库和动态事件之间建立精准的关联，保持知识库的高质量演化。

因此，需要建立一种较为通用的技术方法流程，实现产业知识库构建过程中的自动化、高性能、可持续等特点。

发明内容

本发明的目的是解决现有技术中存在的问题，并提供一种产业知识库自动构建方法，用于实现产业认知决策场景下知识库构建的自动化、高性能、可持续等特点。

为了实现上述发明目的，本发明具体采用的技术方案如下：

一种产业知识库自动构建方法，其包括如下步骤：

S1、针对目标产业领域，构建包含概念、实体、事件、文档、属性和关系的产业知识库知识体系模型；

S2、初步采集目标产业中包括企业实体和人才实体在内的感兴趣实体，构建企业实体与所在产业领域的关系以及人才实体与所就职企业的关系，形成产业知识库；

S3、针对目标产业采集产业资讯文档数据，基于深度学习和规则相结合的方法对采集得到的文档进行核心句识别、主题分类和实体识别，得到包含文档基础信息和文档中提及实体的结构化文档库；再对采集得到的文档进行事件级别的事件细粒度抽取，得到包含实体和事件信息的事件库；

S4、基于S3中得到的文档库和事件库，利用实体链接技术对S2中得到的产业知识库进行知识扩展与动态更新，更新范围包括实体新增、实体关系新增、实体关系更新、以及实体与文档和/或事件之间的关联，以保持产业知识库的持续构建与更新。

作为优选，所述的产业知识库知识体系模型中，顶级知识类型包括概念、实体、事件和文档，概念类型包括产业领域和事件类型，实体类型包括企业和人才，关系类型包括文档关于的事件类型、文档提及的企业、事件涉及的企业、事件涉及的人才、企业所属的产业领域、企业与企业的合作、企业之间的投资以及人才在企业的就职。