[发明专利]基于深度神经网络的自然语言语义分析系统及方法

说明书

技术领域

本发明涉及机器学习研究的新领域，尤其涉及一种基于深度神经网络的自然语言语义分析系统及方法。

背景技术

深度学习在图像和语音处理领域硕果累累，但在同属人类认知范畴的自然语言处理任务中，研究尚未取得重大突破。与语音和图像不同，自然语言”在深度学习中用于初始输入的“数据源”是字或词，已经包含了人类的语义解释，是经过人类主观思考处理后形成的。本质上，人类语言的理解，是一个复杂的知识推理过程。然而，当前的深度学习过多关注于“自动学习”，导致对自然语言的处理大多依旧停留在“浅层语义”的理解。本发明在深度学习中引入知识图的概念，在构建知识图的基础上，将浅层语义理解结果注入知识图，通过相应的知识推理获得较为深层的语义理解。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于深度神经网络的自然语言语义分析系统及方法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

(1)构建知识图，用知识图作为实体构造的知识表示方法，以期基于此建立出知识表示准确的实体；以长短文本为语义知识资源，知识图为语义表示方法，构建一种基于深度神经网络下的自然语言语义知识图，利用构建的知识图对自然语言中的实体进行描述。

知识图表示一个概念体系，概念用结点表示，概念之间的关联用箭头表示；结点的内容可以是文字、图形、嵌套的知识图及其组合，箭头上面也可以用文字或图形标志关联的名称或内容。知识图不限定图的结构为树，也可以是网。

知识图表示中，实体的表示称之为概念，概念用节点表示。知识图由两种节点组成：概念节点和关系节点。概念节点表示出现在应用领域的实体，关系节点表示实体之间的关系。概念类型(实体类型)的顺序集用T_C来表示。个体概念是引用单独标记，该单独标记属于单独标记集I。有一个通用标记*，它用来表示一个未指明的实体。相同标记*用来表示一个通用实体不管它的类型。关系集用T_R来表示，T_R的一个元素叫做关系符号或关系类型。这三种集(T_C,T_R,I)组成词汇，该词汇被用来标注知识图的两种节点。一个知识图的词汇，或者简单的一个词汇，是一个三元关系(T_C,T_R,I)。

图5是概念类型的一个子集，图6是关系类型集的一部分。其都描述孩子们玩耍的一张照片。描述如下：一个男孩和他的姐姐，名字叫Mary，正在一个房间里面玩耍，房间里面有一个方块状的玩具车和家具。

知识图由两个互斥节点集组成,也就是说，知识图中的任意一条边连接来自不同集的节点，节点可以同时被几个边所连接。节点的一个集叫做概念节点的集(表示实体)，另一个集叫做关系节点的集(表示实体之间的关系)。

知识图上概念关系抽取。在构建本体框架时，概念及概念间的关系需要被准确定义。每个概念都与其他概念构成上下位关系，所以采用语义概念相似度的计算，首先先选取领域中综合的、概括性的概念作为大的类，然后逐步细化、说明，生成子类。

义原间的语义相似度计算:

1)义原a与义原b的语义距离Distance(a,b):

Distance(a,b)＝a与b在义原分类树上的最短距离

2)义原a与义原b的语义相似度Sim(a,b):

两个词图G1，G2的相似度记为Sim(G1,G2)＝Sim₁(a,b)×β₁+Sim₂(a,b)×β₂，其中β₁，β₂为两个参数，β₁+β₂＝1，β₁＞0.5。

图7表示一个知识图由4个概念节点(表示实体)和3个关系节点(表示实体之间的关系)组成。4个概念节点分别为：一个名字叫保罗的孩子，一辆小汽车，一个人，小尺寸；3个关系节点：一个三元关系：玩，两个二元关系：属性和拥有。该图能被理解为描述下面的事实：一个名叫保罗的孩子拥有一辆玩具小车，保罗和一个人正在玩这辆玩具小轿车。

图8展示另一个知识图，描述如下事实：一个名叫保罗的孩子一边洗澡，一边和他的妈妈玩耍。可以看出概念(孩子：保罗)和关系(洗澡)之间的平行边，显示关系(洗澡)的主语和宾语是相同的实体(孩子：保罗)。