[发明专利]一种基于常识和推理的中文缺失代词补全方法

说明书

本发明公开了一种中文缺失代词补全方法，属于信息处理领域，该方法的特征包括：构建输入文本以及上下文文本矩阵；循环神经网络分别形成输入文本语义信息矩阵和输入文本上下文句子层面、词语层面语义背景矩阵；基于语义相似度得到输入文本上下文句子层面各句子重要程度的注意力权重；更新得到上下文句子层面语义信息矩阵；将结果融合输入文本矩阵；利用语义相似度得到输入文本上下文词语层面各句子重要程度的注意力权重；结合外部知识库更新词语注意力权重；结合句子注意力权重更新得到上下文语义信息矩阵；融合输入文本信息得到最终输入文本的推理信息矩阵；通过多层感知器得到层级式各词语的缺失代词概率分布；预测输入文本各词语缺失代词类型。

技术领域

本发明涉及信息处理领域，特别涉及一种基于常识和语义推理的中文缺失代词补全方法。

背景技术

现有研究表明，中文是一种倾向于省略代词的语言，在中文中使用明确代词的概率只有64％。省略代词的类型会根据不同文本体裁而发生变化，在正式中文文本表述比如新闻、杂志语料中，省略的代词常常为第三人称，而在非正式口语表述语料中，省略代词的类型除了第三人称，还包括一、二人称。在中文对话中，交流者可以从上下文语义背景环境中理解代词指示，从而省略代词以防止重复的表述；然而在英文表述中，每一个主题词都应该通过其代词或者确定先行词进行明确表达，中文省略代词在跨语言交流的过程中往往会导致模糊以及歧义。因此中文缺失代词补全任务非常值得研究。

在传统中文缺失代词补全任务中，常常利用特征工程的方法。特征工程从三个不同的角度提取数据中存在的特点——词汇特征、结构特征和句法特征。词汇特征主要包含词本身的含义、词性的连接和n-gram信息等；结构的特征包括对话人的信息、标点的信息等；句法特征主要包含句法树的结构、节点关系等信息。在提取特征的过程中，需要专家花费大量人工时间来对特征进行选择，同时最终结果对于特征依赖关系是不同的。另外，有限的特征提取缺少了对文本上下文语义背景信息的提取，导致许多关键信息的缺失。本发明为了解决上述问题，采用了对语义背景信息编码的推理模型，融入了常识知识库，利用传统方法与神经网络方法结合的方式，模拟人脑的推理过程，采用序列标注的原型，对中文缺失代词补全的类型进行预测。实验证明本发明方法在中文缺失代词补全的问题上取得了较好的效果。

发明内容

为了解决现有的技术问题，本发明提供了一种基于常识和语义推理的中文缺失代词补全方法。方案如下：

步骤一，输入已分词的输入文本，对输入文本进行映射，将词语转化为相应词向量，将各个词语对应词向量连接形成文本矩阵。

步骤二，使用循环神经网络对文本矩阵进行处理，得到输入文本各词向量相关的语义信息矩阵。

步骤三，输入已分词的输入文本上下文，对输入文本上下文进行映射，将词语转化为相应词向量，将各个词语对应词向量连接形成上下文文本矩阵。

步骤四，使用循环神经网络对上下文文本矩阵进行处理，分别得到输入文本上下文句子层面语义信息矩阵和输入文本上下文词语层面语义信息矩阵。

步骤五，对输入文本语义信息矩阵和输入文本上下文句子层面语义信息矩阵进行处理，通过语义相似度计算，得到输入文本上下文句子层面各句子重要程度的注意力权重。

步骤六，利用上下文句子层面的注意力权重与句子层面语义信息矩阵进行点乘操作，得到更新后的上下文句子层面语义信息矩阵。

步骤七，对输入文本语义信息矩阵和输入文本上下文句子层面语义信息矩阵进行拼接，利用前向神经网络，得到融合上下文句子层面语义信息的输入文本信息矩阵。

步骤八，对融合上下文句子层面语义信息的输入文本信息矩阵和输入文本上下文词语层面语义信息矩阵进行处理，通过语义相似度的计算，得到输入文本上下文词语层面各词语重要程度的注意力权重。