[发明专利]一种基于句法分析的词义消歧方法

说明书

技术领域

本发明涉及一种词义消歧方法，特别涉及一种基于句法分析的词义消歧方法，属于自然语言处理技术领域。

背景技术

词义消歧是指根据歧义词所处的上下文环境而自动判定其正确词义。词义消歧属于自然语言处理的底层技术，其对机器翻译、信息检索、自动问答、情感分析等自然语言处理任务均具有直接的影响。

所谓“观其伴，知其义”，歧义词的词义可由其上下文相关词而确定。上下文相关词的选择及消歧权重的确定对词义消歧的效果具有决定性影响。传统的词义消歧方法通常利用滑动窗口来选择上下文相关词，即以歧义词为中心，选择其左右一定范围内的词语作为相关词，并为其赋予等同的消歧权重。这种方法简单易行，但它忽视了句子中所蕴含的语法及语义关系，忽视了相关词与歧义词的距离的差异给词义表决所产生的影响。传统的词义消歧方法在上下文相关词的选择及赋权上存在很大的不足。短语结构句法分析和依存句法分析技术的发展，为解决这一问题提供了一种可行的思路。以短语结构句法树、依存句法树为依据进行上下文相关词的选择及赋权，将有利于提高上下文相关词选择及赋权的准确性，有利于改善词义消歧的效果。

发明内容

本发明的目的是针对传统词义消歧方法的不足，为提高其相关词选择及赋权的精度，提出一种基于句法分析的词义消歧方法。

本发明的目的是通过如下技术方案实现的。

一种基于句法分析的词义消歧方法，其具体操作步骤如下。

步骤一、对歧义词所在的句子进行预处理，主要包括去除乱码字符、特殊符号等；具体如下。

步骤1.1：用符号S表示待处理的句子，用符号w_t表示待消歧的目标歧义词。

步骤1.2：对句子S进行预处理，主要包括去除乱码字符、特殊符号等，获得预处理后的句子S’。

步骤1.3：对句子S’中的词语进行词形还原。

步骤二、对歧义词所在的句子进行短语结构句法分析，获得其短语结构句法树；具体如下。

使用短语结构句法分析工具，对句子S’进行短语结构句法分析，获得其短语结构句法树PhraseTree。

步骤三、对歧义词所在的句子进行依存句法分析，获得其依存句法树；具体如下。

步骤3.1：使用依存句法分析工具，对句子S’进行依存句法分析，获得其依存元组集合DSet。

步骤3.2：根据依存元组集合DSet中的元组信息，构建依存句法树DependTree。

步骤四、收集句子中除歧义词之外的全部实词，作为相关词，并根据其与歧义词的距离赋予消歧权重，构建相关词集合；具体如下。

步骤4.1：收集句子中除歧义词w_t之外的全部实词，构建相关词集合R。

步骤4.2：根据依存句法树DependTree、短语结构句法树PhraseTree、句子S’，统计R中各个相关词w与歧义词w_t在依存句法树上的路径距离d₁、在短语结构句法树上的路径距离d₂、在句子中的直接距离d₃。

步骤4.3：根据各个相关词w与歧义词w_t的距离信息，由公式(1)，为其赋予消歧权重。

(1)

其中，d₁是相关词w与歧义词w_t在依存句法树上的路径距离、d₂是两者在短语结构句法树上的路径距离、d₃是两者在句子中的直接距离；α、β、γ是权重调节因子。

步骤五、根据歧义词各词义与相关词集合的整体相关度，确定歧义词的正确词义；具体如下。

步骤5.1：计算歧义词的各个词义s_i与相关词集合R中的相关词w_j的词义相关度rela(w_j,s_i)。

步骤5.2：由公式(2)，根据步骤4.3和步骤5.1的数据，计算歧义词各个词义s_i与相关词集合R的整体相关度。

(2)

其中，s_i是歧义词的某一个词义，R是相关词集合，w_j是某一个相关词。

步骤5.3：根据步骤5.2所得的整体相关度，选择相关度最大的词义作为正确词义。

经过以上步骤的操作，即可判定歧义词的词义，完成词义消歧任务。

有益效果