[发明专利]基于transformer模型的汉语词义消歧方法

说明书

本发明涉及一种基于transformer模型的汉语词义消歧方法。本发明首先对汉语语料进行处理，对包含歧义词汇的汉语句子进行分词、词性标注和语义类标注，然后用word2vec工具把语料处理成词向量；然后把训练数据传入模型，计算消歧词汇和歧义词的注意力，通过获得的注意力值来赋予消歧词汇不同的权重，从而更新词向量。消歧特征通过稀疏化，残差连接，正则化后输入全连接层进行加权处理，最后在softmax层输出歧义词的预测概率分布。用训练好的模型对测试语料进行消歧，输出歧义词的预测概率分布，具有最大概率的语义类别即为歧义词汇的语义类别。本发明对歧义词汇实现了很好的消歧，消歧准确率较高。

技术领域：

本发明涉及一种基于transformer模型的汉语词义消歧方法，该方法在自然语言处理领域中有着很好的应用。

背景技术：

歧义词汇是指具有多种语义的词汇，即在上下文中存在一词多义的现象。词义消歧(Word sense disambiguation，WSD)是对一词多义现象的处理，从而确定歧义词的真实语义。歧义词汇在某个特定的上下文语境中只有一个语义，通过上下文进行消歧，采用一定的方法和算法，使得计算机能够理解歧义词汇的真实语义，这就是词义消歧的过程。词义消歧是自然语言处理任务的一个核心与难点，影响了几乎所有任务的性能，比如搜索引擎、意见挖掘、文本理解与产生、推理等。

词义消歧主要包括有监督的学习方法和无监督的学习方法，有监督的学习方法训练模型学习速率更快，但是缺点是语料的通用性不强，实际运用中有大量非标准化语料，这样就减弱了模型的泛化能力。当前常用的基于知识图谱的词义消歧方法和基于词网的词义消歧方法，训练成本高，依赖大型词典和数据集。针对上述问题，随着深度学习模型在词义消歧领域的应用逐渐增多，本文采用 transformer模型做词义消歧任务。transformer模型作为词义消歧的消歧模型，最大的特点是注意力机制，它通过计算消歧词汇和歧义词的注意力来抽取消歧特征，能够很好的处理词汇之间的相互关系，克服了传统词义消歧模型的数据处理能力差的问题，充分利用了transformer模型的学习能力，可以有效地提高词义消歧的结果。

发明内容：

为了解决自然语言处理领域中的词汇歧义问题，本发明公开了一种基于transformer模型的汉语句子词义消歧方法。

为此，本发明提供了如下技术方案：

1.基于transformer模型的汉语词义消歧方法，其特征在于，该方法包括以下步骤：

步骤1：对语料所包含的所有汉语句子进行分词、词性标注和语义类标注，用word2vec工具把语料处理成词向量；

步骤2：选取歧义词汇左右各三十个邻接词汇单元的词形、词性和语义类对应的词向量作为消歧特征，不足三十个的用0填充，选取一小部分处理好的语料作为测试数据，其余的作为训练数据；

步骤3：训练包括前向传播和反向传播两个过程，训练数据作为transformer 模型训练的输入，经过transformer模型的训练，得到优化后的transformer模型；

步骤4：测试过程为前向传播过程，即语义分类过程，在优化后的transformer 模型上，输入测试语料的词向量，计算歧义词汇在每个语义类别下的概率分布，其中，具有最大概率的语义类即为歧义词汇的语义类。

2.根据权利要求1所述的基于transformer模型的汉语句子词义消歧方法，其特征在于，所述步骤1中，对汉语句子进行分词、词性标注和语义类标注，提取消歧特征，具体步骤为：

步骤1-1利用汉语分词工具对汉语句子进行词汇切分；

步骤1-2利用汉语词性标注工具对已切分好的词汇进行词性标注；

步骤1-3利用汉语语义标注工具对已切分好的词汇进行语义类标注；