[发明专利]基于上下文语义的词义消歧方法、装置及相关设备

说明书

本发明涉及自然语言处理技术领域，公开了一种基于上下文语义的词义消歧方法、装置、计算机设备及存储介质，该方法包括：通过获取文本数据，并对文本数据进行预处理，得到待处理数据，将待处理数据输入到预训练的语言模型进行训练，得到上文语境信息、歧义词信息和下文语境信息，根据上文语境信息、歧义词信息和下文语境信息，得到文本段语义信息，将文本段语义信息输入到预训练的分类器中进行训练，确定歧义词信息在当前语境中的定义，提高了词义消歧的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于上下文语义的词义消歧方法、装置、计算机设备及存储介质。

背景技术

在语言词汇中存在着一定数量的歧义词，歧义词为自然语言的应用带来了便利，但也为自然语言的理解和翻译带来了一定的困难。随着人工智能的兴起，词义消歧在诸多高新领域中的应用越来越多，已经成为了一个自然语言处理中需要解决的重要难题。

目前，主要是确定每个待消歧的词语的上下文语句，对上下文句子和待消歧的词语所在词义句子进行表征学习后，计算每个待消歧的词语的每个定义和上下文语句的相似度，选择相似度最大的定义，作为待消歧的词语的定义，但是这种方式只能对待消歧的词语的定义进行粗分类，准确率较低，词义消歧准确性较差。

发明内容

本发明实施例提供一种基于上下文语义的词义消歧方法、装置、计算机设备和存储介质，以提高词义消歧准确性。

为了解决上述技术问题，本申请实施例提供一种基于上下文语义的词义消歧方法，包括：

获取文本数据，并对所述文本数据进行预处理，得到待处理数据；

将所述待处理数据输入到预训练的语言模型进行训练，得到上文语境信息、歧义词信息和下文语境信息，所述预训练的语言模型为自编码语言模型或自回归语言模型；

根据所述上文语境信息、所述歧义词信息和所述下文语境信息，得到文本段语义信息；

将所述文本段语义信息输入到预训练的分类器中进行训练，确定所述歧义词信息在当前语境中的定义，所述预训练的分类器为Softmax线性分类器。

为了解决上述技术问题，本申请实施例还提供一种基于上下文语义的词义消歧装置，包括：

数据获取模块，用于获取文本数据，并对所述文本数据进行预处理，得到待处理数据；

第一训练模块，用于将所述待处理数据输入到预训练的语言模型进行训练，得到上文语境信息、歧义词信息和下文语境信息，所述预训练的语言模型为自编码语言模型或自回归语言模型；

文本段语义信息获取模块，用于根据所述上文语境信息、所述歧义词信息和所述下文语境信息，得到文本段语义信息；

第二训练模块，用于将所述文本段语义信息输入到预训练的分类器中进行训练，确定所述歧义词信息在当前语境中的定义，所述预训练的分类器为Softmax线性分类器。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于上下文语义的词义消歧方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于上下文语义的词义消歧方法的步骤。