[发明专利]跨语言文本表示方法和装置

说明书

本发明提出一种跨语言文本表示方法和装置，其中，方法包括：获取第一语种对应的第一训练文本和第一跨语言表示模型，其中，第一跨语言表示模型包括第一通用向量子模型和文本表示子模型；获取待处理文本对应的目标语种的第二训练文本；根据第一训练文本和第二训练文本训练第一通用向量子模型得到第二通用向量子模型；根据第二通用向量子模型和文本表示子模型获取目标语种的第二跨语言表示模型。由此，基于语义对齐处理挖掘不同语种之间的通用向量，基于通用向量进行跨语言文本处理，保证了跨语言处理模型的表示效果。解决了现有技术中，跨语言处理模型难以跨越语种不同的障碍导致的表示效果较差的技术问题。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种跨语言文本表示方法和装置。

背景技术

跨语言的语义表示技术，其目标是使用不同语言的大量文本进行学习，构建跨语义的语义表示，协助只有少量标注数据的跨语言的文本表示任务(例如机器翻译、跨语言的检索、问答、推理、情感分类等)。

相关技术中，如图1所示，跨语言的语义表示技术分为单语语料和多语平行的语料表示技术，其中，单语语料指的是在跨语言语义表示的基础上，学习跨语言的任务模型(例如：跨语言的推理、阅读理解、检索、情感分析等)。例如，使用有标注英语的情感分类数据训练跨语言的语义表示模型，得到一个可以应用多语言的情感分类模型。避免了同样的文本表示任务在不同语言的重复标注，同时具备利用其他语言的语料进行同样的文本表示的能力。其中，多语平行的语料表示技术指的是，在跨语言语义表示的基础上，学习机器翻译模型等。目前最典型的跨语言的语义表示技术，是多语言BERT和XLM等模型,其使用不同语言的单语语料进行训练，得到跨语言的语义表示模型。

然后，上述跨语言的语义表示模型仅仅将多语言的语义表示学习到一起，并没有考虑到不同语种之间的差异性，影响了跨语言表示的效果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种跨语言文本表示方法，解决了现有技术中，跨语言处理模型难以跨越语种不同的障碍导致的表示效果较差的技术问题。本发明的第二个目的在于提出一种跨语言文本表示装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种跨语言文本表示方法，包括以下步骤：获取第一语种对应的第一训练文本和第一跨语言表示模型，其中，所述第一跨语言表示模型包括第一通用向量子模型和文本表示子模型；获取待处理文本对应的第二语种的第二训练文本，其中，所述第二语种与所述第一语种不同，所述第一训练文本和所述第二训练文本语义相同；根据所述第一训练文本和所述第二训练文本训练所述第一通用向量子模型得到第二通用向量子模型；根据所述第二通用向量子模型和所述文本表示子模型获取所述第二语种的第二跨语言表示模型，以便于基于所述第二跨语言表示模型对所述待处理文本进行文本表示。

另外，本发明实施例的跨语言文本表示方法，还具有如下附加的技术特征：

可选地，在所述获取第一语种的第一跨语言表示模型之前，包括：获取所述第一语种的训练文本并标注与所述训练文本对应的标注文本表示结果；将所述训练文本输入所述第一通用向量子模型，获取通用向量；将所述通用向量输入至所述文本表示子模型，获取文本表示结果；判断所述文本表示结果与所述标注文本表示结果是否一致；若不一致，则获取所述文本表示结果与所述标注文本表示结果的差异信息，根据所述差异信息调整所述第一跨语言表示模型的模型参数，直至所述文本表示结果与所述标注文本表示结果一致。