[发明专利]跨语言的词汇义原预测方法、装置与电子设备

说明书

本发明实施例提供一种跨语言的词汇义原预测方法、装置与电子设备，该方法包括：分别确定源语言词向量和目标语言词向量学习的损失函数；分别确定词向量对齐和融入义原信息的损失函数；基于源语言和目标语言的单语语料，选取一定数量具有相同语义的源语言词与目标语言词对；基于源语言词与目标语言词对和源语言内已建立的义原知识库，对上述各损失函数进行优化，获取同属一个语义空间的双语词向量；基于双语词向量，通过搜索与目标语言中目标词汇词向量相近的源语言词的已标注义原，为目标词汇进行义原预测。本发明实施例能够合理利用已有义原知识库为跨语言词汇进行义原预测，从而有效节约义原预测的人力和时间成本。

技术领域

本发明实施例涉及自然语言处理技术领域，更具体地，涉及一种跨语言的词汇义原预测方法、装置与电子设备。

背景技术

在语言学中，词被定义为可以独立运用的最小的有意义的单位，但却不是最小的不可分割的语义单位。也即是说，词可以进一步被细分为更小的语义元素。例如，词“男人”可以进一步被分割为“人类”、“男性”和“成年人”。

人类语言中最小的不可再分的语义单位被称为义原，所有的词或者其他的语义概念都可以用一个义原的闭集来表示。引入义原可以对词进行更细粒度的分析，有助于更好地理解语言的本质。然而，对于大多数自然语言而言，义原往往十分隐晦，在一些语言中，通过手动标注的方式，为词以及其他概念构建义原知识库，以方便进行自然语言处理中如词相似度计算、词义消歧及情感分析等任务。

但是，大多数语种的语言还没有建立义原知识库，不方便进行这些语言中词的义原的确定，这在一定程度上不利于人类进一步理解和使用这些语言。在进行这些语言中词的义原的确定时，若采用传统的人工标注义原的方式，会耗费高额的人力和时间成本；而由于不同语言之间没有一对一的匹配关系，如英文词“beautiful”可以对应中文词的“美丽”或“漂亮”，也不能简单地把已建立的义原知识库翻译成其他语言。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种跨语言的词汇义原预测方法、装置与电子设备，用以合理地利用已有义原知识库为跨语言词汇进行义原预测，从而有效节约义原预测的人力和时间成本。

第一方面，本发明实施例提供一种跨语言的词汇义原预测方法，包括：

确定从源语言的单语语料中学习源语言词向量的第一损失函数，并确定从目标语言的单语语料中学习目标语言词向量的第二损失函数；

分别确定将所述源语言词向量与所述目标语言词向量对齐的第三损失函数，以及为所述源语言词向量融入义原信息的第四损失函数；

基于源语言和目标语言的单语语料，选取一定数量具有相同语义的源语言词与目标语言词对；

基于所述源语言词与目标语言词对和所述源语言内已建立的义原知识库，采用随机梯度下降法，对所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数进行优化调节，获取同属一个语义空间的双语词向量，所述双语词向量携带所述源语言词向量与所述目标语言词向量的语义对应关系和义原与所述源语言词向量的融合关系；

基于所述双语词向量，通过搜索与所述目标语言中目标词汇词向量相近的源语言词的已标注义原，为所述目标词汇进行义原预测。

第二方面，本发明实施例提供一种跨语言的词汇义原预测装置，包括：

第一设定模块，用于确定从源语言的单语语料中学习源语言词向量的第一损失函数，并确定从目标语言的单语语料中学习目标语言词向量的第二损失函数；

第二设定模块，用于分别确定将所述源语言词向量与所述目标语言词向量对齐的第三损失函数，以及为所述源语言词向量融入义原信息的第四损失函数；

训练词对抽取模块，用于基于源语言和目标语言的单语语料，选取一定数量具有相同语义的源语言词与目标语言词对；