[发明专利]义原预测方法及系统

说明书

本发明实施例提供一种义原预测方法。该方法包括：将汉字树转换的至少包含字形成分的序列输入至预训练模型内的向量层，通过向量层确定的至少包含掩码字形成分单元的掩码后的向量；将掩码后的向量输入至预训练模型内的神经网络；基于预设的训练目标对神经网络进行训练。本发明实施例还提供一种义原预测系统。本发明实施例可以更好地融合中文汉字的内部信息，使用了通过字形增强的中文字符表示来协助义原预测，效果优于现有的不利用外部信息的模型，同时对于低频词的处理也有良好的效果。

技术领域

本发明涉及智能语音领域，尤其涉及一种义原预测方法及系统。

背景技术

在语言学中，义原被定义为人类语言的最小语义单位，它描述概念的语义意义。将义原预测应用到智能语音中十分必要。通常，会计算词向量之间的余弦相似度，推荐相似度高的词的义原作为目标词的义原；或者通过矩阵分解，可以将义原向量和词向量都编码到相同的低维语义空间中，并计算出归一化的词向量和义原向量之间的余弦相似度，以进行义原预测；又或者预测时利用词内部字符信息(字向量)和外部上下文信息(词向量)。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

用字或者词作为输入的基本单元，这样有相同字形成分，但是没有相同字的词之间无法共享信息。比如“森林”和“木头”两个词中都有“木”这个字形成分，但却无法共享信息。中文有许多象形字，字形中往往也蕴含着丰富的字词意思，这是比较重要的。

用字或者词作为输入基本单元，无法解决集外词的预测问题。并且因为低频词的词向量训练不充分，因此义原预测也不准确。

发明内容

为了至少解决现有技术中没有利用到更细粒度的信息，只能用有限大小的字典无法解决字典外的词语的使得义原预测不准确的问题。

第一方面，本发明实施例提供一种用于义原预测的预训练模型的训练方法，包括：

将汉字树转换的至少包含字形成分的序列输入至预训练模型内的向量层，通过所述向量层确定的至少包含掩码字形成分单元的掩码后的向量；

将所述掩码后的向量输入至所述预训练模型内的神经网络；

基于预设的训练目标对所述神经网络进行训练。

第二方面，本发明实施例提供一种义原预测方法，包括：

将预测词语输入至预训练模型，通过掩码多头自注意力网络得到字形增强的中文字向量表示；

基于多标签分类器预测所述中文字向量表示对应的义原。

第三方面，本发明实施例提供一种用于义原预测的预训练模型的训练系统，包括：

向量确定程序模块，用于将汉字树转换的至少包含字形成分的序列输入至预训练模型内的向量层，通过所述向量层确定的至少包含掩码字形成分单元的掩码后的向量；

向量输入程序模块，用于将所述掩码后的向量输入至所述预训练模型内的神经网络；

训练程序模块，用于基于预设的训练目标对所述神经网络进行训练。

第四方面，本发明实施例提供一种义原预测系统，包括：

中文字向量表示确定程序模块，用于将预测词语输入至预训练模型，通过掩码多头自注意力网络得到字形增强的中文字向量表示；

义原预测程序模块，用于基于多标签分类器预测所述中文字向量表示对应的义原。

第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于义原预测的预训练模型的训练方法以及义原预测方法的步骤。