[发明专利]词向量生成方法、装置及电子设备

说明书

本申请提出一种词向量生成方法、装置及电子设备，涉及自然语言处理技术领域。其中，该方法包括：获取待处理语句，并获取待处理语句中的目标词；获取目标词的上下文信息；根据预设的分词与词向量的映射关系，确定目标词对应的上下文无关词向量；根据预设的字符与字向量的映射关系，确定上下文信息对应的上下文语义向量；以及根据上下文无关词向量与上下文语义向量，生成目标词对应的目标词向量。由此，通过这种词向量生成方法，不仅提高了自然语言理解的可靠性和通用性，而且降低了词向量生成的计算复杂度。

技术领域

本申请涉及计算机技术领域，尤其涉及自然语言处理技术领域，提出一种词向量生成方法、装置及电子设备。

背景技术

在自然语言处理(Natural Language Processing，简称NLP)领域，具有上下文语义表达能力的深度语言模型通常具有良好的语言表现能力。比如，来自转换器的双向编码表示(Bidirectional Encoder Representation from Transformers，简称BERT)模型，利用自注意力机制进行充分交互，构建了完整的上下文语境，使得文本中的每一个词语可以根据上下文语境的不同，拥有不同的语义，从而通过融合词语的上下文语境，提高了自然语言理解的可靠性。

然而，具有上下文语义表达能力的深度语言模型往往具有复杂的网络结构，如BERT基础模型拥有12层Tranformer网络结构，近3亿的网络参数，庞大的参数量导致模型的计算量巨大，推理时间较长。

发明内容

本申请提出的词向量生成方法、装置及电子设备，用于解决相关技术中，具有上下文语义表达能力的深度语言模型往往具有复杂的网络结构，庞大的参数量导致模型的计算量巨大，推理时间较长的问题。

本申请一方面实施例提出的词向量生成方法，包括：获取待处理语句，并获取所述待处理语句中的目标词；获取所述目标词的上下文信息；根据预设的分词与词向量的映射关系，确定所述目标词对应的上下文无关词向量；根据预设的字符与字向量的映射关系，确定所述上下文信息对应的上下文语义向量；以及根据所述上下文无关词向量与所述上下文语义向量，生成所述目标词对应的目标词向量。

本申请另一方面实施例提出的词向量生成装置，包括：第一获取模块，用于获取待处理语句，并获取所述待处理语句中的目标词；第二获取模块，用于获取所述目标词的上下文信息；第一确定模块，用于根据预设的分词与词向量的映射关系，确定所述目标词对应的上下文无关词向量；第二确定模块，用于根据预设的字符与字向量的映射关系，确定所述上下文信息对应的上下文语义向量；以及生成模块，用于根据所述上下文无关词向量与所述上下文语义向量，生成所述目标词对应的目标词向量。

本申请再一方面实施例提出的电子设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的词向量生成方法。

本申请又一方面实施例提出的存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如前所述的词向量生成方法。

上述申请中的任一个实施例具有如下优点或有益效果：通过预设分词与词向量的映射关系及字符与字向量的映射关系，以在对待处理语句进行处理时，可以直接通过对词向量及字向量的检索组合，生成目标词融合了上下文语境的词向量表示，从而不仅提高了自然语言理解的可靠性和通用性，而且降低了词向量生成的计算复杂度。因为采用了通过获取待处理语句中的目标词及目标词的上下文信息，并根据预设的分词与词向量的映射关系，确定目标词对应的上下文无关词向量，之后根据预设的字符与字向量的映射关系，确定上下文信息对应的上下文语义向量，进而根据上下文无关词向量与上下文语义向量，生成目标词对应的目标词向量的技术手段，所以克服了具有上下文语义表达能力的深度语言模型的网络结构复杂，计算量巨大、推理时间较长的问题，进而达到了提高自然语言理解的可靠性和通用性，降低词向量生成的计算复杂度的技术效果。