[发明专利]文本相似度确定方法、装置、设备和介质

说明书

本申请公开了一种文本相似度确定方法、装置、设备和介质，涉及自然语言处理技术。具体实现方案为：利用孪生网络结构中的两个特征提取网络，分别对第一输入文本和第二输入文本进行编码，得到第一输入文本和第二输入文本的句嵌入，其中，特征提取网络是利用词在网络中各层表征并通过区分词在文本中的重要性对文本进行编码；通过计算第一输入文本和第二输入文本的句嵌入之间的相似度，确定第一输入文本和第二输入文本的相似度。本申请实施例利用孪生网络架构确定文本相似度，并且利用词在网络中各层表征并通过区分词在文本中的重要性对文本进行编码，使得编码后得到的句嵌入更加符合文本的语义信息，准确性更高，从而提高文本相似度判断的准确性。

技术领域

本申请涉及互联网领域，尤其涉及一种自然语言处理技术，具体涉及一种文本相似度确定方法、装置、设备和介质。

背景技术

文本相似度是指两段文本之间的语义相似程度。文本相似度计算是NLP(自然语言处理)领域中一个基础且非常关键的问题，在工业界中有着举足轻重的地位和丰富的应用场景，如信息检索、热门问题推荐和智能客服等。

因此，能否准确地确定出两个文本的相似度尤为重要。

发明内容

本申请实施例提供一种文本相似度确定方法、装置、设备和介质，以提高文本相似度确定的准确性。

第一方面，本申请实施例提供了一种文本相似度确定方法，包括：

利用孪生网络结构中的两个特征提取网络，分别对第一输入文本和第二输入文本进行编码，得到所述第一输入文本和第二输入文本的句嵌入，其中，所述特征提取网络是利用词在网络中各层表征并通过区分词在文本中的重要性对文本进行编码；

通过计算所述第一输入文本和第二输入文本的句嵌入之间的相似度，确定所述第一输入文本和第二输入文本的相似度。

第二方面，本申请实施例还提供了一种文本相似度确定装置，包括：

句嵌入获取模块，用于利用孪生网络结构中的两个特征提取网络，分别对第一输入文本和第二输入文本进行编码，得到所述第一输入文本和第二输入文本的句嵌入，其中，所述特征提取网络是利用词在网络中各层表征并通过区分词在文本中的重要性对文本进行编码；

相似度确定模块，用于通过计算所述第一输入文本和第二输入文本的句嵌入之间的相似度，确定所述第一输入文本和第二输入文本的相似度。

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的文本相似度确定方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的文本相似度确定方法。

根据本申请实施例的技术方案，利用孪生网络架构确定文本相似度，并且利用词在网络中各层表征并通过区分词在文本中的重要性对文本进行编码，使得编码后得到的句嵌入更加符合文本的语义信息，准确性更高，从而提高文本相似度判断的准确性。

应当理解，本部分所描述的内容并非旨在标识本申请实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解，上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的文本相似度确定方法的流程示意图；