[发明专利]文本相似度的确定方法及装置

说明书

本发明公开了一种文本相似度的确定方法及装置。其中，该方法包括：获取至少两个文本的词序列；将至少两个文本的词序列转换成多维数字向量；通过预先训练的匹配模型对多维数字向量进行语义组合，以确定文本向量；通过所述匹配模型对所述文本向量进行向量比对，并对至少两个文本的文本语义进行解析，确定至少两个文本的文本相似度。本发明解决了相关技术中由于语义不同导致文本相似度判别困难的技术问题。

技术领域

本发明涉及文本匹配技术领域，具体而言，涉及一种文本相似度的确定方法及装置。

背景技术

在相关技术中，对于文本之间的相似度匹配，往往是比较字面上的词语含义，或者是通过简单的观点匹配来确认文本的相似度。随着当前电子政务及电子办公系统的普及，数据量也在急速上升，大量相似观点的存在对后期数据分析形成了较大困难，因此，需要对文本之间的相似度进行有效确认，以减少相似文本的工作量。当前对于相似度的计算，主要分为两类，一类是基于统计的方法，主要用于句子及段落级别的相似度计算，即对文本中的句子含义和段落含义进行识别，以确认文本之间的相似度。而另一类是基于语义的方法，主要用于词语和句子级别的相似度计算，即分别比较文本中的词语的词义，进而确认词语和句子之间的相似度，以综合比较文本的相似度。

但是上述两种计算文本相似度的方式，只能解决词汇层面的匹配问题，在一些情况下，直接通过字面距离并不能正确地进行相似度匹配，比如由于语言的同义性、多义性的存在，导致语义上相似的文本相似度低，而字面相同但含义完全不同的文本却相似度高，比如同义词“客人”与“顾客”都是指的客户，多义词如“阳光”和日产汽车“阳光”不同。另外，组合结构的不同也会造成语义不同，进而出现文本相似度虽然高，但是实际内容截然相反的情况，比如文本“柜员取钱给客户”和“客户取钱给柜员”，显然由于词语序列不同，含义也截然相反，但是由于字面上词语重合度高被判定为相似度高，这样都会给文本的相似度判别造成困难。即当前计算文本相似度时，很容易出现在词汇字面上进行相似度计算，对同义词，近义词等词语无法很好处理。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文本相似度的确定方法及装置，以至少解决相关技术中由于语义不同导致文本相似度判别困难的技术问题。

根据本发明实施例的一个方面，提供了一种文本相似度的确定方法，包括：获取至少两个文本的词序列；将所述至少两个文本的词序列转换成多维数字向量；通过预先训练的匹配模型对所述多维数字向量进行语义组合，以确定文本向量；通过所述匹配模型对所述文本向量进行向量比对，并对所述至少两个文本的文本语义进行解析，确定所述至少两个文本的文本相似度。

进一步地，通过预先训练的匹配模型对所述多维数字向量进行语义组合，以确定文本向量的步骤，包括：获取所述多维数字向量；依据所述多维数字向量，计算低维语义向量，其中，所述低维语义向量表示词语所在的句子的语义信息；对所述低维语义向量进行组合，确定多个单维句子向量，其中，所述单维句子向量表示句子所在文本的文本信息；通过所述多个单维句子向量，计算所述至少两个文本的文本向量。

进一步地，依据所述多维数字向量，计算低维语义向量包括：将所述多维数字向量中的每维数字向量转换为表示词语所在句子的词语向量；组合词语向量中词义的相似度在预设范围内的词语，以得到所述低维语义向量。

进一步地，通过所述匹配模型对所述文本向量进行向量比对，并对所述至少两个文本的文本语义进行解析，确定所述至少两个文本的文本相似度的步骤，包括：依据所述文本向量，确定每个文本的文本中心语句；依据所述文本中心语句，确定每个所述文本的文章中心语义；根据所述至少两个文本中每个文本的所述文章中心语义和所述匹配模型，计算所述至少两个文本的文本相似度。