[发明专利]一种基于多模型算法的文本去重方法、及其相关设备

说明书

本申请属于大数据技术领域，涉及一种基于多模型算法的文本去重方法，包括获取目标坐席的待去重文本；判断所述待去重文本是否包括第一类待去重文本或第二类待去重文本；若所述待去重文本中包括所述第一类待去重文本，则对所述第一类待去重文本进行全量去重；若所述待去重文本中包括所述第二类待去重文本，则通过s imhash算法提取所述第二类待去重文本的特征文本并进行哈希计算，得到特征指纹值；对所述特征指纹值进行分箱，将分箱后得到的多段待查询特征指纹值分别进行检索去重。本申请还提供一种基于多模型算法的文本去重装置、计算机设备及存储介质。本申请能够降低沟通成本，有利于提升检索效率，降低机器的存储消耗，快速响应客户需求。

技术领域

本申请涉及大数据技术领域，尤其涉及一种基于多模型算法的文本去重方法、装置、计算机设备及存储介质。

背景技术

在大数据中充斥着海量的文本，并且包含有大量重复的文本内容。而在当前服务业中，通常坐席会去主动与用户进行沟通，来保证业务的有效进展。但在沟通中业务信息繁多，坐席难以快速的获取与每一位用户的历史聊天信息进行及时地答复。而且聊天信息有各种类型，包括长内容、短内容以及不同的语言形式等。特别是在历史聊天信息中重复输入的文本内容过多时，智能人工去重，导致无法快速提取有效信息，回复时与用户咨询的问题不对应。且在回复用户的问题时，需要输入很多的信息或者去复制粘贴来答复。可见，现有技术在针对海量文本且重复内容过多时，存在去重效率低、沟通成本高及空间占用大的问题。

发明内容

本申请实施例的目的在于提出一种基于多模型算法的文本去重方法、装置、计算机设备及存储介质，针对海量文本且重复内容过多时，能提高去重效率，降低沟通成本，减小占用空间。

为了解决上述技术问题，本申请实施例提供一种基于多模型算法的文本去重方法，采用了如下所述的技术方案：

获取目标坐席的待去重文本；

判断所述待去重文本是否包括第一类待去重文本或第二类待去重文本；

若所述待去重文本中包括所述第一类待去重文本，则对所述第一类待去重文本进行全量去重；

若所述待去重文本中包括所述第二类待去重文本，则通过simhash算法提取所述第二类待去重文本的特征文本并进行哈希计算，得到特征指纹值；

对所述特征指纹值进行分箱，将分箱后得到的多段待查询特征指纹值分别进行检索去重。

进一步的，在所述获取坐席的待去重文本的步骤之前，还包括步骤：

通过计算引擎访问底层数据库，将所述底层数据库中存储的所有坐席的历史沟通文本加载到计算内存中，其中，所述所有坐席的历史沟通文本中包括所述目标坐席的所述待去重文本，且每条历史沟融文本包含有对应坐席的识别标签；

基于所述识别标签对所述计算内存中所有坐席的历史沟通文本进行划分，得到每个坐席的历史沟通文本。

进一步的，所述判断所述待去重文本是否包括第一类待去重文本或第二类待去重文本的步骤具体包括：

判断所述目标坐席的所述待去重文本中是否包括文本长度小于预设长度阈值的文本；

判断所述目标坐席的所述待去重文本中是否包括非中文文本；

若所述目标坐席的所述待去重文本中包括文本长度未达到所述预设长度阈值的文本/所述目标坐席的所述待去重文本中包括所述非中文文本，则确定所述待去重文本中包括所述第一类待去重文本；

若所述目标坐席的所述待去重文本中包括文本长度达到所述预设长度阈值的文本，则确定所述待去重文本中包括所述第二类待去重文本。

进一步的，所述对所述第一类待去重文本进行全量去重：