[发明专利]文本的处理方法、装置、设备及存储介质

摘要

本申请公开了一种文本的处理方法、装置、设备以及存储介质，涉及互联网领域。该方法包括通过文本的分词集合，确定两两文本之间的相似度；当第相似度大于相似度阈值时，将相似的两个文本对应的文本节点建立连接关系，生成第一树状结构图；从第一树状结构图中确定出第一根节点，将第一根节点对应的文本确定为去重后的文本。该方法通过将相似的文本之间建立连接关系，形成树状结构图；在树状结构图中，通过遍历的技术手段快速的找到树状结构图中的根节点，实现对大量文本的快速去重。

主权项

1.一种文本的处理方法，其特征在于，所述方法包括：接收终端发送的至少两个文本；所述至少两个文本中包括第一文本和第二文本；根据所述第一文本生成第一文本节点，根据所述第二文本生成第二文本节点；所述第一文本节点中包括所述第一文本的第一分词集合，所述第二文本节点中包括所述第二文本的第二分词集合；确定所述第一分词集合和所述第二分词集合的第一相似度；当所述第一相似度大于相似度阈值时，将所述第一文本节点和所述第二文本节点建立连接关系，生成第一树状结构图；对所述第一树状结构图中文本节点对应的文本进行去重处理。