[发明专利]一种多维度信息合并方法、装置、设备及存储介质

摘要

一种多维度信息合并方法、装置、设备及存储介质，方法包括：提取文本的特征主题词；对特征主题词分别进行哈希计算，从而得到包含多个哈希值的集合，对集合中的所有哈希值取和作为主指纹；对所述集合中的各哈希值进行组合取和作为从指纹集合；将从指纹集合与主指纹合并为并集，将并集作为Key、主指纹作为Value构成键值对作为指纹特征子库；以指纹特征子库到指纹特征总库中匹配，若匹配成功，则将指纹特征子库舍弃，若匹配失败，则将特征主题词的哈希值进行组合取和作为指纹特征子库的Value，并将文本的指纹特征子库添加到指纹特征总库中。本发明解决了simhash计算速度慢、指数级增长的问题。可提供高质量的去重数据，减少推送数据的重报、漏报现象。