[发明专利]相似文件检测方法、装置、设备及存储介质

说明书

本发明公开了一种相似文件检测方法、装置、设备及存储介质，通过对待检测文件中出现的字符进行统计，获得各字符的出现频率；将各字符的出现频率作为所述待检测文件的目标文件指纹；将所述目标文件指纹与文件指纹库中的各文件指纹进行对比，获得所述目标文件指纹与各文件指纹的相似度；将相似度最高的文件指纹作为匹配文件指纹，并将所述目标文件指纹与所述匹配文件指纹的相似度作为文件相似度，能够提高文档相似度识别的准确率，降低了文档相似度的误判，减少了内存占用和时间的消耗，提高了文档相似度识别的速度和效率，提升了用户体验。

技术领域

本发明涉及文档数据安全领域，尤其涉及一种相似文件检测方法、装置、设备及存储介质。

背景技术

机密文档检测是保证文档数据安全的核心技术，在传统业务场景中，它主要部署于终端数据泄密防护系统(Data leakage prevention，DLP)和网路DLP，负责识别出带测文档中包含的机密信息，并交由后续模块采取阻断、报警等相应处理措施。

传统方案一般使用的机密文档检测的方法都均局限在语义层面，即使用一些自然语言处理(Natural Language Processing，NLP)的方法，通过分析比较文章语义主题的相似性来检测机密文档；但此方法在实际应用场景中存在较大的缺陷：语义的相似并不能判断机密文档之间是真的相似，即语义的相似并不代表两份文档的内容相似；

而通过直接比较文档的字/字符来判断相似度，则计算成本是非常高的，不论从内存占用还是时间消耗上都不可接受。

发明内容

本发明的主要目的在于提供一种相似文件检测方法、装置、设备及存储介质，旨在解决现有技术中单纯以语义判断机密文档的相似程度准确度不高，且单纯以字符判断相似度运算成本较高的技术问题。

为实现上述目的，本发明提供一种相似文件检测方法，所述相似文件检测方法包括以下步骤：

对待检测文件中出现的字符进行统计，获得各字符的出现频率；将各字符的出现频率作为所述待检测文件的目标文件指纹；

将所述目标文件指纹与文件指纹库中的各文件指纹进行对比，获得所述目标文件指纹与各文件指纹的相似度；

将相似度最高的文件指纹作为匹配文件指纹，并将所述目标文件指纹与所述匹配文件指纹的相似度作为文件相似度。

优选地，所述对待检测文件中出现的字符进行统计，获得各字符的出现频率；将各字符的出现频率作为所述待检测文件的目标文件指纹之前，所述相似文件检测方法还包括：

获取用户标记文件；

获取所述用户标记文件的各字符，统计各字符的出现频率，将各出现频率上传至数据防泄密分析系统中，生成文件指纹库。

优选地，所述获取所述用户标记文件的各字符，统计各字符的出现频率，将各出现频率上传至数据防泄密分析系统中，生成文件指纹库，包括：

获取所述用户标记文件的各字符；

将各字符的格式转换为预设编码格式，并统计转换后各字符在所述用户标记文件中出现的次数，获得各字符对应的出现频率；

将所述出现频率和所述用户标记文件对应的文件信息上传至数据防泄密分析系统中，生成文件指纹库。

优选地，所述对待检测文件中出现的字符进行统计，获得各字符的出现频率；将各字符的出现频率作为所述待检测文件的目标文件指纹，包括：

获取待检测文件对应的各目标中文字符；

将各目标中文字符的格式转换为预设编码格式，并统计转换后各目标中文字符在所述待检测文件中出现的次数，获得各目标中文字符对应的目标出现频率；