[发明专利]文本检测方法及装置

权利要求书

1.一种文本检测方法，其特征在于，所述方法包括：

获取多个第一文本以及多个第二文本，所述第一文本为标注有标签的文本，所述第二文本为未标注标签的敏感文本；

基于各个第一文本标注的标签，提取所述各个第一文本对应的标签特征向量，并根据所述标签特征向量确定所述多个第一文本中的敏感文本；

根据确定出的敏感文本和所述多个第二文本，生成敏感参考文本集合，并检测所述敏感参考文本集合中的各个文本与待检测文本之间的相似性，得到多个检测结果；

若根据所述多个检测结果判定出所述敏感参考文本集合中存在与所述待检测文本之间的相似性满足相似条件的文本，则确定所述待检测文本为敏感文本。

2.根据权利要求1所述的方法，其特征在于，根据所述标签特征向量确定所述多个第一文本中的敏感文本，包括：

将所述各个第一文本对应的标签特征值输入已训练的文本分类模型，得到所述文本分类模型输出的所述各个第一文本对应的敏感概率，所述敏感概率为所述第一文本为敏感文本的概率，所述文本分类模型是基于多个标注有标签的训练文本和各个训练文本对应的文本类别训练得到的，所述文本类别包括敏感文本和非敏感文本；

根据所述各个第一文本对应的敏感概率，确定所述多个第一文本中的敏感文本。

3.根据权利要求2所述的方法，其特征在于，根据所述各个第一文本对应的敏感概率，确定所述多个第一文本中的敏感文本，包括：

将所述多个第一文本中敏感概率大于第一预设阈值的第一文本，作为所述多个第一文本中的敏感文本。

4.根据权利要求1所述的方法，其特征在于，检测所述敏感参考文本集合中的各个文本与待检测文本之间的相似性，得到多个检测结果，包括：根据所述敏感参考文本集合中的各个文本对应的第一哈希签名值以及所述待检测文本对应的第二哈希签名值，确定所述敏感参考文本集合中的各个文本与所述待检测文本之间的海明距离；

若根据所述多个检测结果判定出所述敏感参考文本集合中存在与所述待检测文本之间的相似性满足相似条件的文本，则确定所述待检测文本为敏感文本，包括：若根据多个海明距离判定出所述敏感参考文本集合中存在与所述待检测文本之间的海明距离小于或等于第二预设阈值的文本，则确定所述待检测文本为敏感文本。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述敏感参考文本集合中的各个文本进行分词，得到所述各个文本对应的第一特征词集合；

对所述第一特征词集合中的各个特征词进行哈希处理，得到所述各个特征词的哈希值；

根据所述各个特征词的哈希值以及所述各个特征词对应的权重，生成所述敏感参考文本集合中的各个文本对应的第一哈希签名值。

6.根据权利要求5所述的方法，其特征在于，根据所述各个特征词的哈希值以及所述各个特征词对应的权重，生成所述敏感参考文本集合中的各个文本对应的第一哈希签名值，包括：

根据所述各个特征词对应的权重对对应的哈希值进行加权处理，得到所述各个特征词对应的加权后的数值；

将所述各个特征词对应的加权后的数值进行合并累加，得到累加后的数值，并对所述累加后的数值进行降维处理，得到所述敏感参考文本集合中的各个文本对应的第一哈希签名值。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述敏感参考文本集合中的各个文本进行分词，得到所述各个文本对应的第一特征词集合；

对所述第一特征词集合中的目标特征词进行哈希处理，得到所述目标特征词的哈希值；

根据所述目标特征词的哈希值以及所述目标特征词对应的权重，生成所述敏感参考文本集合中的各个文本对应的第一哈希签名值。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

计算所述第一特征词集合中的各个特征词在所述敏感参考文本集合中的词频逆向文件频率；

按照所述词频逆向文件频率从高到低的顺序，从所述第一特征词集合中选择预设数量个特征词作为所述目标特征词。