[发明专利]文本数据脱敏方法、装置、介质及电子设备

说明书

本发明提供了一种文本数据脱敏方法，包括：获取文本数据；通过预设字典树和/或预设正则表达式对所述文本数据处理，获取所述文本数据的第一敏感实体词；通过预设模型对所述文本数据处理，获取所述文本数据中每个字符的标签；根据所述文本数据中每个字符的标签确定所述文本数据的第二敏感实体词；根据所述文本数据的第一敏感实体词和所述文本数据的第二敏感实体词确定所述文本数据的敏感实体词；对所述文本数据的敏感实体词进行脱敏处理，以此方式利用第一敏感实体词和第二敏感实体词互相补充校对来确定出该文本数据的敏感实体词更加准确，因此使得在对文本数据进行脱敏处理的结果更加准确，避免对非敏感实体词进行脱敏处理，从而提高用户体验。

技术领域

本发明涉及自然语言处理的技术领域，具体而言，涉及一种文本数据脱敏方法、装置、介质及电子设备。

背景技术

随着互联网的快速发展，各种各样的文本数据随之产生。一般地，各种各样的文本数据中包含一个或多个实体词。在实体词中可能包含涉及用户隐私的实体词，通常将其称为敏感实体词。针对这样情况需要对文本数据中的敏感实体词进行脱敏处理。在对文本数据中的敏感实体词脱敏之前需要从文本数据中确定出具体的敏感实体词，然后对其进行脱敏处理。在相关技术中，一般通过以下几种方式来从文本数据中确定敏感实体词：确定为全部隐私信息字段和其它数据、基于词典和规则的方法、基于统计机器学习的方法。

但是发明人在实现本发明的发明构思时发现相关技术中存在以下技术问题：

“确定为全部隐私信息内容字段”是指确定文本内容的字段，例如，姓名、电话、身份证号等，这类数据因为属于确定全部为隐私数据，处理方式是直接用字符替换掉原始文本内容。这类脱敏方法的缺点是必须确定字段的明确含义，而且还必须是全部为隐私内容。但是由于目前的文本数据中字段繁多、来源复杂，因此无法通用化，即处理数据类型有限，限于确定为完全是敏感内容的数据。

基于词典和规则的方法主要是指针对特定的敏感内容，人工构造特征识别，然后加以脱敏处理。例如对人名脱敏，通过人工构建已知人名的词典，在文本中发现有人名词典中的词，则做文本脱敏替换处理；针对日期、电话脱敏，则通过构造正则表达式提取日期，然后做去除或者替换脱敏处理。这类脱敏方法的缺点是基于词典确定出的敏感实体词准确率不高，基于统计机器学习的方法确定敏感实体词太依赖大量的训练语料，而高质量的标注数据成本太高，使得很多纯机器学习方法在数据上应用的效果降低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种文本数据脱敏方法、装置、介质及电子设备，进而至少可以在一定程度上解决相关技术中的缺陷，并因此实现提高获取文本数据的敏感实体词的准确度。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种文本数据脱敏方法，包括：获取文本数据；通过预设字典树和/或预设正则表达式对所述文本数据处理，获取所述文本数据的第一敏感实体词；通过预设模型对所述文本数据处理，获取所述文本数据中每个字符的标签；根据所述文本数据中每个字符的标签确定所述文本数据的第二敏感实体词；根据所述文本数据的第一敏感实体词和所述文本数据的第二敏感实体词确定所述文本数据的敏感实体词；对所述文本数据的敏感实体词进行脱敏处理。

在本发明的一些实施例中，该方法还包括：对通用词典中的字符进行组合，得到预设词典；基于所述预设词典中的词汇建立字典树，所述字典树中的每个节点为所述预设词典中每个词汇的一个字符；在所述字典树中建立自动机，得到所述预设字典树。

在本发明的一些实施例中，该方法还包括：基于预设实体词汇的特征构建所述正则表达式，所述预设实体词汇包括以下任意一项或多项：身份证号码、电话号码、银行卡号、护照号码、社保卡号码、门牌号码、邮箱账号、机构名称。