[发明专利]一种从非结构化数据中提取敏感信息的方法

说明书

本申请涉及信息安全技术领域，提供了一种非结构化数据中提取敏感信息的方法。所述敏感信息涵盖GB/T 35273‑2017《信息安全技术个人信息安全规范》中包含的个人敏感信息类型。所述方法包括：使用解析工具对各种非结构文档文本进行解析获取其中的文本内容。对非结构化文本进行预处理，具体包括特殊信息替换、文本清洗和文本分割得到文本序列。采用基于深度学习的序列标注模型（BERT‑BiLSTM‑Attention）对文本序列中的敏感信息进行自动标注。所述方法结合了基于文本内容和基于上下文语义分析技术，可以更加全面、准确的提取敏感信息。

技术领域

本发明涉及一种从非结构化数据中提取敏感信息的方法，属于信息安全技术领域。

背景技术

随着互联网的普及和人们对互联网的依赖，大量涉及个人隐私的敏感信息在互联网上存储和传播，大规模的敏感信息泄露事件层出不穷。这些信息一旦被泄露、非法提供或滥用可能导致重大的合同或法律责任，严重损害个人形象和声誉，危及人身和财产安全。然而，包含敏感信息的数据大多是数据结构不规则或者不完整的非结构化数据，比如文本、图像、音频、视频等各种格式和类型的文件。所以，对敏感信息的保护首先要做到的是找到一种敏感信息提取方法，从而可以在大规模的非结构化数据中全面、快速、准确的提取敏感信息，然后通过相关的隐私保护策略对其加以保护。

近年来，对于敏感信息泄露的识别一直是学术界研究的热点。目前现有的敏感信息识别技术主要可以归为两类，分别是基于文本内容分析和基于上下文语义分析。基于文本内容分析是对存储和传输中的数据，通常是对非结构化数据的内容本身进行检测，比如正则匹配技术、数据指纹技术。基于上下文语义分析则是通过对待检测的数据周围相关的上下文信息进行上下文分析，常见的技术包括机器学习、自然语言处理技术。

上述两种敏感信息提取方法，基于文本内容分析技术虽然可以对敏感信息进行精确的提取，但是该技术适用的敏感信息非常有限，要求信息具有明显的特征，例如可以构建正则表达式、特定的数据指纹等。基于上下文语义分析通常基于机器学习，利用数据上下文特征提取数据中的敏感信息，该方法无需直接对敏感信息进行检测，但是收集上下文信息具有一定难度。

发明内容

有鉴于此，本发明的目的是提供一种从非结构化数据中提取敏感信息的方法。该方法融合了基于文本内容分析和基于上下文语义分析。在基于文本内容分析，对信息安全领域具有特殊规则的信息预处理为自然语言形式；在基于上下文语义分析方面，构建了一个基于深度学习的序列标注模型(BERT-BiLSTM-Attention)，其中采用动态词向量BERT对敏感信息中一词多义的特殊情况根据语境生成不同的词向量，并采用BiLSTM-Attention模型提取文本序列中的上下文特征，从而标注文本中的敏感信息。该方法能够在海量非结构化数据中准确、高效的提取敏感信息。

为了达到上述目的，本发明提供一种从非结构化数据中提取敏感信息的方法。根据国家标准GB/T 35273-2017《信息安全技术个人信息安全规范》，所述敏感信息的类型具体包括个人基本资料，个人身份信息，网络身份标识信息，个人健康生理信息，个人教育工作信息，个人财产信息，个人通信信息，联系人信息，个人上网记录，个人常用设备信息，个人位置信息。

所述方法包括：

步骤1、使用预处理解析工具从文本文档中解析并提取出非结构化文本。所述文本文档具体包括纯文本文档和富文本文档；

步骤2、对步骤1所述的非结构化文本进行预处理：对文本中的特殊信息进行替换、文本清洗和文本分割得到文本序列；

步骤3、构建基于深度学习的序列标注模型对文本序列中的敏感信息进行标注。所述序列标注模型称为BERT-BiLSTM-Attention模型。通过BERT-BiLSTM-Attention模型对步骤2所述的文本序列中的敏感信息进行标注。

可选地，所述步骤2中文本的预处理过程包括：