[发明专利]一种文本命名实体识别方法与系统

权利要求书

1.一种文本命名实体识别方法，其特征在于，包含以下步骤：

步骤1：获取已标注文本数据，并对所述已标注文本数据进行处理得到可输入数据增强模型的训练数据集；

步骤2：对已标注文本数据进行数据增强得到增强型已标注文本数据；

步骤3：将原有的已标注文本数据与增强型已标注文本数据整合为可输入模型进行训练的格式构成训练集和验证集；

步骤4：搭建模型并使用所述训练集和所述验证集进行模型训练；

步骤5：将待识别文本数据输入模型中，处理得到待识别文本数据中的实体集合数据；

步骤6：对所述实体集合数据进行清洗消除实体嵌套得到实体识别结果数据。

2.如权利要求1所述的一种文本命名实体识别方法，其特征在于，所述步骤1对所述已标注文本数据进行处理得到可输入数据增强模型的训练数据集的具体步骤如下：

步骤1A：使用python工具读取所述已标注文本数据，提取出其中的文章原句和标签，所述标签为所述文章原句中出现的实体文本和与其对应的实体标签名；

步骤1B：按照标点符号对所述文章原句进行分句划分；

步骤1C：根据所述标签对分句后的所述文章原句进行逐字标注得到标注数据；

具体标注方法如下：实体的首字标注为“B-标签名”的形式，实体末字标注为“E-标签名”，实体中间部分标注为“I-标签名”，单字实体标注为“S-标签名”，其他字符标注为“O”；

步骤1D：根据所述标注数据将所述标签插入至分句后的所述文章原句中对应的字前，其中标签“O”不进行插入操作；

步骤1E：在分句后的文章原句的每一个句子前加入[BOS]表示句子开始，在句子后加入[EOS]表示句子结束，数据处理完成，此时每一个句子即为一个训练样本，所有训练样本组成数据增强模型的训练数据集。

3.如权利要求2所述的一种文本命名实体识别方法，其特征在于，步骤2中对所述已标注文本数据进行数据增强的具体步骤如下：

步骤2A：搭建第一深度学习模型，基本结构为词嵌入+单层RNN网络，输出为逐字输出，输出内容为当前字的下一个字，并使用所述训练数据集训练该第一深度学习模型；

步骤2B：向训练得到的所述第一深度学习模型中输入[BOS]，进行计算和概率选取依次输出当前字的下一个字，直到输出[EOS]，重复此步骤，得到增强型文本数据集合；

步骤2C：对所述增强型文本数据集合进行清洗，删去没有标签的、标签互相矛盾的数据并进行标签与文本部分分离得到所述增强型已标注文本数据。

4.如权利要求3所述的一种文本命名实体识别方法，其特征在于，步骤3中将原有的已标注文本数据与增强型已标注文本数据整合为可输入模型进行训练的格式构成训练集和验证集的具体步骤如下：

步骤3A：取出所述已标注文本数据与所述增强型已标注文本数据中所有长度小于预设长度值的连续字符集合记为span；

步骤3B：根据所述标签标注所有span的类别，若该span为实体，则标注为对应实体类别，若该span不是实体，则标注为“0”，表示该span为负样本；

步骤3C：统计span为负样本的个数，若负样本超过一定数值n，则进行负样本采样，随机选取其中n个负样本，反之，选取所有负样本；

步骤3D：将所述已标注文本数据与所述增强型已标注文本数据整理为字典格式，形如{‘sent’:文本内容,‘spans’:span组成的列表(包含span对应的标签)}，每一个字典为一个样本，所有字典组成训练数据；

步骤3E：将所述训练数据按照4:1的比例分为训练集和验证集。

5.如权利要求4所述的一种文本命名实体识别方法，其特征在于，步骤4中的所述模型为第二深度学习模型，搭建所述第二深度学习模型的具体步骤如下：

步骤4A：统计出所述训练数据中所有标签，将标签转化为one-hot向量，构建标签与向量之间的一一对应关系；

步骤4B：根据文本内容与实体span组成的字典与标签的向量索引构建第二深度学习模型。