[发明专利]基于新词比例进行数据处理的方法、装置和设备

说明书

本公开提供一种基于新词比例进行数据处理的方法，包括：S1：通过构建队列系统对全部无标签数据进行处理得到队列数据；S2：对所得到的队列数据进行新词比例分析；S3：按照各队列数据的新词比例对模型标注数据进行质量评估；S4：选取队列数据中质量最高的一组队列数据加入训练集进行数据扩充。本公开还提供一种数据处理装置、电子设备及可读存储介质。

技术领域

本公开涉及实体识别技术领域，本公开尤其涉及一种基于新词比例进行数据处理的方法、装置和设备。

背景技术

尽管命名实体识别研究在通用领域已经有大量应用，但应用于医疗领域时仍存在许多问题，例如难以识别专业术语，标注数据稀缺等。不同于通用领域文本，医疗领域文本例如电子病历具有独特的文本结构，蕴含着丰富的专业知识。

首先，中文电子病历具有专业术语繁多的特点，如“根治性远端胃大部切除”，“胃镜病理”等，没有医学背景的人员难以理解这些术语的含义；其次为方便医务人员书写和阅读，电子病历中的模板化表达较多，如“行...示...”，“行...术”，且医疗实体中存在较多英文缩写，如“毕Π式吻合术”，导致模型识别容易出现错误；最后，在电子病历中存在着大量的实体嵌套问题，如“根治性远端胃大部切除”整个实体表示一种手术，但其中“根治性”、“远端都”为胃的修饰成分，为术式中的入路部分，而“胃大部”为部位，“切除”为术式，整体构成一个手术实体，在识别任务中难以准确界定边界。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于新词比例进行数据处理的方法、装置和设备。

根据本公开的一个方面，提供一种基于新词比例进行数据处理的方法，包括：S1：通过构建队列系统对全部无标签数据进行处理得到队列数据；S2：对所得到的队列数据进行新词比例分析；S3：按照各队列数据的新词比例对模型标注数据进行质量评估；S4：选取队列数据中质量最高的一组队列数据加入训练集进行数据扩充。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述无标签数据为中文电子病历中的无标签数据。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述步骤S1中通过如下步骤得到队列数据：S11：通过训练集和开发集训练进行模型训练，选择在开发集上表现最优的模型作为标签模型，对所有无标注数据进行标注，并假设该标注为标准答案；S12：根据模型训练过程中模型值的增长趋势选取n个单轮训练所得模型，分别使用单轮训练所得模型对所有无标注数据进行重复标注；S13：使用每个单轮次模型与标签模型的标准答案进行比较，将标注相同的数据样本与标注相异的数据样本间隔放置，对于当前队列序号为n的数据，将前者升至队列n+1，将后者降至队列n-1，最终获取n+1个数据队列。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述步骤S2中新词比例根据下式计算：

新词比例＝1-[(模型所标注实体在训练集实体词典中的实体数目)/(伪数据中所标注出的所有实体数目)]×100％。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述步骤S3中，模型标注数据中新词比例越低的队列数据的质量越高。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述步骤S4所获得的训练集用于下一轮的模型训练。

根据本公开的至少一个实施方式的基于新词比例进行数据处理的方法，所述模型训练使用神经网络模型。

根据本公开的另外一个方面，提供一种数据处理装置，包括：队列数据处理模块，所述队列数据处理模块通过构建队列系统对全部无标签数据进行处理得到队列数据；新词比例分析模块，所述新词比例分析模块对所得到的队列数据进行新词比例分析；质量评估模块，所述质量评估模块按照各队列数据的新词比例对模型标注数据进行质量评估；数据扩充模块，选取队列数据中质量最高的一组队列数据加入训练集进行数据扩充。