[发明专利]一种文本结构化标注方法、系统、设备和介质

说明书

本发明提出一种文本结构化标注方法、系统、设备和介质，包括：获取待标注文本，并通过交互平台从所述待标注文本中获取第一文本数据；通过对所述第一文本数据进行分词处理，确定标注范围；对所述标注范围内的词进行分类标注，并将标注信息通过所述交互平台输出至具有对应权限的核验对象，经过至少两次核查后，将确认的标注信息用于更新标注词库；本发明可为专业的自然语言文本处理领域提供准确可靠的标注语料，节约专业人员的时间成本，提高处理效率。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文本结构化标注方法、系统、设备和介质。

背景技术

针对一些对专业知识要求较高的自然语言处理领域，如医学领域，现存有大量真实病例语料，具体包含医生观察病人所见的症状、体征、指标、现场体格检查和过往检查结果、以及个人史、家族史及治疗史的详细描述等。这些非结构化语言无法直接应用于模型计算以及其他功能中，需要对文本进行初步处理。针对自然语料预处理的过程一般都会包括清洗、分词、去停用词和词性标注这几个部分。

但是一般流程难以满足专业背景的自然语料处理，容易漏掉大量专业信息，尤其包含大量实际描述信息的情况更加复杂。此类语料涉及不同学科，专业词汇数量大，数据多混合中英文数字，而且计算机往往难以理解因各文档制作方的输入习惯不同导致的语言歧义。所以需要对语料清洗系统根据专业领域语料进行专门优化，并结合具有专业背景的人员确认才能保证得到准确的结构化数据。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种文本结构化标注方法、系统、设备和介质，主要解决针对专业性要求较高的文本数据标注准确性不高且效率低的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种文本结构化标注方法，包括：

获取待标注文本，并通过交互平台从所述待标注文本中获取第一文本数据；

通过对所述第一文本数据进行分词处理，确定标注范围；

对所述标注范围内的词进行分类标注，并将标注信息通过所述交互平台输出至具有对应权限的核验对象，经过至少两次核查后，将确认的标注信息用于更新标注词库。

可选地，获取所述待标注文本包括：

对已有文本数据进行排序，并根据文本数据来源设置抽取比例，其中，排序方式包括：按文本字数排序和/或按包含数据类别数排序；

根据所述抽取比例从经过排序的文本数据中获取所述待标注文本。

可选地，通过对所述第一文本数据进行分词处理，确定标注范围，包括：

设置特定领域的标准词库，通过所述标准词库中标准词对经过分词算法得到的分词结果进行校验，获取所述第一文本数据对应的词集合，其中所述标准词库包括：对应领域的背景词库、同义词库、近义词库；

将所述词集合中与标准词匹配的词作为待标注词。

可选地，对标注范围内的词进行分类标注，包括：

获取所述与所述待标注词匹配的一个或多个标准词类别，通过所述交互平台对应的交互界面显示所述待标注词以及对应类别信息。

可选地，通过具有权限的核验对象进行核查包括：

基于标注信息创建第一核查任务，所述交互平台将包含词以及对应标注信息的数据通过对应的交互界面输出至具有所述第一核查任务处理权限的核验对象，经过核查得到第一确认信息，其中，所述第一确认信息包括：词是否为包含完整语义的最小单位、在所述第一文本数据中词对应前后位置是否有可被纳入对应词表达的词汇、词是否与标注信息匹配；

根据所述第一确认信息创建第二核查任务，所述交互平台将所述第一确认信息通过对应的交互界面输出至具有第二核查任务处理权限的核验对象，经过复查，获取第二确认信息。

可选地，所述交互界面的操作包括增/删词汇、确认/更改标注信息。