[发明专利]一种序列标注系统及方法

说明书

本发明涉及一种序列标注系统，包括模型标注模块、调整模块、策略库，模型标注模块的输出端与调整模块的输入端连接；模型标注模块用于对输入的文本数据进行序列标注；策略库中存储有一条或多条策略，调整模块用于从策略库中调取策略，并根据策略及输入的文本数据，对模型标注模块输出的标注结果进行调整。通过本发明系统或方法对文本序列标注，可以增强原有模型标注的准确性及适用性。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种序列标注系统及方法。

背景技术

人类社会的知识和信息大多以文本的形式被记录。这些知识和信息都是以人类语言文字的形式描述的，机器无法直接识别。自然语言处理就是一种处理人类自然语言文本的算法技术，其中，分词(Words Segmentation)、词性标注(POS Tagging)和命名实体识别(Named Entity Recognition)是基础任务。分词，就是将一句话由字的序列分割成词的序列；词性标注，是为每一个词赋予一个词性，如名词、动词、形容词等；命名实体识别，是提取文中特定类型的名词，如“小明”(类型：人名)，“今天早上”(类型：时间)。分词、词性标注、命名实体识别都可以被转化为序列标注(Sequence Labeling)问题。

如图1所示，目前对于序列标注问题多采用模型+CRF的方式进行，即先利用模型进行序列标注，然后再通过CRF概率模型进行校正。例如申请号为201710828497.X、名称为“基于Bi-LSTM和CRF的文本序列标注系统及方法”的中国专利申请，就是以Bi-LSTM模型+CRF模型方式进行序列标注。现有技术是一种有监督的机器学习算法，通过大量标注语料完成模型的训练，训练好的模型可以对新数据(未标注数据)执行序列标注任务。但是由于新数据与训练数据可能存在较大的差异，比如出现一些专有名词(如人名“亚伯拉罕”，在训练数据中不存在)，或者训练数据覆盖不全，分布不均衡等，将会导致训练好的模型无法正确处理一些文本，重新标注数据训练又费时费力。

发明内容

本发明的目的在于改善现有技术中所存在的上述不足，提供一种序列标注系统及方法，以提高序列标注的准确性。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种序列标注系统，包括模型标注模块，还包括调整模块、策略库，模型标注模块的输出端与调整模块的输入端连接；

模型标注模块用于对输入的文本数据进行序列标注；

策略库中存储有一条或多条策略，调整模块用于从策略库中调取策略，并根据策略及输入的文本数据，对模型标注模块输出的标注结果进行调整。

根据本发明实施例，每条策略包括词、边界、分值这三个要素，所述调整模块具体用于：

依次从策略库中调取一条策略，当前策略执行完毕后调取下一条策略，直至遍历完所有的策略；

针对于当前策略，将当前策略中的词要素与输入的文本数据进行匹配，若匹配不成功则调取下一条策略；若匹配成功，则根据边界要素和分值要素得出需要调整的序列项和分值，调整对模型标注模块输出的标注结果中相应序列项的分值。

另一方面，本发明实施例同时提供了一种序列标注方法，包括以下步骤：

步骤1，对输入的文本数据进行初步的序列标注；

步骤2，从策略库中调取策略，并根据策略及输入的文本数据，对初步标注的结果进行调整。

根据本发明实施例，所述步骤2具体包括以下步骤：

步骤21，从策略库中调取一条策略；

步骤22，将当前策略中的词要素与输入的文本数据进行匹配，若匹配不成功，则返回步骤21；若匹配成功，则进步步骤23；