[发明专利]一种基于复合边界信息的序列标注方法及系统

说明书

本发明公开了一种基于复合边界信息的序列标注方法及系统，该方法包括：对非结构化文本数据通过预设模型，生成复合词向量并归一化；对所述非结构化文本数据，预训练获得词边界特征向量；将所述复合词向量与所述词边界特征向量进行融合，得到复合边界特征向量；对所述非结构化文本数据进行预处理，并通过预训练以得到字特征向量；基于所述字特征向量及所述复合边界特征向量，通过联合学习，生成联合模型；通过所述联合模型，对待标注文本进行序列标注。该方法可消除因分词错误等带来的影响，提高了标注结果的准确性。

技术领域

本发明涉及互联网技术领域，特别涉及一种基于复合边界信息的序列标注方法及系统。

背景技术

目前，随着文本数据量在互联网上的膨胀，越来越多的服务与应用依赖知识抽取等技术的辅助，以提供更好的服务。而在知识抽取这个具体的任务中，解析无自然分隔的文本(如中文、日文等)的技术又扮演着很重要的作用。

在现有技术领域，在处理无自然分隔的语言的文本数据时，仍然受到分词错误的影响。

当前使用以字为单位的模型，可以在一定程度上避免分词错误的影响，但是同时也无法利用到词边界的信息，从而导致识别错误的不可避免。

发明内容

鉴于上述问题，本发明提出了一种基于复合边界信息的序列标注方法，可消除因分词错误等带来的影响，提高了标注结果的准确性。

第一方面，本发明实施例提供一种基于复合边界信息的序列标注方法，包括：对非结构化文本数据通过预设模型，生成复合词向量并归一化；

对所述非结构化文本数据，预训练获得词边界特征向量；

将所述复合词向量与所述词边界特征向量进行融合，得到复合边界特征向量；

对所述非结构化文本数据进行预处理，并通过预训练以得到字特征向量；

基于所述字特征向量及所述复合边界特征向量，通过联合学习，生成联合模型；

通过所述联合模型，对待标注文本进行序列标注。

在一个实施例中，对非结构化文本数据通过预设模型，生成复合词向量并归一化，包括：

对非结构化文本数据的当前语料，以每个句子为单位，生成全分词结果；

归一化每个全分词后的词向量集合；

将所述词向量集合，通过注意力机制转换为一个复合词向量；所述复合词向量包含全分词的边界信息。

在一个实施例中，所述归一化每个全分词后的词向量集合，包括：

统一每个词向量集合的大小，选择当前句中包含词数最多的集合，作为参照集合；

所述参照集合包含词数的数量，作为参照值；当其他集合的词数少于所述参照值时，则进行padding操作。

在一个实施例中，对所述非结构化文本数据，预训练获得词边界特征向量，包括：

对所述非结构化文本数据的当前语料，以每个句子为单位，生成全分词结果；

使用BMES对所述全分词结果的各个词序列进行标注，并按照每个字对应的标签种类进行合并；

生成每个字的标签的向量表示，并转换为唯一编码表示；所述唯一编码表示包含词边界信息。

在一个实施例中，对所述非结构化文本数据进行预处理，并通过预训练以得到字特征向量，包括：

对所述非结构化文本数据进行数据清洗，生成训练数据；

根据序列标注任务的需求，使用BIO对所述训练数据进行序列标注；