[发明专利]一种基于复合边界信息的序列标注方法及系统

权利要求书

1.一种基于复合边界信息的序列标注方法，其特征在于，包括：

对非结构化文本数据通过预设模型，生成复合词向量并归一化；

对所述非结构化文本数据，预训练获得词边界特征向量；

将所述复合词向量与所述词边界特征向量进行融合，得到复合边界特征向量；

对所述非结构化文本数据进行预处理，并通过预训练以得到字特征向量；

基于所述字特征向量及所述复合边界特征向量，通过联合学习，生成联合模型；

通过所述联合模型，对待标注文本进行序列标注；

其中，将所述复合词向量与所述词边界特征向量进行融合，得到复合边界特征向量；包括：

S301、融合所述复合词向量与词边界特征向量的两种类型的含有词边界信息的向量；所述复合词向量是经过注意力机制进行编码过的词向量；所述词边界特征向量是对词边界标签向量生成的唯一编码表示；融合方式如下方公式：

式中，x_t′表示融合后的向量表示；表示经过注意力机制进行编码过的词向量，为复合词向量；为词边界特征向量，是对词边界标签向量生成的唯一编码表示；表示融合操作，表示异或运算；

S302、将上一步S301得到的复合词边界信息表示，分别输入LSTM神经网络结构中，获得单元状态c_q；

基于所述字特征向量及所述复合边界特征向量，通过联合学习，生成联合模型；包括：

c_t为整个联合模型的单元状态，通过反向传播，神经网络模型与注意力机制模型的参数会一起被更新，最终得到联合学习模型共同输出的隐藏层状态h_f；

c_t＝c_pΘc_q

h_f＝o_t*tanh (c_t)

式中，c_p为通过预训练以得到字特征向量输入LSTM神经网络后得到的单元状态；c_q为复合词边界信息表示，分别输入LSTM神经网络结构中，获得单元状态；Θ表示联合操作；o_t表示LSTM神经网络的输出门；tanh表示激活函数；c_t表示整个联合模型的单元状态。

2.如权利要求1所述的一种基于复合边界信息的序列标注方法，其特征在于，对非结构化文本数据通过预设模型，生成复合词向量并归一化，包括：

对非结构化文本数据的当前语料，以每个句子为单位，生成全分词结果；

归一化每个全分词后的词向量集合；

将所述词向量集合，通过注意力机制转换为一个复合词向量；所述复合词向量包含全分词的边界信息。

3.如权利要求2所述的一种基于复合边界信息的序列标注方法，其特征在于，所述归一化每个全分词后的词向量集合，包括：

统一每个词向量集合的大小，选择当前句中包含词数最多的集合，作为参照集合；

所述参照集合包含词数的数量，作为参照值；当其他集合的词数少于所述参照值时，则进行padding操作。

4.如权利要求1所述的一种基于复合边界信息的序列标注方法，其特征在于，对所述非结构化文本数据，预训练获得词边界特征向量，包括：

对所述非结构化文本数据的当前语料，以每个句子为单位，生成全分词结果；

使用BMES对所述全分词结果的各个词序列进行标注，并按照每个字对应的标签种类进行合并；

生成每个字的标签的向量表示，并转换为唯一编码表示；所述唯一编码表示包含词边界信息。

5.如权利要求1～4任一项所述的一种基于复合边界信息的序列标注方法，其特征在于，对所述非结构化文本数据进行预处理，并通过预训练以得到字特征向量，包括：

对所述非结构化文本数据进行数据清洗，生成训练数据；

根据序列标注任务的需求，使用BIO对所述训练数据进行序列标注；

将序列标注结果，输入字向量模型，预训练得到每个字的向量表示集合。