[发明专利]一种模型训练方法、装置、实现文本处理的方法及装置

权利要求书

1.一种模型训练方法，包括：

对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；

通过预设的训练模型对完成标识的输入数据进行训练，获得对待处理文本进行分词及词性标注的文本处理模型，

所述预设的训练模型包括：

Transformer模型和条件随机场CRF模型；

其中，所述Transformer模型用于训练获得以下一项或任意组合的语句特征：字与字之间的关系、词与词之间的关系、顺序关系；所述CRF模型用于对输出标签关系进行特征提取，其中，提取的特征包括：对于包含两个以上字符的组块，当所述组块出现第一个字符为X时，根据组块组成及词性，出现第二个字符为Y的概率。

2.根据权利要求1所述的模型训练方法，其特征在于，所述以字为单位标识每一个组块中包含的字及每一个字的词性，包括：

组块仅包含一个字时，以第一标识符对组块包含的字进行标识；组块包含两个以上字时，以所述第一标识符标识组块的第一个字，以第二标识符对组块包含的除所述第一个字以外的其他的字进行标识；

对每一个组块，分别根据输入数据的词性标注，分别标识组块中包含的每一个字的词性。

3.一种实现文本处理的方法，包括：

对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；

通过预设的训练模型对完成标识的输入数据进行训练，获得对待处理文本进行分词及词性标注的文本处理模型；

通过获得的文本处理模型，对待处理文本进行分词和词性标注，

所述预设的训练模型包括：

Transformer模型和条件随机场CRF模型；

其中，所述Transformer模型用于训练获得以下一项或任意组合的语句特征：字与字之间的关系、词与词之间的关系、顺序关系；所述CRF模型用于对输出标签关系进行特征提取，其中，提取的特征包括：对于包含两个以上字符的组块，当所述组块出现第一个字符为X时，根据组块组成及词性，出现第二个字符为Y的概率。

4.根据权利要求3所述的方法，其特征在于，所述对待处理文本进行分析和词性标注，包括：

将所述待处理文本构建待处理数据；

通过所述文本处理模型对构建获得的所述待处理数据进行处理，获得分词及词性标注结果；

其中，所述待处理数据包括：将待处理文本中包含的字，以字嵌入向量和位置嵌入向量表示的数据。

5.一种模型训练装置，包括：标识单元和训练单元；其中，

标识单元用于：对预设数量完成分词及词性标注的输入数据，以字为单位标识每一个组块中包含的字及每一个字的词性；

训练单元用于：通过预设的训练模型对完成标识的输入数据进行训练，获得对待处理文本进行分词及词性标注的文本处理模型，

所述预设的训练模型包括：

Transformer模型和条件随机场CRF模型；

其中，所述Transformer模型用于训练获得以下一项或任意组合的语句特征：字与字之间的关系、词与词之间的关系、顺序关系；所述CRF模型用于对输出标签关系进行特征提取，其中，提取的特征包括：对于包含两个以上字符的组块，当所述组块出现第一个字符为X时，根据组块组成及词性，出现第二个字符为Y的概率。

6.根据权利要求5所述的模型训练装置，其特征在于，所述标识单元具体用于：

组块仅包含一个字时，以第一标识符对组块包含的字进行标识；组块包含两个以上字时，以所述第一标识符标识组块的第一个字，以第二标识符对组块包含的除所述第一个字以外的其他的字进行标识；

对每一个组块，分别根据输入数据的词性标注，分别标识组块中包含的每一个字的词性。