[发明专利]文本处理模型训练方法及装置

权利要求书

1.一种文本处理模型训练方法，其特征在于，所述方法包括：

建立文本数据集；

其中，所述文本数据集包括多个文本对；每个文本对包括：前后拼接的第一文本和第二文本；

确定所述文本处理模型的目标任务，并根据所述目标任务，从所述文本数据集中获取对应的目标数据集；

根据所述目标数据集，训练获得所述文本处理模型；

其中，所述文本处理模型包括对应于所述目标任务的目标分支，所述目标分支用于根据所述目标任务，输出对应于待识别文本的目标信息；

以及，所述建立文本数据集，包括：

获取多个原始文本，以及对应于每个所述原始文本的实体标签和类别标签；

根据所述实体标签，将所述原始文本划分为至少一个相似文本组；

对各所述相似文本组依次执行以下操作，获得多个文本对：

从当前的相似文本组中选取第一原始文本和第二原始文本；

将所述第一原始文本和第二原始文本分别进行正向拼接和反向拼接，分别获得所述第一原始文本在前的文本对和所述第二原始文本在前的文本对。

2.根据权利要求1所述的方法，其特征在于，所述目标任务包括文本生成任务；

所述根据所述目标任务，从所述文本数据集中获取对应的目标数据集，包括：根据第一比例，从所述文本数据集中获得第一数据集；

所述根据所述目标数据集，训练获得所述文本处理模型之前，所述方法还包括：

对所述第一数据集中各文本对的第一文本进行第一预处理；

其中，所述第一预处理包括：根据所述实体标签，移除对应文本中的非实体词；和/或，根据所述实体标签，切分对应文本并打乱后重新拼接；

根据预设的第一长度，对所述第一预处理后，各文本对的第一文本和第二文本进行长度处理，并对所述长度处理后的各文本对进行切分处理，获得对应于各文本对的第一分字序列；

根据所述第一分字序列，通过第一预设字表获得对应的第一数字序列；

所述根据所述目标数据集，训练获得所述文本处理模型，包括：

根据所述第一数字序列，通过所述文本处理模型的嵌入层获得第一句向量；

根据所述各文本对的第一文本对应的第一句向量，获得对应于所述各文本对的第一文本的预测文本；以及，根据对应于所述各文本对的第一文本的预测文本和第二文本，计算获得第一损失函数；

根据所述第一损失函数，判断所述文本处理模型是否收敛；若判断结果为是，则确定对所述文本处理模型的文本生成任务训练完成。

3.根据权利要求1所述的方法，其特征在于，所述目标任务包括语义匹配任务；

所述根据所述目标任务，从所述文本数据集中获取对应的目标数据集，包括：根据第二比例，从所述文本数据集中获得第二数据集；

所述根据所述目标数据集，训练获得所述文本处理模型之前，所述方法还包括：

对所述第二数据集中的各文本对进行第二预处理；所述第二预处理包括：根据预设的第二长度，对所述各文本对的第一文本进行长度处理；根据所述各文本对的第一文本，确定第一语义符号，并置于所述第一文本之前；

对所述第二预处理后的各文本对进行切分处理，获得对应于各文本对的第二分字序列；

根据所述第二分字序列，通过第二预设字表获得对应的第二数字序列；

所述根据所述目标数据集，训练获得所述文本处理模型，包括：

根据所述第二数字序列，通过所述文本处理模型的嵌入层获得第二句向量；

根据所述第二句向量中所述第一语义符号对应的语义向量，获得对应于同一训练批次的多个所述第一文本的语义向量矩阵；并根据所述语义向量矩阵，计算获得第二损失函数；

根据所述第二损失函数，判断所述文本处理模型是否收敛；若判断结果为是，则确定对所述文本处理模型的语义匹配任务训练完成。