[发明专利]文本打标签方法、装置、电子设备及存储介质

权利要求书

1.一种文本打标签方法，其特征在于，所述方法包括：

构造由相似语义文本组成的第一序列集，对所述第一序列集中的文本执行随机遮蔽操作，得到包括遮蔽文本的第二序列集；

利用所述第二序列集，对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，得到包含预测的遮蔽文本的预测序列及所述预测序列中相似语义文本的预测相似度；

利用预设的第一损失函数计算所述预测的遮蔽文本与所述第一序列集中对应的原始文本之间的第一损失值，利用预设的第二损失函数计算所述预测相似度与所述第一序列集中相似语义文本的原始相似度之间的第二损失值；

将所述第一损失值与所述第二损失值组合为所述预训练的输出损失值，判断所述输出损失值是否满足预设条件；

若所述输出损失值不满足所述预设条件，则调整所述语义识别模型的参数，并返回上述的对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练的步骤；

若所述输出损失值满足所述预设条件，则退出所述预训练，得到完成预训练的语义识别模型；

利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，得到所述待打标签文本的标签。

2.如权利要求1所述的文本打标签方法，其特征在于，所述构造由相似语义文本组成的第一序列集，包括：

从预设的相似语义文本库中获取相似语义文本集；

根据预设的组合方式，将所述相似语义文本集中每两个相似语义文本组合成一个序列，直到所述相似语义文本集中所有文本都完成组合，得到由相似语义文本组成的第一序列集。

3.如权利要求1所述的文本打标签方法，其特征在于，所述对所述第一序列集中的文本执行随机遮蔽操作，包括：

在所述第一序列集中，随机选择预设遮蔽文本比例的文本，得到待遮蔽文本；

利用预设的掩码对所述待遮蔽文本中预设覆盖比例的文本进行覆盖，得到掩码覆盖文本；

利用随机生成的文本对所述待遮蔽文本中预设替换比例的文本进行替换，得到替换文本；

汇总所述掩码覆盖文本及所述替换文本，得到遮蔽文本。

4.如权利要求1所述的文本打标签方法，其特征在于，所述对预构建的语义识别模型进行遮蔽文本预测及文本相似度计算的预训练，包括：

利用预构建的语义识别模型，对所述第二序列集进行文本特征提取，得到文本特征集；

利用预设的激活函数对所述文本特征集执行激活计算，得到预测的遮蔽文本；

将所述预测的遮蔽文本与所述第二序列集中未遮蔽的文本组合为预测序列；

对所述预测序列中每个文字进行词向量转换，根据所述每个文字对应的词向量，计算所述预测序列中相似语义文本的预测相似度。

5.如权利要求4所述的文本打标签方法，其特征在于，所述计算所述预测序列中相似语义文本的预测相似度，包括：

分别计算所述预测序列中每条相似语义文本对应的词向量均值；

计算所有相似语义文本之间的词向量均值的绝对差值，将所述绝对差值作为所述预测序列的预测相似度。

6.如权利要求1所述的文本打标签方法，其特征在于，所述将所述第一损失值与所述第二损失值组合为所述预训练的损失值，包括：

利用预设的第一损失权重对所述第一损失值执行加权操作，得到加权后的第一损失值；

利用预设的第二损失权重对所述第二损失值执行加权操作，得到加权后的第二损失值；

将所述加权后的第一损失值与所述加权后的第二损失值相加，得到所述预训练的输出损失值。

7.如权利要求1所述的文本打标签方法，其特征在于，所述利用所述完成预训练的语义识别模型对待打标签的文本执行打标签操作，所述方法还包括：

利用所述完成预训练的语义识别模型对待打标签的文本进行文本特征提取，得到文本特征集；

利用预先训练的激活函数计算所述文本特征集与预设的多个文本标签之间的概率值，选择大于预设概率阈值的概率值对应的标签为所述待打标签文本的标签。