[发明专利]一种获取训练数据的方法和装置、模型训练方法和装置

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取第一标注数据；其中，所述第一标注数据包括语料库中已标注的文档；

获取所述语料库中未标注的文档中，与所述第一标注数据中的一个或多个已标注的文档之间的相似度大于或等于预设阈值的文档；

去除所有获得的文档中满足预设条件的文档；分别对每一个获得的文档进行标注得到第二标注数据，包括：分别对所有所述获得的文档中除所述满足预设条件的文档之外的每一个其他文档进行标注得到所述第二标注数据；

其中，所述预设条件包括以下任意一个或多个：所有已标注的文档A中的风险主体均不在所述获得文档中出现；所有所述已标注的文档A中与所述获得的文档之间的相似度最高的已标注文档被标注为无风险事件；其中，所述已标注的文档A与所述获得的文档之间的相似度大于或等于预设阈值；

将所述第一标注数据和所述第二标注数据作为训练数据进行文本分类模型和命名实体识别模型的训练。

2.根据权利要求1所述的模型训练方法，其特征在于，其中，所述分别对所有获得的文档中除满足预设条件的文档之外的每一个其他文档进行标注得到所述第二标注数据包括：

将所述其他文档的风险类别标注为已标注的文档B中与所述其他文档之间的相似度最高的已标注的文档的风险类别，将所述其他文档的风险主体标注为所述已标注的文档B中与所述其他文档之间的相似度最高的已标注的文档的风险主体；

其中，所述其他文档与所述已标注的文档B之间的相似度大于或等于预设阈值，且所述其他文档中包含所述已标注的文档B中的风险主体。

3.根据权利要求2所述的模型训练方法，其特征在于，所述分别对所有获得的文档中除满足预设条件的文档之外的每一个其他文档进行标注得到所述第二标注数据还包括：

将所述其他文档的是否包含风险事件标注为与所述已标注的文档B中与所述其他文档之间的相似度最高的已标注的文档的是否包含风险事件相同。

4.一种模型训练装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1～3任一项所述的模型训练方法。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～3任一项所述的模型训练方法的步骤。

6.一种获取训练数据的方法，其特征在于，包括：

获取第一标注数据；其中，所述第一标注数据包括语料库中已标注的文档；

获取所述语料库中未标注的文档中，与所述第一标注数据中的一个或多个已标注的文档之间的相似度大于或等于预设阈值的文档；

去除所有获得的文档中满足预设条件的文档；

分别对每一个获得的文档进行标注得到第二标注数据，包括：分别对所有所述获得的文档中除所述满足预设条件的文档之外的每一个其他文档进行标注得到所述第二标注数据；

其中，所述预设条件包括以下任意一个或多个：所有已标注的文档A中的风险主体均不在所述获得文档中出现；所有所述已标注的文档A中与所述获得的文档之间的相似度最高的已标注文档被标注为无风险事件；其中，所述已标注的文档A与所述获得的文档之间的相似度大于或等于预设阈值；

将所述第一标注数据和所述第二标注数据作为训练数据。

7.根据权利要求6所述的获取训练数据的方法，其特征在于，其中，所述分别对所有获得的文档中除满足预设条件的文档之外的每一个其他文档进行标注得到所述第二标注数据包括：

将所述其他文档的风险类别标注为已标注的文档B中与所述其他文档之间的相似度最高的已标注的文档的风险类别，将所述其他文档的风险主体标注为所述已标注的文档B中与所述其他文档之间的相似度最高的已标注的文档的风险主体；

其中，所述其他文档与所述已标注的文档B之间的相似度大于或等于预设阈值，且所述其他文档中包含所述已标注的文档B中的风险主体。