[发明专利]一种获取训练数据的方法和装置、模型训练方法和装置

说明书

本发明实施例公开了一种获取训练数据的方法和装置、模型训练方法和装，模型训练方法包括：获取第一标注数据；其中，第一标注数据包括语料库中已标注的文档；获取所述语料库中未标注的文档中，与所述第一标注数据中的一个或多个已标注的文档之间的相似度大于或等于预设阈值的文档；分别对每一个获得的文档进行标注得到第二标注数据；将所述第一标注数据和所述第二标注数据作为训练数据进行文本分类模型和命名实体识别模型的训练。本发明实施例由于采用的增强数据是语料库中的原始文档，能够表达文档原始的语义，从而在节省人工资源的同时提高了模型训练效果。

技术领域

本发明实施例涉及但不限于风险事件发现技术，尤指一种获取训练数据的方法和装置、模型训练方法和装置。

背景技术

在一些新闻报道等文档中，会包含关于“某某实体”发生了“某某风险”的信息，如“X公司高管被刑拘”等，我们称其为“风险事件”，其中发生了风险事件的实体为“风险主体”，“风险事件”的类别为“风险类别”。

为了发现风险事件，判断风险类别，抽取出风险主体，可以使用基于有监督数据的文本分类方法和命名实体识别方法，首先进行文本分类模型和命名实体识别模型的训练，然后用文本分类模型进行文本分类，用命名实体识别模型进行命名实体的识别。

目前的模型训练方法大致包括：

首先对语料库中的文档进行标注，标识出每一个文档是否包含风险事件、具体风险类别、涉及该风险事件的风险主体，然后采用标注的文档(即标注数据)作为训练数据分别训练文本分类模型和命名实体识别模型。

上述模型训练方法中，由于需要人工对文档进行标注，而语料库中需要进行标注的文档数量很大，人工标注需要耗费很长的时间，为了提高标注效率，可以人工仅对语料库中的一部分文档进行标注，如果仅采用一小部分标注的文档进行模型训练，则降低了模型训练的准确率和召回率，即降低了模型训练的效果。为了提高模型训练的效果，可以采用数据增强方法标注语料库中的其他文档。

目前的数据增强方法有以下两种：

第一种，将已标注的文档翻译成其他语种，然后将得到的文档再翻译回原语种，从而得到含义相似，表达不同的文档作为增强数据加入训练数据中进行文本分类模型和命名实体识别模型的训练。这种方法需要有效果较好的翻译工具，并且无法保持风险主体的表达一致，从而影响模型训练的效果。

第二种，采用同义词替换的方法，即通过同义词库，将已标注的文档中的词替换为其对应的同义词，得到替换后的文档作为增强数据加入训练数据中进行文本分类模型和命名实体识别模型的训练。这种方法需要一个准确的同义词库，并且部分情况下，基于同义词库的替换不能表达原始语义，从而影响模型训练的效果。

综上所述，目前的模型训练方法的效果较差。

发明内容

本发明实施例提供了一种获取训练数据的方法和装置、模型训练方法和装置，能够提高模型训练的效果。

本发明实施例提供了一种模型训练方法，包括：

获取第一标注数据；其中，所述第一标注数据包括语料库中已标注的文档；

获取所述语料库中未标注的文档中，与所述第一标注数据中的一个或多个已标注的文档之间的相似度大于或等于预设阈值的文档；

分别对每一个获得的文档进行标注得到第二标注数据；

将所述第一标注数据和所述第二标注数据作为训练数据进行文本分类模型和命名实体识别模型的训练。

所述获取语料库中未标注的文档中，与所述第一标注数据中的一个或多个已标注的文档之间的相似度大于或等于预设阈值的文档后，在所述分别对每一个获得的文档进行标注得到第二标注数据之前，该方法还包括：

去除所有所述获得的文档中满足预设条件的文档；