[发明专利]训练文本数据的扩增方法、装置及电子设备

说明书

本申请涉及一种训练文本数据的扩增方法、装置、电子设备及计算机可读介质。该方法包括：获取任务描述数据、标签描述集合、样例文本集合；将所述任务描述数据、所述标签描述集合、所述样例文本集合拼接生成任务标签文本集合；将所述任务标签文本集合输入预训练过的语言模型中，生成多个扩增样例文本；通过所述多个扩增样例文本集合生成训练文本数据；利用所述训练文本数据对机器学习模型进行模型训练。本申请能够方便快捷的生成大量的用于自然语言模型训练的文本数据、节省人力时间和成本，而且生成的文本数据多样性高，提高下游模型的训练效果，提升用户数据安全度。

技术领域

本申请涉及计算机信息处理领域，具体而言，涉及一种训练文本数据的扩增方法、装置、电子设备及计算机可读介质。

背景技术

在自然语言处理领域，数据规模对算法模型的效果起决定性作用，但受成本、隐私保护等因素的影响，很多场景下只能获取到有限的数据。业内通常采用数据扩增的方法，以有限的数据作为种子，扩展生成出更大量的数据，来提升算法模型的效果。

现有技术中常用的数据扩增的方法有如下几种：

一种是基于复述改写的方法，将原始数据中的词或者短语，用同义词或者同义短语替换，增加数据的数量。但这类方法的缺点是能被同义词替换的词汇有限，且替换后容易引起歧义。例如“我每天吃一个苹果”，被替换完后，可能会变成“我每天吃一个iphone”。

另外一种是基于机器翻译模型的方法，先将中文表述翻译成其他语言，然后再逆向重新翻译回中文。这种方法的缺点是可控性差，重新翻译回的中文，受翻译模型的影响，语义容易发生变化。

还有一种是基于seq2seq的生成模型，将原始句子作为输入，模型直接生成另外一种表述的句子。但这种生成模型事先依赖大量的训练数据，在数据不足的场景下，没法使用。

现有技术中的数据扩增方法，往往需要一定的人力成本；扩增出来新数据质量不高，容易引起歧义；缺乏多样性，鲁棒性不高，难以直接迁移到新场景中。

因此，需要一种新的训练文本数据的扩增方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本申请提供一种训练文本数据的扩增方法、装置、电子设备及计算机可读介质，能够方便快捷的生成大量的用于自然语言模型训练的文本数据、节省人力时间和成本，而且生成的文本数据多样性高，提高下游模型的训练效果，提升用户数据安全度。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请的一方面，提出一种训练文本数据的扩增方法，该方法包括：获取任务描述数据、标签描述集合、样例文本集合；将所述任务描述数据、所述标签描述集合、所述样例文本集合拼接生成任务标签文本集合；将所述任务标签文本集合输入预训练过的语言模型中，生成多个扩增样例文本集合；根据所述多个扩增样例文本集合生成训练文本数据；利用所述训练文本数据对机器学习模型进行模型训练。

可选地，获取任务描述数据、标签描述集合、样例文本集合，包括：根据用户的设置生成所述任务描述数据和所述标签描述集合，其中，所述标签描述集合中包括多个标签描述数据；由样例文本数据库中提取多组文本数据以生成所述样例文本集合。

可选地，将所述任务描述数据、所述标签描述集合、所述样例文本集合拼接生成任务标签文本集合，包括：提取所述任务描述数据和所述样例文本集合中的所述多组文本数据；从所述标签描述集合中逐一提取标签描述数据，与所述任务描述数据、所述多组文本数据进行拼接，生成所述任务标签文本集合。