[发明专利]数据增强方法和装置

说明书

本发明提供一种数据增强方法和装置。该方法包括：获取N个训练数据子集，每个训练数据子集对应一种情感类型，N为正整数。根据N个训练数据子集的数据量分别与N个训练数据子集的数据总量之间的比例，从N个训练数据子集中确定待处理数据集。对待处理数据集进行至少一次反向翻译，得到反向翻译数据集，反向翻译为对任意一个文本数据先进行非中文翻译后再进行中文翻译的过程。根据N个训练数据子集和反向翻译数据集，获得目标训练数据集，从而扩充了训练数据的数据量，并削弱了训练数据分布不均衡的问题，提高了训练数据的质量，从而提高了目标训练模型的性能和情感类型的分类效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据增强方法和装置。

背景技术

随着电子商务的迅速发展，网购群体的数量指数增长，客服机器人应运而生。在服务过程中，客户机器人需要对顾客的情绪做出准确判断，此时可顾客的文本数据转化为情感分类的问题，即通过深度学习神经网络模型(简称训练模型)可以确定辨别文本数据对应的情感类型。

众所周知，训练模型的性能很大程度依赖于训练数据。一般情况下，训练数据的数据量越大，训练模型的性能越好；训练数据的特征越多，训练模型的性能越好。

然而，在实际的情感分类领域中，收集训练数据的过程较为困难，使得训练数据的数据量不够充分，引起各个情感类型对应的训练数据不够均衡，且需要人工逐条标注训练数据的特征，消耗大量的财力、物力及人力，导致训练模型的性能下降，使得客户机器人通过训练模型无法准确确定顾客的情感类型。

发明内容

本发明提供一种数据增强方法和装置，以解决现有技术中的训练数据的数据总量不充足或者各种情感类型对应的训练数据的数据量分布不均衡的问题。

第一方面，本发明提供一种数据增强方法，包括：

获取N个训练数据子集，每个训练数据子集对应一种情感类型，N为正整数；

根据所述N个训练数据子集的数据量分别与所述N个训练数据子集的数据总量之间的比例，从所述N个训练数据子集中确定待处理数据集；

对所述待处理数据集进行至少一次反向翻译，得到反向翻译数据集，所述反向翻译为对任意一个文本数据先进行非中文翻译后再进行中文翻译的过程；

根据所述N个训练数据子集和所述反向翻译数据集，获得目标训练数据集。

可选地，所述根据所述N个训练数据子集的数据量分别与所述N个训练数据子集的数据总量之间的比例，从所述N个训练数据子集中确定待处理数据集，包括：

判断所述N个训练数据子集的数据量分别与所述N个训练数据子集的数据总量的比例是否小于预设比例；

将小于所述预设比例对应的训练数据子集确定为所述待处理数据集。

可选地，所述根据所述N个训练数据子集的数据量分别与所述N个训练数据子集的数据总量之间的比例，从所述N个训练数据子集中确定待处理数据集，包括：

按照所述N个训练数据子集的数据量分别与所述N个训练数据子集的数据总量的比例由小到大的顺序，对所述N个训练数据子集进行排序；

将前M个训练数据子集确定为所述待处理数据集，N≥M，M为正整数。

可选地，所述对所述待处理数据集进行至少一次反向翻译，得到反向翻译数据集，包括：

对所述待处理数据集进行英文翻译后再进行中文翻译，得到所述反向翻译数据集。

可选地，所述获取N个训练数据子集，包括：

根据N种情感类型，对原始训练数据集进行分类，得到所述N个原始训练数据子集。