[发明专利]文本数据的处理方法、装置、电子设备及存储介质

权利要求书

1.一种文本数据的处理方法，其特征在于，包括：

针对多个文本数据进行分类，得到每个文本数据所属的类别；

分别针对每个类别，计算所述类别中的每两个文本数据之间的文本相似度；

根据每个类别中的每两个文本数据之间的文本相似度，确定每个类别的多样性评估结果；

将多样性评估结果符合预设增强条件的类别确定为待增强类别，针对所述待增强类别中的文本数据执行数据增强处理。

2.根据权利要求1所述的方法，其特征在于，所述根据每个类别中的每两个文本数据之间的相似度，确定每个类别的多样性评估结果包括：

针对多个相似度区间中的每个相似度区间，统计每个类别中的每两个文本数据之间的相似度数值位于所述相似度区间内的区间数量，将所述区间数量与类别中的每两个文本数据之间的相似度数值的数值总数之间的比值确定为所述类别对应于所述相似度区间的类别区间占比；其中，所述多个相似度区间根据文本相似度的取值范围划分；且所述类别中的每两个文本数据之间的相似度数值的数值总数根据所述类别中包含的文本数据的总数量确定；

根据所述类别对应于每个相似度区间的类别区间占比，确定所述类别的多样性评估结果。

3.根据权利要求2所述的方法，其特征在于，所述多样性评估结果通过类别离散度指标、和/或类别相似度均值表征。

4.根据权利要求3所述的方法，其特征在于，在所述多样性评估结果通过类别离散度指标表征的情况下，则所述根据所述类别对应于每个相似度区间的类别区间占比，确定所述类别的多样性评估结果包括：

针对任一类别，根据所述类别对应于每个相似度区间的类别区间占比，确定所述类别的类别离散度指标；

所述预设增强条件包括：类别离散度指标小于预设的离散度阈值；将多样性评估结果符合预设增强条件的类别确定为待增强类别包括：将类别离散度指标小于预设的离散度阈值的类别确定为待增强类别；

其中，所述离散度阈值根据整体离散度指标确定，且所述整体离散度指标根据每个类别对应于相似度区间的类别区间占比以及每个类别的类别权重得到；其中，每个类别的类别权重根据所述类别的类别样本数量与总样本数量之间的比值确定。

5.根据权利要求3所述的方法，其特征在于，在所述多样性评估结果通过类别相似度均值表征的情况下，则所述根据所述类别对应于每个相似度区间的类别区间占比，确定所述类别的多样性评估结果包括：

针对任一类别，根据所述类别中的每两个文本数据之间的文本相似度，确定所述类别的类别相似度均值；

则所述预设增强条件包括：类别相似度均值大于预设的均值阈值；其中，所述均值阈值根据整体相似度均值确定，且所述整体相似度均值根据多个类别中的每两个文本数据之间的文本相似度得到。

6.根据权利要求3所述的方法，其特征在于，所述针对所述待增强类别中的文本数据执行数据增强处理包括：

获取所述待增强类别中相似度数值位于第一相似度区间内的多个文本数据；其中，所述第一相似度区间的区间上限小于第一相似度阈值；

针对所述位于第一相似度区间内的多个文本数据，执行数据增强处理；其中，所述数据增强处理包括以下中的至少一个：同义词替换、回译处理、随机插入标点。

7.根据权利要求6所述的方法，其特征在于，所述针对所述待增强类别中的文本数据执行数据增强处理包括：

获取所述待增强类别中相似度数值位于第二相似度区间内的多个文本数据；其中，所述第二相似度区间的区间下限大于第二相似度阈值；其中，所述第二相似度阈值不小于所述第一相似度阈值；

针对所述位于第二相似度区间内的多个文本数据，执行数据删减处理；

其中，所述数据删减处理包括：针对重复数据的去重处理，和/或，

所述数据删减处理包括：将所述位于第二相似度区间内的一条文本数据作为参照文本数据，若所述参照文本数据与所述第二相似度区间内的非参照文本数据之间的相似度大于预设参照值，则去除所述参照文本数据。