[发明专利]一种数据评估方法、装置、计算机设备及存储介质

权利要求书

1.一种数据评估方法，其特征在于，包括：

获取待评估数据集；

按照预设过滤策略对所述待评估数据集进行过滤，得到候选数据集；

基于评估维度对所述候选数据集进行分析；

根据分析结果获取所述待评估数据集的评估参数；

根据所述评估参数确定所述待评估数据集对应的评估结果，以根据所述评估结果对所述数据进行处理。

2.根据权利要求1所述的数据评估方法，其特征在于，所述评估维度包括异常检测评估，所述评估参数包括异常率，所述基于评估维度对所述候选数据集进行分析，根据分析结果获取所述待评估数据集的评估参数包括：

对所述候选数据集中每个样本数据分别进行分词处理，得到每个样本数据对应的词语集；

对所述词语集进行向量化处理，得到词语向量；

将所述词语向量投影至预设维度的样本特征空间，得到文本特征向量；

对所述文本特征向量进行聚类，并基于聚类结果确定所述候选数据集中的异常数据；

根据所述异常数据确定所述待评估数据集的异常率。

3.根据权利要求2所述的数据评估方法，其特征在于，所述对所述文本特征向量进行聚类，并基于聚类结果确定所述候选数据集中的异常数据包括：

对所述文本特征向量进行降维处理，得到降维后的特征向量；

所述对降维后的特征向量进行归一化处理，得到归一化后的特征向量；

对所述归一化后的特征向量进行聚类，并基于聚类结果确定所述候选数据集中的异常数据。

4.根据权利要求3所述的数据评估方法，其特征在于，所述对所述归一化后的特征向量进行聚类，并基于聚类结果确定所述候选数据集中的异常数据包括：

将所述归一化后的特征向量离散化为多个特性点；

从所述多个特征点中选择任意一特征点作为核心点；

将以所述核心点为中心的预设邻域范围内的所有特征点分配为同一个类族；

从所述多个特征点中选择另一特征点作为核心点，返回执行将以所述核心点为中心的预设邻域范围内的所有特征点分配为同一个类族的操作，直至遍历完所述多个特性点；

筛选出未被分配类族的特性点对应的样本数据，得到异常数据。

5.根据权利要求1所述的数据评估方法，其特征在于，所述评估维度包括异常检测评估，所述评估参数包括异常率，所述基于评估维度对所述候选数据集进行分析，根据分析结果获取所述待评估数据集的评估参数包括：

通过训练后的分类模型对所述候选数据集中每个样本数据进行分类预测，得到所述候选数据集中各样本数据对应的分类概率；

筛选出分类概率小于预设阈值的样本数据作为异常数据；

根据筛选出的分类概率小于预设阈值的所述异常数据，确定所述待评估数据集的异常率。

6.根据权利要求5所述的数据评估方法，其特征在于，所述数据评估方法还包括：

获取多个训练样本，所述多个训练样本包括标签样本和互补标签样本，所述标签样本为标注真实标签的样本，所述互补标签样本为标注与真实标签互补的标签的样本；

通过初始的分类模型基于所述标签样本和所述互补标签样本进行负学习，以对所述初始的分类模型进行训练，得到候选的分类模型，以及预测得到每个训练样本的样本分类概率；

筛选出样本分类概率大于目标概率阈值的训练样本，得到候选训练样本；

基于所述候选训练样本对所述候选的分类模型进行微调训练，得到训练后的分类模型。

7.根据权利要求5所述的数据评估方法，其特征在于，所述根据筛选出的分类概率小于预设阈值的所述异常数据，确定所述待评估数据集的异常率包括：

获取所述候选数据集中每个样本数据对应的目标特征向量；

基于所述目标特征向量确定所述候选数据集中的目标异常数据；

根据所述目标异常数据、以及筛选出的分类概率小于预设阈值的所述异常数据，确定所述待评估数据集的异常率。