[发明专利]一种数据集划分方法及装置

说明书

本发明提供一种数据集划分方法及装置，所述方法包括：确定待划分数据集的目标聚类数目，对所述待划分数据集进行聚类，并得到聚类结果，所述目标聚类数目为所述聚类结果的数量；根据预先设定的划分标准，将所述聚类结果划分为有效聚类结果和无效聚类结果，并将所述无效聚类结果中的数据归并到所述有效聚类结果中。本发明所提供的数据集划分方法及装置，通过将无效聚类结果归并到有效聚类结果中，减少了目标聚类数目，只保留有效聚类结果，从而提高了模型训练的效率。

技术领域

本发明涉及数据聚类领域，尤其涉及一种数据集划分方法及装置。

背景技术

利用机器学习算法识别恶意软件已成为当前安全领域研发的趋势之一，而应用机器学习算法时需要为模型的训练和更新持续提供高质量的标注样本。

VT等样本收集平台利用简单的构建规则来获取粗糙数据集，而该数据集内的数据标记结果纯度较低，为了提高训练模型的效率，现有技术将训练数据集划分为若干个类型的分组来单独训练模型，但若原始数据集的各类数据分布不均衡，对数据集进行分组后得到的多个聚类结果并不能对后续训练模型产生正向作用，而且会增大模型在训练时的开销，降低了模型训练的效率。

因此，如何优化数据集的聚类结果从而提高模型训练时效率是业界亟需解决的重要课题。

发明内容

本发明提供的一种数据集划分方法及装置，用以解决现有技术在划分数据集后得到的多个聚类结果并不能对后续训练模型产生正向作用从而增大模型在训练时的开销的缺陷，使其能够自适应的完成数据划分的过程，提升模型的训练效率。

本发明提供一种数据集划分方法，包括：

确定待划分数据集的目标聚类数目，对所述待划分数据集进行聚类，并得到聚类结果，所述目标聚类数目为所述聚类结果的数量；根据预先设定的划分标准，将所述聚类结果划分为有效聚类结果和无效聚类结果，并将所述无效聚类结果中的数据归并到所述有效聚类结果中。

根据本发明提供的一种数据集划分方法，所述方法还包括：

利用Gap statistic算法获取待划分数据集的目标聚类数目。

利用K-means算法对所述待划分数据集进行k次聚类，并计算不同k值对应的簇内偏差和D_k，其中，k为自然数；获取多个对照数据集，所述对照数据集中包含的数据总数与所述待划分数据集中包含的数据总数相等；利用K-means算法对所述多个对照数据集同时进行k次聚类，计算不同k值对应的多个所述对照数据集上的平均簇内偏差和根据如下公式计算不同k值对应的Gap值：

其中，Gap(k)表示第k次聚类时，所述对照数据集的损失与所述待划分数据集的损失的差值，logD_k表示第k次聚类时，待划分数据集的损失值，表示第k次聚类时，各对照数据集的损失值的期望值；将所述Gap值中的最大值对应的k值作为待划分数据集的目标聚类数目。

若所述Gap值中的最大值对应的k值小于或等于2，则重新设置所述目标聚类数目为k′，其中，k′为大于2的自然数；利用K-means算法对所述待划分数据集依次进行3至k′次聚类，并计算不同k′值对应的簇内偏差和D_k′；获取多个对照数据集，所述对照数据集中包含的数据总数与所述待划分数据集中包含的数据总数相等；利用K-means算法对所述多个对照数据集同时进行3至k′次聚类，计算不同k′值对应的多个所述对照数据集上的平均簇内偏差和根据如下公式计算不同k′值对应的Gap值：

其中，Gap(k′)表示第k′次聚类时，所述对照数据集的损失与所述待划分数据集的损失的差值，logD_k′表示第k′次聚类时，待划分数据集的损失值，表示第k′次聚类时，各对照数据集的损失值的期望值；