[发明专利]一种基于目标分布的样本集优化算法

说明书

本发明涉及一种基于目标分布的样本集优化算法，分析原始数据集的数据特征，按一定的粒度，将连续特征分段，计算各个特征区间内数据集的分布情况，构造随机采样的特征状态转移矩阵；同时以物理空间的数据集特征分布作为目标分布，将其按对应的分段方式离散化后，结合数据集的状态转移矩阵，计算构造采样的接收矩阵；以待优化数据集作为采样空间，在其上通过重采样来调整样本权重，并依据接受矩阵确定样本的权重升降；从而可以控制特征变量的分布，最终得到一个符合目标分布的样本数据集。综合地考虑原始数据集中数据的多样性以及分布的偏差性，通过产生合适的接收矩阵来选取合适的样本，从而获得更好的样本数据集，可更好地支撑相关的应用研究。

技术领域

本发明属于信息加工技术领域，涉及一种处理不平衡数据集的优化方法，具体地说，基于已有数据集的特征分布与给定目标分布，调整数据集中特征偏高或偏低的样本。

背景技术

近年来，社交网络的兴起给研究者们提供了大量的开源和多样的数据用以开展具有各种针对性的研究工作。社交媒体研究是基于上千万个独立个体，然而对于大型社交媒体，传统的数据抽样方法往往具有各种各样的弊端。其中最为突出的，是样本集数据代表性存疑，使得这些结论往往具有一定的局限性。已有的工作往往关注如何在采样过程中施加约束并控制样本集达到预先给定的目标。然而现实研究中，很多时候研究者们得到的只是由运营商提供的一部分被允许公开的数据，或者是可以利用的数据仅有这一点。这意味着他们往往无法直接在采样过程中进行干预。因此这时研究者们需要一种方法，可以让他们从已有的结果样本集中挖掘出符合目标分布的数据集以修正数据偏差用于研究。

专利CN106599935A提出了一种解决大规模不平衡数据集在机器学习和模式识别领域中的分类问题的方法。采用Spark的RDD进行数据变化，根据邻域三支决策模型将整个训练集中的样本划分成正域，边界域和负域样本；然后分别对边界域样本，负域样本进行过采样；但完全依赖过采样的方法在小类样本数量相对较少时浮动性很大，容易由于样本个体的极值严重影响数据集整体表现。专利CN107133639A公开了一种将模型认知数据和加权特征空间数据分布相结从而优化非平衡数据的方法。该专利采用Boost模型学习当前数据，取得模型评分与特征权重，将数据集划分为pure数据集合、danger数据集合和noise数据集合，然后递归地获取数据近邻。该方法实现了生成小类样本同时去除大类样本，有一定的借鉴意义。但是该方法中各类数据目标占比定义由人为设定，无法有效地结合物理空间的分布信息进行样本集优化，同时，采样中使用近邻算法来选取样本不可避免地也会导致采样效率受损。

发明内容

要解决的技术问题

为了解决一些情况下，给定的数据集特征分布无法满足研究者要求的问题，本发明提出了一种基于蒙特卡洛-马尔科夫链的模型来优化样本集中各个样本的对结果集贡献度的算法，可以更加综合地考虑原始数据集中数据的多样性以及分布的偏差性，从而获得更好的样本数据集，可更好地支撑相关的应用研究。

技术方案

一种基于目标分布的样本集优化算法，其特征在于步骤如下：

步骤1：根据给定的粒度，将原始数据集的特征与目标特征分布分段，并根据公式计算离散后的特征分布；式中，[s_in,s_i(n+1)]表示分段得到的任意一个特征区间，u_j表示一个样本特征对应的值；从而得到向量形式的原始数据集特征分布与目标分布，分别记为{f₁,f₂…f_k}和{t₁,t₂…t_k}，其中k表示区间总个数；

步骤2：生成原始数据集中随机采样的样本特征转移矩阵Q_k×k：