[发明专利]一种基于目标分布的样本集优化算法

摘要

本发明涉及一种基于目标分布的样本集优化算法，分析原始数据集的数据特征，按一定的粒度，将连续特征分段，计算各个特征区间内数据集的分布情况，构造随机采样的特征状态转移矩阵；同时以物理空间的数据集特征分布作为目标分布，将其按对应的分段方式离散化后，结合数据集的状态转移矩阵，计算构造采样的接收矩阵；以待优化数据集作为采样空间，在其上通过重采样来调整样本权重，并依据接受矩阵确定样本的权重升降；从而可以控制特征变量的分布，最终得到一个符合目标分布的样本数据集。综合地考虑原始数据集中数据的多样性以及分布的偏差性，通过产生合适的接收矩阵来选取合适的样本，从而获得更好的样本数据集，可更好地支撑相关的应用研究。

主权项

1.一种基于目标分布的样本集优化算法，其特征在于步骤如下：步骤1：根据给定的粒度，将原始数据集的特征与目标特征分布分段，并根据公式计算离散后的特征分布；式中，[s_in,s_i(n+1)]表示分段得到的任意一个特征区间，u_j表示一个样本特征对应的值；从而得到向量形式的原始数据集特征分布与目标分布，分别记为{f₁,f₂…f_k}和{t₁,t₂…t_k}，其中k表示区间总个数；步骤2：生成原始数据集中随机采样的样本特征转移矩阵Qk×k：步骤3：计算与上述转移矩阵大小相同的转移接收矩阵A_k×k；矩阵中任意一项a_ij满足式中q_ij表示步骤2中转移矩阵Q_k×k中的对应项；步骤4：从原始数据集中随机抽取一组样本其中n小于所需样本总数N的十分之一；将其作为采样初始阶段的样本特征状态，并将其加入新样本集s；此时计采样轮次r＝0；步骤5：随机抽取n个样本，构成第r轮采样的结果将其与上一轮到的结果进行比较对于下标相同的每个样本，如果则无条件接受新一轮的样本；如果依据[0,1]的均匀分布随机产生一个值表示实际接受概率p，若即接受本次采样，否则放弃该样本，保持上一轮的样本不变，即步骤6：将调整后的本轮采样结果保存至新样本集s，同时使轮次计数值r自加一；步骤7：重复步骤5～6，直到新样本集s中的样本数目大于等于N，即|s|≥N；步骤8：汇总所有轮次的采样结果，若|s|>N，则从s中随机抛弃N‑|s|个样本；此时，s中各个样本出现的频次即为它们在原有数据集中的权重。