[发明专利]一种钢管的长度大数据上的均值近似聚集方法

摘要

一种大数据上的均值近似聚集方法，本发明涉及一种大数据上的近似聚集方法。本发明的目的是为了解决现有方法的采样顺序敏感、需要用户参与观测、计算结果精度低的问题。一、在需要进行均值聚集计算的包含M个数据的数据集中随机采一个包含m个个体的样本，求出一个粗略均值和样本标准差；二、用户给定指定的精度，求出满足精度所需要的采样率；三、确定需要进行均值聚集计算的数据集的数据边界，得到一个表示需要进行均值聚集计算的数据集的数据边界的参数；四、将参数传到每一个计算单元内，得到每一个计算单元内的均值；五、将每一个计算单元内的均值进行整合，输出最终结果。本发明用于金融，统计等领域。

主权项

1.一种钢管的长度大数据上的均值近似聚集方法，其特征在于：该方法具体过程为：步骤一、在需要进行均值聚集计算的包含M个钢管的长度数据的数据集中随机采一个包含m个个体的钢管的长度样本，记为X＝{x₁,x₂,…,x_m}，其中，m的取值范围为200＜m＜500，用X＝{x₁,x₂,…,x_m}钢管的长度样本集求出一个粗略均值sketch和样本标准差σ；x_i为第i个个体样本，1≤i≤m，i取值为正整数，m取值为正整数；M取值为正整数；步骤二、用户给定指定的精度e，根据步骤一求出的样本标准差σ和精度e求出满足精度e的采样率r；步骤三、根据粗略均值sketch和标准差σ确定需要进行均值聚集计算的钢管的长度数据集的数据边界，得到一个表示需要进行均值聚集计算的钢管的长度数据集的数据边界的参数；步骤四、将需要进行均值聚集计算的M个钢管的长度数据均分成b份，并存储在不同的计算单元，其中，b的值为10；将采样率r、需要进行均值聚集计算的钢管的长度数据集的数据边界、粗略均值sketch和需要进行均值聚集计算的钢管的长度数据集的数据边界的参数传到每一个计算单元内，得到每一个计算单元内钢管的长度的均值；步骤五、将每一个计算单元内钢管的长度的均值进行整合，输出最终结果；所述步骤一中在需要进行均值聚集计算的包含M个钢管的长度数据的数据集中随机采一个包含m个个体的钢管的长度样本，记为X＝{x₁,x₂,…,x_m}，其中，m的取值范围为200＜m＜500，用X＝{x₁,x₂,…,x_m}钢管的长度样本集求出一个粗略的均值sketch和样本标准差σ；具体过程为：粗略的均值sketch计算公式为：样本标准差σ计算公式为：所述步骤二中用户给定指定的精度e，根据步骤一求出的样本标准差σ和精度e求出满足精度e的采样率r；具体公式为：其中，u是和置信度有关的参数，置信度为95％时u为1.96，置信度为90％时u为1.64；M为需要进行均值聚集计算的钢管的长度数据集的数据个数；所述步骤三中根据粗略均值sketch和标准差σ确定需要进行均值聚集计算的钢管的长度数据集的数据边界，得到一个表示需要进行均值聚集计算的钢管的长度数据集的数据边界的参数；具体过程为：将需要进行均值聚集计算的钢管的长度数据分成5类，分别为TS类、S类、N类、L类和TL类；其中TS类的范围为：(‑∞,μ‑P₂σ]；其中S类的范围为：(μ‑P₂σ,μ‑P₁σ)；其中N类的范围为：[μ‑P₁σ,μ+P₁σ]；其中L类的范围为：(μ+P₁σ,μ+P₂σ)；其中TL类的范围为：[μ+P₂σ,+∞)；μ为均值，取值为粗略均值sketch，P₁为参数，取值为0.5；σ为步骤一求出的样本标准差，P₂为参数，取值为2；所述步骤四中将需要进行均值聚集计算的M个钢管的长度数据均分成b份，并存储在不同的计算单元，其中，b的值为10；将采样率r、需要进行均值聚集计算的钢管的长度数据集的数据边界、粗略均值sketch和需要进行均值聚集计算的钢管的长度数据集的数据边界的参数传到每一个计算单元内，得到每一个计算单元内钢管的长度的均值；具体过程为：步骤四一、依据钢管的长度数据集的数据边界对计算单元内的钢管的长度数据进行分类，分为5类，选取其中的S类和L类的数据，估算出一个加权均值estimation＝f(α)＝k·α+c，其中，f(α)为基于杠杆的估计函数；α是代表权值作用强度的参数，其取值范围为0‑1，k为一个和S、L类数据的和，平方和，立方和有关的常数，c为S、L类数据不加任何权重的均值；步骤四二、衡量粗略均值sketch和精确值之间的偏差；当S类的钢管的长度数据个数大于L类的钢管的长度数据个数时，则粗略均值sketch大于精确值；当S类的钢管的长度数据个数小于L类的钢管的长度数据个数时，则粗略均值sketch小于精确值；当S类的钢管的长度数据个数与L类的钢管的长度数据个数近似相等时，则粗略均值sketch与精确值近似相等；近似相等为S类的钢管的长度数据个数与L类的钢管的长度数据个数的比值范围为0.99‑1.01；步骤四三、设定α初始值为0，衡量加权均值estimation和粗略均值sketch之间的偏差Δ；Δ＝f(0)‑sketch＝c‑sketchc为S、L类钢管的长度数据不加任何权重的均值；由此得到加权均值estimation的初始值和粗略均值sketch之间的大小关系；步骤四四、由步骤四二和步骤四三得到sketch、estimation和精确值之间的关系，将粗略均值sketch和加权均值estimation同时向精确值调整；粗略均值Sketch和加权均值estimation中和精确值偏差大的那个均值每一次调整步长为0.1e，偏差小的那个均值每一次调整步长为0.08e；sketch和estimation依次调整，直至二者近似相等，得到每一个计算单元内的均值；近似相等为加权的均值estimation与粗略均值sketch的差值绝对值为0‑0.1r。