[发明专利]一种SPC的高效计算方法、装置、设备和介质

说明书

本发明提供一种SPC高效计算的方法、装置、设备和介质，方法包括每接收到一个第一样本集合，即对所述第一样本集合的数据量与一个计算单元的上限样本量的预设值进行判断：若小于，则自动生成单独的一个计算单元对其进行运算，得到计算结果；若大于，则自动将其拆分成多个第二样本集合，对应生成多个计算单元，分别进行独立的资源分配，进行并发运算，然后对计算结果进行合并；对所述计算结果进行处理，得到结果数据并进行缓存；若存在历史结果数据，则将当次结果数据和历史结果数据进行整合。本发明将并行计算和流式计算有机结合，替代目前的实时全量计算方式，不仅大大提高了计算效率，消除延时计算的影响，还避免了重得计算造成的弊端。

技术领域

本发明涉及计算机技术领域，特别涉及一种SPC高效计算的方法、装置、设备和介质。

背景技术

统计过程控制(Statistical Process Control)是一种借助数理统计方法的过程控制工具。它对生产过程进行分析评价，根据反馈信息及时发现系统性因素出现的征兆，并采取措施消除其影响，使过程维持在仅受随机性因素影响的受控状态，以达到控制生产质量的目的。

其中，对生产过程进行分析评价比较重要的手段是要对一定的生产样本进行相关算法的计算，传统的SPC计算一般是通过样本数据的采集、整合、录入到相应的数据库中，最后进行统一的计算，这种在时间上存在高延时的方法通常不利于产线上的员工及时的发现问题，导致问题排查滞后，往往会造成较大范围的损失。针对以上的问题，出现了SPC实时运行的方式，虽然这种实时运行方式缓解了延时的问题，但缺点在于每次的计算都是使用全量样本进行计算，如：当样本的统计体量达到1000000个，针对生产线上新产生的5个样本进行统计时，要获得1000005样本量的最终计算结果，则不得不将新产生的5个样本和先前的1000000个样本一起进行提交，然后对最终的1000005个样本进行全量计算，得出最新结果，也就是说其中1000000个样本被计算了两次，以此类推，若后续生产线上又新产生的10个样本，则又要将之前的1000005个样本与该10个样本一起进行全量计算，导致其中1000000个样本被计算了三次，5个样本被计算了两次。可想而知，这种全量计算对于小体量的样本量来说，似乎并不会有太大的影响，可当持续计算的样本量达到一定量级的时候，问题就会慢慢凸显，甚至造成系统崩溃。对于大型的企业、产线多、生产节奏快、测试样本量巨大的情况下，在当下计算机性能的要求越来越高效的背景下，以上的方式是无法满足需求的。

于20090527公开的，公开号为CN101441557的中国发明公开了一种基于动态数据拆分的分布式并行计算的系统及其方法，该系统包括：拆分单元，其负责分割待计算的数据项目，把待计算数据根据划分规则划分成若干相对独立计算项；运算单元，其负责对所述计算项进行分布式并行计算，包括若干运算机；环境单元，其负责在并行计算前部署所述运算机中的执行环境，并且在计算执行完成后将所述运算机还原到执行前的状态；负载均衡单元，其负责检查所有运算机的负载情况，并根据各运算机的资源消耗情况动态地分配相应数量的计算项至各运算机。虽然该发明采用分布式并行计算最大程度利用了计算机的空闲资源，加快计算速度，但由于没有与流式计算相结合，可能仍会引发因全量计算带来的弊端。

发明内容

本发明要解决的技术问题，在于提供一种SPC高效计算的方法、装置、设备和介质，将并行计算和流式计算有机结合，替代目前的实时全量计算方式，不仅大大提高了计算效率，消除延时计算的影响，还避免了重得计算造成的弊端。

第一方面，本发明提供了一种SPC高效计算的方法，包括下述步骤：

S1、接收采集端实时提交的第一样本集合；

S2、每接收到一个第一样本集合，即对所述第一样本集合的数据量进行判断：

若数据量小于一个计算单元的上限样本量的预设值，则自动生成单独的一个计算单元，并按照SPC计算规则对所述第一样本集合进行运算，运算完成后得到计算结果；